JPWO2020129422A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2020129422A1
JPWO2020129422A1 JP2020561194A JP2020561194A JPWO2020129422A1 JP WO2020129422 A1 JPWO2020129422 A1 JP WO2020129422A1 JP 2020561194 A JP2020561194 A JP 2020561194A JP 2020561194 A JP2020561194 A JP 2020561194A JP WO2020129422 A1 JPWO2020129422 A1 JP WO2020129422A1
Authority
JP
Japan
Prior art keywords
information processing
control unit
sound
output
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020561194A
Other languages
English (en)
Inventor
慧 高橋
惇一 清水
潤一 永原
学 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020129422A1 publication Critical patent/JPWO2020129422A1/ja
Priority to JP2024027559A priority Critical patent/JP2024055928A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00Musical or noise- producing devices for additional toy effects other than acoustical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0009Constructional details, e.g. manipulator supports, bases
    • B25J9/0015Flexure members, i.e. parts of manipulators having a narrowed section allowing articulation by flexion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K9/00Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers
    • G10K9/12Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers electrically operated
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10Prosody rules derived from text; Stress or intonation

Abstract

検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部(130)、を備え、前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、情報処理装置が提供される。また、プロセッサが、検出された装置の状態に基づいて、前記装置による音の出力を制御すること、を含み、前記制御することは、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、をさらに含む、情報処理方法が提供される。

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、電気的な制御に基づいて音を出力する種々の装置が普及している。また、収集したセンサ情報に基づいて、音の出力を制御する装置も開発されている。例えば、特許文献1には、装置の動きを加速度センサにより検出し、複数の音を出力する電子機器が開示されている。
特開2007−184834号公報
ところで、装置の状態に基づいて出力音を制御する場合において、所定の状態が検出されたことに基づき通常状態とは異なる種別の音を出力する場合、装置の用途やコンセプトによっては不自然に聞こえるケースも想定される。
本開示によれば、検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、を備え、前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、情報処理装置が提供される。
また、本開示によれば、プロセッサが、検出された装置の状態に基づいて、前記装置による音の出力を制御すること、を含み、前記制御することは、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、を備え、前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、情報処理装置、として機能させるためのプログラムが提供される。
本開示の一実施形態の概要について説明するための図である。 同実施形態に係る情報処理装置の物理構成例を模式的に示した図である。 同実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る状態の変化量に応じた出力態様制御の流れを示すフローチャートである。 同実施形態に係るユーザ挙動の種別に応じた合成音の出力態様の制御について説明するための図である。 同実施形態に係る接触検出に伴う動作の停止制御について説明するための図である。 同実施形態に係る合成音に係るパラメータについて説明するための図である。 同実施形態に係るピッチとスピードの制御により表現され得る感情の一例を示す図である。 同実施形態に係る移動体の負荷の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。 同実施形態に係る移動体の安全性の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。 同実施形態に係る相対位置の変化量に基づく合成音の出力態様制御について説明するための図である。 同実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。 同実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。 同実施形態に係る情報処理装置が耳装着型端末である場合の環境音重畳制御について説明するための図である。 同実施形態に係る情報処理装置が耳装着型端末である場合の環境音重畳制御について説明するための図である。 本開示の一実施形態に係る情報処理装置が耳装着型端末やスマートフォンなどとして実現される場合のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.概要
1.2.情報処理装置10の物理構成例
1.3.情報処理装置10の機能構成例
1.4.機能の詳細
1.5.合成音の生成
1.6.適用例
2.ハードウェア構成例
3.まとめ
<1.第1の実施形態>
<<1.1.概要>>
まず、本開示の一実施形態の概要について述べる。上述したように、近年においては、電気的な制御に基づいて音を出力する種々の装置が普及している。上記のような装置には、例えば、特許文献1に記載の装置のように、収集したセンサ情報に基づいて出力音を制御するものも存在する。
ここで、例えば、検出した装置の状態に応じて、ユーザに何かしらの注意喚起や警告を行う場合を想定する。この際、例えば、通常状態では出力しない特別な警告音を用いることで、ユーザに対する訴求の効果を高めることも考えられる。
しかし、装置の用途やコンセプトによっては、上記のような警告音の出力が、不自然に聞こえるケースも想定される。
例えば、生命体を模したロボット装置等の場合、通常状態においては、コンセプトに応じた態様の音声(例えば、若い女性の声やイヌの鳴き声など)を出力するのが一般的である。一方、ここで、ロボット装置が所定の状態となったことに基づき無機質な警告音を出力する場合、上記のようなコンセプトに反すると共に、ユーザに強い違和感や必要以上の戸惑いを覚えさせる可能性がある。
本開示の一実施形態に係る技術思想は上記のような点に着目して発想されたものであり、装置の状態をより自然な音の出力でユーザに知覚させるものである。このために、本開示の一実施形態に係る情報処理装置10は、検出された装置の状態に基づいて、当該装置による音の出力を制御する制御部130を備える。また、本開示の一実施形態に係る制御部130は、上記状態の変化量に応じて、装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、を特徴の一つとする。
ここで、上記の通常状態において出力し得る合成音とは、例えば、上述のロボット装置の場合、コンセプトに応じた態様の非言語音声または言語音声であってよい。すなわち、本実施形態に係る制御部130は、警告音に代えて、ロボット装置が普段から発している声や鳴き声の出力態様を連続的に変化させることで、より自然にユーザに装置の状態を知らしめることが可能である。
図1は、本実施形態の概要について説明するための図である。図1では、本実施形態に係る情報処理装置10が仮想の生命体を模したロボット装置である場合の一例が示されている。本実施形態に係る情報処理装置10は、例えば図1に示すように、楕円体に近い形状を有し、非言語音声と自律的な動作を介してユーザとコミュニケーションを行うロボット装置であってもよい。本実施形態に係る情報処理装置10は、FM(Frequency Modulation)音源に係る各種のパラメータを動的に変化させることで、非言語音声でありながらも、あたかも生命体が喋っているような感情豊かな音声を表現することができる。
また、本実施形態に係る情報処理装置10の外装の一部には、シリコン樹脂などのフレキシブル素材が用いられてもよい。図1に示す一例の場合、情報処理装置10の外装には、底部を除き全体的にフレキシブル素材が用いられている。このため、本実施形態に係る情報処理装置10は、ユーザによる接触(例えば、つつく、つまむ、など)に応じて柔軟に形状を変化させることができる。
しかし、外装の内部には各種の部品が存在することから、上記のような接触の強度によっては、内部の部品が損傷する恐れもある。ここで、例えば、内部に固い構造物を配置することで過度の変形に伴う部品の損傷等を防止することも可能である。しかし、この場合、本来は柔軟に変形が可能なはずのフレキシブル素材の特性が相殺され、ユーザの操作感が損なわれることから、ユーザが情報処理装置10を限界まで変形させるよりも前に、操作を停止してもらうための工夫が求められる。このため、本実施形態に係る情報処理装置10は、ユーザの接触などの挙動により、部品の損傷などの看過できない装置の負荷が検出された場合、合成音の出力態様を連続的に変化させることで、ユーザに装置の負荷状況を暗示的に通知してよい。
図1に示す一例の場合、本実施形態に係る制御部130は、左側に示す通常状態から中央に示すようにユーザの接触により外装が変形した場合、当該接触に伴う負荷の変化量に基づいて、合成音すなわち鳴き声を想起させる音声を動的かつ連続的に変化させる。
なお、本実施形態に係る合成音の出力態様には、例えば、音色、音調、音圧などが含まれる。制御部130は、例えば、合成音に係る周波数を制御することで音色を変化させることができる。このような制御によれば、ユーザの接触に対し、例えば、情報処理装置10が痛がっているような表現を行うことができ、ユーザによる過度な接触を抑止することが可能となる。
また、ユーザの接触に起因する負荷の変化量が予め定められた閾値(以下、限界値、と称する場合がある)に達した場合、本実施形態に係る制御部130は、図中右側に示すように、当該閾値に対応する出力態様で合成音を出力させる。この際、制御部130は、例えば、悲鳴を想起させるような合成音を出力させてもよい。
本実施形態に係る制御部130による上記の制御によれば、特別な警告音等を出力するよりもより自然かつ直観的に、ユーザに装置の負荷の限界を知覚させることが可能となる。
<<1.2.情報処理装置10の物理構成例>>
次に、本実施形態に係る情報処理装置10の物理構成例について説明する。図2は、本実施形態に係る情報処理装置10の物理構成例を模式的に示した図である。図2に示すように、本実施形態に係る情報処理装置10は、可変構造510、静電容量センサ520、圧力センサ530、アクチュエータ540、マイクロフォン550、およびスピーカ560、光源570などを備える。
(可変構造510)
本実施形態に係る可変構造510は、外力に応じて形状が変化する構造である。本実施形態に係る可変構造510は、例えば、上述したフレキシブル素材により実現される。また、本実施形態に係る可変構造510は、関節等を含んでよい。本実施形態に係る情報処理装置10は、外装の少なくとも一部に可変構造510を有することを特徴の一つとする。この際、本実施形態に係る制御部130は、可変構造510に対するユーザの接触に伴う装置負荷の変化量に応じて、合成音の出力態様を動的に制御する。
(静電容量センサ520)
本実施形態に係る静電容量センサ520は、撫でるなどの、ユーザによる接触を検出する。本実施形態に係る静電容量センサ520による接触の検出については、別途詳細に説明する。
(圧力センサ530)
本実施形態に係る圧力センサ530は、上下方向におけるユーザの接触を検出する。本実施形態に係る圧力センサ530は、例えば、指による押し込みなどのユーザの接触を検出することができる。上記のようなユーザの接触は、情報処理装置10の底部方向に力が加わる運動であるため、本実施形態に係る圧力センサ530は、情報処理装置10の底部付近に配置されてよい。係る配置によれば、楕円体の形状に合わせてセンサを配置しなくとも、上下方向におけるユーザの接触を容易に検出することが可能となる。
(アクチュエータ540)
本実施形態に係るアクチュエータ540は、情報処理装置10の移動や回転運動などを実現する構成である。
(マイクロフォン550)
本実施形態に係るマイクロフォン550は、ユーザの発話などの音を検出する。本実施形態に係る情報処理装置10は、マイクロフォン550が検出したユーザの発話に反応して、動作を行ったり、音声を出力することが可能である。
(スピーカ560)
本実施形態に係るスピーカ560は、制御部130による制御に基づいて、合成音を出力する。
(光源570)
本実施形態に係る光源570は、制御部130による制御に基づいて、光を照射する。光源570は、例えば、LEDなどにより実現される。本実施形態に係る光源570は、例えば、図示するように、情報処理装置10の目に対応する構造であってもよい。
以上、本実施形態に係る情報処理装置10の代表的な物理構成例について説明した。なお、図2に示した構成はあくまで一例であり、本実施形態に係る情報処理装置10は、上記で説明した構成に加え、例えばプロセッサなどの他の構成を備える。本実施形態に係る情報処理装置10の物理構成は、仕様等に応じて柔軟に変形され得る。
<<1.3.情報処理装置10の機能構成例>>
次に、本実施形態に係る情報処理装置10の機能構成例について説明する。図3は、本実施形態に係る情報処理装置10の機能構成例を示すブロック図である。図3に示すように、本実施形態に係る情報処理装置10は、音入力部110、センサ部120、制御部130、音出力部140、および駆動部150などを備える。
(音入力部110)
本実施形態に係る音入力部110は、ユーザの発話や環境音などを収集する。このために、本実施形態に係る音入力部110は、マイクロフォン550などを備える。
(センサ部120)
本実施形態に係るセンサ部120は、各種のセンサ情報を収集する。このために、本実施形態に係るセンサ部120は、例えば、静電容量センサ520や圧力センサ530を備える。また、本実施形態に係るセンサ部120は、気圧センサや変位センサなどを備えてもよい。本実施形態に係るセンサ部120は、センシングの対象に応じた各種のセンサを備え得る。
(制御部130)
本実施形態に係る制御部130は、情報処理装置10が備える各構成を制御する。本実施形態に係る制御部130は、CPUなどのプロセッサにより実現される。
本実施形態に係る制御部130は、例えば、センサ部120などが検出した情報処理装置10の状態に基づいて、音出力部140による音の出力を制御する。この際、本実施形態に係る制御部130は、状態の変化量に応じて、情報処理装置10が通常状態である場合に出力され得る合成音の出力態様を動的に変化させること、を特徴の一つとする。本実施形態に係る制御部130が有する機能の詳細については別途後述する。
(音出力部140)
本実施形態に係る音出力部140は、制御部130による制御に基づいて、合成音を出力する。このために、本実施形態に係る音出力部140は、例えば、スピーカ560や、アンプなどを備える。
(駆動部150)
本実施形態に係る駆動部150は、制御部130による制御に基づいて、各種の動作を行う。このために、本実施形態に係る駆動部150は、例えば、アクチュエータなどを備える。
以上、本実施形態に係る情報処理装置10の機能構成例について説明した。なお、図3に示した構成はあくまで一例であり、本実施形態に係る情報処理装置10の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理装置10は、各種の視覚情報を表示する表示部や、ユーザの画像を撮影する撮影部をさらに備えてもよい。また、本実施形態に係る制御部130は、上述した他の構成とは別途の装置として実現されてもよい。この場合、制御部130は、ネットワークを介して音情報やセンサ情報を受信し、音出力部140や駆動部150を遠隔で制御する。本実施形態に係る情報処理装置10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.4.機能の詳細>>
次に、本実施形態に係る制御部130が有する機能について詳細に説明する。上述したように、本実施形態に係る制御部130は、例えば、ユーザの接触などに起因して変化する情報処理装置10の負荷に係る変化量に基づいて、音出力部140に出力させる合成音の出力態様を動的かつ連続的に変化させることを特徴の一つとする。当該特徴によれば、装置の状態をより自然かつ直観的にユーザに知覚させることが可能となる。
この際、本実施形態に係る情報処理装置10は、例えば、図4に示すような流れで処理を行う。図4は、本実施形態に係る状態の変化量に応じた出力態様制御の流れを示すフローチャートである。
図4を参照すると、まず、センサ部120が、情報処理装置10の状態の変化量を検出する(S1101)。上述したように、上記の状態にはユーザの挙動に起因して変化する情報処理装置10の負荷が含まれる。センサ部120は、圧力センサ530が検出したユーザによる押し込みの量を上記負荷の変化量として検出してもよい。
次に、制御部130が、ステップS1101において検出された変化量が閾値を固定るか否かを判定する(S1102)。
ここで、変化量が閾値以下である場合(S1102:NO)、情報処理装置10はステップS1101に復帰し、繰り返し変化量の検出を実行する。
一方、変化量が閾値を超えている場合(S1102:YES)、制御部130は、続いて、変化量が限界値に達しているか否かを判定する(S1103)。なお、上記の限界値は、例えば、情報処理装置10が許容できる最大負荷に対応する値であってよい。例えば、ユーザによる押し込みに起因する負荷の場合、可変構造510の内部に配置される静電容量センサ520などの構成に損傷が発生し得る押し込み量(圧力)が限界値として設定されてもよい。
ここで、変化量が限界値に達していない場合(S1103:NO)、制御部130は、変化量に応じて、音出力部140に出力させる合成音を同定かつ連続的に変化させる(S1104)。
一方、変化量が限界値に達している場合(S1103:YES)、制御部130は、変化量が限界に達していることを示す合成音を音出力部140に出力させる(S1105)。すなわち、制御部130は、例えば、上述した悲鳴のような、限界値に対応する出力態様で合成音を出力させる。
なお、ステップS1104またはS1105における処理の後、情報処理装置10はステップS1101に復帰し、上述した処理を繰り返し実行する。
以上、本実施形態に係る装置負荷などの状態の変化量に応じた出力態様制御の流れについて詳細に説明した。なお、本実施形態に係る状態の変化量は、装置の負荷に限定されず、例えば、撫でる、触る等のユーザの操作量や、その他の各種の状態を含むものである。次に、本実施形態に係るユーザ挙動に応じた合成音の出力態様の制御について述べる。本実施形態に係る制御部130は、センサ部120が検出したユーザの挙動応じて、音出力部140に出力させる合成音の出力態様を制御することができる。例えば、本実施形態に係る制御部130は、検出された挙動の種別や強度、強度などに応じて、異なる出力態様で合成音を出力させてもよい。
図5は、本実施形態に係るユーザ挙動の種別に応じた合成音の出力態様の制御について説明するための図である。上述したように、本実施形態に係るセンサ部120は、静電容量センサ520や圧力センサ530によりユーザの接触を検出することができる。
本実施形態に係るセンサ部120は、例えば、図中左側に示すように、情報処理装置10の底部付近に配置された圧力センサ530により、ユーザによる押し込みなどの上下方向の接触を検出することができる。
また、センサ部120は、例えば、図中右側に示すように、情報処理装置10の上部に配置された静電容量センサ520により、ユーザによる撫でるなどの接触を検出することができる。本実施形態に係る情報処理装置10には、例えば、図示するように、複数の静電容量センサ520a〜520cが並列して備えられる。上記のような配置によれば、接触を静電容量センサ520、520b、520cと順に検出することで、接触部位が左から右に変化していること、すなわち右方向に撫でられていることを検出することができる。
なお、図5に示す静電容量センサ520の配置はあくまで一例である。に係る静電容量センサ520は、例えば、格子状などに配置されてもよい。また、本実施形態に係る情報処理装置10は、静電容量センサ520に代えて、タッチパネルなどの接触座標が検出可能なデバイスを備えてもよい。
以上説明したように、本実施形態に係るセンサ部120は、複数のセンサを用いることで、ユーザによる接触の種別を検出することが可能である。この際、本実施形態に係る制御部130は、センサ部120が検出した接触の種別などに応じて、異なる出力態様で合成音を出力させてよい。
例えば、制御部130は、押し込みが検出された場合と、撫でる行為が検出された場合とでは、異なる音色、音調、音圧で合成音を出力してもよい。制御部130は、例えば、押し込みが検出された場合には、不快感に対応する出力態様で合成音を出力させ、撫でる行為が検出された場合には、快感に対応する出力態様で合成音を出力させてもよい。
また、制御部130は、例えば、接触の速度や強度に応じて合成音の出力態様を制御してもよい。一例としは、制御部130は、接触の速度が比較的早い場合には高い周波数の合成音を出力させ、速度が比較的遅い場合には低い周波数の合成音を出力させてもよい。
また、制御部130は、接触の速度が速すぎる場合には情報処理装置10が不快感を、速度がゆっくりの場合には情報処理装置10が快感を感じるとみなし、それぞれに対応した出力態様で合成音を出力させることもできる。
以上、本実施形態に係る接触に応じた合成音の出力態様の制御について説明した。本実施形態に係る制御部130が有する上記の機能によれば、接触に応じて様々な出力態様で合成音を出力させることができ、ユーザに新鮮さを与え、長く興味を引きつけることが可能となる。
次に、本実施形態に係る接触検出に伴う動作の停止制御について述べる。本実施形態に係る制御部130は、合成音の出力制御に加え、駆動部150による各種の動作を制御してよい。この際、本実施形態に係る制御部130は、ユーザによる接触が検出されたことに基づいて、駆動部150に所定の動作を停止させてもよい。
本実施形態に係る情報処理装置10は、例えば、水平方向への移動、垂直方向における上下運動、また水平方向における回転運動を行うことが可能である。ここで、上記のような動作の最中にユーザが情報処理装置10に接触した場合、動作の種別や速度によってはユーザの手のひら等が無理に変形させるような動きになり、当該ユーザに不快な感情を想起させる場合がある。また、情報処理装置10が比較的大きい装置である場合、ユーザが怪我を負ったり痛みを感じる可能性もある。このような事態を回避するため、本実施形態に係る制御部130は、ユーザの接触が検出された方向に応じて、所定の運動方向を有する動作を停止させてよい。
図6は、本実施形態に係る接触検出に伴う動作の停止制御について説明するための図である。例えば、図中上段には、情報処理装置10が水平方向における回転運動を行っている際に、ユーザによる押し込み、すなわち上下方向の接触が行われた場合が示されている。この場合、押し込みの位置によってはユーザの指が情報処理装置10の回転運動により無理に変形される等の可能性があることから、制御部130は、ユーザに不快な感情を想起させること等を防止するために、駆動部150を制御して回転運動を停止させてよい。
また、図中下段には、情報処理装置10が水平方向への移動を行っている際に、ユーザによる押し込み、すなわち上下方向の接触が行われた場合が示されている。この場合も同様に、ユーザの指が情報処理装置10の移動により無理に変形される可能性がある。このため、制御部130は、ユーザに不快な感情を想起させること等を防止するために、駆動部150を制御して水平方向への移動を停止させてよい。
一方、情報処理装置10が垂直方向における上限運動を行っている場合には、外装にフレキシブル素材が用いられていることもあり、ユーザが不快な感情を想起したり、怪我を負う可能性は低いと想定される。このため、本実施形態に係る制御部130は、上下運動を継続して実行させてもよい。
以上、本実施形態に係る接触検出に伴う動作の停止制御について説明した。上述したように、本実施形態に係る制御部130によれば、接触の検出方向や運動方向に応じて、情報処理装置10の動作を停止させることで、ユーザに不快な感情を想起させることなく、またユーザの安全を確保することができる。
なお、上記で説明した動作の種別はあくまで一例であり、制御部130による停止制御は、情報処理装置10の重量や形状、素材、運動の速度などに応じて適宜設計される。また、本実施形態に係る制御部130は、例えば、押し込みの完了後にユーザの方に振り向くなどの動作を情報処理装置10に行わせるなどの、接触に対する動作フィードバックを制御してもよい。
<<1.5.合成音の生成>>
次に、本実施形態に係る合成音の生成について詳細に説明する。上述したように、本実施形態に係る制御部130は、情報処理装置10の状態の変化量に応じて、合成音の出力態様を動的かつ連続的に変化させる。この際、制御部130は、FM音源の合成に係る各種のパラメータを動的かつ連続的に変化させることで、合成音の印象や感情的な意味合いを多様に表現することが可能である。
図7は、本実施形態の合成音に係るパラメータについて説明するための図である。図7には、FM音源の合成を行うシンセサイザーが備える構成と、各構成に係るパラメータの変化により表現される出力態様の関係が示されている。
制御部130は、例えば、オシレータに係るパラメータを変化させることで、音声の基本的な質感を変化させることができる。一例としては、サイン波とすることで柔らかい印象を演出することができ、また鋸歯形状とすることで鋭い印象を演出することができる。
また、制御部130は、例えば、ピッチコントローラのパラメータ、すなわちピッチを制御することで、感情の上下や、性別の差、またイントネーションなどを演出することができる。
図8は、本実施形態に係るピッチとスピードの制御により表現され得る感情の一例を示す図である。なお、図8におけるハッチング領域は音量を示している。音声のピッチやスピードは、当該音声の感情の想起に強く影響することが知られている。制御部130は、例えば、ピッチとスピードを比較的高く設定することで、喜びや怒りの度合いなどを演出することが可能である。反対に、ピッチとスピードを比較的低く設定することで、悲哀を表現することもできる。このように、本実施形態に係る制御部130は、ピッチやスピードを制御することで、種々の感情や、その度合いを演出することが可能である。
再び図7を参照して説明を続ける。制御部130は、フィルタのパラメータを制御することで、音の明瞭さ(口の開け方)を表現することも可能である。制御部130は、例えば、ハイカットフィルタの周波数を上下させることで、こもったような音や開いたような音を演出することができる。
また、制御部130は、アンプの時間的な変化により声量のアクセントや、立ち上がり方また終わり方の印象を変化させることも可能である。
また、制御部130は、モジュレータのパラメータを制御することで、声の震えや滑らかさを表現してもよい。
このように、本実施形態に係る制御部130は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプなどに係る各パラメータを変化させることで、印象や感情的な意味合いを多様に表現することが可能である。
<<1.6.適用例>>
以上、本実施形態に情報処理装置10が有する基本的な機能について説明した。なお、上記では、本実施形態に係る情報処理装置10が生命体を模したロボット装置である場合を一例に説明したが、本実施形態に係る情報処理装置10の形態は係る例に限定されない。本実施形態に係る技術思想は、多様な装置に広く適用可能である。
例えば、本実施形態に係る情報処理装置10は、車両、などの移動体や、移動体に搭載される装置であってもよい。図9は、本実施形態に係る移動体の負荷の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。
例えば、図9の左側に示す一例の場合、ユーザはアクセルを現在速度に合わせてゆっくりと踏み込む操作を行っている。このような操作は燃費の向上につながることから、制御部130は、通常状態における合成エンジン音を音出力部140に出力させてよい。
一方、図9の左側に示す一例の場合、ユーザはアクセルを急速に強く踏み込む操作を行っている。このような燃費の低下に起因する操作が検出された場合、制御部130は、移動体に負荷が掛かっていると推定し、合成エンジン音の出力態様を動的かつ連続的に変化させる、この際、制御部130は、例えば、フィルタを制御することで、高音域の成分を増加させ鋭い印象の合成エンジン音を出力させたり、音量を上げるなどの制御を行ってもよい。
また、本実施形態に係る移動体の状態は、負荷に限定されず、例えば、安全性を含んでもよい。図10は、本実施形態に係る移動体の安全性の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。
例えば、図10の左側に示す一例の場合、ユーザはハンドル操作により、走行車線の中央付近を移動体が走行するように運転を行っている。この場合、制御部130は、移動体やユーザの安全性が保たれていると推定し、通常状態における合成エンジン音を音出力部140に出力させてよい。
一方、図10の右側に示す一例の場合、移動体は中央線に近づいた状態で走行している。このように安全性の低下に影響する運転が検出された場合、制御部130は、安全性の低下度合い(例えば、中央線への接近度合い)に応じて、合成音の出力態様を動的かつ連続的に変化させる。制御部130は、例えば、ピッチを変化させることで、怒りや恐れを想起させる合成エンジン音を音出力部140に出力させてもよい。
また、本実施形態に係る移動体の状態は、例えば、移動体の位置を含んでもよい。より具体的には、本実施形態に係る制御部130は、目的地などの指定位置と移動体との相対位置の変化量に応じて、合成音の出力音を動的に変化させてよい。
図11は、本実施形態に係る相対位置の変化量に基づく合成音の出力態様制御について説明するための図である。図11の上段には、指定場所として登録された目的地から比較的離れた場所を移動体が走行している状況が示されている。この際、制御部130は、通常状態における合成エンジン音やナビゲーション音声を音出力部140に出力させてもよい。
一方、図11の下段には、移動体が目的地に近づいた状況が示されている。この際、本実施形態に係る制御部130は、目的地と移動体との相対距離が閾値が近づいたことに基づいて、合成エンジン音やナビゲーション音声などの出力態様を動的かつ連続的に制御してよい。制御部130は、例えば、音量を上げたり、より柔らかい音や心地良い音が出力されるように制御を行ってもよい。
なお、制御部130は、目的地から移動体が遠ざかった場合にも出力態様の制御を行ってもよい。この場合、制御部130は、音量を小さくしたり、より鋭い音が出力されるように制御を行ってもよい。また、制御部130は、寄り道などにより目的地への到着時間が遅れそうな際にも類似する制御を行うことができる。
以上、本実施形態に係る情報処理装置10が、移動体や移動体に搭載される装置として実現される場合の出力態様制御の一例を述べた。なお、本実施形態に係る合成音は、環境音や操作対象以外の事象を基に生成されてもよい。本実施形態に係る制御部130は、対象する事象の違いによって合成音の出力態様を変化させることも可能である。
また、本実施形態に係る制御部130は、目的の操作を誘発するような合成音を音出力部140に出力させてもよい。例えば、移動体が道路を左折する場合、制御部130は、交差点付近に近づくにつれ、合成ウィンカー音や合成エンジン音を大きくするなどの制御を行うことができる。
さらには、本実施形態に係る制御部130は、触覚フィードバックの出力態様を制御することも可能である。移動体の場合、上記の触覚フィードバックは、例えば、アクセルやハンドルなどから提示され得る。この際、制御部130は、例えば、振動の継続時間や間隔、強度などを動的かつ連続的に変化させる。
例えば、制御部130は、安全性が高い場合には、[1秒振動+2秒停止]のサイクルが繰り返し行われるように制御を行う。一方、制御部130は、安全性が閾値を下回った場合には、[2.5秒振動+0.5秒提示]のサイクルの繰り返しが行われるように制御し、かつ振動時間の割合を安全性の低下の度合いに応じて変化させてもよい。または、制御部130は、[0.25秒振動+0.5秒停止]のように間隔を密にすることもできる。
続いて、本実施形態に係る合成音に対する環境音の重畳について説明する。本実施形態に係る制御部130は、合成音の出力制御に加え、当該合成音に対する環境音の重畳を制御することができる。この際、本実施形態に係る制御部130は、状態の変化量に応じて環境音の取り込み量を制御することで、合成音と環境音とのバランスを動的に制御し、様々な通知や演出を実現することが可能である。
例えば、本実施形態に係る制御部130は、情報処理装置10と対象との相対位置の変化量に応じて、合成音の出力態様や環境音の取り込み量を動的に変化させてもよい。ここで、上記の対象には、情報処理装置10に接近する他の物体が含まれる。
図12Aおよび図12Bは、本実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。図12Aの上段には、移動体である情報処理装置10に対し、上記対象である緊急車両EVが接近している状況が示されている。
ここでは、まだ情報処理装置10と緊急車両EVとの距離に余裕があることから、制御部130は、図12Aの下段に示すように、ナビゲーション音声NSの音量や緊急車両EVが発するサイレンなどの環境音ESの取り込み量を通常状態と同様に制御してよい。
一方、図12Bの上段には、緊急車両EVが移動体により接近し、移動体と緊急車両EVとの距離が閾値を下回った状況が示されている。
この際、本実施形態に係る制御部130は、緊急車両EVが発するサイレンや指示音声などの環境音ESの可聴性が向上するように制御を行う。制御部130は、例えば、ナビゲーション音声NSの音量を下げ、環境音ESの取り込み量を増加させることで、ユーザが環境音ESを聞き取りやすい状況を創出することが可能である。なお、上記では、移動体が自動車である場合の一例を示したが、本実施形態に係る移動体は自転車などであってもよい。自転車の場合、環境音の取り込み量を増加させることで、ユーザが接近する自動車にいち早く気が付き危険を回避するなどの効果も期待される。
また、上記のような環境音の重畳制御は、移動体以外の装置へも適用が可能である。図13Aおよび図13Bは、本実施形態に係る情報処理装置10が耳装着型端末である場合の環境音重畳制御について説明するための図である。
図13Aおよび図13Bには、ヘッドホンやイヤホンなどの耳装着型端末として実現される情報処理装置10を装着したユーザが、電車ETに乗車している状況が示されている。
図13Aに示す一例には、ユーザが乗車する電車ETと、ユーザの目的地である駅との距離に、まだ余裕がある状況が示されている。この際、本実施形態に係る制御部130は、対象である駅と情報処理装置10との距離が閾値以上であることに基づいて、音出力部140が再生する楽曲の音量や環境音ESの取り込み量を通常状態と同様に制御してよい。
一方、図13Bに示す一例には、電車ETと対象である駅との距離が閾値を下回った状況が示されている。この際、本実施形態に係る制御部130は、上記駅への到着に係る車内アナウンスVAを含む環境音ESの可聴性が向上するように制御を行い、ユーザの乗り過ごしを効果的に防止することができる。具体的には、制御部130は、音出力部140が再生する楽曲の音量を下げたり、環境音ESの取り込み量を増加させるなどの制御を行ってよい。
以上、本実施形態に係る環境音の重畳制御について説明した。このように、本実施形態に係る制御部130によれば、合成音と環境音とのバランスを動的に制御し、様々な通知や演出を実現することが可能となる。
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理装置10が耳装着型端末やスマートフォンなどとして実現される場合のハードウェア構成例について説明する。図14は、本開示の一実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。図14を参照すると、情報処理装置10は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理装置10は、検出された装置の状態に基づいて、当該装置による音の出力を制御する制御部130を備える。また、本開示の一実施形態に係る制御部130は、上記状態の変化量に応じて、装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、を特徴の一つとする。係る構成によれば、装置の状態をより自然な音の出力でユーザに知覚させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本開示の一実施形態に係る情報処理装置10は、人体の状態(呼吸、脳波、脈拍、体温など)をセンシングし、その変化量に基づいて、環境音や環境演出音、ノイズなどのミックスを動的に行うことで、ユーザをリラックス状態やより深い睡眠に導くことも可能である。例えば、ユーザが覚醒状態にある際、制御部130は、ホワイトノイズ成分をミックスして当該ユーザに聞かせることで、外部の騒音を意識させづらくし、自然に深い睡眠状態に誘うことも可能である。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
また、本明細書の情報処理装置10の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置10の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
を備え、
前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
情報処理装置。
(2)
前記制御部は、前記変化量が予め定められた閾値に達した場合、当該閾値に対応する出力態様で前記合成音を出力させる、
前記(1)に記載の情報処理装置。
(3)
前記状態は、前記装置に対するユーザの挙動に起因して変化する前記装置の負荷を含み、
前記制御部は、前記負荷の変化量に応じて、前記合成音の出力態様を連続的に変化させる、前記(1)または(2)に記載の情報処理装置。
(4)
前記装置は、ロボット装置を含み、
前記制御部は、前記ロボット装置に対するユーザの接触に起因して変化する前記負荷の変化量に応じて、前記ロボット装置が通常状態において出力し得る音声の出力態様を連続的に変化させる、
前記(3)に記載の情報処理装置。
(5)
前記ロボット装置は、外装の少なくとも一部に形状が変化し得る可変構造を有し、 前記制御部は、前記可変構造に対する前記ユーザの接触に伴う前記負荷の変化量に応じて、前記音声の出力態様を動的に変化させる、
前記(4)に記載の情報処理装置。
(6)
前記可変構造は、フレキシブル素材または間接のうち少なくともいずれかを含む、前記(5)に記載の情報処理装置。
(7)
前記状態は、前記装置の位置を含み、
前記制御部は、前記位置の変化量に応じて、前記合成音の出力態様を連続的に変化させる、前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記位置は、前記装置と指定場所との相対位置を含み、
前記制御部は、前記相対位置の変化量に応じて、前記合成音の出力態様を動的に変化させる、前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記合成音に対する環境音の重畳を制御する、
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
前記制御部は、前記状態の変化量に応じて、前記環境音の取り込み量を変化させる、前記(9)に記載の情報処理装置。
(11)
前記制御部は、前記装置と対象との相対位置の変化量に応じて、前記合成音の出力態様および前記環境音の取り込み量を動的に変化させる、
前記(9)または(10)に記載の情報処理装置。
(12)
前記制御部は、前記装置と対象との距離が閾値を下回った場合、前記環境音の可聴性が向上するよう制御を行う、
前記(10)または(11)に記載の情報処理装置。
(13)
前記制御部は、前記状態の変化量に応じて、前記合成音の合成に係るパラメータを連続的に変化させる、
前記(1)〜(12)のいずれかに記載の情報処理装置。
(14)
前記制御部は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプのうち少なくともいずれかに係るパラメータを変化させる、
前記(13)に記載の情報処理装置。
(15)
前記制御部は、前記装置に対するユーザの挙動に応じて、異なる出力態様で前記合成音を出力させる、
前記(1)〜(14)のいずれかに記載の情報処理装置。
(16)
前記制御部は、前記装置の動作をさらに制御する、
前記(1)〜(15)のいずれかに記載の情報処理装置。
(17)
前記制御部は、前記装置に対するユーザの接触が検出された場合、前記装置に動作を停止させる、
前記(16)に記載の情報処理装置。
(18)
前記制御部は、前記ユーザの接触が検出された方向に応じて、所定の運動方向を有する動作を停止させる、
前記(17)に記載の情報処理装置。
(19)
プロセッサが、検出された装置の状態に基づいて、前記装置による音の出力を制御すること、
を含み、
前記制御することは、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
を備え、
前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
情報処理装置、
として機能させるためのプログラム。
10 情報処理装置
110 音入力部
120 センサ部
130 制御部
140 音出力部
150 駆動部

Claims (20)

  1. 検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
    を備え、
    前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
    情報処理装置。
  2. 前記制御部は、前記変化量が予め定められた閾値に達した場合、当該閾値に対応する出力態様で前記合成音を出力させる、
    請求項1に記載の情報処理装置。
  3. 前記状態は、前記装置に対するユーザの挙動に起因して変化する前記装置の負荷を含み、
    前記制御部は、前記負荷の変化量に応じて、前記合成音の出力態様を連続的に変化させる、請求項1に記載の情報処理装置。
  4. 前記装置は、ロボット装置を含み、
    前記制御部は、前記ロボット装置に対するユーザの接触に起因して変化する前記負荷の変化量に応じて、前記ロボット装置が通常状態において出力し得る音声の出力態様を連続的に変化させる、
    請求項3に記載の情報処理装置。
  5. 前記ロボット装置は、外装の少なくとも一部に形状が変化し得る可変構造を有し、
    前記制御部は、前記可変構造に対する前記ユーザの接触に伴う前記負荷の変化量に応じて、前記音声の出力態様を動的に変化させる、
    請求項4に記載の情報処理装置。
  6. 前記可変構造は、フレキシブル素材または間接のうち少なくともいずれかを含む、請求項5に記載の情報処理装置。
  7. 前記状態は、前記装置の位置を含み、
    前記制御部は、前記位置の変化量に応じて、前記合成音の出力態様を連続的に変化させる、請求項1に記載の情報処理装置。
  8. 前記位置は、前記装置と指定場所との相対位置を含み、
    前記制御部は、前記相対位置の変化量に応じて、前記合成音の出力態様を動的に変化させる、請求項7に記載の情報処理装置。
  9. 前記制御部は、前記合成音に対する環境音の重畳を制御する、
    請求項1に記載の情報処理装置。
  10. 前記制御部は、前記状態の変化量に応じて、前記環境音の取り込み量を変化させる、請求項9に記載の情報処理装置。
  11. 前記制御部は、前記装置と対象との相対位置の変化量に応じて、前記合成音の出力態様および前記環境音の取り込み量を動的に変化させる、
    請求項9に記載の情報処理装置。
  12. 前記制御部は、前記装置と対象との距離が閾値を下回った場合、前記環境音の可聴性が向上するよう制御を行う、
    請求項10に記載の情報処理装置。
  13. 前記制御部は、前記状態の変化量に応じて、前記合成音の合成に係るパラメータを連続的に変化させる、
    請求項1に記載の情報処理装置。
  14. 前記制御部は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプのうち少なくともいずれかに係るパラメータを変化させる、
    請求項13に記載の情報処理装置。
  15. 前記制御部は、前記装置に対するユーザの挙動に応じて、異なる出力態様で前記合成音を出力させる、
    請求項1に記載の情報処理装置。
  16. 前記制御部は、前記装置の動作をさらに制御する、
    請求項1に記載の情報処理装置。
  17. 前記制御部は、前記装置に対するユーザの接触が検出された場合、前記装置に動作を停止させる、
    請求項16に記載の情報処理装置。
  18. 前記制御部は、前記ユーザの接触が検出された方向に応じて、所定の運動方向を有する動作を停止させる、
    請求項17に記載の情報処理装置。
  19. プロセッサが、検出された装置の状態に基づいて、前記装置による音の出力を制御すること、
    を含み、
    前記制御することは、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、
    をさらに含む、
    情報処理方法。
  20. コンピュータを、
    検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
    を備え、
    前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
    情報処理装置、
    として機能させるためのプログラム。
JP2020561194A 2018-12-20 2019-10-30 情報処理装置、情報処理方法、およびプログラム Pending JPWO2020129422A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024027559A JP2024055928A (ja) 2018-12-20 2024-02-27 情報処理装置及び情報処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018238714 2018-12-20
JP2018238714 2018-12-20
PCT/JP2019/042656 WO2020129422A1 (ja) 2018-12-20 2019-10-30 情報処理装置、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024027559A Division JP2024055928A (ja) 2018-12-20 2024-02-27 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2020129422A1 true JPWO2020129422A1 (ja) 2021-11-11

Family

ID=71101192

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020561194A Pending JPWO2020129422A1 (ja) 2018-12-20 2019-10-30 情報処理装置、情報処理方法、およびプログラム
JP2024027559A Pending JP2024055928A (ja) 2018-12-20 2024-02-27 情報処理装置及び情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024027559A Pending JP2024055928A (ja) 2018-12-20 2024-02-27 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US20220059070A1 (ja)
JP (2) JPWO2020129422A1 (ja)
CN (1) CN113196228A (ja)
WO (1) WO2020129422A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5816885A (en) * 1997-02-05 1998-10-06 Tiger Electronics, Ltd. Deformable sound-generating electronic toy
JP2000074687A (ja) * 1998-09-02 2000-03-14 Harness Syst Tech Res Ltd ボイスナビゲーション装置および方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2008217684A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 情報入出力装置
JP2015023989A (ja) * 2013-07-26 2015-02-05 株式会社センテクリエイションズ ぬいぐるみ玩具
JP2018163614A (ja) * 2017-03-27 2018-10-18 カシオ計算機株式会社 自律移動装置、自律移動方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4588383A (en) * 1984-04-30 1986-05-13 The New Directions Group, Inc. Interactive synthetic speech CPR trainer/prompter and method of use
JPH02250100A (ja) * 1989-03-24 1990-10-05 Mitsubishi Electric Corp 音声符合化装置
US6183337B1 (en) * 1999-06-18 2001-02-06 Design Lab Llc Electronic toy and method of generating dual track sounds for the same
AU2006352758A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Talking Head Creation System and Method
EP2342153B1 (de) * 2008-09-19 2014-01-01 Inventio AG Rufeingabevorrichtung einer aufzugsanlage
EP2331443B1 (de) * 2008-09-19 2013-05-15 Inventio AG Rufeingabevorrichtung und verfahren zum betreiben einer aufzugsanlage
JP6834522B2 (ja) * 2017-01-23 2021-02-24 スズキ株式会社 運転支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5816885A (en) * 1997-02-05 1998-10-06 Tiger Electronics, Ltd. Deformable sound-generating electronic toy
JP2000074687A (ja) * 1998-09-02 2000-03-14 Harness Syst Tech Res Ltd ボイスナビゲーション装置および方法
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2008217684A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 情報入出力装置
JP2015023989A (ja) * 2013-07-26 2015-02-05 株式会社センテクリエイションズ ぬいぐるみ玩具
JP2018163614A (ja) * 2017-03-27 2018-10-18 カシオ計算機株式会社 自律移動装置、自律移動方法およびプログラム

Also Published As

Publication number Publication date
US20220059070A1 (en) 2022-02-24
JP2024055928A (ja) 2024-04-19
WO2020129422A1 (ja) 2020-06-25
CN113196228A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
JP6794483B2 (ja) 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法
JP6744940B2 (ja) 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法
CN111655135B (zh) 用于车辆中的生理感测的设备、系统和方法
US11726574B2 (en) System for modifying and providing tactile stimulation
US20150070151A1 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
KR20190105519A (ko) 포커스 레벨에 기초한 인지 주변음 제어
KR20150037251A (ko) 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
JP2015170174A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2002049385A (ja) 音声合成装置、疑似感情表現装置及び音声合成方法
KR20210116309A (ko) 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술
KR20190039008A (ko) 햅틱 피치 제어
CN114786998A (zh) 车辆喇叭声输出装置
JP2011130099A (ja) 入眠起床用音環境生成装置
JPWO2020129422A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2005279896A (ja) ロボット
KR102519599B1 (ko) 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법
KR102452213B1 (ko) 멀미 현상을 완화 시키기 위한 음향 주파수 주입장치 및 방법
EP3671724A1 (en) Playback of personalised audio
US20230239618A1 (en) Wearable device for providing multi-modality and operation method thereof
EP3772735B1 (en) Assistance system and method for providing information to a user using speech output
US20220413795A1 (en) Autonomous mobile body, information processing method, program, and information processing apparatus
Johansen et al. Mapping auditory percepts into visual interfaces for hearing impaired users
JP2023180836A (ja) 制御装置及び制御システム
JP2023085752A (ja) 情報提供支援方法、情報提供支援装置、情報提供支援プログラム、及び、情報提供システム
JP2024059399A (ja) 振動制御システム、振動制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231128