JP2024055928A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】移動体の状態をより自然な音の出力でユーザに知覚させる。【解決手段】複数のセンサ情報を収集するセンサ部と、収集された前記センサ情報から移動体の状態の変化量を検出し、前記移動体の状態の変化量に基づき、前記移動体からの音の出力を連続的に変化させる制御部とを備え、前記移動体の状態の変化量は、前記移動体の安全性の変化量、及び、前記移動体の位置の変化量の少なくとも１つを含む、情報処理装置を提供する。【選択図】図１０

Description

本開示は、情報処理装置及び情報処理方法に関する。

近年、電気的な制御に基づいて音を出力する種々の装置が普及している。また、収集したセンサ情報に基づいて、音の出力を制御する装置も開発されている。例えば、特許文献１には、装置の動きを加速度センサにより検出し、複数の音を出力する電子機器が開示されている。

特開２００７－１８４８３４号公報

ところで、装置の状態に基づいて出力音を制御する場合において、所定の状態が検出されたことに基づき通常状態とは異なる種別の音を出力する場合、装置の用途やコンセプトによっては不自然に聞こえるケースも想定される。

本開示によれば、複数のセンサ情報を収集するセンサ部と、収集された前記センサ情報から移動体の状態の変化量を検出し、前記移動体の状態の変化量に基づき、前記移動体からの音の出力を連続的に変化させる制御部と、を備え、前記移動体の状態の変化量は、前記移動体の安全性の変化量、及び、前記移動体の位置の変化量の少なくとも１つを含む、情報処理装置が提供される。

また、本開示によれば、プロセッサが、複数のセンサ情報を収集するセンサ部からの前記センサ情報に基づいて、移動体の状態の変化量を検出し、前記移動体の状態の変化量に基づき、前記移動体からの音の出力を連続的に変化させることを含み、前記移動体の状態の変化量は、前記移動体の安全性の変化量、及び、前記移動体の位置の変化量の少なくとも１つを含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、を備え、前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、情報処理装置、として機能させるためのプログラムが提供される。

本開示の一実施形態の概要について説明するための図である。 同実施形態に係る情報処理装置の物理構成例を模式的に示した図である。 同実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る状態の変化量に応じた出力態様制御の流れを示すフローチャートである。 同実施形態に係るユーザ挙動の種別に応じた合成音の出力態様の制御について説明するための図である。 同実施形態に係る接触検出に伴う動作の停止制御について説明するための図である。 同実施形態に係る合成音に係るパラメータについて説明するための図である。 同実施形態に係るピッチとスピードの制御により表現され得る感情の一例を示す図である。 同実施形態に係る移動体の負荷の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。 同実施形態に係る移動体の安全性の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。 同実施形態に係る相対位置の変化量に基づく合成音の出力態様制御について説明するための図である。 同実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。 同実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。 同実施形態に係る情報処理装置が耳装着型端末である場合の環境音重畳制御について説明するための図である。 同実施形態に係る情報処理装置が耳装着型端末である場合の環境音重畳制御について説明するための図である。 本開示の一実施形態に係る情報処理装置が耳装着型端末やスマートフォンなどとして実現される場合のハードウェア構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．概要
１．２．情報処理装置１０の物理構成例
１．３．情報処理装置１０の機能構成例
１．４．機能の詳細
１．５．合成音の生成
１．６．適用例
２．ハードウェア構成例
３．まとめ

＜１．第１の実施形態＞
＜＜１．１．概要＞＞
まず、本開示の一実施形態の概要について述べる。上述したように、近年においては、電気的な制御に基づいて音を出力する種々の装置が普及している。上記のような装置には、例えば、特許文献１に記載の装置のように、収集したセンサ情報に基づいて出力音を制御するものも存在する。

ここで、例えば、検出した装置の状態に応じて、ユーザに何かしらの注意喚起や警告を行う場合を想定する。この際、例えば、通常状態では出力しない特別な警告音を用いることで、ユーザに対する訴求の効果を高めることも考えられる。

しかし、装置の用途やコンセプトによっては、上記のような警告音の出力が、不自然に聞こえるケースも想定される。

例えば、生命体を模したロボット装置等の場合、通常状態においては、コンセプトに応じた態様の音声（例えば、若い女性の声やイヌの鳴き声など）を出力するのが一般的である。一方、ここで、ロボット装置が所定の状態となったことに基づき無機質な警告音を出力する場合、上記のようなコンセプトに反すると共に、ユーザに強い違和感や必要以上の戸惑いを覚えさせる可能性がある。

本開示の一実施形態に係る技術思想は上記のような点に着目して発想されたものであり、装置の状態をより自然な音の出力でユーザに知覚させるものである。このために、本開示の一実施形態に係る情報処理装置１０は、検出された装置の状態に基づいて、当該装置による音の出力を制御する制御部１３０を備える。また、本開示の一実施形態に係る制御部１３０は、上記状態の変化量に応じて、装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、を特徴の一つとする。

ここで、上記の通常状態において出力し得る合成音とは、例えば、上述のロボット装置の場合、コンセプトに応じた態様の非言語音声または言語音声であってよい。すなわち、本実施形態に係る制御部１３０は、警告音に代えて、ロボット装置が普段から発している声や鳴き声の出力態様を連続的に変化させることで、より自然にユーザに装置の状態を知らしめることが可能である。

図１は、本実施形態の概要について説明するための図である。図１では、本実施形態に係る情報処理装置１０が仮想の生命体を模したロボット装置である場合の一例が示されている。本実施形態に係る情報処理装置１０は、例えば図１に示すように、楕円体に近い形状を有し、非言語音声と自律的な動作を介してユーザとコミュニケーションを行うロボット装置であってもよい。本実施形態に係る情報処理装置１０は、ＦＭ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ）音源に係る各種のパラメータを動的に変化させることで、非言語音声でありながらも、あたかも生命体が喋っているような感情豊かな音声を表現することができる。

また、本実施形態に係る情報処理装置１０の外装の一部には、シリコン樹脂などのフレキシブル素材が用いられてもよい。図１に示す一例の場合、情報処理装置１０の外装には、底部を除き全体的にフレキシブル素材が用いられている。このため、本実施形態に係る情報処理装置１０は、ユーザによる接触（例えば、つつく、つまむ、など）に応じて柔軟に形状を変化させることができる。

しかし、外装の内部には各種の部品が存在することから、上記のような接触の強度によっては、内部の部品が損傷する恐れもある。ここで、例えば、内部に固い構造物を配置することで過度の変形に伴う部品の損傷等を防止することも可能である。しかし、この場合、本来は柔軟に変形が可能なはずのフレキシブル素材の特性が相殺され、ユーザの操作感が損なわれることから、ユーザが情報処理装置１０を限界まで変形させるよりも前に、操作を停止してもらうための工夫が求められる。このため、本実施形態に係る情報処理装置１０は、ユーザの接触などの挙動により、部品の損傷などの看過できない装置の負荷が検出された場合、合成音の出力態様を連続的に変化させることで、ユーザに装置の負荷状況を暗示的に通知してよい。

図１に示す一例の場合、本実施形態に係る制御部１３０は、左側に示す通常状態から中央に示すようにユーザの接触により外装が変形した場合、当該接触に伴う負荷の変化量に基づいて、合成音すなわち鳴き声を想起させる音声を動的かつ連続的に変化させる。

なお、本実施形態に係る合成音の出力態様には、例えば、音色、音調、音圧などが含まれる。制御部１３０は、例えば、合成音に係る周波数を制御することで音色を変化させることができる。このような制御によれば、ユーザの接触に対し、例えば、情報処理装置１０が痛がっているような表現を行うことができ、ユーザによる過度な接触を抑止することが可能となる。

また、ユーザの接触に起因する負荷の変化量が予め定められた閾値（以下、限界値、と称する場合がある）に達した場合、本実施形態に係る制御部１３０は、図中右側に示すように、当該閾値に対応する出力態様で合成音を出力させる。この際、制御部１３０は、例えば、悲鳴を想起させるような合成音を出力させてもよい。

本実施形態に係る制御部１３０による上記の制御によれば、特別な警告音等を出力するよりもより自然かつ直観的に、ユーザに装置の負荷の限界を知覚させることが可能となる。

＜＜１．２．情報処理装置１０の物理構成例＞＞
次に、本実施形態に係る情報処理装置１０の物理構成例について説明する。図２は、本実施形態に係る情報処理装置１０の物理構成例を模式的に示した図である。図２に示すように、本実施形態に係る情報処理装置１０は、可変構造５１０、静電容量センサ５２０、圧力センサ５３０、アクチュエータ５４０、マイクロフォン５５０、およびスピーカ５６０、光源５７０などを備える。

（可変構造５１０）
本実施形態に係る可変構造５１０は、外力に応じて形状が変化する構造である。本実施形態に係る可変構造５１０は、例えば、上述したフレキシブル素材により実現される。また、本実施形態に係る可変構造５１０は、関節等を含んでよい。本実施形態に係る情報処理装置１０は、外装の少なくとも一部に可変構造５１０を有することを特徴の一つとする。この際、本実施形態に係る制御部１３０は、可変構造５１０に対するユーザの接触に伴う装置負荷の変化量に応じて、合成音の出力態様を動的に制御する。

（静電容量センサ５２０）
本実施形態に係る静電容量センサ５２０は、撫でるなどの、ユーザによる接触を検出する。本実施形態に係る静電容量センサ５２０による接触の検出については、別途詳細に説明する。

（圧力センサ５３０）
本実施形態に係る圧力センサ５３０は、上下方向におけるユーザの接触を検出する。本実施形態に係る圧力センサ５３０は、例えば、指による押し込みなどのユーザの接触を検出することができる。上記のようなユーザの接触は、情報処理装置１０の底部方向に力が加わる運動であるため、本実施形態に係る圧力センサ５３０は、情報処理装置１０の底部付近に配置されてよい。係る配置によれば、楕円体の形状に合わせてセンサを配置しなくとも、上下方向におけるユーザの接触を容易に検出することが可能となる。

（アクチュエータ５４０）
本実施形態に係るアクチュエータ５４０は、情報処理装置１０の移動や回転運動などを実現する構成である。

（マイクロフォン５５０）
本実施形態に係るマイクロフォン５５０は、ユーザの発話などの音を検出する。本実施形態に係る情報処理装置１０は、マイクロフォン５５０が検出したユーザの発話に反応して、動作を行ったり、音声を出力することが可能である。

（スピーカ５６０）
本実施形態に係るスピーカ５６０は、制御部１３０による制御に基づいて、合成音を出力する。

（光源５７０）
本実施形態に係る光源５７０は、制御部１３０による制御に基づいて、光を照射する。光源５７０は、例えば、ＬＥＤなどにより実現される。本実施形態に係る光源５７０は、例えば、図示するように、情報処理装置１０の目に対応する構造であってもよい。

以上、本実施形態に係る情報処理装置１０の代表的な物理構成例について説明した。なお、図２に示した構成はあくまで一例であり、本実施形態に係る情報処理装置１０は、上記で説明した構成に加え、例えばプロセッサなどの他の構成を備える。本実施形態に係る情報処理装置１０の物理構成は、仕様等に応じて柔軟に変形され得る。

＜＜１．３．情報処理装置１０の機能構成例＞＞
次に、本実施形態に係る情報処理装置１０の機能構成例について説明する。図３は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図３に示すように、本実施形態に係る情報処理装置１０は、音入力部１１０、センサ部１２０、制御部１３０、音出力部１４０、および駆動部１５０などを備える。

（音入力部１１０）
本実施形態に係る音入力部１１０は、ユーザの発話や環境音などを収集する。このために、本実施形態に係る音入力部１１０は、マイクロフォン５５０などを備える。

（センサ部１２０）
本実施形態に係るセンサ部１２０は、各種のセンサ情報を収集する。このために、本実施形態に係るセンサ部１２０は、例えば、静電容量センサ５２０や圧力センサ５３０を備える。また、本実施形態に係るセンサ部１２０は、気圧センサや変位センサなどを備えてもよい。本実施形態に係るセンサ部１２０は、センシングの対象に応じた各種のセンサを備え得る。

（制御部１３０）
本実施形態に係る制御部１３０は、情報処理装置１０が備える各構成を制御する。本実施形態に係る制御部１３０は、ＣＰＵなどのプロセッサにより実現される。

本実施形態に係る制御部１３０は、例えば、センサ部１２０などが検出した情報処理装置１０の状態に基づいて、音出力部１４０による音の出力を制御する。この際、本実施形態に係る制御部１３０は、状態の変化量に応じて、情報処理装置１０が通常状態である場合に出力され得る合成音の出力態様を動的に変化させること、を特徴の一つとする。本実施形態に係る制御部１３０が有する機能の詳細については別途後述する。

（音出力部１４０）
本実施形態に係る音出力部１４０は、制御部１３０による制御に基づいて、合成音を出力する。このために、本実施形態に係る音出力部１４０は、例えば、スピーカ５６０や、アンプなどを備える。

（駆動部１５０）
本実施形態に係る駆動部１５０は、制御部１３０による制御に基づいて、各種の動作を行う。このために、本実施形態に係る駆動部１５０は、例えば、アクチュエータなどを備える。

以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図３に示した構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理装置１０は、各種の視覚情報を表示する表示部や、ユーザの画像を撮影する撮影部をさらに備えてもよい。また、本実施形態に係る制御部１３０は、上述した他の構成とは別途の装置として実現されてもよい。この場合、制御部１３０は、ネットワークを介して音情報やセンサ情報を受信し、音出力部１４０や駆動部１５０を遠隔で制御する。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。

＜＜１．４．機能の詳細＞＞
次に、本実施形態に係る制御部１３０が有する機能について詳細に説明する。上述したように、本実施形態に係る制御部１３０は、例えば、ユーザの接触などに起因して変化する情報処理装置１０の負荷に係る変化量に基づいて、音出力部１４０に出力させる合成音の出力態様を動的かつ連続的に変化させることを特徴の一つとする。当該特徴によれば、装置の状態をより自然かつ直観的にユーザに知覚させることが可能となる。

この際、本実施形態に係る情報処理装置１０は、例えば、図４に示すような流れで処理を行う。図４は、本実施形態に係る状態の変化量に応じた出力態様制御の流れを示すフローチャートである。

図４を参照すると、まず、センサ部１２０が、情報処理装置１０の状態の変化量を検出する（Ｓ１１０１）。上述したように、上記の状態にはユーザの挙動に起因して変化する情報処理装置１０の負荷が含まれる。センサ部１２０は、圧力センサ５３０が検出したユーザによる押し込みの量を上記負荷の変化量として検出してもよい。

次に、制御部１３０が、ステップＳ１１０１において検出された変化量が閾値を固定るか否かを判定する（Ｓ１１０２）。

ここで、変化量が閾値以下である場合（Ｓ１１０２：ＮＯ）、情報処理装置１０はステップＳ１１０１に復帰し、繰り返し変化量の検出を実行する。

一方、変化量が閾値を超えている場合（Ｓ１１０２：ＹＥＳ）、制御部１３０は、続いて、変化量が限界値に達しているか否かを判定する（Ｓ１１０３）。なお、上記の限界値は、例えば、情報処理装置１０が許容できる最大負荷に対応する値であってよい。例えば、ユーザによる押し込みに起因する負荷の場合、可変構造５１０の内部に配置される静電容量センサ５２０などの構成に損傷が発生し得る押し込み量（圧力）が限界値として設定されてもよい。

ここで、変化量が限界値に達していない場合（Ｓ１１０３：ＮＯ）、制御部１３０は、変化量に応じて、音出力部１４０に出力させる合成音を同定かつ連続的に変化させる（Ｓ１１０４）。

一方、変化量が限界値に達している場合（Ｓ１１０３：ＹＥＳ）、制御部１３０は、変化量が限界に達していることを示す合成音を音出力部１４０に出力させる（Ｓ１１０５）。すなわち、制御部１３０は、例えば、上述した悲鳴のような、限界値に対応する出力態様で合成音を出力させる。

なお、ステップＳ１１０４またはＳ１１０５における処理の後、情報処理装置１０はステップＳ１１０１に復帰し、上述した処理を繰り返し実行する。

以上、本実施形態に係る装置負荷などの状態の変化量に応じた出力態様制御の流れについて詳細に説明した。なお、本実施形態に係る状態の変化量は、装置の負荷に限定されず、例えば、撫でる、触る等のユーザの操作量や、その他の各種の状態を含むものである。次に、本実施形態に係るユーザ挙動に応じた合成音の出力態様の制御について述べる。本実施形態に係る制御部１３０は、センサ部１２０が検出したユーザの挙動応じて、音出力部１４０に出力させる合成音の出力態様を制御することができる。例えば、本実施形態に係る制御部１３０は、検出された挙動の種別や強度、強度などに応じて、異なる出力態様で合成音を出力させてもよい。

図５は、本実施形態に係るユーザ挙動の種別に応じた合成音の出力態様の制御について説明するための図である。上述したように、本実施形態に係るセンサ部１２０は、静電容量センサ５２０や圧力センサ５３０によりユーザの接触を検出することができる。

本実施形態に係るセンサ部１２０は、例えば、図中左側に示すように、情報処理装置１０の底部付近に配置された圧力センサ５３０により、ユーザによる押し込みなどの上下方向の接触を検出することができる。

また、センサ部１２０は、例えば、図中右側に示すように、情報処理装置１０の上部に配置された静電容量センサ５２０により、ユーザによる撫でるなどの接触を検出することができる。本実施形態に係る情報処理装置１０には、例えば、図示するように、複数の静電容量センサ５２０ａ～５２０ｃが並列して備えられる。上記のような配置によれば、接触を静電容量センサ５２０、５２０ｂ、５２０ｃと順に検出することで、接触部位が左から右に変化していること、すなわち右方向に撫でられていることを検出することができる。

なお、図５に示す静電容量センサ５２０の配置はあくまで一例である。に係る静電容量センサ５２０は、例えば、格子状などに配置されてもよい。また、本実施形態に係る情報処理装置１０は、静電容量センサ５２０に代えて、タッチパネルなどの接触座標が検出可能なデバイスを備えてもよい。

以上説明したように、本実施形態に係るセンサ部１２０は、複数のセンサを用いることで、ユーザによる接触の種別を検出することが可能である。この際、本実施形態に係る制御部１３０は、センサ部１２０が検出した接触の種別などに応じて、異なる出力態様で合成音を出力させてよい。

例えば、制御部１３０は、押し込みが検出された場合と、撫でる行為が検出された場合とでは、異なる音色、音調、音圧で合成音を出力してもよい。制御部１３０は、例えば、押し込みが検出された場合には、不快感に対応する出力態様で合成音を出力させ、撫でる行為が検出された場合には、快感に対応する出力態様で合成音を出力させてもよい。

また、制御部１３０は、例えば、接触の速度や強度に応じて合成音の出力態様を制御してもよい。一例としは、制御部１３０は、接触の速度が比較的早い場合には高い周波数の合成音を出力させ、速度が比較的遅い場合には低い周波数の合成音を出力させてもよい。

また、制御部１３０は、接触の速度が速すぎる場合には情報処理装置１０が不快感を、速度がゆっくりの場合には情報処理装置１０が快感を感じるとみなし、それぞれに対応した出力態様で合成音を出力させることもできる。

以上、本実施形態に係る接触に応じた合成音の出力態様の制御について説明した。本実施形態に係る制御部１３０が有する上記の機能によれば、接触に応じて様々な出力態様で合成音を出力させることができ、ユーザに新鮮さを与え、長く興味を引きつけることが可能となる。

次に、本実施形態に係る接触検出に伴う動作の停止制御について述べる。本実施形態に係る制御部１３０は、合成音の出力制御に加え、駆動部１５０による各種の動作を制御してよい。この際、本実施形態に係る制御部１３０は、ユーザによる接触が検出されたことに基づいて、駆動部１５０に所定の動作を停止させてもよい。

本実施形態に係る情報処理装置１０は、例えば、水平方向への移動、垂直方向における上下運動、また水平方向における回転運動を行うことが可能である。ここで、上記のような動作の最中にユーザが情報処理装置１０に接触した場合、動作の種別や速度によってはユーザの手のひら等が無理に変形させるような動きになり、当該ユーザに不快な感情を想起させる場合がある。また、情報処理装置１０が比較的大きい装置である場合、ユーザが怪我を負ったり痛みを感じる可能性もある。このような事態を回避するため、本実施形態に係る制御部１３０は、ユーザの接触が検出された方向に応じて、所定の運動方向を有する動作を停止させてよい。

図６は、本実施形態に係る接触検出に伴う動作の停止制御について説明するための図である。例えば、図中上段には、情報処理装置１０が水平方向における回転運動を行っている際に、ユーザによる押し込み、すなわち上下方向の接触が行われた場合が示されている。この場合、押し込みの位置によってはユーザの指が情報処理装置１０の回転運動により無理に変形される等の可能性があることから、制御部１３０は、ユーザに不快な感情を想起させること等を防止するために、駆動部１５０を制御して回転運動を停止させてよい。

また、図中下段には、情報処理装置１０が水平方向への移動を行っている際に、ユーザによる押し込み、すなわち上下方向の接触が行われた場合が示されている。この場合も同様に、ユーザの指が情報処理装置１０の移動により無理に変形される可能性がある。このため、制御部１３０は、ユーザに不快な感情を想起させること等を防止するために、駆動部１５０を制御して水平方向への移動を停止させてよい。

一方、情報処理装置１０が垂直方向における上限運動を行っている場合には、外装にフレキシブル素材が用いられていることもあり、ユーザが不快な感情を想起したり、怪我を負う可能性は低いと想定される。このため、本実施形態に係る制御部１３０は、上下運動を継続して実行させてもよい。

以上、本実施形態に係る接触検出に伴う動作の停止制御について説明した。上述したように、本実施形態に係る制御部１３０によれば、接触の検出方向や運動方向に応じて、情報処理装置１０の動作を停止させることで、ユーザに不快な感情を想起させることなく、またユーザの安全を確保することができる。

なお、上記で説明した動作の種別はあくまで一例であり、制御部１３０による停止制御は、情報処理装置１０の重量や形状、素材、運動の速度などに応じて適宜設計される。また、本実施形態に係る制御部１３０は、例えば、押し込みの完了後にユーザの方に振り向くなどの動作を情報処理装置１０に行わせるなどの、接触に対する動作フィードバックを制御してもよい。

＜＜１．５．合成音の生成＞＞
次に、本実施形態に係る合成音の生成について詳細に説明する。上述したように、本実施形態に係る制御部１３０は、情報処理装置１０の状態の変化量に応じて、合成音の出力態様を動的かつ連続的に変化させる。この際、制御部１３０は、ＦＭ音源の合成に係る各種のパラメータを動的かつ連続的に変化させることで、合成音の印象や感情的な意味合いを多様に表現することが可能である。

図７は、本実施形態の合成音に係るパラメータについて説明するための図である。図７には、ＦＭ音源の合成を行うシンセサイザーが備える構成と、各構成に係るパラメータの変化により表現される出力態様の関係が示されている。

制御部１３０は、例えば、オシレータに係るパラメータを変化させることで、音声の基本的な質感を変化させることができる。一例としては、サイン波とすることで柔らかい印象を演出することができ、また鋸歯形状とすることで鋭い印象を演出することができる。

また、制御部１３０は、例えば、ピッチコントローラのパラメータ、すなわちピッチを制御することで、感情の上下や、性別の差、またイントネーションなどを演出することができる。

図８は、本実施形態に係るピッチとスピードの制御により表現され得る感情の一例を示す図である。なお、図８におけるハッチング領域は音量を示している。音声のピッチやスピードは、当該音声の感情の想起に強く影響することが知られている。制御部１３０は、例えば、ピッチとスピードを比較的高く設定することで、喜びや怒りの度合いなどを演出することが可能である。反対に、ピッチとスピードを比較的低く設定することで、悲哀を表現することもできる。このように、本実施形態に係る制御部１３０は、ピッチやスピードを制御することで、種々の感情や、その度合いを演出することが可能である。

再び図７を参照して説明を続ける。制御部１３０は、フィルタのパラメータを制御することで、音の明瞭さ（口の開け方）を表現することも可能である。制御部１３０は、例えば、ハイカットフィルタの周波数を上下させることで、こもったような音や開いたような音を演出することができる。

また、制御部１３０は、アンプの時間的な変化により声量のアクセントや、立ち上がり方また終わり方の印象を変化させることも可能である。

また、制御部１３０は、モジュレータのパラメータを制御することで、声の震えや滑らかさを表現してもよい。

このように、本実施形態に係る制御部１３０は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプなどに係る各パラメータを変化させることで、印象や感情的な意味合いを多様に表現することが可能である。

＜＜１．６．適用例＞＞
以上、本実施形態に情報処理装置１０が有する基本的な機能について説明した。なお、上記では、本実施形態に係る情報処理装置１０が生命体を模したロボット装置である場合を一例に説明したが、本実施形態に係る情報処理装置１０の形態は係る例に限定されない。本実施形態に係る技術思想は、多様な装置に広く適用可能である。

例えば、本実施形態に係る情報処理装置１０は、車両、などの移動体や、移動体に搭載される装置であってもよい。図９は、本実施形態に係る移動体の負荷の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。

例えば、図９の左側に示す一例の場合、ユーザはアクセルを現在速度に合わせてゆっくりと踏み込む操作を行っている。このような操作は燃費の向上につながることから、制御部１３０は、通常状態における合成エンジン音を音出力部１４０に出力させてよい。

一方、図９の左側に示す一例の場合、ユーザはアクセルを急速に強く踏み込む操作を行っている。このような燃費の低下に起因する操作が検出された場合、制御部１３０は、移動体に負荷が掛かっていると推定し、合成エンジン音の出力態様を動的かつ連続的に変化させる、この際、制御部１３０は、例えば、フィルタを制御することで、高音域の成分を増加させ鋭い印象の合成エンジン音を出力させたり、音量を上げるなどの制御を行ってもよい。

また、本実施形態に係る移動体の状態は、負荷に限定されず、例えば、安全性を含んでもよい。図１０は、本実施形態に係る移動体の安全性の変化量に基づく合成エンジン音の出力態様制御について説明するための図である。

例えば、図１０の左側に示す一例の場合、ユーザはハンドル操作により、走行車線の中央付近を移動体が走行するように運転を行っている。この場合、制御部１３０は、移動体やユーザの安全性が保たれていると推定し、通常状態における合成エンジン音を音出力部１４０に出力させてよい。

一方、図１０の右側に示す一例の場合、移動体は中央線に近づいた状態で走行している。このように安全性の低下に影響する運転が検出された場合、制御部１３０は、安全性の低下度合い（例えば、中央線への接近度合い）に応じて、合成音の出力態様を動的かつ連続的に変化させる。制御部１３０は、例えば、ピッチを変化させることで、怒りや恐れを想起させる合成エンジン音を音出力部１４０に出力させてもよい。

また、本実施形態に係る移動体の状態は、例えば、移動体の位置を含んでもよい。より具体的には、本実施形態に係る制御部１３０は、目的地などの指定位置と移動体との相対位置の変化量に応じて、合成音の出力音を動的に変化させてよい。

図１１は、本実施形態に係る相対位置の変化量に基づく合成音の出力態様制御について説明するための図である。図１１の上段には、指定場所として登録された目的地から比較的離れた場所を移動体が走行している状況が示されている。この際、制御部１３０は、通常状態における合成エンジン音やナビゲーション音声を音出力部１４０に出力させてもよい。

一方、図１１の下段には、移動体が目的地に近づいた状況が示されている。この際、本実施形態に係る制御部１３０は、目的地と移動体との相対距離が閾値が近づいたことに基づいて、合成エンジン音やナビゲーション音声などの出力態様を動的かつ連続的に制御してよい。制御部１３０は、例えば、音量を上げたり、より柔らかい音や心地良い音が出力されるように制御を行ってもよい。

なお、制御部１３０は、目的地から移動体が遠ざかった場合にも出力態様の制御を行ってもよい。この場合、制御部１３０は、音量を小さくしたり、より鋭い音が出力されるように制御を行ってもよい。また、制御部１３０は、寄り道などにより目的地への到着時間が遅れそうな際にも類似する制御を行うことができる。

以上、本実施形態に係る情報処理装置１０が、移動体や移動体に搭載される装置として実現される場合の出力態様制御の一例を述べた。なお、本実施形態に係る合成音は、環境音や操作対象以外の事象を基に生成されてもよい。本実施形態に係る制御部１３０は、対象する事象の違いによって合成音の出力態様を変化させることも可能である。

また、本実施形態に係る制御部１３０は、目的の操作を誘発するような合成音を音出力部１４０に出力させてもよい。例えば、移動体が道路を左折する場合、制御部１３０は、交差点付近に近づくにつれ、合成ウィンカー音や合成エンジン音を大きくするなどの制御を行うことができる。

さらには、本実施形態に係る制御部１３０は、触覚フィードバックの出力態様を制御することも可能である。移動体の場合、上記の触覚フィードバックは、例えば、アクセルやハンドルなどから提示され得る。この際、制御部１３０は、例えば、振動の継続時間や間隔、強度などを動的かつ連続的に変化させる。

例えば、制御部１３０は、安全性が高い場合には、［１秒振動＋２秒停止］のサイクルが繰り返し行われるように制御を行う。一方、制御部１３０は、安全性が閾値を下回った場合には、［２．５秒振動＋０．５秒提示］のサイクルの繰り返しが行われるように制御し、かつ振動時間の割合を安全性の低下の度合いに応じて変化させてもよい。または、制御部１３０は、［０．２５秒振動＋０．５秒停止］のように間隔を密にすることもできる。

続いて、本実施形態に係る合成音に対する環境音の重畳について説明する。本実施形態に係る制御部１３０は、合成音の出力制御に加え、当該合成音に対する環境音の重畳を制御することができる。この際、本実施形態に係る制御部１３０は、状態の変化量に応じて環境音の取り込み量を制御することで、合成音と環境音とのバランスを動的に制御し、様々な通知や演出を実現することが可能である。

例えば、本実施形態に係る制御部１３０は、情報処理装置１０と対象との相対位置の変化量に応じて、合成音の出力態様や環境音の取り込み量を動的に変化させてもよい。ここで、上記の対象には、情報処理装置１０に接近する他の物体が含まれる。

図１２Ａおよび図１２Ｂは、本実施形態に係る対象の接近に基づく環境音の重畳制御について説明するための図である。図１２Ａの上段には、移動体である情報処理装置１０に対し、上記対象である緊急車両ＥＶが接近している状況が示されている。

ここでは、まだ情報処理装置１０と緊急車両ＥＶとの距離に余裕があることから、制御部１３０は、図１２Ａの下段に示すように、ナビゲーション音声ＮＳの音量や緊急車両ＥＶが発するサイレンなどの環境音ＥＳの取り込み量を通常状態と同様に制御してよい。

一方、図１２Ｂの上段には、緊急車両ＥＶが移動体により接近し、移動体と緊急車両ＥＶとの距離が閾値を下回った状況が示されている。

この際、本実施形態に係る制御部１３０は、緊急車両ＥＶが発するサイレンや指示音声などの環境音ＥＳの可聴性が向上するように制御を行う。制御部１３０は、例えば、ナビゲーション音声ＮＳの音量を下げ、環境音ＥＳの取り込み量を増加させることで、ユーザが環境音ＥＳを聞き取りやすい状況を創出することが可能である。なお、上記では、移動体が自動車である場合の一例を示したが、本実施形態に係る移動体は自転車などであってもよい。自転車の場合、環境音の取り込み量を増加させることで、ユーザが接近する自動車にいち早く気が付き危険を回避するなどの効果も期待される。

また、上記のような環境音の重畳制御は、移動体以外の装置へも適用が可能である。図１３Ａおよび図１３Ｂは、本実施形態に係る情報処理装置１０が耳装着型端末である場合の環境音重畳制御について説明するための図である。

図１３Ａおよび図１３Ｂには、ヘッドホンやイヤホンなどの耳装着型端末として実現される情報処理装置１０を装着したユーザが、電車ＥＴに乗車している状況が示されている。

図１３Ａに示す一例には、ユーザが乗車する電車ＥＴと、ユーザの目的地である駅との距離に、まだ余裕がある状況が示されている。この際、本実施形態に係る制御部１３０は、対象である駅と情報処理装置１０との距離が閾値以上であることに基づいて、音出力部１４０が再生する楽曲の音量や環境音ＥＳの取り込み量を通常状態と同様に制御してよい。

一方、図１３Ｂに示す一例には、電車ＥＴと対象である駅との距離が閾値を下回った状況が示されている。この際、本実施形態に係る制御部１３０は、上記駅への到着に係る車内アナウンスＶＡを含む環境音ＥＳの可聴性が向上するように制御を行い、ユーザの乗り過ごしを効果的に防止することができる。具体的には、制御部１３０は、音出力部１４０が再生する楽曲の音量を下げたり、環境音ＥＳの取り込み量を増加させるなどの制御を行ってよい。

以上、本実施形態に係る環境音の重畳制御について説明した。このように、本実施形態に係る制御部１３０によれば、合成音と環境音とのバランスを動的に制御し、様々な通知や演出を実現することが可能となる。

＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る情報処理装置１０が耳装着型端末やスマートフォンなどとして実現される場合のハードウェア構成例について説明する。図１４は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１４を参照すると、情報処理装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る情報処理装置１０は、検出された装置の状態に基づいて、当該装置による音の出力を制御する制御部１３０を備える。また、本開示の一実施形態に係る制御部１３０は、上記状態の変化量に応じて、装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、を特徴の一つとする。係る構成によれば、装置の状態をより自然な音の出力でユーザに知覚させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本開示の一実施形態に係る情報処理装置１０は、人体の状態（呼吸、脳波、脈拍、体温など）をセンシングし、その変化量に基づいて、環境音や環境演出音、ノイズなどのミックスを動的に行うことで、ユーザをリラックス状態やより深い睡眠に導くことも可能である。例えば、ユーザが覚醒状態にある際、制御部１３０は、ホワイトノイズ成分をミックスして当該ユーザに聞かせることで、外部の騒音を意識させづらくし、自然に深い睡眠状態に誘うことも可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。

また、本明細書の情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
を備え、
前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
情報処理装置。
（２）
前記制御部は、前記変化量が予め定められた閾値に達した場合、当該閾値に対応する出力態様で前記合成音を出力させる、
前記（１）に記載の情報処理装置。
（３）
前記状態は、前記装置に対するユーザの挙動に起因して変化する前記装置の負荷を含み、
前記制御部は、前記負荷の変化量に応じて、前記合成音の出力態様を連続的に変化させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記装置は、ロボット装置を含み、
前記制御部は、前記ロボット装置に対するユーザの接触に起因して変化する前記負荷の変化量に応じて、前記ロボット装置が通常状態において出力し得る音声の出力態様を連続的に変化させる、
前記（３）に記載の情報処理装置。
（５）
前記ロボット装置は、外装の少なくとも一部に形状が変化し得る可変構造を有し、 前記制御部は、前記可変構造に対する前記ユーザの接触に伴う前記負荷の変化量に応じて、前記音声の出力態様を動的に変化させる、
前記（４）に記載の情報処理装置。
（６）
前記可変構造は、フレキシブル素材または間接のうち少なくともいずれかを含む、前記（５）に記載の情報処理装置。
（７）
前記状態は、前記装置の位置を含み、
前記制御部は、前記位置の変化量に応じて、前記合成音の出力態様を連続的に変化させる、前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
前記位置は、前記装置と指定場所との相対位置を含み、
前記制御部は、前記相対位置の変化量に応じて、前記合成音の出力態様を動的に変化させる、前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記合成音に対する環境音の重畳を制御する、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、前記状態の変化量に応じて、前記環境音の取り込み量を変化させる、前記（９）に記載の情報処理装置。
（１１）
前記制御部は、前記装置と対象との相対位置の変化量に応じて、前記合成音の出力態様および前記環境音の取り込み量を動的に変化させる、
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記装置と対象との距離が閾値を下回った場合、前記環境音の可聴性が向上するよう制御を行う、
前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記制御部は、前記状態の変化量に応じて、前記合成音の合成に係るパラメータを連続的に変化させる、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
前記制御部は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプのうち少なくともいずれかに係るパラメータを変化させる、
前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記装置に対するユーザの挙動に応じて、異なる出力態様で前記合成音を出力させる、
前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
前記制御部は、前記装置の動作をさらに制御する、
前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
前記制御部は、前記装置に対するユーザの接触が検出された場合、前記装置に動作を停止させる、
前記（１６）に記載の情報処理装置。
（１８）
前記制御部は、前記ユーザの接触が検出された方向に応じて、所定の運動方向を有する動作を停止させる、
前記（１７）に記載の情報処理装置。
（１９）
プロセッサが、検出された装置の状態に基づいて、前記装置による音の出力を制御すること、
を含み、
前記制御することは、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させること、
をさらに含む、
情報処理方法。
（２０）
コンピュータを、
検出された装置の状態に基づいて、前記装置による音の出力を制御する制御部、
を備え、
前記制御部は、前記状態の変化量に応じて、前記装置が通常状態において出力し得る合成音の出力態様を連続的に変化させる、
情報処理装置、
として機能させるためのプログラム。

１０ 情報処理装置
１１０ 音入力部
１２０ センサ部
１３０ 制御部
１４０ 音出力部
１５０ 駆動部

Claims (10)

1. 複数のセンサ情報を収集するセンサ部と、
   収集された前記センサ情報から移動体の状態の変化量を検出し、前記移動体の状態の変化量に基づき、前記移動体からの音の出力を連続的に変化させる制御部と、
   を備え、
   前記移動体の状態の変化量は、前記移動体の安全性の変化量、及び、前記移動体の位置の変化量の少なくとも１つを含む、
   情報処理装置。
2. 前記移動体の安全性は、前記移動体の走行車線の中央線の接近度合いを含む、請求項１に記載の情報処理装置。
3. 前記移動体の位置は、前記移動体と他の移動体との相対位置を含む、請求項１に記載の情報処理装置。
4. 前記制御部は、前記移動体から出力する音に対する環境音の重畳を制御する、
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記移動体の状態の変化量に応じて、前記環境音の取り込み量を変化させる、請求項４に記載の情報処理装置。
6. 前記制御部は、前記移動体の状態の変化量に応じて、前記環境音の可聴性が向上するよう制御を行う、請求項４又は５に記載の情報処理装置。
7. 前記制御部は、前記移動体の状態の変化量に応じて、前記移動体から出力する音に係るパラメータを連続的に変化させる、
   請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記制御部は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、またはアンプのうち少なくともいずれかに係るパラメータを変化させる、
   請求項７に記載の情報処理装置。
9. 前記移動体は、車両である、請求項１～８のいずれか１項に記載の情報処理装置。
10. プロセッサが、
    複数のセンサ情報を収集するセンサ部からの前記センサ情報に基づいて、移動体の状態の変化量を検出し、前記移動体の状態の変化量に基づき、前記移動体からの音の出力を連続的に変化させることを含み、
    前記移動体の状態の変化量は、前記移動体の安全性の変化量、及び、前記移動体の位置の変化量の少なくとも１つを含む、
    情報処理方法。

Images