JP7226330B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7226330B2
JP7226330B2 JP2019550902A JP2019550902A JP7226330B2 JP 7226330 B2 JP7226330 B2 JP 7226330B2 JP 2019550902 A JP2019550902 A JP 2019550902A JP 2019550902 A JP2019550902 A JP 2019550902A JP 7226330 B2 JP7226330 B2 JP 7226330B2
Authority
JP
Japan
Prior art keywords
importance
user
information processing
sound image
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019550902A
Other languages
English (en)
Other versions
JPWO2019087646A1 (ja
Inventor
雄司 北澤
誠 村田
一視 平野
直樹 澁谷
進太郎 増井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019087646A1 publication Critical patent/JPWO2019087646A1/ja
Application granted granted Critical
Publication of JP7226330B2 publication Critical patent/JP7226330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本技術は、音像の定位位置を変化させる技術に関する。
従来から、音像の定位位置を変化させることが可能な技術が広く知られている(下記特許文献1、2参照)。このような技術では、ユーザに対して様々な距離、方向に音像を定位させることができる。
特開2012-178748号公報 国際公開第2016/185740号
従来においては、テキストデータが読み上げられる音が音像から発生されるとき、単調にテキストデータが読み上げられるため、ユーザにとって重要な部分が印象に残り難いといった問題がある。
以上のような事情に鑑み、本技術の目的は、テキストデータが読み上げられる音が音像から発生されるとき、ユーザにとって重要な部分を印象に残りやすくすることができる技術を提供することにある。
本技術に係る情報処理装置は、制御部を具備する。前記制御部は、テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させる。
これにより、テキストデータが読み上げられる音が音像から発生されるとき、ユーザにとって重要な部分を印象に残りやすくすることができる。
上記情報処理装置において、前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の距離rを変化させるように、前記音像の定位位置を変化させてもよい。
上記情報処理装置において、前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の偏角θを変化させるように、前記音像の定位位置を変化させてもよい。
情報処理装置。
上記情報処理装置であって、前記制御部は、前記重要度に応じて、球座標系においてユーザに対する音像の偏角φを変化させるように、音像の定位位置を変化させてもよい。
上記情報処理装置において、前記制御部は、前記音像を所定の速度で動かすことが可能であり、かつ、前記重要度に応じて、前記速度を変化させてもよい。
上記情報処理装置において、前記制御部は、前記重要度に応じて、前記音像の数を変化させてもよい。
上記情報処理装置において、前記制御部は、前記重要度に応じて、前記音像から発せられる音を変化させてもよい。
上記情報処理装置において、香りを発生する香発生部、振動を発生する振動部及び光を発生する光発生部のうち少なくとも1つを備え、前記制御部は、前記重要度に応じて、前記香り、前記振動及び前記光のうち少なくとも1つを変化させてもよい。
上記情報処理装置において、前記制御部は、予め用意された、前記音像の定位位置における複数の変化パターンからいずれか1つの変化パターンを選択し、選択された変化パターンで、前記音像の定位位置を変化させてもよい。
上記情報処理装置において、ユーザの行動に基づく検出値を出力するセンサを更に具備し、前記制御部は、前記検出値に基づいて前記ユーザの行動を認識し、前記行動に応じて、前記複数の変化パターンからいずれか1つの変化パターンを選択してもよい。
上記情報処理装置において、前記制御部は、時間の経過に応じて、前記音像の定位位置の変化の大きさを変化させてもよい。
上記情報処理装置において、前記制御部は、ユーザに個別のユーザ情報を取得し、前記ユーザ情報に応じて、前記重要度を判定してもよい。
上記情報処理装置において、前記情報処理装置は、ユーザに対して第1の方向に位置する第1の振動部と、前記第1の方向とは異なる第2の方向に位置する第2の振動部とをさらに具備し、前記テキストデータは、ユーザが進むべき進行方向を示す情報を含み、前記制御部は、前記第1の振動部及び前記第2の振動部のうち前記進行方向に対応する振動部を振動させてもよい。
上記情報処理装置において、前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミング以外のタイミングで、前記進行方向に対応する振動部を振動させてもよい。
上記情報処理装置において、前記テキストデータは、前記進行方向に進んだ先に関する情報を含み、前記制御部は、前記進行方向に進んだ先に関する情報が読み上げられるタイミングに合わせて、前記第1の振動部及び第2の振動部のうち少なくとも一方を振動させてもよい。
上記情報処理装置において、前記テキストデータは、前記進行方向以外の方向に進んだ先に関する情報を含み、前記制御部は、前記第1の振動部及び第2の振動部のうち前記進行方向以外の方向に対応する振動部を振動させてもよい。
上記情報処理装置において、前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミングに合わせて前記進行方向以外の方向に対応する振動部を振動させ、前記振動に対するユーザの反応の有無を検出し、前記ユーザから反応があった場合に、前記進行方向以外の方向に進んだ先に関する情報を読み上げる音を出力させてもよい。
本技術に係る情報処理方法は、テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させる。
本技術に係るプログラムは、テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させる処理をコンピュータに実行させる。
以上のように、本技術によれば、テキストデータが読み上げられる音が音像から発生されるとき、ユーザにとって重要な部分を印象に残りやすくすることができる技術を提供することができる。
本技術の第1実施形態に係るウェアラブルデバイスを示す斜視図である。 ウェアラブルデバイスの内部構成を示すブロック図である。 制御部の処理を示すフローチャートである。 ユーザの頭部に対する音像の定位位置を示す図である。 重要度に応じて、動径r、偏角θ、偏角φのうち動径rのみを変化させた場合の一例を示す図である。 重要度に応じた音像9の定位位置の変化を、時系列的に示した図である。 重要度に応じて、動径r、偏角θ、偏角φのうち偏角θのみを変化させた場合の一例を示す図である。 重要度に応じて、動径r、偏角θ、偏角φのうち偏角φのみを変化させた場合の一例を示す図である 重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角θを変化させた場合の一例を示す図である 重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角φを変化させた場合の一例を示す図である。 重要度に応じて、音像の移動速度を変化させる場合の一例を示す図である。 重要度に応じて、音像の数を変化させる場合の一例を示す図である。 第2実施形態に係るウェアラブルデバイスを示す上面図である。 制御部の処理を示すフローチャートである。 制御部の処理を示すフローチャートである。 制御部の処理を示すフローチャートである。 ユーザの右に位置する振動部が振動されている様子を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
≪第1実施形態≫
図1は、本技術の第1実施形態に係るウェアラブルデバイス100を示す斜視図である。図1に示すウェアラブルデバイス100は、ユーザの首に装着されて使用されるネックバンド型のウェアラブルデバイス100である。
図1に示すように、ウェアラブルデバイス100は、一部が開放されたリング状の形状を有する筐体10を備えている。このウェアラブルデバイス100は、ユーザの首に装着されたときに、その開放されている部分がユーザの前方に位置する状態で使用される。
また、筐体10の上部には、スピーカ7からの音が発せられる2つの開口部11が設けられている。この開口部11の位置は、ユーザによってウェアラブルデバイス100が首に装着されたときに、耳の下側の位置に配置されるように、その位置が調整されている。
図2は、ウェアラブルデバイス100の内部構成を示すブロック図である。図2に示すように、ウェアラブルデバイス100は、制御部1と、記憶部2と、角速度センサ3と、加速度センサ4と、地磁気センサ5と、GPS(Global Positioning System)6と、スピーカ7と、通信部8とを備えている。
制御部1は、例えば、CPU(Central Processing Unit)などにより構成されており、ウェアラブルデバイス100の各部を統括的に制御する。この制御部1の処理については、後述の動作の説明の欄において、詳述する。
記憶部2は、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリと、制御部1の作業領域として用いられる揮発性のメモリとを含む。上記プログラムは、光ディスクや、半導体デバイスなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
角速度センサ3は、ウェアラブルデバイス100の3軸(XYZ軸)回りの角速度を検出し、検出した3軸回りの角速度の情報を制御部1に出力する。加速度センサ4は、ウェアラブルデバイス100の3軸方向の加速度を検出し、検出した3軸方向の加速度の情報を制御部1に出力する。地磁気センサ5は、ウェアラブルデバイス100の3軸回りの角度(方位)を検出し、検出した角度(方位)の情報を制御部1に出力する。本実施形態では、各センサの検出軸が3軸とされているが、この検出軸は、1軸、あるいは、2軸であってもよい。
GPS6は、GPS衛星からの電波を受信して、ウェアラブルデバイス100の位置情報を検出し、この位置情報を制御部1に出力する。
スピーカ7は、2つの開口部11の下側の位置にそれぞれ1つずつ設けられている。これらのスピーカ7は、制御部1による制御に応じて音を再生することで、空間内の特定の位置に定位された音像9(音源:図4等参照)から音が発せられているようにユーザに認識させることができる。なお、本実施形態では、スピーカ7の数が2つとされているが、スピーカ7の数については特に限定されない。
通信部8は、他の機器との間で、無線又は有線により通信を行う。
<動作説明>
次に、制御部1の処理について説明する。図3は、制御部1の処理を示すフローチャートである。
図3に示すフローチャートにおいて、制御部1は、テキストデータを解析してテキストデータ内の各部分の重要度を判定し、この重要度に応じて、テキストデータにおける音声発話の音像9のユーザに対する定位位置を変化させる処理を実行する。
図3の説明においては、一例として、ウェアラブルデバイス100を装着したユーザが、自動車、バイク、自転車などの乗り物に乗り、ナビゲーションの音声に従って目的地に向かっている場合を想定する。
ここでの説明では、理解の容易化のために、ウェアラブルデバイス100が使用される状況、及びスピーカ7からの発せられる音声について、一例を挙げて具体的に説明する。一方、本技術は、スピーカ7等の音出力部から音声(言葉)が発生される技術であれば、状況及び音声の種類に関係なくどのような技術であっても適用可能である。
[重要度の判定]
図3において、まず、制御部1は、スピーカ7から発せられる音声の元になる、読み上げ用のテキストデータを記憶部2から取得する(ステップ101)。次に、制御部1は、テキストデータを解析して、テキストデータにおける各部分について重要度を判定する(ステップ102)。
ここで、テキストデータの一例として、「500m先、右方向です。その先、1km渋滞です。曲がらずに直進すると、きれいな景色が見えます」などのナビゲーションのテキストデータについての重要度を判定する場合を想定する。なお、このテキストデータは、メール、ニュース、本(小説、雑誌等)、資料に関するデータ等、どのようなテキストデータであってもよい。
記憶部2においては、テキストデータにおける重要度を判定するための、比較対象としての文字群が予め記憶されている。ここでの例では、重要度を判定するための文字群として、方向に関する文字群、距離の単位に関する文字群、道路状況に関する文字群が記憶されているとする。
方向に関する文字群は、例えば、右方向、左方向、直進、真っ直ぐ、斜め右方向、斜め左方向等である。また、距離の単位に関する文字群は、m、メートル、km、キロメートル、mi.、マイル、ft.、フィートなどである。また、道路状況に関する文字群は、渋滞、砂利道、でこぼこ道、平坦な道、坂、急な坂、緩やかな坂、急カーブ、緩やかなカーブ、工事などである。
さらに、記憶部2においては、テキストデータにおける重要度を判定するため、ユーザに個別のユーザ情報が記憶されている。このユーザ情報は、ユーザの嗜好に関する個別情報であり、本実施形態では、このユーザ情報は、ユーザが好きな対象の情報と、好みの度合(どの程度好きか)の情報とを含んでいる。
ユーザ情報は、例えば、ユーザが、PC(Personal Computer)や、スマートフォン等による別の機器において、設定画面において予め設定しておく。ユーザは、設定画面において、"きれいな景色"、"ラーメン屋"、"イタリアンレストラン"などのユーザが好きな対象の文字を打ちこむ。あるいは、ユーザは、設定画面上に予め用意された"きれいな景色"、"ラーメン屋"、"イタリアンレストラン"等の中から、ユーザが好きな対象を選択する。
設定画面上では、ユーザは、好きな対象をどの程度好きかを選択することができる。本実施形態では、★~★★★★の4段階から、好みの度合いを選択可能とされている。なお、好みの度合いの段階数については、適宜変更可能である。
設定画面上で設定されたユーザ情報は、直接的又は間接的に、通信部8を介してウェアラブルデバイス100により受信され、このユーザ情報が記憶部2に予め記憶される。
なお、ユーザの嗜好に関する個別情報は、角速度センサ3、加速度センサ4、地磁気センサ5、GPS6等の各種のセンサに基づくユーザの行動認識に基づいて設定されてもよい。なお、行動認識の精度を上げるため、ウェアラブルデバイス100に撮像部が設けられていてもよい。
例えば、行動認識において、テレビを見ている時間が長ければ、テレビが好きなことが分かり、また、ラーメン屋に行くことが多ければ、ラーメンが好きなことが分かる。
制御部1は、ナビゲーションのテキストデータにおいて、方向、ナビゲーションで方向が指示されている指示地点(交差点)までの距離、道路状況、及びユーザの好きな対象を重要な部分として扱う。
方向について、制御部1は、予め記憶されている方向に関する文字群(右方向、左方向等)のうちいずれか1つの文字とマッチングした文字を、方向(重要な部分)として扱う。右方向、左方向、直進等の各種の文字の重要度は、一律とする(例えば、重要度3)。
なお、本実施形態の説明では、重要度について、重要度0~重要度4の5段階であるとして説明するが、この段階数については、適宜変更可能である。
交差点までの距離について、制御部1は、方向に関する文字(右方向、左方向等)の直前に、数字及び距離の単位を示す文字(m、km等)がある場合、これを交差点までの距離(重要な部分)として扱う(なお、~m先の"先"も重要として扱う)。この場合、制御部1は、距離が短いほど重度度を高く設定する。
道路状況について、制御部1は、予め記憶されている道路状況に関する文字群(渋滞、急な坂等)のうちいずれか1つの文字とマッチングした文字を、道路状況(重要な部分)として扱う。
この場合、制御部1は、道路状況に関する文字の前の数値(例えば、渋滞の文字の前の、"1km"等の数字)や、道路状況に関する文字に含まれる形容詞(例えば、急な坂における"急な"の文字等)に基づいて、重要度を判定する。例えば、制御部1は、道路状況について、渋滞の距離が長いほど、重要度を高く設定し、坂の勾配がきついほど、重要度を高く設定する。
ユーザの好きな対象について、制御部1は、ユーザ情報における好きな対象に関する文字群(きれいな景色、ラーメン屋等)のうちいずれか1つの文字とマッチングした文字を、ユーザの好きな対象(重要な部分)として扱う。
なお、制御部1は、好きな対象に関する文字と完全に一致しない文字であっても、類似判定によりその文字と類似すると判定された文字については、ユーザの好きな対象として扱う(ゆらぎ吸収)。
例えば、"きれいな景色"の文字がユーザ情報として登録されている場合において、"美しい景色"は、ユーザの好きな対象として扱われる。また、"ラーメン屋"の文字がユーザ情報として登録されている場合において、"ラーメン店"は、ユーザの好きな対象として扱われる。
ユーザの好きな対象における重要度は、ユーザ情報における好みの度合の情報に基づいて判定される。
以下、テキストデータの文字列において、重要度の判定処理が適用された場合の具体例について説明する。ここでの説明では、ユーザ情報において、ユーザが好きな対象として"きれいな景色"(好みの度合:4★★★★)、"ラーメン屋"(好みの度合:3★★★)、"イタリアンレストラン"(好みの度合:2★★)が登録されているとする。
また、以下の出力例において下線が引かれている部分については、重要であると判定された部分を示しており、下線が引かれていない部分は、重要でない(重要度0)と判定された部分を示している。
(入力例1)
「500m先、右方向です。その先、1km渋滞です。曲がらずに直進すると、おいしいイタリアンレストランがあります」
(出力例1)
500m先(重要度3)、右方向(重要度3)です。その先、1km渋滞(重要度3)です。曲がらずに直進すると、おいしいイタリアンレストラン(重要度2)があります」
(入力例2)
「50m先、左方向です。その先、10km渋滞です。曲がらずに直進すると、きれいな景色が見えます」
(出力例2)
50m先(重要度4)、左方向(重要度3)です。その先、10km渋滞(重要度4)です。曲がらずに直進すると、きれいな景色(重要度4)が見えます」
(入力例3)
「1km先、左方向です。その先、500m渋滞です。曲がらずに直進すると、美しい景色が見えます」
(出力例3)
1km先(重要度2)、左方向(重要度3)です。その先、500m渋滞(重要度2)です。曲がらずに直進すると、美しい景色(重要度4)が見えます」
(入力例4)
「1km先、斜め左方向です。その先、緩やかな上り坂が続きます。右に曲がると、ラーメン屋があります」
(出力例4)
1km先(重要度2)、斜め左方向(重要度3)です。その先、緩やかな上り坂(重要度2)が続きます。右に曲がると、ラーメン屋(重要度3)があります」
(入力例5)
「1km先、斜め右方向です。その先、急な上り坂が続きます。右に曲がるとラーメン店があります」
(出力例5)
1km先(重要度2)、斜め右方向(重要度3)です。その先、急な上り坂(重要度4)が続きます。右に曲がるとラーメン店(重要度3)があります」
[音像定位処理]
テキストデータの各部分について重要度を判定すると、次に、制御部1は、判定された重要度に応じて、音像9の定位位置における制御パラメータ(どの部分が読まれるときにどの位置に音像9を定位させるかの時系列データ)を算出する(ステップ103)。
次に、制御部1は、TTS処理(TTS:Text To Speech)により、テキストデータを音声データに変換する(ステップ104)。次に、制御部1は、音声データに対して、音像9の定位位置における制御パラメータを適用して、定位位置付き音声データを生成する(ステップ105)。そして、制御部1は、スピーカ7から定位位置付き音声データを出力させる(ステップ106)。
これにより、スピーカ7から音が出力されて、テキストデータにおける各部分が読み上げられるときに、その各部分における重要度に応じて、音像9の定位位置が変化される。
「音像定位位置の変化手法」
以下、重要度に応じた音像定位位置の変化手法について、具体例を挙げて説明する。
図4は、ユーザの頭部に対する音像9の定位位置を示す図である。図4において、ユーザの頭部における中心を原点として、球座標系が設定されている。球座標系において、動径rは、ユーザ(頭部)と、音像9との間の距離rを示しており、偏角θは、直交座標系におけるZ軸に対して動径rが傾く角度を示している。また、偏角φは、直交座標系におけるX軸に対して動径rが傾く角度を示している。
本実施形態において、制御部1は、動径r、偏角θ、偏角φによる球座標系を内部に有しており、この球座標系において、音像9の定位位置を決定する。なお、図3に示す球座標系及び直交座標系は、ウェアラブルデバイス100を装着したユーザ(あるいは、ウェアラブルデバイス100)を基準とした座標系であり、ユーザが動くとユーザの動きに応じて変化する。例えば、ユーザが直立しているときはZ軸方向が重力方向となるが、ユーザが仰向けに寝ているときはY軸方向が重力方向となる。
(変化手法1:動径rのみを変化)
音像定位位置の変化手法の1つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち動径r(ユーザと音像9との距離r)のみを変化させる手法である。なお、偏角θ、偏角φは、重要度に拘らず固定の値とされているが、これらの値は、任意に決定することができる。
図5は、重要度に応じて、動径r、偏角θ、偏角φのうち動径rのみを変化させた場合の一例を示す図である。図5において、偏角θ、偏角φは、それぞれ、90°とされており、ユーザの正面において動径rが変化されている。
動径r(ユーザと、音像9との距離r)を変化させる場合、例えば、重要度が高いほど、動径rが小さくなるように、動径rが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、これとは逆に、重要度が高いほど、動径rが大きくなるように動径rを設定することもできる。
図5に示す例では、動径r0、動径r1、動径r2、動径r3、動径r4の順番で、動径rが小さくなっており、動径r0~動径r4に対して、重要度0~重要度4が対応づけられている。
動径r0~動径r4については、ユーザ毎に最適化されてもよい。例えば、制御部1は、スマートフォン等の他の機器においてユーザによって設定されたユーザ情報に基づいて、動径r0~動径r4を設定してもよい(設定画面上でユーザが動径rを設定)。なお、後述の偏角θ0~θ4、偏角φ0~φ4、角速度ω0~ω4(移動速度)、音像9の数などについても、ユーザ毎の最適化が行われてもよい。
一例として、「1km先(重要度2)、斜め右方向(重要度3)です。その先、急な上り坂(重要度4)が続きます。右に曲がるとラーメン店(重要度3)があります」との音声が読み上げられる場合について説明する。
図6は、重要度に応じた音像9の定位位置の変化を、時系列的に示した図である。
図6を参照して、まず、「1km先」の重要度が2であるので、動径r2の位置に音像9が定位されて、この音像9の位置から「1km先」という音声が聞こえてくる。
次に、「斜め右方向」の重要度が3であるので、動径r3の位置に音像9が定位されて、この音像9の位置から「斜め右方向」という音声が聞こえてくる。このとき、重要度とは関係なく、偏角φを変化させて、右方向に音像9を移動させてもよい。つまり、進行方向を示す情報に応じて、偏角φを変化させてもよい。なお、上、下等の文字を含む場合には、偏角θを変化させることもできる。
次に、「です。その先、」の重要度が0であるので、動径r0の位置に音像9が定位されて、この音像9の位置から「です。その先、」という音声が聞こえてくる。
次に、「急な上り坂」の重要度が4であるので、動径r4の位置に音像9が定位されて、この音像9の位置から「急な上り坂」という音声が聞こえてくる。次に、「が続きます。右に曲がると」の重要度が0であるので、動径r0の位置に音像9が定位されて、この音像9の位置から「が続きます。右に曲がると」という音声が聞こえてくる。
次に、「ラーメン店」の重要度が3であるので、動径r3の位置に音像9が定位されて、この音像9の位置から「ラーメン店」という音声が聞こえてくる。次に、「があります」の重要度が0であるので、動径r0の位置に音像9が定位されて、この音像9の位置から「があります」という音声が聞こえてくる。
(変化手法2:偏角θのみを変化)
音像定位位置の変化手法の2つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち偏角θのみを変化させる手法である。なお、動径r、偏角φは、重要度に拘らず固定の値とされているが、これらの値は、任意に決定することができる。
図7は、重要度に応じて、動径r、偏角θ、偏角φのうち偏角θのみを変化させた場合の一例を示す図である。図7では、偏角φが90°に設定されており、ユーザの正面において偏角θが変化されている。
偏角θを変化させる場合、例えば、重要度が高いほど、音像9の高さがユーザの頭(耳)の高さに近づくように、偏角θが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、これとは逆に、重要度が高いほど、音像9の高さが頭の高さから離れるように偏角θを設定することもできる。
図7に示す例では、偏角θ0、偏角θ1、偏角θ2、偏角θ3、偏角θ4の順番で、音像9の高さが頭の中心の高さに近くなっており、偏角θ0~偏角θ4に対して、それぞれ、重要度0~重要度4が対応付けられている。
図7に示す例では、下側から上側に向けて音像9の定位位置が頭の高さに近づいているが、上側から下側に向けて音像9の定位位置が頭の高さに近づいてもよい。
(変化手法3:偏角φのみを変化)
音像定位位置の変化手法の3つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち偏角φのみを変化させる手法である。なお、動径r、偏角θは、重要度に拘らず固定の値とされているが、これらの値は、任意に決定することができる。
図8は、重要度に応じて、動径r、偏角θ、偏角φのうち偏角φのみを変化させた場合の一例を示す図である。図8では、偏角θが90°に設定されており、ユーザの頭の高さの位置で偏角φが変化されている。
偏角φを変化させる場合、例えば、重要度が高いほど、音像9の位置がユーザの正面に近づくように、偏角φが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、これとは逆に、重要度が高いほど、音像9の位置がユーザの正面から離れるように偏角θを設定することもできる。
図8に示す例では、偏角φ0、偏角φ1、偏角φ2、偏角φ3、偏角φ4の順番で、音像9の位置が頭の正面に近くなっており、偏角φ0~偏角φ4に対して、それぞれ、重要度0~重要度4が対応付けられている。
図8に示す例では、左側から正面に向けて音像9の定位位置が正面に近づいているが、右側から正面に向けて音像9の定位位置が正面に近づいてもよい。
また、偏角φを変化させる場合、例えば、重要度が高いほど、音像9の位置がユーザの耳の位置(つまり、図4におけるX軸上)に近づくように、偏角φが設定されてもよい。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、これとは逆に、重要度が高いほど、音像9の位置がユーザの耳の位置から離れるように、偏角φを設定することもできる。
また、重要度0のときに、音像9が正面に配置され、重要度に応じて、ユーザの左右方向に音像9の定位位置が振り分けられてもよい。この場合、例えば、重要度1~2に対応する音像9の定位位置ついては、ユーザの右側、重要度3~4に対応する音像9の定位位置については、ユーザの左側などとされる。
(変化手法4:動径rと、偏角θを変化)
音像定位位置の変化手法の4つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角θを変化させる手法である。なお、偏角φは、重要度に拘らず固定の値とされているが、この値は、任意に決定することができる。
図9は、重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角θを変化させた場合の一例を示す図である。図9では、偏角φが90°に設定されており、ユーザの正面において動径r及び偏角θが変化されている。
動径r及び偏角θを変化させる場合、例えば、重要度が高いほど、動径rが小さくなるように動径rが設定され、かつ、重要度が高いほど、音像9の高さがユーザの頭の高さに近づくように偏角θが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、重要度と、動径r及び偏角θとの関係は、逆とすることもできる。
図9に示す例では、動径r0、動径r1、動径r2、動径r3、動径r4の順番で、動径rが小さくなっている。また、偏角θ0、偏角θ1、偏角θ2、偏角θ3、偏角θ4の順番で、音像9の高さが頭の中心の高さに近くなっている。そして、動径r0及び偏角θ0~動径r4及び偏角θ4に対して、それぞれ、重要度0~重要度4が対応付けられている。
(変化手法5:動径rと、偏角φを変化)
音像定位位置の変化手法の5つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角φを変化させる手法である。なお、偏角θは、重要度に拘らず固定の値とされているが、この値は、任意に決定することができる。
図10は、重要度に応じて、動径r、偏角θ、偏角φのうち動径r及び偏角φを変化させた場合の一例を示す図である。図10では、偏角θが90°に設定されており、ユーザの頭の高さの位置で動径r及び偏角φが変化されている。
動径r及び偏角φを変化させる場合、例えば、重要度が高いほど、動径rが小さくなるように動径rが設定される。これに加えて、重要度が高いほど、音像9の位置がユーザの正面に近づくように、偏角φが設定されるか、あるいは、重要度が高いほど、音像9の位置がユーザの耳の位置に近づくように、偏角φが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、重要度と、動径r及び偏角φとの関係は、逆とすることもできる。
図10に示す例では、動径r0、動径r1、動径r2、動径r3、動径r4の順番で、動径rが小さくなっている。また、偏角φ0、偏角φ1、偏角φ2、偏角φ3、偏角φ4の順番で、音像9の位置が頭の正面に近くなっている。そして、動径r0及び偏角φ0~動径r4及び偏角φ4に対して、それぞれ、重要度0~重要度4が対応付けられている。
(変化手法6:偏角θと、偏角φを変化)
音像定位位置の変化手法の6つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φのうち偏角θ及び偏角φを変化させる手法である。なお、動径rは、重要度に拘らず固定の値とされているが、この値は、任意に決定することができる。
ここでの説明では、図7及び図8を参照する。例えば、ユーザを横から見ると、図7に示す位置に音像9が定位され、ユーザを上から見ると図8に示す位置に音像9が定位される。
偏角θ及び偏角φを変化させる場合、重要度が高いほど、音像9の高さがユーザの頭の高さに近づくように偏角θが設定される。これに加えて、重要度が高いほど、音像9の位置がユーザの正面に近づくように、偏角φが設定されるか、あるいは、重要度が高いほど、音像9の位置がユーザの耳の位置に近づくように、偏角φが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、重要度と、偏角θ及び偏角φとの関係は、逆とすることもできる。
図7及び図8では、偏角θ0、偏角θ1、偏角θ2、偏角θ3、偏角θ4の順番で、音像9の高さが頭の中心の高さに近くなっており、また、偏角φ0、偏角φ1、偏角φ2、偏角φ3、偏角φ4の順番で、音像9の位置が頭の正面に近くなっている。そして、偏角θ0及び偏角φ0~偏角θ4及び偏角φ4に対して、それぞれ、重要度0~重要度4が対応付けられている。
(変化手法7:動径r、偏角θ及び偏角φを変化)
音像定位位置の変化手法の7つ目は、球座標系において、重要度に応じて、動径r、偏角θ、偏角φの全てを変化させる手法である。
ここでの説明では、図9及び図10を参照する。例えば、ユーザを横から見ると、図9に示す位置に音像9が定位され、ユーザを上から見ると図10に示す位置に音像9が定位される。
動径r、偏角θ及び偏角φを変化させる場合、重要度が高いほど、動径rが小さくなるように動径rが設定され、重要度が高いほど、音像9の高さがユーザの頭の高さに近づくように偏角θが設定される。これに加えて、重要度が高いほど、音像9の位置がユーザの正面に近づくように、偏角φが設定されるか、あるいは、重要度が高いほど、音像9の位置がユーザの耳の位置に近づくように、偏角φが設定される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。なお、重要度と、動径r、偏角θ及び偏角φとの関係は、逆とすることもできる。
(変化手法8:音像9の移動速度を変化)
音像定位位置の変化手法の8つ目は、重要度に応じて、音像9の移動速度を変化させる方法である。
図11は、重要度に応じて、音像9の移動速度を変化させる場合の一例を示す図である。図11では、音像9が、重要度に応じた速度で偏角φ方向に回転運動される場合の一例が示されている(なお、動径rは、所定値で固定、偏角θは、90°で固定)。
音像9の移動速度を変化させる場合、例えば、重要度が高いほど、音像9の移動速度が速くなるように、移動速度が設定される(この場合、重要度が低いときに音像9が停止していてもよい)。あるいは、これとは逆に、重要度が高いほど、音像9の移動速度が遅くなるように、移動速度を設定することもできる(この場合、重要度が高いときに音像9が停止していてもよい)。
図11に示す例では、偏角φ方向に、音像9が回転運動しており、角速度ω0、角速度ω1、角速度ω2、角速度ω3、角速度ω4の順番で、角速度が大きくなっている。そして、角速度ω0~角速度ω4に対して、重要度0~重要度4が対応づけられている。
図11に示す例では、偏角φ方向に音像9が回転運動しているが、偏角θ方向に音像9が回転運動されてもよいし、偏角φ方向及び偏角θ方向の両方向に音像9が回転運動されてもよい。音像9の運動パターンは、典型的には、一定の規則的な運動パターンであれば、回動運動、直進運動、ジグザグ運動など、どのような運動パターンであってもよい。
なお、変化手法8(移動速度を変化)と、上述の変化手法1~7のうちいずれか1つとは、相互に組み合わせることができる。例えば、変化手法8と、変化手法1との組合せについて、図11に示すように、重要度に応じて、偏角φ方向の角速度ωを変化させつつ、重要度に応じて、図5に示すように、動径rを変化させてもよい。
(変化手法9:音像9の数を変化)
音像定位位置の変化手法の9つ目は、重要度に応じて、音像9の数を変化させる方法である。
図12は、重要度に応じて、音像9の数を変化させる場合の一例を示す図である。図11では、音像9の数が、重要度に応じて、3つとされた場合の一例が示されている。
音像9の数を変化させる場合、例えば、重要度が高いほど、音像9の数が多くなるように、音像9の数が変化される。この場合、ユーザは、直感的に重要度が高いことを感じることができる。あるいは、これとは逆に、重要度が高いほど、音像9の数を減らすこともできる。
図12に示す例では、例えば、重要度が0のときには、正面の1つの音像9のみであるが、重要度が1~2のときは、左の音像9(右でもよい)が増やされて、合計で音像9の数が2つとなる。そして、重要度が3~4のときは、さらに右の音像9(左でもよい)が増やされて、合計で音像9の数が3つとなる。
また、重要度に応じて、音像9の数が増やされつつ、増えた音像9が重要度に応じて移動するように、音像9の定位置が変化されてもよい。
例えば、図12を参照して、重要度が0のときには、正面の1つの音像9のみとされる。そして、重要度が1のときに、左の音像9及び右の音像9が増やされて、合計で音像9の数が3つとなる。
そして、重要度が2のとき、重要度が1のときよりも、左の音像9及び右の音像9における偏角φ方向での正面に対する角度が大きくされる。同様にして、重要度が3のとき、重要度が2のときよりも、上記角度が大きくされ、重要度が4のとき、重要度が3のときよりも上記角度が大きくされる。音像9は、重要度が4のとき、最も耳に近づく。
図12では、音像9の数が最大で3つとなる場合について説明したが、音像9の数については、最大で2つ、あるいは、4つ以上であってもよく、音像9の数については特に限定されない。また、図12では、偏角φ方向で音像9が増やされる場合について説明したが、3次元空間上で、どの位置に音像9が増やされてもよい。
なお、変化手法9(数を変化)と、上述の変化手法1~8のうちいずれか1つとは、相互に組み合わせることができる。例えば、変化手法9と、変化手法1との組合せについて、図12に示すように、重要度に応じて、音像9の数を変化させつつ、図5に示すように、重要度に応じて、動径rを変化させてもよい。
<作用等>
以上説明したように、本実施形態に係るウェアラブルデバイス100では、テキストデータ内の各部分の重要度が判定され、重要度に応じて、テキストデータが読み上げられる音が発せられる音像9のユーザに対する定位位置が変化される。
これにより、テキストデータが読み上げられる音が音像9から発生されるとき、ユーザにとって重要な部分が強調されるので、重要な部分をユーザに対して印象に残りやすくすることができる。さらに、音声(音声エージェント)に対する好感度や、信頼度も向上する。
また、重要度に応じて、球座標系において動径r(ユーザに対する音像9の距離r)を変化させることで、テキストデータにおいて重要な部分を、ユーザに対してさらに印象に残りやすくすることができる。特に、重要度が高いほど距離r(動径r)を小さくすることで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。
また、重要度に応じて、球座標系において偏角θ(ユーザに対する音像9の高さ)を変化させることで、テキストデータにおいて重要な部分を、ユーザに対してさらに印象に残りやすくすることができる。特に、重要度が高いほど、音像9がユーザの頭の高さに近づくように、偏角θを変化させることで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。
また、重要度に応じて、球座標系において偏角φを変化させることで、テキストデータにおいて重要な部分を、ユーザに対してさらに印象に残りやすくすることができる。特に、重要度が高いほど、音像9がユーザの正面に近づくように、偏角φを変化させることで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。また、重要度が高いほど、音像9がユーザの耳の位置に近づくように、偏角φを変化させることで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。
また、重要度に応じて、音像9の移動速度を変化させることで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。
また、重要度に応じて、音像9の数を変化させることで、テキストデータにおいて重要な部分を、ユーザに対してさらに印象に残りやすくすることができる。特に、重要度が高いほど、音像9の数を増やすことで、ユーザにとって重要な部分をさらに適切に強調することができ、重要な部分をユーザに対してさらに印象に残りやすくすることができる。
ここで、本実施形態においては、ネックバンド型のウェアラブルデバイス100に対して本技術が適用されている。ネックバンド型のウェアラブルデバイス100は、ユーザから見えない位置に装着されて使用されるため、通常、表示部は設けられておらず、ユーザに対しては、主に、音声によって情報が提供される。
表示部が設けられているデバイスの場合、画面上にテキストデータを表示して、重要な部分を太線にしたり、重要な部分のフォントを変更したりすることで、どの部分が重要であるかをユーザに提示することができる。
しかしながら、ネックバンド型のウェアラブルデバイス100は、上述のように、ユーザに対しては、主に、音声によって情報が提供されるため、簡単には、重要な部分を強調することができない。
一方で、本実施形態では、重要度に応じて、音像9の定位位置が変化させることができるため、ネックバンド型のウェアラブル装置のような、主に、音声によって情報が提供されるデバイスにおいても、重要な部分をユーザに対して印象に残りやすくすることができる。
つまり、本技術は、ネックバンド型のウェアラブル装置のような、表示部を有しておらず、主に、音声によって情報が提供されるデバイス(例えば、ヘッドホン、据え置き型のスピーカ7等)に適用されると、さらに効果的である。
但し、これは、表示部を有するデバイスに対して、本技術を適用することができないといったことを意味しているのではなく、表示部を有しているデバイスに対しても、もちろん本技術を適用することができる。
<第1実施形態変形例>
「慣れの防止」
重要度に応じた音像9の定位位置の変化について、ユーザが慣れてしまうことを防止するために、制御部1は、以下の[1]、[2]の処理を実行してもよい。
[1]予め用意された、音像9の定位位置における複数の変化パターン(上記変化手法1~9参照)からいずれか1つの変化パターンが選択されて、選択された変化パターンで、音像9の定位位置が変化される。
(a)例えば、ウェアラブルデバイス100の使用が開始されてから所定時間が経過する度に、複数の変化パターンからいずれか1つの変化パターンが選択されて、選択された変化パターンで、音像9の定位位置が変化されてもよい。(b)あるいは、メール、ニュース、ナビゲーションなどのアプリケーション毎に、複数の変化パターンからいずれか1つの変化パターンが選択されて、選択された変化パターンで、音像9の定位位置が変化されてもよい。
(c)あるいは、ユーザの行動(寝ている、座っている、歩いている、走っている、乗り物に乗っている等)に応じて、複数の変化パターンからいずれか1つの変化パターンが選択されて、選択された変化パターンで、音像9の定位位置が変化されてもよい。ユーザの行動は、角速度センサ3、加速度センサ4、地磁気センサ5、GPS6等の各種のセンサによって検出された検出値に基づいて判断することができる。なお、行動認識の精度を上げるため、ウェアラブルデバイス100に撮像部が設けられていてもよい。
[2]時間の経過に応じて、基準(重要度0に対応する動径r0、偏角θ0、偏角φ0、角速度ω0等)に対する音像9の定位位置の変化の大きさが変化される。
(a)'例えば、ウェアラブルデバイス100の使用が開始されてから所定時間が経過する度に、重要度に応じた、基準に対する音像9の定位位置の変化の大きさが変化される。つまり、同じ重要度であっても、時間が経過すると、基準に対する音像9の定位位置の変化の大きさが変わる。
例えば、図5を参照して、動径r0を基準(典型的には、固定)として、この動径r0と、動径r1との差(|r1-r0|)、動径r0と動径r2との差(|r2-r0|)、動径r0と動径r3と差(|r3-r0|)、動径r0と動径r4との差(|r4-r0|)が、時間の経過に応じて大きくなる。つまり、図5に示す例では、動径r1~r4が時間の経過に応じて小さくなり、この場合、動径r1~r4に対応する音像9の位置が、時間の経過に応じてユーザに近づく。また、例えば、図7を参照して、偏角θ0を基準(典型的には、固定)として、この偏角θ0と、偏角θ1との差(|θ1-θ0|)、偏角θ0と偏角θ2との差(|θ2-θ0|)、偏角θ0と偏角θ3との差(|θ3-θ0|)、偏角θ0と偏角θ4との差(|θ4-θ0|)が、時間の経過に応じて大きくなる。つまり、図7に示す例では、偏角θ1~θ4が時間の経過に応じて小さくなる。例えば、最初は、偏角θ1~θ4に対応する音像9の高さが、図7に示す位置よりも低くされ、時間の経過に応じて、音像9の高さが図7に示す位置に近づく。
また、例えば、図8を参照して、偏角φ0を基準(典型的には、固定)として、この偏角φ0と、偏角φ1との差(|φ1-φ0|)、偏角φ0と偏角φ2との差(|φ2-φ0|)、偏角φ0と偏角φ3との差(|φ3-φ0|)、偏角φ0と偏角φ4との差(|φ4-φ0|)が、時間の経過に応じて大きくなる。つまり、図8に示す例では、偏角φ1~φ4が時間の経過に応じて小さくなる。例えば、最初は、偏角φ1~φ4に対応する音像9の位置が、図8に示す位置よりも左側に設定され、時間の経過に応じて、音像9の位置が図8に示す位置に近づく。また、例えば、図11を参照して、角速度ω0を基準(典型的には、固定)として、この角速度ω0と、角速度ω1との差(|ω1-ω0|)、角速度ω0と角速度ω2との差(|ω2-ω0|)、角速度ω0と角速度ω3との差(|ω3-ω0|)、角速度ω0と角速度ω4との差(|ω4-ω0|)が、時間の経過に応じて大きくなる。つまり、図11に示す例では、角速度ω1~ω4が、時間の経過に応じて大きくなり、音像9の角速度が速くなる。
[1]、[2]により、音像9の定位位置の変化にユーザが慣れてしまうことを適切に防止することができる。なお、上記(a)~(c)、(a)'のうち、2以上が組み合わされてもよい。
「音像定位位置の変化以外の方法」
重要な部分をユーザに対してさらに印象に残りやすくするため、制御部1は、重要度に応じて、音像9の定位位置を変化させる処理に加えて、以下の[1]、[2]による処理を実行してもよい。
[1]重要度に応じて、音像9から発せられる音を変化させる方法
(a)例えば、重要度に応じて、音量が変化されてもよい。この場合、典型的には、重要度が高くなるほど音量が大きくなる。(b)また、重要度に応じて、イコライジングにより特定の周波数帯域(低周波数帯、高周波数帯等)が強調されてもよい。(c)また、重要度に応じて、テキストデータを読み上げるスピードが変化されてもよい。この場合、典型的には、重要度が高くなるほど、スピードが遅くなる。
(d)また、重要度に応じて、声色が変化されてもよい(同じ人の声色、あるいは、全く別の人の声(男女)等)。この場合、典型的には、重要度が高くなるほど、印象的な声色が用いられる。(e)重要度に応じて、効果音が付加されてもよい。この場合、重要度が高いほど、印象的な効果音が付加される。
[2]重要度に応じて、音以外を変化させる方法(嗅覚、触覚、視覚を刺激させる方法)
(a)'例えば、重要度に応じて、香りが変化されてもよい。この場合、香りを発生させる香発生部がウェアラブルデバイス100に設けられる。典型的には、重要度が高いほど、印象的な香りが香発生部から発生される。
(b)'また、重要度に応じて、振動が変化されてもよい。この場合、振動を発生させる振動部がウェアラブルデバイス100に設けられる。典型的には、重要度が高いほど、振動が強くなるように振動が変化される。(c)'また、重要度に応じて、光の点滅が変化されてもよい。この場合、光を発生する光発生部がウェアラブルデバイス100に設けられる。典型的には、重要度が高いほど、光の点滅が速くなるように、光が変化される。
[1]、[2]により、重要な部分をユーザに対してさらに印象に残りやすくすることができる。なお、[2]による方法について、本実施形態では、鼻や目に近い位置にウェアラブルデバイス100が配置されているので、香り、光による強調が有効であり、また、ウェアラブルデバイス100が首に巻かれているので、振動による強調も有効である。
なお、上記した(a)~(e)、(a)'~(c)'のうち、2以上が組み合わされてもよい。
≪第2実施形態≫
次に、本技術の第2実施形態について説明する。第2実施形態以降の説明では、上述の第1実施形態と同様の構成及び機能を有する部分については同一符号を付し、説明を省略又は簡略化する。
図13は、第2実施形態に係るウェアラブルデバイス200を示す上面図である。第2実施形態に係るウェアラブルデバイス200は、ウェアラブルデバイス200の全周に亘って、複数の振動部12が設けられている点で、上述の第1実施形態と異なっている。
各振動部12a~12qは、例えば、偏心モータや、ボイスコイルモータ等により構成される。図に示す例では、振動部12の数が17個とされているが、振動部12の数については特に限定されない。
なお、典型的には、ウェアラブルデバイス100において、周方向(φ方向)で異なる位置に2つ以上の振動部12(ユーザに対して第1の方向に位置する第1の振動部及びユーザに対して第2の方向に位置する第2の振動部)が配置されていればよい。
<動作説明>
次に、制御部1の処理について説明する。図14~図16は、制御部1の処理を示すフローチャートである。
まず、制御部1は、ナビゲーションテキストデータと、周辺道路データとを、ネットワーク上のサーバ装置から所定の周期で取得する(ステップ201)。
ここで、第2実施形態において、ナビゲーションテキストデータは、少なくとも、ナビゲーションにおける或る指示地点(交差点)における、ユーザが進むべき進行方向を示す情報(例えば、直進、右方向、左方向、斜め右方向、斜め右方向等)を含む。
例えば、ナビゲーションテキストデータは、「500m先、右方向です。」、「50m先、左方向です。」、「1km先、直進です。」、「1km先、斜め左方向です。」、「1km先、斜め右方向です。」等のテキストデータである。
また、ナビゲーションテキストデータには、進行方向に進んだ先に関する道路状況の情報(渋滞、坂、カーブ、工事、でこぼこ道、砂利道等)が含まれる場合がある。例えば、ナビゲーションテキストデータには、「500m先、右方向です。」等の後に、「その先、10km渋滞です。」、「その先、500m渋滞です。」、「その先、緩やかな上り坂が続きます。」、「その先、急な上り坂が続きます。」、「その先、右方向急カーブです。」等の情報が含まれる場合がある。
なお、この道路状況に関するテキストデータは、サーバ装置から取得されるナビゲーションテキストデータに予め含まれるのではなく、サーバ装置から取得された道路状況情報(テキストデータではない)に基づいて、制御部1が生成してもよい。
道路周辺データは、ナビゲーションの指示地点(交差点)の周辺に存在する店舗、施設、自然(山、川、滝、海等)、観光名所などの各種のデータ(テキストデータではない)である。
必要なデータを取得すると、次に、制御部1は、現在の地点がナビゲーションによる音声の出力地点であるかどうかを判定する(ステップ202)。例えば、「500m先、右方向です。」との音声の出力する場合、制御部1は、GPS情報に基づいて、現在において、ナビゲーションの指示地点(交差点)の500m手前であるかを判定する。
現在の地点が、ナビゲーションによる音声の出力地点ではない場合(ステップ202のNO)、制御部1は、GPS情報に基づいて、現在地点からナビゲーションの指示地点(交差点)までの距離を計算する(ステップ203)。
次に、制御部1は、現在地点からナビゲーションの指示地点(交差点)までの距離が、所定の距離であるかどうかを判定する(ステップ204)。
比較対象としての所定の距離は、例えば、200m間隔、100m間隔、50m間隔等に設定されている。この所定の距離は、ナビゲーションの指示地点(交差点)までの距離が小さくなるほど、間隔が小さくなるように設定されていてもよい。
ナビゲーションの指示地点(交差点)までの距離が、所定の距離ではない場合(ステップ204のNO)、制御部1は、ステップ202へ戻り、再び、現在の地点がナビゲーションによる音声の出力地点であるかどうかを判定する。
一方、ナビゲーションの指示地点(交差点)までの距離が、所定の距離である場合(ステップ204のYES)、制御部1は、次のステップ205へ進む。
ここで、現在地点がナビゲーションによる音声の出力地点ではなく、かつ、現在地点からナビゲーションの指示地点(交差点)までの距離が、所定の距離であるという条件を満たす場合について(ステップ204のYES)、一例を挙げて具体的に説明する。
ナビゲーションによる音声の出力地点が、交差点から500m、300m、100m、50mに設定されているとする。また、比較対象としての上記所定の距離が、500m、450m、400m、350m、300m、250m、200m、150m、100m、70m、50m、30mに設定されているとする。
交差点から500m、300m、100m、50mの位置にユーザがいるとき、この地点は、ナビゲーションによる音声の出力地点であるため(ステップ202のYES)、上記条件を満たさない。このとき、後述のように、「500m先、右方向です。その先、1km渋滞です」などの音声がスピーカ7から出力される。
一方、交差点から450m、400m、350m、250m、200m、150m、70m、30mの位置にユーザがいるとき、この地点は、ナビゲーションによる音声の出力地点ではない。かつ、ナビゲーションの指示地点(交差点)までの距離が、上記所定の距離と一致する。従って、上記条件を満たすため、制御部1は、ステップ205へ進む。
ステップ205では、制御部1は、地磁気センサ5等の各種のセンサによる検出値と、ナビゲーションテキストデータに含まれるユーザが進むべき進行方向の情報(例えば、右方向等)とに基づいて、ウェアラブルデバイス100(ユーザ)から見た進行方向を算出する。
次に、制御部1は、ウェアラブルデバイス100(ユーザ)から見た進行方向に応じて、複数の振動部12のうち、振動させるべき振動部12を決定する(ステップ206)。
例えば、ユーザが進むべき進行方向が右方向である場合、ユーザの右方向に位置する振動部12が、振動させるべき振動部12として決定される。図17は、ユーザの右に位置する振動部12dが振動されている様子を示す図である。
また、例えば、ユーザが進むべき進行方向が左方向、斜め右方向、斜め左方向である場合、ユーザの左方向、斜め右方向、斜め左方向に位置する振動部12が、振動させるべき振動部12として決定される。
なお、ウェアラブルデバイス100は、ユーザの前方が開放されているため、ユーザが進むべき進行方向が直進方向である場合、対応する振動部12が存在しない。従って、この場合、ウェアラブルデバイス100の前端部に位置する2つの振動部12a、12qが振動させるべき振動部12として決定されてもよい。
なお、ユーザが進むべき進行方向に応じた振動部12が決定される場合、隣接する2つ以上の振動部12が、振動させるべき振動部12として決定されてもよい。例えば、ユーザが進むべき進行方向が右方向である場合、ユーザの右方向に位置する振動部12dと、この振動部12dに隣接する2つの振動部12c、12eと(合計で3つ)が、振動させるべき振動部12として決定されてもよい。
振動させるべき振動部12を決定すると、次に、制御部1は、ナビゲーションによる指示地点(交差点)までの距離に応じて、振動部12の振動の強度を決定する(ステップ207)。この場合、制御部1は、典型的には、ナビゲーションによる指示地点(交差点)までの距離が短くなるほど、振動の強度が強くなるように、振動部12の振動の強度を決定する。
次に、制御部1は、決定された振動の強度で、振動させるべき振動部12を振動させ(ステップ208)、再び、ステップ201へ戻る。
これにより、例えば、交差点から450m、400m、350m、250m、200m、150m、70m、30mの位置にユーザがいるとき、ユーザが進むべき進行方向に応じた振動部12が、交差点までの距離に応じた強度(距離が短くなるほど強くなる)で振動される。
なお、ここでの説明から理解されるように、第2実施形態では、ユーザが進むべき進行方向を含むテキストデータが読み上げられるタイミング以外のタイミング(例えば、交差点から450m、400m等の地点)で、進行方向に対応する振動部12が振動される。
これは、本実施形態では、後述のように、道路状況や、ユーザにとって有益な情報の存在を知らせるために、振動部12が振動される場合があり、この振動と、ユーザが進むべき方向を示す振動とをユーザが混乱しないようにするためである。
なお、ユーザが進むべき進行方向を含むテキストデータが読み上げられるタイミング(例えば、交差点から500m、300m、100m、50mの地点)に合わせて、進行方向に対応する振動部12を振動させることもできる。つまり、少なくとも、ユーザが進むべき進行方向が読み上げられるタイミング以外のタイミングで、進行方向に対応する振動部12が振動されればよい。
また、ここでの例では、所定の距離毎に、進行方向に対応する振動部12が振動される場合について説明したが、所定の時間毎に、進行方向に対応する振動部12が振動されてもよい。
ステップ202において、現在の地点が、ナビゲーションによる音声の出力地点である場合(ステップ202のYES)、制御部1は、次のステップ209へ進む(図15参照)。例えば、交差点から500m、300m、100m、50mの位置にユーザがいるとき、制御部1は、ステップ209へ進む。
ステップ209では、制御部1は、ナビゲーションテキストデータについて、重要度に応じた定位位置付き音声データを生成する。重要度に応じた音像9の定位位置の制御については、上述の第1実施形態で説明したとおりである。
なお、音像9の定位位置の制御について、進行方向を示す情報に応じて、偏角φが変化されてもよい。例えば、ナビゲーションテキストデータにおいて、右方向、左方向、直進、斜め右方向、斜め左方向等の文字がふくまれる場合には、制御部1は、その対応する方向に音像9を定位させるように、偏角φを変化させてもよい。この場合、重要度に応じた、音像9の定位位置の変化は、動径r、偏角θに割り当てられる。
定位位置付き音声データを生成すると、次に、制御部1は、定位位置付き音声データの出力を開始する(ステップ210)。
これにより、「500m先、右方向です。」や、「500m先、右方向です。その先1km渋滞です」等の音声の出力が開始される。
次に、制御部1は、ナビゲーションテキストデータにおいて、進行方向に進んだ先の道路状況の情報を含むかどうかを判定する。このとき、例えば、制御部1は、予め記憶されている道路状況に関する文字群(渋滞、急な坂等)のうちいずれか1つの文字とマッチングした文字が、「その先」の文字の次に存在する場合、進行方向に進んだ先の道路状況の情報を含むと判定する。
進行方向に進んだ先の道路の状況の情報がナビゲーションテキストデータに含まれない場合(ステップ211のNO)、制御部1は、ステップ215へ進む。例えば、ナビゲーションテキストデータが、「500m先、右方向です。」などの道路の状況を含まないテキストデータである場合、制御部1は、ステップ215へ進む。
一方、進行方向に進んだ先の道路の状況の情報がナビゲーションテキストデータに含まれる場合(ステップ211のYES)、制御部1は、ステップ212へ進む。例えば、ナビゲーションテキストデータが、「500m先、右方向です。その先1km渋滞です」などの道路の状況を含むテキストデータである場合、制御部1は、ステップ212へ進む。
ステップ212では、制御部1は、道路状況の種類に応じて、振動パターンを決定する。道路状況の種類とは、渋滞、坂、カーブ、工事、道路の状態(でこぼこ道、砂利道)などである。振動パターンは、道路状況の種類と関連付けられて、予め記憶部2に記憶されている。なお、振動パターンは、どの振動部12を振動させるかのパターンや、振動部12における振動方向のパターン等を含む。
次に、道路状況の程度に応じて、振動部12における振動強度を決定する(ステップ213)。この場合、制御部1は、ナビゲーションテキストデータにおいて、道路状況に関する文字の前の数値(例えば、渋滞の文字の前の、"1km"等の数字)や、道路状況に関する文字に含まれる形容詞(例えば、急な坂における"急な"の文字等)に基づいて、道路状況の程度を判定する。
そして、制御部1は、道路状況について、道路状況における程度がひどくなるほど(渋滞が長いほど、坂の勾配がきついほど、カーブが急であるほど、工事の距離が長いほど)、振動が強くなるように、振動の強度を決定する。なお、制御部1は、道路状況の程度がひどくなるほど、不規則な振動パターンを選択してもよい(例えば、程度がひどくない場合には、振動させるべき振動部12を固定、程度がひどい場合には、振動させるべき振動部12がランダムに決定等)。
次に、制御部1は、道路状況が読み上げられるタイミング(例えば、交差点から500m、300m、100m、50mの地点)に合わせて、決定された振動パターン及び振動の強度で、振動部12を振動させる。例えば、「500m先、右方向です。その先1km渋滞です」との音声が読み上げられているときに、振動部12が振動される。なお、このとき、「1km渋滞」等の道路状況を示す文字が読み上げられるタイミングに合わせて、振動の強度が最も強くなるように、振動の強度が設定されてもよい。
振動部12を振動させると、次に、制御部1は、ナビゲーションテキストデータにおける音声の出力が終了したかどうかを判定する(ステップ215)。音声の出力が終了した場合(ステップ215のYES)、制御部1は、次のステップ216へ進む(図16参照)。
ステップ216では、制御部1は、周辺情報データと、ユーザが進むべき進行方向とに基づいて、進行方向以外の方向に、ユーザにとって有益な情報(進行方向以外の方向に進んだ先に関する情報)が存在するどうかを判定する。
このとき、ユーザが好きな対象の情報と、好みの度合の情報を含むユーザ情報が参照されてもよい。なお、ユーザにとって有益な情報とは、例えば、ユーザが好きな対象(景色、ラーメン屋等)や、観光名所、有名な店舗、有名な施設などである。
ユーザにとって有益な情報が存在しなかった場合(ステップ217のNO)、制御部1は、ステップ201(図14参照)へ戻り、再び、ステップ201以降の処理を実行する。
一例として、例えば、ユーザが進むべき進行方向が右方向である場合において、左方向にラーメン屋があるとする(ラーメン屋が存在していること、及びその位置は、周辺情報データから取得)。また、ラーメン屋は、ユーザの好きな対象として登録されているとする。
この場合、制御部1は、ユーザにとって有益な情報(例えば、ラーメン屋)があると判定し(ステップ217のYES)、次のステップ218へ進む。
ステップ218では、制御部1は、各種のセンサによる検出値と、ユーザが進むべき進行方向の情報(例えば、右方向)とに基づいて、ウェアラブルデバイス100から見た有益情報が存在する方向(ユーザが進むべき進行方向以外の方向(例えば、左方向))を算出する。
次に、制御部1は、有益情報が存在する方向(例えば、左方向)に対応する振動部12を振動させる(ステップ219)。これにより、進行方向(例えば、右方向)以外の方向(例えば、左方向)に、ユーザにとって有益な情報(例えば、ラーメン屋)が存在することが、ユーザに対して知らされる。
次に、制御部1は、振動部12を振動させてから所定時間(例えば、数秒程度)内に、振動部12による振動に対して、ユーザから応答があったかどうかを判定する(ステップ220)。第2実施形態では、ユーザが、振動された振動部12の方向へ向けて首を傾斜させたかどうか(角速度センサ3等のセンサにより判定可能)に基づいて、ユーザから応答があったかどうかが判定される。
なお、振動に対するユーザの応答は、ユーザによる首の傾斜に限られない。例えば、振動に対するユーザの応答は、ウェアラブルデバイス100へのタッチ操作であってもよいし(この場合には、タッチ操作を検出する操作部が設けられる)、音声による応答であってもよい(この場合には、音声を検出するマイクロフォンが設けられる)。
振動部12を振動させてから所定時間(例えば、数秒程度)内に、ユーザからの応答がなかった場合(ステップ220のNO)、制御部1は、ステップ201へ戻り、再びステップ201以降の処理を実行する。
振動部12を振動させてから所定時間(例えば、数秒程度)内に、ユーザからの応答があった場合(ステップ220のYES)、制御部1は、有益情報を含む追加テキストデータを生成する(ステップ221)。
追加テキストデータは、例えば、「左に曲がると、ラーメン屋があります」「曲がらずに直進すると、きれいな景色が見えます」「右に曲がると、イタリアンレストランがあります」などである。
次に、制御部1は、追加テキストデータについて、重要度に応じた定位位置付き音声データを生成する(ステップ222)。重要度に応じた音像9の定位位置の制御については、上述の第1実施形態で説明したとおりである。
なお、音像9の定位位置の制御について、ユーザが進むべき進行方向以外の方向(「右に曲がると」における"右"、「曲がらずに直進すると」における"直進"等)を示す情報に応じて、偏角φが変化されてもよい。例えば、追加テキストデータにおいてユーザが進むべき進行方向以外の方向の文字が含まれる場合には、制御部1は、その対応する方向に音像9を定位させるように、偏角φを変化させてもよい。この場合、重要度に応じた、音像9の定位位置の変化は、動径r、偏角θに割り当てられる。
制御部1は、定位位置付きの音声データを生成すると、生成した音声データを出力する(ステップ223)。これにより、「左に曲がると、ラーメン屋があります」「曲がらずに直進すると、きれいな景色が見えます」「右に曲がると、イタリアンレストランがあります」等の音声がスピーカ7から出力される。
音声データを出力すると、制御部1は、ステップ201へ戻り、再び、ステップ201以降の処理を実行する。
ステップ216~ステップ223について、時系列的に簡単に説明する。例えば、「500m先、右方向です」(道路状況の情報がある場合には、「その先、1kmの渋滞です」等が付加)との音声が流れた直後、進行方向とは逆の左の振動部12が振動される。
つまり、「右方向です」等のユーザが進むべき進行方向が読み上げられるタイミング(例えば、交差点から500m、300m、100m、50mの地点)に合わせて、進行方向以外の方向に対応する振動部12が振動される。
これに対して、ユーザが左方向になにかあるのかと思い、左に首を傾けると、「左に曲がるとラーメン屋があります」との音声が流れる。ユーザが左に首を傾けなければ、この音声は流れない(ユーザが無視する)。
<作用等>
第2実施形態では、ユーザが進むべき進行方向に応じた振動部12が振動されるので、ユーザは、進行方向を直感的に認識することができる。また、このとき、ナビゲーションによる指示地点(交差点)までの距離に応じた強度(距離が短くなるほど強くなる)で振動部12が振動されるので、ユーザは、ナビゲーションによる指示地点(交差点)までの距離を直感的に認識することができる。
また、ユーザが進むべき進行方向が読み上げられるタイミング以外のタイミングで、進行方向に対応する振動部12が振動される。従って、進行方向に進んだ先の道路情報に基づく振動及び進行方向以外の方向に関する有益情報の存在を知らせる振動と、進行方向に関する振動とをユーザが混同してしまうことを防止することができる。
また、第2実施形態では、進行方向に進んだ先の道路情報が読み上げられるタイミングに合わせて、振動部12が振動される。従って、ユーザは、進行方向に進んだ先の道路状況が通常の道路状況とは異なることを直感的に認識することができる。
また、このとき、道路状況の種類に応じて異なる振動パターンで振動部12が振動されるので、ユーザがウェアラブルデバイス100の使用に慣れて振動パターンを覚えることで、道路状況の種類を直感的に識別することができる。また、ユーザがウェアラブルデバイス100の使用に慣れて振動パターンを覚えることで、進行方向に進んだ先の道路情報の読み上げを省略してその振動パターンのみで道路状況をユーザに通知することも可能となる。この場合、テキストデータの読み上げ時間の短縮を図ることができる。さらに、第2実施形態では、道路状況の程度に応じて振動の強度が変化されるので、ユーザは、道路状況の程度を直感的に認識することができる。
また、第2実施形態では、ユーザが進むべき進行方向が読み上げられるタイミングに合せて、進行方向以外の方向に対応する振動部12が振動される。これにより、ユーザは、進行方向以外の方向に、ユーザにとって有益な情報が存在していることを認識することができる。
また、この振動に対してユーザが応答すると、有益情報を読み上げる音声が流れる。一方、この振動に対して、ユーザが応答しなければ、有益情報を読み上げる音声が流れない。つまり、ユーザは、有益情報を聞くかどうかを任意に選択することができる。これにより、有益情報が存在するときに毎回有益情報が読み上げられてしまったり、読み上げられる音声が長くなってしまったりすることで、ユーザが煩わしく感じてしまうことを防止することができる。
≪各種変形例≫
以上の説明では、情報処理装置の一例として、ネックバンド型のウェアラブルデバイス100を例に挙げて説明した。一方、情報処理装置は、これに限られない。例えば、情報処理装置は、リストバンド型、メガネ型、指輪型、ベルト型等の、ネックバンド型以外のウェアラブルデバイスであってもよい。
また、情報処理装置は、ウェアラブルデバイス100に限られず、携帯電話機(スマートフォンを含む)、PC(Personal computer)、ヘッドホン、据え置き場型のスピーカ等であってもよい。典型的には、情報処理装置は、音に関する処理が実行されるデバイスであれば、どのようなデバイスであってもよい(処理を行うデバイス自体にスピーカ7が設けられている必要もない)。また、上記した制御部1における処理は、ネットワーク上のサーバ装置(情報処理装置)により実行されてもよい。
本技術は、以下の構成をとることもできる。
(1) テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させる制御部
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の距離rを変化させるように、前記音像の定位位置を変化させる
情報処理装置。
(3)上記(1)又は(2)に記載の情報処理装置であって、
前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の偏角θを変化させるように、前記音像の定位位置を変化させる
情報処理装置。
(4)上記(1)~(3)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記重要度に応じて、球座標系においてユーザに対する音像の偏角φを変化させるように、音像の定位位置を変化させる
情報処理装置。
(5)上記(1)~(4)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記音像を所定の速度で動かすことが可能であり、かつ、前記重要度に応じて、前記速度を変化させる
情報処理装置。
(6)上記(1)~(5)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記重要度に応じて、前記音像の数を変化させる
情報処理装置。
(7)上記(1)~(6)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、前記重要度に応じて、前記音像から発せられる音を変化させる
情報処理装置。
(8)上記(1)~(7)のうちいずれか1つに記載の情報処理装置であって、
香りを発生する香発生部、振動を発生する振動部及び光を発生する光発生部のうち少なくとも1つを備え、
前記制御部は、前記重要度に応じて、前記香り、前記振動及び前記光のうち少なくとも1つを変化させる
情報処理装置。
(9)上記(1)~(8)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、予め用意された、前記音像の定位位置における複数の変化パターンからいずれか1つの変化パターンを選択し、選択された変化パターンで、前記音像の定位位置を変化させる
情報処理装置。
(10)上記(9)に記載の情報処理装置であって、
ユーザの行動に基づく検出値を出力するセンサを更に具備し、
前記制御部は、前記検出値に基づいて前記ユーザの行動を認識し、前記行動に応じて、前記複数の変化パターンからいずれか1つの変化パターンを選択する
情報処理装置。
(11)上記(1)~(10)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、時間の経過に応じて、前記音像の定位位置の変化の大きさを変化させる
情報処理装置。
(12)上記(1)~(11)のうちいずれか1つに記載の情報処理装置であって、
前記制御部は、ユーザに個別のユーザ情報を取得し、前記ユーザ情報に応じて、前記重要度を判定する
情報処理装置。
(13)上記(1)に記載の情報処理装置であって、
ユーザに対して第1の方向に位置する第1の振動部と、前記第1の方向とは異なる第2の方向に位置する第2の振動部とをさらに具備し、
前記テキストデータは、ユーザが進むべき進行方向を示す情報を含み、
前記制御部は、前記第1の振動部及び前記第2の振動部のうち前記進行方向に対応する振動部を振動させる
情報処理装置。
(14)上記(13)に記載の情報処理装置であって、
前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミング以外のタイミングで、前記進行方向に対応する振動部を振動させる
情報処理装置。
(15)上記(14)に記載の情報処理装置であって、
前記テキストデータは、前記進行方向に進んだ先に関する情報を含み、
前記制御部は、前記進行方向に進んだ先に関する情報が読み上げられるタイミングに合わせて、前記第1の振動部及び第2の振動部のうち少なくとも一方を振動させる
情報処理装置。
(16)上記(14)又は(15)に記載の情報処理装置であって、
前記テキストデータは、前記進行方向以外の方向に進んだ先に関する情報を含み、
前記制御部は、前記第1の振動部及び第2の振動部のうち前記進行方向以外の方向に対応する振動部を振動させる
情報処理装置。
(17)上記(16)に記載の情報処理装置であって、
前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミングに合わせて前記進行方向以外の方向に対応する振動部を振動させ、前記振動に対するユーザの反応の有無を検出し、前記ユーザから反応があった場合に、前記進行方向以外の方向に進んだ先に関する情報を読み上げる音を出力させる
情報処理装置。
(18) テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、
前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させる
情報処理方法。
(19) テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、
前記重要度に応じて、前記テキストデータがにおける音声発話の音像のユーザに対する定位位置を変化させる
処理をコンピュータに実行させるプログラム。
1・・・制御部
9・・・音像
12・・振動部
100、200・・・ウェアラブルデバイス

Claims (18)

  1. テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させ、所定の場合に、予め用意された、前記音像の定位位置が前記重要度に応じて変化する、それぞれ異なる変化形態を持つ複数の変化パターンからいずれか1つの変化パターンを選択し、選択された変化パターンで、前記音像の定位位置を変化させる制御部
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の距離rを変化させるように、前記音像の定位位置を変化させる
    情報処理装置。
  3. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記重要度に応じて、球座標系において前記ユーザに対する前記音像の偏角θを変化させるように、前記音像の定位位置を変化させる
    情報処理装置。
  4. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記重要度に応じて、球座標系においてユーザに対する音像の偏角φを変化させるように、前記音像の定位位置を変化させる
    情報処理装置。
  5. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記音像を所定の速度で動かすことが可能であり、かつ、前記重要度に応じて、前記速度を変化させる
    情報処理装置。
  6. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記重要度に応じて、前記音像の数を変化させる
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    前記制御部は、前記重要度に応じて、前記音像から発せられる音を変化させる
    情報処理装置。
  8. 請求項1に記載の情報処理装置であって、
    香りを発生する香発生部、振動を発生する振動部及び光を発生する光発生部のうち少なくとも1つを備え、
    前記制御部は、前記重要度に応じて、前記香り、前記振動及び前記光のうち少なくとも1つを変化させる
    情報処理装置。
  9. 請求項に記載の情報処理装置であって、
    ユーザの行動に基づく検出値を出力するセンサを更に具備し、
    前記制御部は、前記検出値に基づいて前記ユーザの行動を認識し、前記行動に応じて、前記複数の変化パターンからいずれか1つの変化パターンを選択する
    情報処理装置。
  10. 請求項1に記載の情報処理装置であって、
    前記制御部は、時間の経過に応じて、前記音像の定位位置の変化の大きさを変化させる
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記制御部は、ユーザに個別のユーザ情報を取得し、前記ユーザ情報に応じて、前記重要度を判定する
    情報処理装置。
  12. 請求項1に記載の情報処理装置であって、
    ユーザに対して第1の方向に位置する第1の振動部と、前記第1の方向とは異なる第2の方向に位置する第2の振動部とをさらに具備し、
    前記テキストデータは、ユーザが進むべき進行方向を示す情報を含み、
    前記制御部は、前記第1の振動部及び前記第2の振動部のうち前記進行方向に対応する振動部を振動させる
    情報処理装置。
  13. 請求項12に記載の情報処理装置であって、
    前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミング以外のタイミングで、前記進行方向に対応する振動部を振動させる
    情報処理装置。
  14. 請求項13に記載の情報処理装置であって、
    前記テキストデータは、前記進行方向に進んだ先に関する情報を含み、
    前記制御部は、前記進行方向に進んだ先に関する情報が読み上げられるタイミングに合わせて、前記第1の振動部及び第2の振動部のうち少なくとも一方を振動させる
    情報処理装置。
  15. 請求項13に記載の情報処理装置であって、
    前記テキストデータは、前記進行方向以外の方向に進んだ先に関する情報を含み、
    前記制御部は、前記第1の振動部及び第2の振動部のうち前記進行方向以外の方向に対応する振動部を振動させる
    情報処理装置。
  16. 請求項15に記載の情報処理装置であって、
    前記制御部は、前記ユーザが進むべき進行方向が読み上げられるタイミングに合わせて前記進行方向以外の方向に対応する振動部を振動させ、前記振動に対するユーザの反応の有無を検出し、前記ユーザから反応があった場合に、前記進行方向以外の方向に進んだ先に関する情報を読み上げる音を出力させる
    情報処理装置。
  17. テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、
    前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させ、
    所定の場合に、予め用意された、前記音像の定位位置が前記重要度に応じて変化する、それぞれ異なる変化形態を持つ複数の変化パターンからいずれか1つの変化パターンを選択し、
    選択された変化パターンで、前記音像の定位位置を変化させる
    情報処理方法。
  18. テキストデータを解析して前記テキストデータ内の各部分の重要度を判定し、
    前記重要度に応じて、前記テキストデータにおける音声発話の音像のユーザに対する定位位置を変化させ、
    所定の場合に、予め用意された、前記音像の定位位置が前記重要度に応じて変化する、それぞれ異なる変化形態を持つ複数の変化パターンからいずれか1つの変化パターンを選択し、
    選択された変化パターンで、前記音像の定位位置を変化させる
    処理をコンピュータに実行させるプログラム。
JP2019550902A 2017-11-01 2018-10-01 情報処理装置、情報処理方法及びプログラム Active JP7226330B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017212052 2017-11-01
JP2017212052 2017-11-01
PCT/JP2018/036659 WO2019087646A1 (ja) 2017-11-01 2018-10-01 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019087646A1 JPWO2019087646A1 (ja) 2020-12-17
JP7226330B2 true JP7226330B2 (ja) 2023-02-21

Family

ID=66331835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550902A Active JP7226330B2 (ja) 2017-11-01 2018-10-01 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20210182487A1 (ja)
JP (1) JP7226330B2 (ja)
WO (1) WO2019087646A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181404A1 (ja) * 2022-03-25 2023-09-28 日本電信電話株式会社 印象形成制御装置、方法およびプログラム
WO2024090309A1 (ja) * 2022-10-27 2024-05-02 京セラ株式会社 音出力装置、音出力方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349739A (ja) 2000-06-06 2001-12-21 Denso Corp 車載用案内装置
JP2006115364A (ja) 2004-10-18 2006-04-27 Hitachi Ltd 音声出力制御装置
JP2006114942A (ja) 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体
JP2007006117A (ja) 2005-06-23 2007-01-11 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2010526484A (ja) 2007-05-04 2010-07-29 ボーズ・コーポレーション 車両における音の有指向放射(directionallyradiatingsoundinavehicle)
JP2014225245A (ja) 2013-04-25 2014-12-04 パナソニックIpマネジメント株式会社 交通情報呈示システム、交通情報呈示方法および電子デバイス
JP2016109832A (ja) 2014-12-05 2016-06-20 三菱電機株式会社 音声合成装置および音声合成方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212568A (ja) * 1995-08-31 1997-08-15 Sanyo Electric Co Ltd ユーザ適応型応答装置
JPH10274999A (ja) * 1997-03-31 1998-10-13 Sanyo Electric Co Ltd 文書読み上げ装置
DE602004026026D1 (de) * 2003-12-24 2010-04-29 Pioneer Corp Gesteuerte Meldungsvorrichtung, System und Verfahren
EP2255359B1 (de) * 2008-03-20 2015-07-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur akustischen anzeige
KR100998265B1 (ko) * 2010-01-06 2010-12-03 (주) 부성 리싸이클링 Rfid 블록을 이용한 시각장애인 보행방향 안내 유도시스템 및 그 방법
JP5887830B2 (ja) * 2010-12-10 2016-03-16 株式会社ニコン 電子機器及び振動方法
JP6665790B2 (ja) * 2015-01-14 2020-03-13 ソニー株式会社 ナビゲーションシステム、クライアント端末装置、制御方法、記憶媒体、およびプログラム
US10012508B2 (en) * 2015-03-04 2018-07-03 Lenovo (Singapore) Pte. Ltd. Providing directions to a location in a facility
CN105547318B (zh) * 2016-01-26 2019-03-05 京东方科技集团股份有限公司 一种智能头戴设备和智能头戴设备的控制方法
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
US10414411B2 (en) * 2016-03-30 2019-09-17 Mitsubishi Electric Corporation Notification control apparatus and notification control method
CN105748265B (zh) * 2016-05-23 2021-01-22 京东方科技集团股份有限公司 一种导航装置及方法
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349739A (ja) 2000-06-06 2001-12-21 Denso Corp 車載用案内装置
JP2006114942A (ja) 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 音声提示システム、音声提示方法、この方法のプログラム、および記録媒体
JP2006115364A (ja) 2004-10-18 2006-04-27 Hitachi Ltd 音声出力制御装置
JP2007006117A (ja) 2005-06-23 2007-01-11 Pioneer Electronic Corp 報知制御装置、そのシステム、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、移動支援装置
JP2010526484A (ja) 2007-05-04 2010-07-29 ボーズ・コーポレーション 車両における音の有指向放射(directionallyradiatingsoundinavehicle)
JP2014225245A (ja) 2013-04-25 2014-12-04 パナソニックIpマネジメント株式会社 交通情報呈示システム、交通情報呈示方法および電子デバイス
JP2016109832A (ja) 2014-12-05 2016-06-20 三菱電機株式会社 音声合成装置および音声合成方法

Also Published As

Publication number Publication date
JPWO2019087646A1 (ja) 2020-12-17
WO2019087646A1 (ja) 2019-05-09
US20210182487A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US11240624B2 (en) Information processing apparatus, information processing method, and program
US11178946B2 (en) System and method for providing directions haptically
US10598506B2 (en) Audio navigation using short range bilateral earpieces
JP7226330B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2014024606A1 (ja) 情報処理装置と情報処理方法および情報処理システム
EP3491340B1 (en) Method and system for generating adaptive route guidance information
JP2007071601A (ja) 経路案内装置およびプログラム
US11051120B2 (en) Information processing apparatus, information processing method and program
JP2016162109A (ja) 精神状態誘導装置、精神状態誘導方法、精神状態誘導プログラムおよび記録媒体
JP2011099815A (ja) ナビゲーション装置及び車線案内方法
JP2010127837A (ja) ナビゲーション装置
JP2008256419A (ja) ナビゲーション装置
Zwinderman et al. Oh music, where art thou?
WO2018092486A1 (ja) 情報処理装置、方法及びプログラム
US20230194264A1 (en) Physical event triggering of virtual events
JP4812750B2 (ja) 休憩支援装置、休憩支援方法、休憩支援プログラム、およびコンピュータに読み取り可能な記録媒体
KR20180055643A (ko) 주행을 보조하는 정보를 생성하는 방법 및 디바이스
KR20240065182A (ko) 개인 이동성 시스템의 ar 기반 성능 변조
KR20040038870A (ko) 내비게이션 장치
JP2004340930A (ja) 経路案内提示装置
JP2011220899A (ja) 情報提示システム
JP2020044151A (ja) ゲーム処理方法
JP2014127934A (ja) 音像定位装置、及び、プログラム
JP2008241249A (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラム、記録媒体、情報表示装置、および情報表示方法
Cooper Creating a Safer Running Experience

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151