JP3766770B2 - 情報提示装置、情報提示方法、及び情報提示プログラムを記録したコンピュータで読取可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の音声情報を用いて、その音声情報源に関連付けられた情報を選択する情報選択方法、情報選択装置及びプログラムを記録した事を特徴とする記録媒体に関する。
【０００２】
なお、この明細書で「音像の位置」とは、可能な限りその場所で音が発声しているように聞こえる場所、または、その方向から音が聞こえる方向のどちらの意味にも用いる。
【０００３】
【従来の技術】
従来の技術として、複数の情報から一つの情報を選択する方法として、ディスプレイ上に示される文字情報を用いた検索エンジンなどがあげられる。しかし、画面に注目しつづける作業はユーザにとって負担になる。そこで、音声を利用する技術が注目されている。また、ラジオ番組、音楽CDなどの多数候補の音声メディアが選択対象にあるときは、文字情報だけを用いて取捨選択するよりも実際にその内容を聞き、直接選択するほうが自然である。
【０００４】
複数情報から一つの情報を選択する方法に音声を用いたものとして、情報を一つ一つ提示し、所望の情報が提示されたときにボタンを押して選択する方法と、各情報を音像としてユーザの周りの円周上を回転させ、所望の情報が一番大きく再生されたときにボタンを押して情報を選択する方法が文献１（梅本あずさ、柴尾忠秀、水口充、浦野直樹（シャープ（株））「音声提示型インタフェースの提案」（DICOMO'99））に記載されている。ここでは、第１の手法（手法１）として、情報に関連付けられた音声を同時に再生しながら、それぞれ音像としてユーザのまわりに定位させ、ユーザの前にある仮想的な円周上を回転させ、所望の情報がユーザの一番近く、つまり音量が一番大きく聞こえたときにボタンを押す事でユーザは所望の情報をえることができるものが紹介され、第２の手法（手法２）として、情報に関連付けられた音声を自動的もしくは手動で順次切り替えて再生し、ユーザは所望の情報が再生されている間に決定ボタンを押す事で所望の情報を得ることができるものが紹介されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、文献１中の手法１において、円周上を回転する際に、提示される情報の種類に関わらず一定の速度や半径、間隔で回転させているため、よく聞き取れるユーザとそうでないユーザが存在してしまう。
【０００６】
また、手法１において、回転を早めたり戻したりする操作はできるが、直接隣の音像をすぐに聞きたいという場合には何回もボタンを押して隣の音像を引き寄せなければならない。
【０００７】
また、手法１において、円周上を回る音像の位置を送ったり戻したりする操作では、ディスプレイを伴わない場合、音声そのものしか音像の位置を知る手がかりがないので、どの程度音像の位置移動を指示したかを把握しにくい。
【０００８】
また、手法１では、音楽や放送音声など比較的長い音声情報を提示するときや、ユーザがどんな情報が提示されるかあらかじめ予測できておらず一通り眺め通したい状況であれば便利であるが、そうでない情報の場合には不便さがある。
【０００９】
その逆に、手法２は、インデックスのような比較的短い音声を提示するときや、ユーザがどんな情報が提示されるかあらかじめ予測できている状況であれば便利であるが、それ以外の状況には不便さがある。
【００１０】
また、提示される音声それぞれに音量差がある場合、手法１では、各音像に対して同じような音量コントロールをしていても遠くにあるはずの音の方が近くにある音よりも音量レベルが高かった場合、「遠くの音のほうが小さく聞こえる」ような音量で遠近を判断する事ができず、音を正しく聞き分けることが困難であり、手法２では提示される音声が変わるたびによく聞こえたり聞こえなかったりする音声が出現する。
【００１１】
また、提示される音声がそれぞれコンサート録音によるステレオ音声である場合、個々の音声には空間的広がりが感じられる。このような音声を手法１を用いて提示させた場合、音像の定位位置をユーザが認知する事が困難となり使い勝手の面で支障をきたしている。
【００１２】
本発明は上記課題に基づいて創案されたもので、複数の情報から一つを選択する際に音声を利用したユーザインタフェースとなる情報選択方法、情報選択装置及び記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る情報提示装置は、複数の情報を、少なくとも音像情報として提示する情報提示装置において、
音像情報を提示する際、提示する音像情報の性質又はユーザの状態に応じて、その提示状態を変更するための手段を備えてなることを特徴とするものである。
【００１４】
このように、音像情報の提示状態を変更するための手段を持つことにより、提示する音像情報の長さ、音量、ステレオ／モノラル、サンプリング周波数や再生ハードに依存した音質と言った、性質や、例えば提示する情報の前後をユーザが知っている場合と、そうでない場合、或は、音像として与えられる情報のユーザの捉えやすさと言った、ユーザの状態に応じて、音像情報の提示状態を容易に変更することが可能になる。
【００１５】
本発明に係る情報提示装置は、前記変更される提示状態が、複数の音像情報をその提示位置を変えて同時に提示する状態と、複数の音像情報を順次提示する状態とのいずれかを含んでなることを特徴とするものである。
【００１６】
このように、音像情報を同時に提示する状態と、順次提示する状態とを、選択することにより、画一的な情報提示でなく、音として情報を提示する場合に、より的確にその音像情報を提示することが可能になる。
【００１７】
本発明に係る情報提示装置は、前記複数の音像情報をその提示位置を変えて同時に提示する際、
前記音像情報の位置を個別に時間制御し、配置する手段を備えて、
各音像の位置を略円周上に配置して回転させ、提示する音像情報の性質に応じて、その回転条件及び、音像定位条件を設定してなることを特徴とするものである。
【００１８】
このように、音像情報を略円周上に配置して回転させ、その円のある接点にユーザを配置することにより、複数の音像情報を同時に提示する際、ユーザ自身が、自分に最も近い音像情報位置、自分に最も遠い音像情報位置等の音像の相互位置関係を認識することが容易になる。また、その回転速度、回転半径といった回転条件、音像間の距離といった音像定位条件を設定することにより、個々のユーザに合わせた、情報提示環境を作ることが可能になる。
【００１９】
尚、この音像情報を配置する円は、全円である必要はなく、同時に提示される音像情報の数や、ユーザの嗜好に合わせて、ユーザからより遠い位置にある円周の一部がカットされた状態で、音像情報が提示されていてもよい。
【００２０】
本発明に係る情報提示装置は、前記複数の音像情報をその提示位置を変えて同時に提示する際、
前記音像情報の位置を個別に時間制御し、配置する手段を備えて、
各音像の位置を回転に依らず、ユーザの指示する位置に変更させてなることを特徴とするものである。
【００２１】
このように、各音像の位置を回転に依らず、即ち、回転で回ってくるのを待たずに、ユーザの指示する位置に変更する手段を有することにより、所望の情報と関連付けられた音像情報を即座に手元に引き寄せる、即ち、「戻し」「送り」ボタン等を何度も押すことなく、ワンステップで引き寄せることが可能になる。
【００２２】
また、提示されている全音像の微妙な位置変化から、別の音像を直接呼び出すことまで、この情報提示装置に基いて、様々な情報選択を行うことが可能になる。
【００２３】
本発明に係る情報提示装置は、前記情報の持つ各音像情報の間の性質に差がある場合、その音像情報の提示をする前に、各音像情報の性質の均質化を行う手段を有してなることを特徴とするものである。
【００２４】
このように、各音像情報の性質の均質化を行って、例えば、音像情報の音量レベルに差がある場合は、その正規化を、又、音像情報が、ステレオ音声と、モノラル音声とが混ざっている場合は、ステレオ音声のモノラル化を予め行ってから、音像情報として提示することにより、どの音像情報に対しても、ユーザが音像情報の定位位置を認識することが可能になる。
【００２５】
本発明に係る情報提示装置は、前記情報が、音像情報以外の提示情報を有し、各音像情報を提示する際に、これらの音像情報以外の提示情報を併せて提示する手段を有してなることを特徴とするものである。
【００２６】
このように、例えば、画像情報や、触覚による情報等、音像情報以外の提示情報を、併せて提示することにより、ユーザは所望の情報の獲得をより容易に行うことが可能になる。
【００２７】
本発明に係る情報提示方法は、複数の情報を、少なくとも音像情報として提示する情報提示方法において、
音像情報を提示する際、提示する音像情報の性質に応じて、その提示状態を変更するためのステップを備えてなることを特徴とするものである。
【００２８】
本発明に係る記録媒体は、複数の情報を、少なくとも音像情報として提示する際、コンピュータを、提示する音像情報の性質に応じて、その提示状態を変更するための手段として、機能させるための情報提示プログラムを記録したコンピュータで読取可能な記録媒体であることを特徴とする。
また、本発明は、複数の情報を、少なくとも音像情報として提示する情報提示装置において、音像情報を提示する際、提示する音像情報の性質又はユーザの状態に応じて、その提示状態を変更するための手段と、前記音像情報を提示する際に、前記音像情報に対応する視覚情報を提示する手段、とを含む情報提示装置を提供する。
また、本発明は、前記視覚情報を提示する手段は、前記複数の音像情報に対応する複数の視覚情報を一覧表示させることを特徴とする情報提示装置を提供する。
また、本発明は、前記音像情報の提示状態が変更された場合に、前記視覚情報の提示状態をあわせて変更することを特徴とする情報提供装置を提供する。
【００２９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面を参照して詳細に説明する。
（実施例１）
図１は、本発明を実現するための機器のシステム構成図である。システムは、音声記憶部１１１、主制御部１１２、メニュー制御部１１３、音声変換部１１４、再生制御部１１５、情報記憶部１１６を含んだ制御装置１１、ヘッドフォン、スピーカーなどの音声提示用外部情報提示装置１２、ディスプレイなどの音声以外の情報提示用外部情報提示装置１３、決定ボタンを少なくとも備え、他に十字パッド、ジョグダイヤル、シャトルリング、マウスなどを備えた提示指示装置１４、からなる。この図において、制御装置１１と、外部情報提示装置１２、１３、提示指示装置１４とは、ケーブルを用いて１台のマシンに接続されているが、本願発明はこれに限定されるものではなく、ケーブル、ネットワーク経由、無線（電波やIR等）通信により、相互に接続されていてもよい。
【００３０】
主制御部１１２は、複数の情報を音像情報として定位させて同時に再生しながら個別に音量や定位位置を制御する手法（手法1）と、音声情報を順次切り替えて提示する手法（手法2）を持っており、情報記憶部１１６に格納された情報にしたがって、手法1と手法2を適宜切り替えて、音声記憶部１１１に格納されている音声情報の再生、もしくは情報記憶部１１６の内容を音声変換部１１４で変換した音声の再生を再生制御部１１５に指示する。
【００３１】
ここで、提示方法の切り替えを指示する流れを図１２を用いて説明する。ユーザの指示により、システムが起動すると（S1201）提示する一連の音声情報がシステムに読みこまれ、提示する一連の情報の中にある閾値よりも長い音声情報が含まれているかどうかを調べ（S1202）含まれているときには手法１（音像情報として同時に再生提示）を用いる事とし（S1203）、そうでないときには手法２（順次切り替えて再生提示）を用いることとする（S1204）。
【００３２】
この閾値はシステムが一貫して持つ値でもよいし、各ユーザの操作履歴から学習したユーザ毎に設定した値でもよい。
【００３３】
また、提示を開始する前に音量やステレオ／モノラルの正規化を行うステップを経てもよい（S1205）。ここまでをシステムが自動的に行った後、提示を開始する。提示が始まった（S1206）後でも提示を終了するまで（S1210）常にユーザからの切り替え指示（手法の切り替え（S1207,S1208）、音声パラメータの正規化・正規化の解除（S1209、S1212））を受けつけられるようにする。
【００３４】
手法1について図2、図3を用いて説明する。図2は操作イメージ図、図3は手法1の形態の動作を説明する制御フロー図である。ユーザ1はヘッドフォン装置２を通して、制御装置3で制御される複数の音像を聞く。制御装置3の入力手段には巻き戻しボタン４、決定ボタン５、早送りボタン６を備えたコントローラが設けられている。
【００３５】
制御装置3はユーザ1の正面方向の水平面上にある音像Ｐ１〜Ｐ２Ｎを認識できるようにヘッドフォン装置２又はステレオスピーカーの左右の音量を比較し、調節する演算を用い、複数音像Ｐ１〜Ｐ２Ｎが円周上を一定間隔で回転しているかのように同時再生する制御を行う。回転制御を行う際、ある音像Ｐがユーザに最も近い点Ａに来たときにはその音量を最大に設定し、最も遠い点Ｂに来たときに最小音量になるよう、回転とともに音量を順次下げて行き、その後、Ｂにて最小音量になった後、Ａにて最大音量になるよう、順次音量を上げる。図２中の各音像の音量の大小関係は、Ｐ１＞Ｐ２＞…＞ＰＮ＞ＰＮ＋１＜Ｐ２Ｎ、Ｐ２Ｎ＜Ｐ１となる（ここまで、図３のＳ３２１）。
【００３６】
多チャンネル放送などの番組案内など、数が多く一度に回転させるのが困難な数の選択肢については、一定数のみを抽出して回転させる。一定時間選択されない音像については、ユーザから最も遠い点Ｂにおいて未回転の情報と入れ換えることにより多数の選択肢から一つを選ぶ場合に対応する（図３Ｓ３２２，Ｓ３２３）。その際、情報が新しくなった事を示すために、通知音を情報発音の妨げにならない程度に発音させてもよい。
【００３７】
また、音像の回転を制御するために微妙に音像の位置を進めたい場合には早送りボタン６を短く押し、戻したい場合は巻き戻しボタン４を短く押す。また、直接別の音像を手元に引き寄せたい場合には適宜早送りボタン６または巻き戻しボタン４を長めに押せばよい。ボタンの押し方は必ずしもこの例に従うものではないが、このようなユーザによる音像の位置変化を支持するステップを受けて手法１では音像の位置変化の制御を行う（図３Ｓ３３，Ｓ３４）。このとき、位置変化を指示するボタンに、ユーザがどれだけ音像の位置を動かしたかを、ボタンの押し具合の抵抗を調整することによって触覚的にフィードバックを行う手段を含むことで、ユーザがどれだけ音像の位置を変化させているかを感じ取りやすくすることができる。
【００３８】
また、手法１について、各音像の再生時間の長さなどに応じて、適宜回転スピードや回転半径、音像間距離などの音像定位と回転に関するパラメータを変化させ、ユーザが使いやすいように提示に工夫を加えてもよい。また、このパラメータを変化する指示をユーザが行えるステップや、手段を付け加えてもよい。
【００３９】
手法２について図４、図５を用いて説明する。図４は手法２の操作イメージ図である。ユーザ１は、ヘッドフォン装置２を通して、制御装置３が提示する音声情報を順番に聞く。制御装置３の入力手段には戻しボタン４、決定ボタン５、送りボタン６を備えたコントローラが設けられている。制御装置３は、複数の情報源に対応する音声情報を順次切り替えて提示する。つまり、提示されるべき全ての情報ＰがＳ個あったとすると、情報ＰはＰ１からＰＳまでソーティングされており、制御装置３は、Ｐ１を提示し終わるとＰ２の提示、Ｐ２の提示の後はＰ３…、のように、順次切り替えて提示していく。
【００４０】
図５は、図１の実施の形態の動作を説明する制御フロー図である。ここでは、Ｎ番目の情報ＰＮを提示しているときについて説明する。システムを起動すると、まずソーティング済みの提示されるべき全ての情報のうち、一番目に順序づけられた情報から提示し始めることとする（S501）。
【００４１】
ＰＮの提示中にボタンが押されなかった場合、ＰＮ＋１を次の提示情報とする(S505)。このときＮ＋１がＳを越える、つまりＳ番目の情報まで提示してしまった場合は次に１番目の情報を提示するとする（S507）。ＰＮの提示中にボタンが押された場合はただちにＰＮの提示を中止する（S508）。押されたボタンが戻しボタンだった場合は次に提示する情報をＰＮ−１とする（S511）。Ｎ−１が０となる、つまりＮが１だった場合には、次にＳ番目の情報を提示する（S514）。押されたボタンが送りボタンだった場合は次の提示する情報をＰＮ＋１とする（S510）。Ｎ＋１がＳを越える場合は前述のとおりである（S507）。押されたボタンが決定ボタンだった場合は、ＰＮをユーザの所望の情報であると判断する（S513）。この手法においても、数が多い場合には一定数のみを抽出して提示し、一定時間選択されない音声情報については、順次新しい（まだユーザに提示していない）情報と入れ換えて提示してもよい。
【００４２】
ここで両手法（手法１と手法２）において、このユーザに提示する情報のソーティング順（並び順）は、以前に情報を選択した際のユーザの好みを反映するものであってもよい。また、両手法において、提示する各音声に音量レベルの差があった場合、提示する前に正規化を行い、全音声がほぼ同音量レベルで再生されるようにしてもよい。
（実施例２）
図6は本発明をメールアプリケーションに応用したときの操作の流れを示している。この例では、図２（手法１）と図４(手法２)に記載のいずれかの方法を複数回繰り返し利用している。以下、図１、図２、図４、図6を用いて、メールアプリケーションを例にとって説明する。まず最初にアプリケーションをスタートするとメールが何件来ているかを音声で知らせる（S601）。その後提示する音声情報として「○通目○○さんより」のように差出人を読み上げたものと、アプリケーションを終了させる「終了します」メッセージを用意し、手法１ならそれぞれを音像として定位させ同時に再生し、手法２なら順番に再生して提示する(S602)。ユーザが上記選択手段に基づいて一つメールを選択すると、選択されたメールの日付、差出人、件名を読み上げ(S603)、そのメールに対する処理を示すメッセージを提示すべき音声情報として手法１、手法２のいずれかの方法で提示する(S604)。
【００４３】
以下同様に、選択できる情報を自動的に手法１もしくは手法２を用いて提示し、ユーザが前記選択手段を用いて選択していくことで動作が進行する。情報の内容を把握するのにメッセージを最初から最後まで聞く必要のないときは、情報が提示されている間に図２、４中の送りボタン６を押すことで、手法１であれば先の音像を呼び出す事ができ、手法２であれば現在提示されている情報を飛ばして次の情報の提示を促す事ができる。同様に、前に聞いた情報の内容を忘れてしまいもう一度確認したい場合は図２、４中の戻しボタン４を押すことで前に提示されていた情報を再度提示させることができる。
【００４４】
例えば、図6において、返信メールの録音に失敗しもう一度録音しなおしたい場合は、その他のメッセージ「送信します(S6081)」「送信を取りやめます(S6082)」を図２、４中の送りボタン６で飛ばし、「録音をやり直します(S6083)」をすぐに提示させることができる。または、図２、４中の戻しボタン４で情報の提示順を逆順に辿り、提示させてもよい。
【００４５】
こうして、操作ボタンを３つとし、実際の操作を音声で提示し、その音声を選択させる形をとって操作を進めることで、操作ボタンの確認作業を軽減し、聴覚だけで操作できるインタフェースを実現できる。
【００４６】
また、提示の方法について、提示するメニューが長い場合や、前後にどのようなメールがあるか知りながら情報を聞きたい場合には手法１、提示するメニューが比較的短く、一つ一つ聞きたい場合には手法２を用いることができるようにすることで、どんな内容が提示されるときでも、常にユーザにとって最適の状態で情報の提示をすることができる。手法の切り替えは主制御部１１２で自動的に行ってもよいし、切り替えをユーザが指示できるボタンを設け、ユーザ指示を受けて主制御部１１２が切り替えてもよい。
【００４７】
また、情報の提示を、複数メールを提示（S602）、選択したメールに対する操作一覧（S604,S606,S608）の４段階に分ける事によって、その都度必要な情報をユーザに提示することができ、メール本体の選択と選択したメールに対する操作を同じ方法と同じボタンで扱うことができる。
【００４８】
このとき、手法1と手法2は少なくとも決定ボタン５を、ないしは加えて巻き戻しボタン４と早送りボタン６を備えるような共通のインタフェースを持つことで、手法が切り替わっても同じボタンと同じ操作でユーザは情報を取り出すことができる。
【００４９】
次に、図１と図６を用いて、メモリの動きを説明する。
【００５０】
まず、主制御部１１２は情報記憶部１１６に従い、到着メール件数に応じて「メールが到着しています。新しいメールは○件です」（S601)の部分に件数を入れて音声変換部１１２において音声メッセージに変換し、変換後の音声の再生を再生制御部１１５に指示する。その後、情報記憶部１１６に格納されている到着メールの差出人一覧をそれぞれ、音声変換部１１２を通じてそれぞれ「○通目○○さんより」（S6021〜S6023）と音声に変換したものと、音声記憶部１１１に格納されている「終了します」（S6024)とをメール選択メニューとして、情報記憶部１１６に格納する。
【００５１】
メニュー制御部１１6は格納された音声メニューS602をそれぞれ順に再生制御部１１５に再生するように指示する。
【００５２】
ユーザ１５が、メール差出人音声（S6021〜S6023)が再生されているときに提示指示装置１４中の決定ボタンを押した場合、主制御部１１２は、ユーザがボタンを押したときに提示中であったメールに該当する題名情報を情報記憶部１１６に問い合わせ、「○通目○○さんより○○○について」（S603)のように何通目の誰から来たどんな題名であるかという音声に音声変換部１１２を通じて音声に変換し情報記憶部１１６に格納し、再生制御部１１５で再生する。
【００５３】
その後、選択されたメールに対して行える動作を読み上げた音声「読み上げます（S6041)」「次のメールを読みます（S6042)」を音声記憶部８１１から読み出し、機能メニュー（S604）として、情報記憶部１１６に格納する。メニュー制御部１１３は、情報記憶部１１６に格納された機能メニュー（S604)をそれぞれ再生制御部１１５に再生するように指示する。
【００５４】
以下同様にユーザ１５の指示に従って情報記憶部１１６に音声メニューを読みこみ、メニュー制御部１１３によって、音声提示が指示される。
【００５５】
図6中のS6024,S604,S605,S606,S607,S608は固定メッセージのため
あらかじめ音声記憶部１１１に音声として記憶されており、提示するときには直接情報記憶部１１６に読みこみ、再生制御部１１５で再生される。
【００５６】
S601,S6021〜S6023、S603は、メールの内容によって変わってくるため、情報記憶部１１５に格納されているメール内容を音声変換部１１４を通じて音声に変換し、変換後音声を情報記憶部１１５に格納し、再生制御部１１５によって再生する。
【００５７】
この例では、メールを扱ったために音声変換部１１４はテキストを音声合成するものであるが、扱う情報によっては、音声合成だけとは限らず、人声以外の音声であってもよい。
（実施例３）
次に、本発明を音楽ＣＤ検索システムに応用した例を図7に示し、手法１と手法２を適宜切り替える方法について説明する。スタートさせると、まず、ジャンルを読み上げた音声を情報として提示し(S701)、その中から邦楽を選ぶと、邦楽の中のさらに細かいジャンルを提示する(S702)。以下同様にしてカテゴリのインデックスを選択決定する動作を繰り返し、所望の情報を選択する。図7中のS702、S705には、カテゴリのインデックスを音声合成したものではなく、ＣＤのサビの部分などでも一意にその情報の中身が理解できるため、直接ＣＤの音声をインデックスとして使用してもよい。
【００５８】
以上のように、検索対象となる情報の数が多くなる場合にはカテゴライズしてインデックスをユーザに提示することで、所望の情報をユーザに提供する。また、元の操作に（一つ上の階層に）戻るには、図２，４中の戻しボタン４、決定ボタン５、送りボタンに新たに一つ前に戻るボタンを付け加えてもよい。また、一つ前の階層に戻れる場合には、提示する情報とともに「一つ前のメニューに戻る」という音声情報を提示し、ユーザがその情報を選んだときには一つ前の階層に戻ることができるようにしてもよい。
【００５９】
図7の例では、選択できるメニュー、インデックスをS701, S702, S703, S705, S706, S707の７段階に分ける事によって所望の音楽情報を得ることができる。また、７段階のインデックス情報に「一つ前のメニューに戻る」メッセージを付け加え、情報本体と、システム操作コマンドを同じ次元で扱うこともできる。この「一つ前のメニューに戻る」メッセージは、一連のインデックス中に一つないしは複数用意し、インデックスの数が多い場合には一定間隔おきに用意してもよい。
【００６０】
この応用例について、システムをスタートさせると、まずジャンルを読み上げた音声を情報として提示することになるが、このとき、「ポップス」「クラッシック」など、比較的短い時間で提示できるガイド音声による音声情報であったとすると手法２の方が適切であると判断し、手法２を用いて音声を順次切り替えてユーザに提示する。ガイド音声ではなくそれぞれのジャンルを代表するような音楽をインデックスとして用いる場合は手法１のほうが適切であると判断し、手法１を用いてそれぞれの音楽を音像として同じに再生しながら回転させてユーザに提示する。この例のように、主制御部１１２は提示する音声の性質によって手法1と手法2を切り替えてユーザに情報を提示する。またこのとき、ユーザが好みに応じて手法１と手法２を切り替えることができるボタンを付け加え、ユーザ指示に基づいて主制御部１１２が手法1と手法2を切り替えるようにしてもよい。
【００６１】
このとき、手法1と手法2は少なくとも決定ボタン５を、ないしは加えて巻き戻しボタン４と早送りボタン６を備えるような共通のインタフェースを持つことで、手法が切り替わっても同じボタンと同じ操作でユーザは情報を取り出すことができる。
【００６２】
多チャンネル放送の番組案内に本発明を応用する場合には、チャンネル別、時間別の他に、ジャンル別、対象年齢別などのインデックスを用意して、ユーザが所望の番組を選べるように促してもよい。この場合も、インデックス名を音声合成したものを提示音声としてもよいし、番組中の音声をそのまま用いてもよい。
【００６３】
現在放送中の番組一覧を本発明の手法で提示するときには、一定時間ごとにチャンネルを切り替えて提示してもよいし、それぞれの番組における特徴のある音声を番組の情報として提示してもよい。この場合は、時間が経ち、あるチャンネルにおいて番組が次の番組に入れ替わった場合には順次それに対応して、入れ替わった番組の音声を提示する。
【００６４】
この場合も、番組の音声をそのまま流すときは手法１を、インデックスなどの比較的短い音声を使用する時などは手法2を用いるように主制御部１１２が自動的に判断し切り替えても良いし、手法切り替えのユーザ指示を受けて主制御部１１２が切り替えてもよい。
【００６５】
また、提示する各音声がそれぞれ違った録音レベルで録音されているような場合、そのまま手法１を用いて提示を行うと「遠い位置の音は小さく、近い位置の音は大きい」という音像定位位置をユーザが認識するきっかけの一つである音量差がつかなくなってしまうことがある。そこで、手法１を用いて提示する前に各音声の音量を正規化し提示することで、使い勝手を損なうことなく提示することができる。加えて、手法１と２を切りかえる手段を持っていれば、音量レベルの正規化を行いたくないとユーザが判断したときには、音量レベルはそのままで手法２に切りかえ提示させる事もでき、多少聴取困難であっても音量レベルを変えずに手法１で提示させる、こともできるようにすることで、あらゆる場合でユーザによって使いやすい提示手段を選ぶことができる。
【００６６】
また、提示する各音声で、コンサート録音されたような空間的広がり感が感じられるような音声があった場合、そのような音声を用いて手法１で提示を行うと音像を定位した位置をユーザが把握しにくいことがある。そこで、手法１を用いて提示する前にそのような広がり感を持った音声をモノラル音声に変換して提示することで、使い勝手を損なうことなく提示することができる。加えて、手法１と２を切りかえる手段を持っていれば、モノラル音声への変換を行いたくないとユーザが判断したときには、ステレオ音声のままで手法２に切り替えて維持させる事もでき、多少聴取困難であってもステレオ音声のままで手法１で提示させる、こともできるようにすることで、あらゆる場合でユーザにとって使いやすい提示手段を選ぶことができる。
【００６７】
本発明を用いたほかの応用例として、WWW上のホームページをブラウズするときには、ホームページ上のテキスト情報を音声合成する、ホームページに添付されている音楽情報を用いる、ホームページの色情報を音に変換する、など、あらかじめ何らかの方法でホームページを音声化しておき、ユーザの欲しそうな情報が掲載されているホームページの候補を音声として提示することも考えられる。
【００６８】
以上のように、ユーザに候補として提示したい情報を何らかの方法で音声化し、音声化した情報の音声としての特徴（再生時間など）に従って手法１、手法２いずれかの方法でユーザに提示することによって、どんな情報でもユーザが複数の情報をブラウズすることができる。
【００６９】
また、聴覚情報だけでなく、補助的に視覚情報を用いて、視覚と聴覚の両方で情報をユーザに提示してもよい。以下視覚情報を補助的に用いた例として図８、図９、図１０を用いて説明する。
【００７０】
図８は、手法１について視覚情報を用いた形態のイメージ図である。制御装置３の入力手段には巻き戻しボタン４、決定ボタン５、早送りボタン６、十字パッド７、ディスプレイ装置８を備えたコントローラが設けられている。ユーザ１はヘッドフォン装置２及びディスプレイ装置８を通して制御装置３で制御される複数の画像を見、音像を聞く。制御装置３は、画像情報を表示するためのディスプレイ装置８を用い、一定間隔を置いて回転する音像Ｐ１〜Ｐ２Ｎにそれぞれ対応付けられた画像Ｄ１〜Ｄ２Ｎを音像に同期させて回転させる制御を行う。音量と画像の対応は最大音量のとき画像は面積最大になり、その後音量は順次小さくなり、最小音量になる。この音量と対応して画像の面積は面積最大から順次小さくなり面積が最小になる。その後、音量と面積は再び、最大から次第に大きくなり、最大音量、面積最大となる。これによって、どの画像がどの音像に対応していて、どの情報がどこにあるか一目でわかるような工夫をすることができる。なお、このとき提示する画像は静止画であっても動画であってもよい。
【００７１】
ユーザが情報を選択する場合には、ポインティングデバイス、例えば十字パッド７を用いてディスプレイ装置８上のポインタＦを操作し、ディスプレイ装置８上の画像を直接に選択する。あるいは、所望の情報がユーザから見て奥のほうにある場合は、所望の情報が手前に来て音像が一番大きく聞こえるまで待つか、早送りボタン６、巻き戻しボタン４を用いて選びたいものが手前に来て一番大きく聞こえるようにするように制御し、決定ボタン５にて決定すればよい。
【００７２】
図９は、手法２について視覚情報を用いた形態のイメージ図である。
ユーザ１は、ヘッドフォン装置２を通して、制御装置３が提示する音声情報を順番に聞く。それと同時に、制御装置3は、提示している音声情報に関連付けられた画像情報をディスプレイ装置８に提示する。ディスプレイ装置8には、提示すべき全ての情報についての画像が一覧表示されており、音声にて提示中の情報に関連付けられた情報に対応する画像情報は太枠で囲むなどの、一目で提示中の音声に関連付けられている事がわかるような工夫をする。
【００７３】
図１０は、提示情報が切り替わったときのディスプレイ装置８の表示の変化を示している。制御装置３は、複数の情報源に対応する音声情報を順次切り替えて提示すると当時に、ディスプレイ装置８に提示している画像情報についても、提示音声を切り替える毎に対応する画像情報に注目がいくような工夫をする。図6では、音声にて提示中の情報に関連付けられた情報に対応する画像情報は太枠で囲んでいる。S61の状態ではGの情報を音声にて提示中である。ここで、ユーザの指示がない場合もしくは、ユーザが送るボタン６を押すことによって次の情報の提示が指示された場合、制御装置３は、Hの情報を提示し、太枠をHに移動する（S62）。S61の状態で、ユーザが十字パッドの下方向キーを押したとき、制御装置３は、ディスプレイ装置８上でGの下に表示しているKの情報の提示をユーザによって指示されたと判断し、Gの音声提示を中止し、Kの音声提示を開始し、当時に太枠をKに移動する（S63）。
【００７４】
このように、画像情報を併用することで、音声で提示中でない他の情報を画像情報を用いて閲覧でき、また、戻しボタン４、送りボタン６を一回押すだけでは提示を指示できない情報を十字パッドを用いて提示を直接指示させることができる。
【００７５】
ポインティングデバイスとして使用する十字パッドは、マウス、シャトルリング、ジョグダイアル、マウス、ジョイスティックなどでも構わない。
【００７６】
以上、本発明の方法について説明したが、図１１を参照して、本発明を実現する装置について説明する。
【００７７】
１１０１はディスプレイ装置、１１０２はヘッドフォン、１１０３はハードディスク、１１０４はメモリ、１１０５はＣＰＵ、１１０６は十字パッド、決定ボタン、送りボタン、戻しボタン、一つ前の階層に戻るボタン、を備えたコントローラ、である。プログラムはネットワーク経由またはプログラム媒体の形でハードディスク１１０３から供給され、メモリ１１０４に蓄えられる。ＣＰＵ１１０５は、メモリ１１０４上のプログラムを読み、ヘッドフォン１１０２に供給する。また、提示中の音声に合わせ提示中の音声に対応した画像を際立たせるよう制御してディスプレイ装置１１０１に供給する。コントローラ７６からの指示があるとＣＰＵ１１０５はコントローラ１１０６が押されたときにヘッドフォンに供給していた音声情報に基づく情報をユーザの所望の情報であると判断する。
【００７８】
図１３は、本発明の情報提示装置に備わるコントローラの他の例である。戻しボタン４、決定ボタン５、送りボタン６、十字パッド７以外に、音量正規化／解除指示ボタン９、ステレオ・モノラル切り替えボタン１０、提示手法切り替え指示ボタン１１のいずれか、又はすべてを備え、ユーザの手元指示により、情報提示状態を変更し、提示する音像情報の性質が異なる場合には正規化或はモノラル化等の音像情報の性質の均質化を行ってもよい。
【００７９】
なお、本発明によるポインティングデバイスは、ユーザの操作の度合に応じて、触覚フィードバックを返す機能を兼ね備えていてもよい。例えば、音像情報は、たとえ、これに画像情報が加わったとしても、ユーザによっては音の位置を知る手がかりが少ない、ということもある。このような場合、例えばトラックボール等のポインティングデバイス自身も音像の提示状態に合わせてじわじわと回転して、音像情報を動かすのに早送りだと、すんなり動かせる一方、巻き戻しだと手に若干の抵抗が返ってくるなどの触覚フィードバックを加えることにより、音像位置をより正確にユーザが認識することが可能になる。また、音像情報を引き寄せる動作において、音像情報の回転と同期してポインティングデバイス等のインターフェイス装置に触覚等によりなんらかのフィードバックをかけることによって、ユーザサイドの操作利便性が向上する。
【００８０】
なお、本発明は上記実施の形態に限定されるものではない。本発明は、コンピュータを制御装置３として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であってもよく、例えば、磁気テープ、ＣＤ−ＲＯＭ、ＩＣカード、ＲＡＭカード等のいかなるタイプの記録媒体であってもよい。
【００８１】
また、本明細書中に記述したメールアプリケーション、ＣＤカタログ、多チャンネル放送、WWWブラウズへの応用のほかにも、本発明は、多くの情報の中から一つを選ぶ、メニューの中から所望のものを選択する形の技術として広い分野で応用が可能である。
【００８２】
【発明の効果】
以上のように、本発明を用いれば、音声を利用して多くの情報源の中から一つを選択することができる。また、ユーザがボタンを押したときに最大の音量の音像が所望の音像である、もしくは再生されている音声が所望の情報である、と判断させる事でボタン一つでも複数の情報の中からユーザが所望の情報を選択することができる。
【００８３】
また、回転する音像の回転速度や回転半径、音像間距離を自動的あるいはユーザ指示によって調節したり、音像の位置をユーザが自由に変化させられたり、順番に再生する手法においてユーザ指示によって次に提示されるべき音声情報の提示、一つ前に提示されていた情報の再提示を指示することができる手段を備えて、複数の情報源の中から一つの情報を選択する際に良好なユーザインタフェースを提供できる。
【００８４】
さらに、2手法を提示する音声の特性に応じて自動的に切り替える、もしくはユーザが手動で切り替えることができる手段を備える事で、常に効率よく情報を提示できる。
【００８５】
また、方向を指示できるコントローラを用いる事によって、待ち時間をさらに短縮する事ができ、直接情報を選択することができる。
【００８６】
また、音声だけでなく、画像を併用して用いる事で、再生されている音声の持つ情報をを画像を用いてより具体的に知る事ができ、回転状況、提示状況を目で確認できるため、さらに容易に所望の情報を得ることができる。
【図面の簡単な説明】
【図１】本発明を実現する装置の構成図である。
【図２】本発明の実施例１の手法１の操作イメージ図である。
【図３】本発明の実施例１の手法１の基本動作を説明する制御フロー図である。
【図４】本発明の実施例１の手法２の操作イメージ図である。
【図５】本発明の実施例１の手法２の基本動作を説明する制御フロー図である。
【図６】本発明の実施例２による、メールアプリケーションに適用したときの、提示情報の移り変わりの様子を示す制御フロー図である。
【図７】本発明の実施例３による、音楽CD検索に適用したときの、提示情報の移り変わりの様子を示す制御フロー図である。
【図８】本発明の実施例３の手法１に画像を併用した形態の操作イメージ図である。
【図９】本発明の実施例３の手法２に画像を併用した形態の操作イメージ図である。
【図１０】本発明の実施例３の手法２に画像を併用した場合の表示の変化を表す図である。
【図１１】本発明の実施例３を実現する装置の構成図である。
【図１２】本発明の情報提示装置による情報提示状態の切り替えを説明するフロー図である。
【図１３】本発明の情報提示装置による、他のコントローラを示す模式図である。

Claims (10)

1. 複数の情報それぞれを、少なくとも音声情報として提示する情報提示装置において、
   複数の音声情報を提示する際、前記複数の音声情報の提示状態を、その提示位置を変えながら同時に提示する状態、または、前記複数の音声情報を順次に切り替えて提示する状態のいずれかに変更するための状態変更手段を備えて、
   前記状態変更手段は、前記複数の音声情報に、音声情報の長さが、所定の閾値より長い音声情報が含まれていると判定する場合において前記同時に提示する状態に変更し、含まれていないと判定する場合において前記順次に切り替えて提示する状態に変更する、情報提示装置。
2. 前記複数の音声情報をその提示位置を変えながら同時に提示する状態において、前記音声情報の位置を個別に時間制御し、配置する手段をさらに備えて、
   各音声情報の位置を回転に依らず、ユーザの指示する位置に変更させてなることを特徴とする、請求項１に記載の情報提示装置。
3. 前記複数の音声情報の各音声情報の間に、音量レベルの差、またはステレオ音声とモノラル音声の差がある場合に、音声情報の提示をする前に、前記音量レベルの差については各音声情報の音量レベルの正規化を行い、前記ステレオ音声とモノラル音声の差については前記ステレオ音声である音声情報のモノラル化を行う手段をさらに備える、請求項１または２に記載の情報提示装置。
4. 外部から操作される操作部と、
   前記複数の音声情報を、その提示位置を変えながら同時に提示する状態において、前記操作部の操作に基づき前記複数の音声情報の提示位置を変化させる位置変化手段と、
   操作に応じて前記操作部を介して触覚される抵抗のレベルを、前記位置変化手段による提示位置の変化量に応じて調整する手段とをさらに備える、請求項１に記載の情報提示装置。
5. 前記複数の情報は、前記音声情報以外の提示情報を有し、各音声情報を提示する際に、当該音声情報以外の提示情報も併せて提示する手段をさらに備える、請求項１から４のいずれかに記載の情報提示装置。
6. 記憶部に予め格納された複数の情報それぞれを、少なくとも音声情報として提示する情報提示方法であって、
   複数の音声情報を提示する際、前記複数の音声情報の提示状態を、その提示位置を変えながら同時に提示する状態、または、前記複数の音声情報を順次に切り替えて提示する状態のいずれかに変更するための状態変更ステップを備えて、
   前記状態変更ステップでは、前記複数の音声情報に、音声情報の長さが、所定の閾値より長い音声情報が含まれていると判定する場合において前記同時に提示する状態に変更し、含まれていないと判定する場合において前記順次に切り替えて提示する状態に変更する、情報提示方法。
7. 複数の情報それぞれを、少なくとも音声情報として提示する際、コンピュータを、複数の音声情報の提示状態を、その提示位置を変えながら同時に提示する状態、または、前記複数の音声情報を順次に切り替えて提示する状態のいずれかに変更するための状態変更手段として、機能させる情報提示プログラムを記録したコンピュータで読取可能な記録媒体であって、
   前記状態変更手段は、前記複数の音声情報に、音声情報の長さが、所定の閾値より長い音声情報が含まれていると判定する場合において前記同時に提示する状態に変更し、含まれていないと判定する場合において前記順次に切り替えて提示する状態に変更することを特徴とする、情報提示プログラムを記録したコンピュータで読取可能な記録媒体。
8. 複数の情報それぞれを、少なくとも音声情報として提示する情報提示装置において、
   複数の音声情報を提示する際、前記複数の音声情報の提示状態を、その提示位置を変えながら同時に提示する状態、または、前記複数の音声情報を順次に切り替えて提示する状態のいずれかに変更するための状態変更手段と、
   各音声情報を提示する際に、当該音声情報に対応する視覚情報を提示する手段とを備え、
   前記状態変更手段は、前記複数の音声情報に、音声情報の長さが、所定の閾値より長い音声情報が含まれていると判定する場合においては前記同時に提示する状態に変更し、含まれていないと判定する場合においては前記順次に切り替えて提示する状態に変更する、情報提示装置。
9. 前記視覚情報を提示する手段は、前記複数の音声情報に対応する複数の視覚情報を一覧表示することを特徴とする、請求項８に記載の情報提示装置。
10. 前記音声情報の提示状態が変更された場合に、前記視覚情報の提示状態をあわせて変更する手段をさらに備え、
    前記視覚情報の提示状態をあわせて変更する手段は、
    前記複数の音声情報の提示状態が、その提示位置を変えながら同時に提示する状態に変更された場合においては、前記複数の視覚情報それぞれを対応する前記音声情報の提示位
    置にて同時に提示する状態に変更し、
    前記複数の音声情報の提示状態が、前記複数の音声情報を順次に切り替えて提示する状態に変更された場合においては、一覧表示される前記複数の視覚情報のうち前記音声情報の順次の切り替え提示に伴って、対応の前記視覚情報を順次の切り替えに従い注目を促す態様で提示する状態に変更することを特徴とする、請求項９に記載の情報提示装置。

Images