JP3919210B2 - 音声入力案内方法及び装置 - Google Patents
音声入力案内方法及び装置 Download PDFInfo
- Publication number
- JP3919210B2 JP3919210B2 JP2001311584A JP2001311584A JP3919210B2 JP 3919210 B2 JP3919210 B2 JP 3919210B2 JP 2001311584 A JP2001311584 A JP 2001311584A JP 2001311584 A JP2001311584 A JP 2001311584A JP 3919210 B2 JP3919210 B2 JP 3919210B2
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- voice input
- voice
- unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04895—Guidance during keyboard input operation, e.g. prompting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、各種機器の操作を音声で行うことができるようにした音声入力装置において、音声によって操作することができる機能を利用者に知らせることができるようにした音声入力案内方法及びその方法を実施する音声入力案内装置に関する。
【０００２】
【従来の技術】
近年の各種機器の機能の多様化により、１つの機器において極めて多数のことを行うことができるようになっており、機器の利用者にとっては非常に便利になっている。しかしながらその反面、利用者は多くのスイッチ等の操作部の中から特定の機能を行う操作部を選び、これを操作することにより操作指示入力を行う必要が生じて、操作部の選択の困難性、及び操作順を考える煩わしさ等が増加している。その対策として、例えば液晶ディスプレイ等に上位の機能から順に表示を行うことができるように設定し、利用者は表示された機能をタッチパネル、或いはリモコンによるカーソル指示等によりこれを選択し、最後に特定の機能を行うことができるようにしたものも多くなってきている。
【０００３】
例えば車両用ナビゲーション装置においては、目的地を設定する場合、地図をスクロールして広域地図から拡大地図に順に表示して特定の地点を探す方法、都道府県から順に特定の地点を絞り込んで検索する方法、電話番号を入力して探す方法、郵便番号を入力して特定の地点の近辺の地図を表示させ、地図をスクロールして探す方法、特定の施設等をその施設のジャンルを指定し、更に地域等を指定して検索する方法、従来目的地に設定したことがある地点、行なったことがある地点、予め別途に登録をしている地点等のリストの中から選択し、あるいは五十音キーで直接入力する方法等、種々の方法の中から希望する目的地設定手段を選択し、その後その各手段について順に表示される選択画面やスクロール画面に対して操作を行い、特定の地点を探し出し、最終的に確定する操作を行うこととなる。
【０００４】
このように多くの機能の中から所望の機能を指定し、更にその中で種々の選択画面を表示させて設定操作を行うことは、多くの機能を正確に行わせるためには適切な方法である。しかしながらその機能がより多機能化し更に複雑になってくると、所望の操作を行うためにはどのような操作を順に行えばよいかわからなくなり、また種々の操作を何回も行わなければ設定することができなくなってしまう、という問題点があった。
【０００５】
一方、例えば車両用ナビゲーション装置や車両用オーディオ装置等のような車両搭載機器においては、これらの機器を操作する利用者が車を運転する人である場合が多く、このような運転者が車両搭載機器を操作する際、最も注意力を集中していなければならない運転に支障がない程度の範囲でこれらの機器の操作を行うことができるようにしなければならない。しかしながら、上記のように各種機器は多機能化し、多くの機能ボタンの中から所望の機能ボタンを選択して操作することや、画面に表示された機能メニュを順に選択する操作を行うことは実質的にできなくなっており、停車時に行わざるを得なくなる。
【０００６】
その対策として、近年急速に研究開発が進んでいる音声認識技術を導入し、各種の操作の指示を音声によって行うことが次第に普及している。この技術を用いることにより、音声入力装置をＯＮにした状態で例えば「近くのセブンイレブン」と発声するだけで、ナビゲーション装置は「近くの・・・」という言葉を認識して特定の施設の検索であると判断し、更にその検索範囲は現在地にできる限り近い地点であることを判断し、更にこの車両が誘導経路に沿って走行していると判別されたときにはできる限りその誘導経路上で、現在地より先にある地域の検索を行うように検索範囲の選択を行う。また、「セブンイレブン」という言葉を認識することによりジャンル検索を行い、各種のジャンルの中からコンビニのジャンルを選択し、その中から「セブンイレブン」の施設を検索する。また、検索結果が得られたときにはその地点データから画面の地図上にこれを表示し、必要に応じて音声により「この先７００ｍ左側にセブンイレブンがあります。」のような案内を行う。
【０００７】
【発明が解決しようとする課題】
このように音声認識技術を用いると、短い言葉を発声しただけで特定の操作の選択を容易に行うことができるようになり、極めて便利であるとともに、車両搭載機器にこれを用いることは安全運転の観点からも重要なこととなっており、現在の車両には急速にこの音声認識を用いた技術が普及している。
【０００８】
しかしながら、この音声認識による各種機器の操作指示は、これを熟知しているとその使用は極めて便利であるものの、例えば前記の例のように「近くの・・・」という発声だけで施設検索が行われること、検索範囲の選択が絞られること等を知らない場合には通常の画面表示による選択のように、例えば「施設検索」「ジャンルの選択」「コンビニ」「セブンイレブン」「誘導経路上」等を順に発声することとなり、本来持っている便利な機能を生かすことができない。
【０００９】
また、全ての機能を音声によって操作するように設定することができない場合が多いので、例えばあるオーディオ機器の機種は音量を上げる操作を「ボリュームアップ」のような音声により操作することができるのに対して他の機種はこれを行うことができない等、各機器や機種によって音声で操作できる機能範囲が異なることが多い。そのため、現在使用している機器はどの範囲の機能を音声によって操作指示することができるのか、またどのような言葉で操作指示を行なったらよいのかがわからない場合が多くなり、利用者はせっかく音声によって簡単に操作する機能を備えているにもかかわらずこれを使用しない場合が多くなる。
【００１０】
また逆に、前記のような音量を上げる機能を音声によって行うことができない機種を使用しているにもかかわらず、大声で何回も「ボリュームアップ！」「ボリュームアップ！」の発声を繰り返し、それでもこの機器がこの発声を理解して受け付けてくれないことによって利用者をいらいらさせ、音声認識装置に対する不信が多くなり、音声認識による操作指示を利用することが少なくなってしまうという問題もある。このように、どの機能がどのような音声により操作指示することができるのかを知ることは、その機器の操作マニアルを何回も見ることにより覚えるか、あるいは長期間の試行錯誤を繰り返した後覚えるしかない。
【００１１】
また、前記のように画面表示による操作指示案内の場合は、操作指示のツリー構造によって順に表示される画面表示の案内に沿って操作指示を行うため、論理的な思考により操作指示を行うことができるので、少々の間違いがあっても順に元の状態に戻る操作を繰り返し行うことで、いつかはその間違いを訂正することができ、正しい使い方も容易に覚えることができる。しかしながら操作指示を音声によって行う際には、操作指示のツリー構造がわからないことが多いため、例えばナビゲーション装置における目的地の設定に際して、最初に何を発声すればよいのかわからず、もしも「目的地の設定」という言葉でその機能が開始できたとしても、次に何を発声すればよいかがわからない場合には、音声認識による操作指示手段は実質的に使うことができないこととなる。
【００１２】
また、最近の電子機器は、その機器の構成、内部のハード機構は同一でも、これらを作動するソフトウエアのみ変更し、更に機能を追加することによる機器のバージョンアップを行うことが多くなっている。このようなときには、従来音声による操作指示を行うことができなかった部分が可能となり、また、慣れ親しんできた音声案内のコマンドが変更されることもある。そのため従来の音声認識を用いた入力装置では解説書等に記載しても、これを熟読しない利用者にとってはわからない場合が多く、また、新しい音声案内の機能、手法を利用者に慣れてもらう手段がなかった。
【００１３】
上記のように、従来の音声認識装置における音声で指示を行う言葉の設定には未だ多くの課題を抱えており、従来の装置では利用者にとって使用しにくい面も備えている。そのため、利用者が現在使用中の機器において音声により操作を行うための言葉を知らないときにでも、適切な方法でその言葉を案内することができ、また利用者が容易に音声入力による操作に習熟することができる装置の開発が期待されている。
【００１４】
更に、現在用いられている音声認識装置においては音声認識処理負担の軽減のため、また音声認識率の向上のために単語を単位としたい孤立単語音声認識システムが用いられることが多い。例えば利用者が「音量アップ」という言葉を発したときには、この言葉は操作対象を示すオーディオ装置の「音量」と、その操作対象をどのように操作するかという「アップ」という動作指示を示す言葉とからなっている。しかしながら上記のような音声認識処理負担を軽減した音声認識装置においてはこれを分離する処理は行わず、「音量アップ」という言葉を一つの言葉と認識して、予め登録し蓄積しているデータの中から最も近似しているものを選択することにより認識している。
【００１５】
しかしながら、利用者は上記のようなオーディオ装置の音量を上げる指示を行うとき、上記のような「音量アップ」の他、「ボリュームアップ」「音量上げる」「ボリューム上げる」「音量大きく」「ボリューム大きく」など、各種の表現で指示を行うことが考えられる。このことは他の音声による指示においても全て共通しており、各種操作指示の音声入力の表現形式は、少なくとも数種類から多ければ数十種類も存在することが考えられる。また、音声入力に際して例えば「音量を上げる」「音量を大きくする」というような助詞等を含む場合には、それに付随して更に多くの表現形式が存在することとなる。
【００１６】
それに対して、現在用いられている音声認識装置においては、これらの全ての表現形式に対応して予め登録しておくには記憶容量、及びそれらの言葉のデータを読み出して入力音声データと比較する処理能力負担の問題もあり、それと関連して誤認識が発生しやすくなるため、上記の例のように「音量アップ」という１つの言葉のみで１つの操作を行うことができるように設定することが多くなる。
【００１７】
このように設定したときには、利用者はその言葉を知らなければ音声による操作指示を行うことができず、「ボリューム」という言葉や「上げる」という言葉の組み合わせで音声入力を行おうと試みる時にはいつまでたっても機器の操作を行うことができない。また、「ボリュームアップ」のような言葉を発したときには、音声認識装置はこれに類似する他の機器の操作指示と認識して誤作動を行うことも考えられる。特に利用者が以前に別の機器で、或いはその機器の前のバージョンで「ボリュームアップ」という言葉で操作していたときには、誤った言葉を発することが多く、使用しにくい装置とならざるを得なかった。
【００１８】
上記のように、音声認識装置の利用に際して、利用者が音声入力により「音量」のような操作対象の指定を行ったとき、あるいはナビゲーション装置の交通案内機能の中における「ＶＩＣＳ情報」のような操作対象のカテゴリーの指定を行ったときには、それらをどのような言葉で操作を行うことができるかを案内する装置の開発が期待されている。更には必要に応じて音声入力により操作を行うことができる言葉のリストの一覧を、利用者が音声入力に習熟している状態に合わせて分かり易く表示する装置の開発が期待されている。
【００１９】
したがって本発明は、各種機能を音声によって操作指示を行うことができるようにした、音声入力装置を備えた機器において、利用者が機器の手動操作等を行ったときにその操作がどのような音声によって行うことができるかを案内し、或いは必要なときに利用者に対して音声入力を行うことができる言葉の提示を適切に行い、利用者が容易に音声入力の機能を理解し、慣れることができるようにした音声入力案内装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明による音声入力案内方法は上記課題を解決するため、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して音声及び画面で案内出力する音声入力案内出力部と、機器操作に対応した出力回数を検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止する音声入力案内制御部と、前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部とを備え、前記データ記録部には案内音声出力回数と、案内画面表示出力回数を別々に記録し、前記音声入力案内制御部は、いずれかの出力回数が予め設定した所定回数を超えるときに全ての案内を停止し、または案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止し、或いは案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたものである。
【００２３】
また、本発明に係る他の音声入力案内装置は、前記機器操作検出部において、スイッチ、ロータリーエンコーダ、タッチパネル、カーソル操作のうちの少なくともいずれかの操作を検出するものである。
【００２５】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、オーディオを含む音声出力を行う機器の作動検出時には音声による音声入力案内を停止する出力を行うようにしたものである。
【００２６】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ラジオの作動を検出したときには、音声による案内を停止するようにしたものである。
【００２７】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ナビゲーション装置の音声による経路案内の作動検出時には、音声による案内を停止するようにしたものである。
【００２８】
また、本発明に係る他の音声入力案内装置は、前記音声による案内の停止時には、画面による案内、または音声入力が可能であることを示す確認音のうちの少なくともいずれかを出力するようにしたものである。
【００２９】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、案内表示画面に少なくともナビゲーション装置の経路案内の表示中には、同一画面による案内を停止するようにしたものである。
【００３２】
また、本発明に係る他の音声入力案内装置は、機器操作の音声入力が行われたことを検出する音声入力実行検出部を備え、音声入力実行検出部で検出した信号により音声入力を行なった回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部は、機器操作に対応した音声入力回数を前記データ検索部で検索して入力し、該音声入力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたものである。
【００３８】
また、本発明に係る他の音声入力案内装置は、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して出力する音声入力案内出力部と、音声入力実行コマンドと、各音声入力実行コマンドの相互の対応を記録した音声入力案内データ蓄積部と、利用者による音声入力操作を検出し出力する音声入力検出部と、前記音声入力検出部からの出力により、前記入力した音声入力実行コマンドに関連した音声入力実行コマンドを検索して出力するデータ検索部とを備え、前記音声入力案内出力部では、前記データ検索部で検索した音声入力実行コマンドを、画面または音声の少なくともいずれかで出力するものである。
【００４０】
【発明の実施の形態】
本発明の実施例を図面に沿って説明する。図１は本発明により音声入力の案内を行う音声入力案内装置の主要機能部と、それらの相互の関係を示した機能ブロック図であり、特に車両搭載機器を音声によって操作することができるようにした音声入力装置を搭載している例を示している。
【００４１】
図示実施例においては、各種オーディオ装置、ナビゲーション装置を初めとして図示されていないエアコン等の各種機器を搭載しており、これらの機器の操作を行うために各々の機器に多数の操作スイッチ１を備えている。また、音量調節、受信周波数設定等を行う回転式つまみとしてのロータリーエンコーダ２を備え、更に液晶等のディスプレイ５に設けたタッチパネル３等の利用者が指を接触させることにより直接操作を行う操作指示信号出力部等を備えており、これらはスイッチ類操作検出部４によって利用者の直接的な指示信号として検出される。
【００４２】
また、ディスプレイ３に表示された各種選択入力部を、リモコンによるカーソル指示等によって順に色を変え、或いは明るく表示する等のフラッシュ表示を行なったことを検出するカーソル操作検出部６を備え、前記スイッチ類操作検出部４と共に音声入力案内中央制御部７に出力している。これらのスイッチ類操作検出部４とカーソル操作検出部６は、本発明の機器操作検出部に相当する。
【００４３】
音声入力案内中央制御部７は、本発明による音声入力案内の全体の制御を行うと共に、特に後に述べる予め定められた条件が満たされたか否かを判別する音声入力案内作動可否判別部１９を備え、ここで音声入力の案内を行う旨の判別がなされたときには、案内作動開始出力部２３に作動開始信号を出力する。案内作動開始出力部２３では、入力されたスイッチ類の操作信号やカーソル操作信号に対応した音声入力の言葉を、データ検索・記録部２０で後述するような音声入力案内データ蓄積部２１のデータを検索し、その検索結果得られた音声入力案内のデータを後述する種々の態様で音声出力部３０からスピーカ３１に、また、画像出力部２８からディスプレイ５に出力し、利用者に対してその操作が音声入力により操作することができ、またどのような音声によって操作を行うことができるのかを案内する。
【００４４】
音声入力案内中央制御部７には音声入力案内開始スイッチ８が接続しており、利用者がこのスイッチを操作したときに、それ以降行われる前記各種入力操作に対応した音声入力の案内を所定の条件の時に行い、また、このスイッチを再度操作することにより、音声入力案内の作動を終了させることができる。なお、この音声入力案内開始スイッチ８を前記とは逆に、特に操作を行わないときには音声入力の案内を行うようにし、このスイッチを操作したときに初めてその案内を停止するように設定することもできる。
【００４５】
図示実施例においてはオーディオ機器としてカセットテープ、ＣＤ、ＭＤ、ＤＶＤ等の一般オーディオ機器９、並びにＡＭ／ＦＭラジオ１０を搭載しており、これらの作動はオーディオ機器作動検出部１３によって検出され、これを入力する音声入力案内中央制御部７における音声入力案内作動可否判別部１９では、上記のようなオーディオ機器が作動しているときは利用者の聴取を妨げないように、必要に応じて音声入力案内を停止させることができる。特にＡＭ／ＦＭラジオ１６については、利用者が重要な交通情報やニュース等を聴いていることも多いため、その時に音声入力案内を行うことにより邪魔をすることがないように、前記他のオーディオ機器についてはそれらが作動しているときにでも音声入力案内を行うように設定されている場合でも、ＡＭ／ＦＭラジオ１０を受信しているときにはこの音声入力案内の作動を行わせないようにすることができる。
【００４６】
図示実施例ではナビゲーション装置１１を搭載した例を示しており、このナビゲーション装置１１にはビーコン受信機１２が接続され、ビーコンからのＶＩＣＳ情報を入力し、また前記ＡＭ／ＦＭラジオ１０におけるＦＭ多重放送によるＶＩＣＳ情報の入力も行う。このナビゲーション装置１１から出力される交差点案内、渋滞情報、事故情報等の走行経路に関する各種音声案内の作動、更には交差点案内の画像出力を行っていること、交通事故情報等の詳細表示を行っていること等を経路案内作動検出部１４で検出して、音声入力案内中央制御部７に出力している。
【００４７】
音声入力案内中央制御部７における音声入力案内作動可否判別部１９では、ナビゲーション装置１１において利用者に対して重要な案内が行われているときに音声入力案内を行うことがないようにし、また交差点案内の画像表示を行っているときには音声入力案内の画面表示は行わない等の処理を行う。また必要ならば、出力選択設定部１８にその信号を出力し、前記のようなときに音声による案内は行わず、単に画面による案内を行い、あるいはビープ音やピッというような音声入力可能確認音をスピーカやブザーから出力するように設定することもできる。
【００４８】
音声入力案内中央制御部７には音声入力実行検出部１７が接続されており、この音声入力実行検出部１７においては、マイク１５から利用者が各種機器の操作を音声入力の機能を用いて操作したとき、その信号を音声入力部１６から入力し、データ検索・記録部２０にこの信号を出力して音声入力案内データ蓄積部２１における図２に示すようなデータを検索し、このデータの中の前記入力された音声コマンドのインデックスに対応する、音声入力実行回数を示すｈ（ｍ）のデータに対して１を加えて書き換える。
【００４９】
なお、このデータは音声入力作動可否判別部１９において、利用者がスイッチ等を操作して操作指示を行なったときに、その操作に対応する音声入力手段が存在することを案内するに際して、データ検索・記録部２０で音声入力案内データ蓄積部２１の前記データを検索し、既に利用者が所定回数ｐ以上その言葉を用いて機器の操作を行っていると判別された時には、音声入力案内を行う必要がないと判別するためのデータとして用いられる。
【００５０】
音声入力案内作動可否判別部１９で音声入力のための案内を行うと判別したときには、前記のように案内作動開始出力部２３においてデータ検索・記録部２０にアクセスし、その操作をどのような音声入力によって作動することができるかのデータを音声入力案内データ蓄積部２１から取り込む。案内作動開始出力部２３ではこの音声入力案内データを案内出力選択部２４に出力し、音声入力案内中央制御部７の指示により作動する出力選択設定部１８からの出力によって、案内を行う出力の選択切り替えを行う。
【００５１】
その選択切り替えに際しては、大別してスピーカ３１から音で出力するか、ディスプレイ５によって画像出力を行うかの選択、また、スピーカ３１から音で出力する際には、案内音声出力部２６から音声によって案内を行うか、或いは音声入力可能確認音出力部２７からビープ音やピッというような音によって案内を行うか等の案内出力の選択を行う。
【００５２】
また、このように音声入力案内を行なったときには、音声入力案内実行検出部２２において案内出力選択部２４の作動を検出することにより、画像出力、音声出力のいずれに出力したかを検出し、音声入力案内中央制御部７に出力する。音声入力案内中央制御部７においてはこれをデータ検索・記録部２０に出力して、音声入力案内データ蓄積部２１における図２に示されるようなデータ中の、今回出力した音声コマンドインデックスに対応する音声案内カウンタｉ（ｍ）、あるいは案内表示カウンタｊ（ｍ）に対して１を加え、データの更新記録を行う。
【００５３】
このデータは必要なときに音声入力案内中央制御部７によってデータ検索・記録部２０により読み込まれ、例えば音声による案内がｋ回を越えているとき、或いは画像による案内を同様にｋ回を越えているときには、利用者は既にその案内が存在することを知っていてスイッチ等の操作を行っている可能性が高いとして、音声案内がうっとうしく感じることがないように、音声入力の案内を行わないようにすることができる。
【００５４】
案内出力選択部２４において前記出力選択設定部１８の指示により選択した各種出力部に対して、前記音声入力案内のデータを出力し、案内音声出力部２６を介してスピーカ３１から、例えば「現在地の操作は、音声コマンド“現在地”で実行できます。」のような音声を出力し、更に案内画面表示出力部２５から画像出力部２８を介してディスプレイ５に対して同様の表示を行うことができる。また、前記のように種々の条件に応じて出力選択設定部１８が出力選択の指示を行い、前記のスピーカからの音声案内を停止し、画面表示のみを行うこと、或いは音声案内のみを行うこと、更には音声案内を停止してビープ音等の音声入力可能確認音を出力する等々、種々の態様で案内を行うことができる。
【００５５】
上記のような機能ブロックから構成される音声入力案内装置において、特にその作動の中心をなす音声入力案内中央制御部７においては、その中の音声入力案内作動可否判別部１９において、スイッチ類操作検出部４，或いはカーソル操作入力部６から利用者が何らかの操作指示を行なった旨の入力があったとき、その操作に対応する音声コマンドインデックスを求め、それに対応した音声入力案内データをデータ検索・記録部２０を介して音声入力案内データ蓄積部２１から読み込み、これを案内作動開始出力部２３を介して案内出力選択部２４に出力し、出力選択設定部１８の指示による所定の出力部からその案内を行うことができる。
【００５６】
そのとき音声入力案内を行う条件として、音声入力案内開始スイッチ８、オーディオ機器作動検出部１３、経路案内作動検出部１４、音声入力実行検出部１７で検出され後にカウントされる音声入力実行回数、音声入力案内実行検出部２２で検出された後にカウントされる案内出力回数等を検出し、音声入力案内中央制御部７において、音声入力案内を行うか否か、またどのような手段で行うかを判断するようにしている。
【００５７】
上記のような機能ブロックで構成される音声入力案内装置において、例えば図１におけるスイッチ類操作検出部４から音声入力案内中央制御部７に入力があったときには、図３に示すような作動フローによって基本的な処理が行われる。以下前記図１の機能ブロック図を参照しつつ説明する。音声入力案内処理に際して、機器のスイッチを操作したか否かの判別が行われる（ステップＳ１）。これは前記のようにスイッチ類操作検出部４において例えば各種のスイッチ１が操作されたこと、ロータリーエンコーダ２によってボリューム調整、チャンネル選択等のために回転操作が行われたこと、ディスプレイ５の表面のタッチパネル３が押圧されたことを検出し、これを音声入力案内中央制御部７に出力することによって行われる。
【００５８】
このステップＳ１の判別において、機器のスイッチが操作されないと判別されたときには、再びこのステップＳ１を繰り返し、機器のスイッチが操作されるまでこの状態で待機する。また、ここで機器のスイッチを操作したと判別されたときには、操作したスイッチの機能に対応する音声コマンドはあるか否かを判別する（ステップＳ２）。これは音声入力中央制御部７において、データ検索・記録部２０によって音声入力案内データ蓄積部２１のデータを検索し、この中に前記スイッチの機能に対応する音声入力案内のデータが存在するか否かによって検出することができる。
【００５９】
このステップＳ２の判別において、操作したスイッチの機能に対応する音声コマンドが存在しないと判別されたときには、本発明による音声入力案内を行うことができないので再びステップＳ１に戻り、次の機器のスイッチ操作を待つ。また、音声コマンドが存在すると判別されたときには音声入力案内の音声出力を行うか否かの判別を行う（ステップＳ３）。これは少なくとも図１における音声入力案内開始スイッチ８がＯＦＦになっている場合は音声出力を行わない旨の判別を行い、その他、例えばナビゲーション装置１１における経路案内作動検出部１４において交差点での右左折の音声案内が行われているときには、これを邪魔するような音声入力案内は行わない、というような設定が予めなされている際において、音声出力を行わない旨の判別がなされる。これらの音声入力案内を音声によって行うか否かの各種条件は、更に他の作動フローにおいても説明する。
【００６０】
このステップＳ３の判別において、音声入力案内の音声出力を行うと判別されたときには音声案内が実行される（ステップＳ４）。これは音声入力案内中央制御部７がデータ検索・記録部２０により音声入力案内データ蓄積部２１のデータを読み込み、これを案内作動開始出力部２３に出力し、前記のようにしてスピーカ３１から出力することにより行われる。また、前記音声入力案内開始スイッチがＯＦＦになっている等により、このステップＳ３の判別において音声入力案内の音声出力を行わない旨の判別がなされたときには、音声案内を行わず次のステップＳ５に進む。
【００６１】
次のステップＳ５においては画面への音声入力案内表示を行うか否かの判別がなされる。これも前記と同様に、少なくとも図１における音声入力案内開始スイッチ８がＯＦＦになっている場合は音声出力を行わない旨の判別を行い、その他、例えばナビゲーション装置１１における交差点の右左折案内情報を表示しているときには、これを邪魔するような同一画面への画像表示は行わない、というような設定が予めなされている際には、画像出力を行わない旨の判別がなされる。これらの画像出力を行うか否かの各種条件についても、更に他の作動フローにおいても説明する。
【００６２】
このステップＳ５において画面への音声入力案内表示を行わない旨の判別がなされたときにはステップＳ１に戻り、次の機器のスイッチの操作まで待機する。このとき、図１の音声入力案内開始スイッチ８がＯＦＦされているときには、前記ステップＳ３において音声入力案内の音声出力を行わないと判別され、ステップＳ５において同様に画面への音声入力案内表示を行わないと判別されることにより一切の音声入力案内を行わないようにしているが、別途音声入力案内開始スイッチがＯＮかＯＦＦかの判別を設けて同様の機能をなす処理を行うこともできる。
【００６３】
上記のような処理が行われる結果、例えば図１１（ａ）に示すように、利用者がオーディオ機器としてのＭＤヘッドユニット４１の操作を行うに際して、ボリュームスイッチ４２を指４３でボリュームアップ側に押したとき、その信号は図１の音声入力案内装置におけるスイッチ類操作検出部４に送られ、前記のような処理が行われることにより各種条件を満たしたときにはスピーカから「ボリュームアップの操作は、音声コマンド“ボリュームアップ”で実行できます」というアナウンスを行い、また図１１（ａ）に示すように、通常は各種装飾用ディスプレイ表示、あるいは他の情報を表示しているディスプレイ４４に、上記アナウンスと同様の画面表示を行う。
【００６４】
図１１（ａ）に示す実施例においては、第１表示部４５に、このディスプレイ部分には現在音声入力ガイドを表示していることを示し、第２表示部４６に現在行われた利用者の操作指示の内容を表示し、第３表示部４７には利用者に見やすいように大きく音声入力を行うためのコマンドを表示している。また、このオーディオ機器には図１の音声入力案内開始スイッチ８に対応するスイッチとしてガイドスイッチ４８を設けており、更に多くのオーディオ用スイッチ類が配置されている例を示している。なお、このような表示、及びスイッチ類の設置及びその配置はその他種々の態様で実施でき、例えばボリュームのアップダウンはロータリーエンコーダ式のつまみの回転によって行い、そのアップダウンはその回転の方向によって検出する等の態様で実施することもできる。
【００６５】
上記図３の作動フローに示す実施例においては、利用者が図１に示すスイッチ１、ロータリーエンコーダ２、タッチパネル３等を操作することによりスイッチ類操作検出部４でこれらの操作を検出したときの作動フローを説明したものであるが、図１におけるディスプレイ５に表示されたリモコンによるカーソル指示等によって順に色を変え、或いは明るく表示する等のフラッシュ表示を行うカーソル操作を、カーソル操作入力部６で検出したとき行われる音声入力の案内の作動フローを図４に示している。
【００６６】
図４に示す例においては、最初カーソルを移動したか否かの判別がなされる（ステップＳ１１）。これは前記のように図１のカーソル操作検出部６によって検出される。未だカーソルの移動が検出されない時にはカーソルが移動するまでこの作動を繰り返して待機する。なお、このステップＳ１１におけるカーソルを移動したか否かの判別に際しては、単にカーソルを移動したのみでそのカーソルに対応する音声入力の案内を行うこともできるが、そのカーソル位置で確定操作を行なった後に次の画面が表示するように設定されている機器においては、その確定操作時に音声入力の案内を行うように設定することもできる。
【００６７】
ステップＳ１１においてカーソルの移動が行われたと判別されたときには、現在のカーソル位置の操作に対応する音声コマンドはあるか否かの判別が行われる（ステップＳ１２）。これは前記図３に示す実施例と同様に、データ検索・記録部２０によって音声入力案内データ蓄積部２１のデータを検索し、この中に前記スイッチの機能に対応する音声入力案内のデータが存在するか否かによって検出することができる。
【００６８】
ここで対応する音声コマンドがないと判別されたときには再びステップＳ１１に戻り、次のカーソルの移動を検出する。また、対応する音声コマンドがあると判別されたときには、以降、前記図３に示す実施例と同様の作動フローによって処理され、音声入力案内の音声出力を行うか否かの判別（ステップＳ１３）、音声案内の実行（ステップＳ１４）、画面への音声入力案内表示を行うか否かの判別（ステップＳ１５）、画面への音声入力案内の表示（ステップＳ１６）を順に行う。これらの処理は前記図３の作動フローの説明において述べたものと同様であるので、ここでの説明は省略する。
【００６９】
上記のような処理が行われる結果、例えば利用者がナビゲーション装置において行き先を設定するに際し、種々の検索方式の中から特定の方式を選択しようとしたとき、図１１（ｂ）に示すような画面５１が表示される。同図においては、この機器で選択することができる種々の検索方式をリスト化して表示した検索方式リスト表示部５２を備え、利用者がここに表示された各種の検索方式のうち、電話番号によって行き先を設定しようとしてカーソルを「電話番号で探す」の部分に移動させた状態を示しており、この検索方式リスト表示部５２に隣接して配置した従来はこれらの検索操作の参考情報を表示している情報表示部５３に、ここには「音声入力ガイド」を表示していることを示すと共に、「電話番号で探す操作は、音声コマンド“電話番号”で実行できます」と表示している。
【００７０】
それにより利用者は、ナビゲーション装置で行き先を探すとき、電話番号を入力して検索を行う際には、「電話番号」と発声することにより実行することができることがわかる。図示実施例のナビゲーション装置のディスプレイ５０には、左下部分に「ガイド」スイッチ５４を設けており、図１の音声入力案内開始スイッチ８の機能を行うようにした例を示している。なお、このような表示の配置等は、その他種々の態様で実施することができる。
【００７１】
本発明による他の実施例の作動フローを図５に示している。同図においては、カーソルを移動したことを検出して作動する音声入力案内について、同じ音声入力案内を所定回数以上行なったときには、それ以降の音声入力案内は行わないようにした例を示している。同図においてステップＳ２１のカーソルを移動したか、及びステップＳ２２の現在のカーソル位置の操作に対応する音声コマンドはあるかの各ステップは、前記図４に示すものと同一であるのでここでの説明は省略する。
【００７２】
ステップＳ２２において、現在のカーソル位置の操作に対応するコマンドが存在すると判別されたときには、例えば図２に示す音声入力案内データにおける音声案内のカウント値ｉ（ｍ）、及び画面に対する案内表示のカウント値ｊ（ｍ）を読み出し、その値のいずれかが所定値ｋを越えているか否かを判別する（ステップＳ２３）。このデータのカウント値の書き替えは、図１における音声入力案内実行検出部２２において案内の出力が行われる毎に検出され、これを音声入力案内中央制御部７を介してデータ検索・記録部２０により音声入力案内データ蓄積部２１の前記データ部分に１を加え、書き替えて記録することにより行われている。
【００７３】
ステップＳ２３の条件を満たしていないとき、即ち、音声入力案内を音声によって行なった回数が所定回数以上になっていないか、または画面による案内が所定回数以上になっていない場合には、音声入力案内の音声出力を行うか否かの判別を行い（ステップＳ２４）、音声出力を行うと判別されたときには音声案内を実行する（ステップＳ２５）。これらの処理は前記図３及び図４と同様であるので、ここでの説明は省略する。また、ステップＳ２３の判別において、同一音声入力案内を音声により出力した回数ｉ（ｍ）と、画面表示を行なった回数ｊ（ｍ）のいずれかが例えば５回等の所定回数ｋ回を越えていると判別されたときには、再びステップＳ２１に戻り新たなカーソルの移動を待つ。
【００７４】
なお、前記実施例においては、前記判別でステップＳ２１に戻る例を示したが、このようにいずれかが例えば１０回等の所定回数以上であると判別されたときには、この利用者は例えば前記音声入力案内開始スイッチをＯＦＦにする操作をしていなくても、音声入力を行うことを好まないタイプの人であると判別し、以降の音声入力案内処理を終了することもできる。
【００７５】
次いで音声入力に関する音声案内が実行されたことを検出し、図２に示す音声案内カウント値ｉ（ｍ）に対して１を加える（ステップＳ２６）。この処理は図１の音声入力案内実行検出部２２で音声案内が実行されたことを検出し、前記のようにデータ検索・記録部２０により音声入力案内データ蓄積部２１の図２に示す上記データ部分に１を加えることにより行われる。この処理の後次のステップＳ２７に進むが、前記ステップＳ２４において音声入力案内の音声出力を行わないと判別されたときにも同様にステップＳ２７に進む。
【００７６】
ステップＳ２７においては画面への音声入力案内の表示を行うか否かの判別を行い、ここで行わないと判別したときには再びステップＳ２１に戻り前記作動を繰り返す。案内の表示を行うと判別したときには、画面への音声入力案内を表示する（ステップＳ２８）。これらのステップにおける処理も前記図３及び図４と同様である。更に前記ステップＳ２６と同様に画面への音声入力案内の表示が実行されたことを検出し、図２に示す案内表示カウント値ｊ（ｍ）に対して１を加える（ステップＳ２９）。この処理も前記と同様に音声入力案内実行検出部２２による検出、データ検索・記録部２０によるデータの書き替えによって行われる。その後ステップＳ２１に戻り、新たなカーソルの移動の検出を行う。
【００７７】
上記実施例においては、ステップＳ２３の判別において、同一音声入力案内を音声により出力した回数ｉ（ｍ）と、画面表示を行なった回数ｊ（ｍ）のいずれかが所定回数ｋ回を越えているか否かの判別により、以降の種々の案内を行わないようにした例を示したが、例えば同一音声入力案内を音声により出力した回数ｉ（ｍ）が所定回数ｋ回を越えているか否かのみを判別し、所定回数を越えているときのみ音声による案内を行わないようにもすることができ、その際の作動フローを図６に示している。
【００７８】
図６における作動フローにおいて、図４の作動フローと異なる点はステップＳ３３において音声入力案内の音声出力を行うか否かの判別を行なった後、同一音声入力案内を音声により出力した回数ｉ（ｍ）が所定回数ｋ回を越えているか否かを判別し、これを越えているときには音声による案内を行わず、また、越えていないときには音声による案内を行うと共に、記録されていたデータに対して１を加える処理を行う点であり、その他の点は同様である。
【００７９】
なお、図６に示した処理を一部変形し、音声による案内については同一案内を行なった回数を考慮することなく案内を行い、画面への案内表示のみ同一音声入力案内を出力した回数ｊ（ｍ）が所定回数ｋ回を越えているか否かを判別し、越えているときには画面表示を行わないようにすることも可能である。このときには、音声入力案内の主要な案内手段である音声による案内については常に行い、補助的な案内を繰り返し行わないようにすることができる。
【００８０】
また、例えば図７に示すように、前記図６に示す処理に加えて画面への音声入力案内の表示を行うか否かの判別を行なった後（ステップＳ４７）、同一の案内画面の表示を行なった回数が所定回数ｒ回を越えたか否かを判別し、越えたときには画面への案内表示は行わないようにすることもできる。このときの所定回数ｒ回は前記音声による案内が所定回数以上行われたか否かを判別する基準値のｋ回とは異なる値に設定している。それにより、例えば音声による同一案内は５回を越えたときには行わず、画面による同一案内は１０回を越えたときには行わない等、きめの細かな種々の設定を行うことができる。
【００８１】
図１における音声入力案内実行検出部１７からの信号により、データ検索・記録部２０が音声入力案内データ蓄積部２１に蓄積している図２に示すデータを書き替えているので、この音声入力実行回数ｈ（ｍ）の値を用いることにより、既に利用者が所定の回数以上音声によってそのコマンドを実行しているときには、その言葉の音声入力案内は行わないようにする処理を行うことができる。その処理を行うための基本データである前記図２に示すデータの書き替えは、図８に示す作動フローによって行うことができる。
【００８２】
図８に示す音声入力時のカウント処理に際しては、最初音声入力による操作を行なったか否かを判別し（ステップＳ５１）、行っていないときには行われるまで作動を繰り返して待機し、行なったときにはその音声による操作には他の操作方法があるか否かを判別する（ステップＳ５２）。この判別に際しては、例えば図２に示す音声入力案内データ中に、現在使用されている機器において音声入力によってのみ作動する操作のリストを別途作成しておき、そのリストを参照することにより行うことができる。
【００８３】
この判別の結果、音声入力を行なった操作が例えばスイッチやカーソル等の他の手段によって操作することができると判別されたときには、当該音声による操作回数のカウントを行い、１を加える（ステップＳ５３）。このカウントは音声入力実行検出部１７の信号を入力する音声入力案内中央制御部７によって行われ、その計算値をデータ検索・記録部２０において、音声入力案内データ蓄積部２１における、入力された音声コマンドに対応する音声入力実行カウント値ｈ（ｍ）に１を加えて書き替える。
【００８４】
上記のように、他の操作手段がありながら音声によって入力を行なった回数は、利用者がこの操作を音声入力により実行することの熟練の状態の指標を示しているとみることができるので、その音声入力の回数をカウントし、積算して記憶しておく。このようにして積算されたデータを用いて例えば図９に示されるような作動フローによる処理を行うことができる。
【００８５】
図９に示す作動フローは、その機能を明確にするために図４に示す実施例に対してステップＳ６３のみを付加した例を示している。即ち図９におけるステップＳ６１及びステップＳ６２は図４のステップＳ１１とステップＳ１２と同様であり、図９に示す作動フローにおいては、次に、カーソルを移動して指示した操作は所定回数としての例えば３回等のｐ回を越えて音声入力による操作指示を行っているか否かを、ｈ（ｍ）＞ｐによって判別する（ステップＳ６６）。
【００８６】
この判別において、所定回数を越えてその操作を音声入力によって実行していると判別されたときには、その操作に対しては音声入力の案内を行う必要がないとしてステップＳ６１に戻り、次のカーソル移動を待つ。また、未だ３回等の所定回数以上音声入力を行っていないと判別されたときには、前記図４に示すものと同様の音声案内処理、及び画面の表示による案内処理を行う。このような処理を行うことにより、利用者が特定の操作を音声入力によって行なった経験を加味した音声入力案内を行うことができる。
【００８７】
本発明において音声入力の案内を行う条件として、更に図１に示すように、各種オーディオ機器の作動信号を入力するオーディオ機器作動検出部１３の信号、及びナビゲーション装置１１の各種作動のうち経路案内に関する作動を検出する経路案内作動検出部１４の信号を用いて、利用者の邪魔にならない、よりきめの細かな制御を行う音声入力案内装置とすることができる。そのときの実施例を図１０に示している。
【００８８】
図１０は前記機能を明確にするため図６に示す実施例とはステップＳ７３を付加した点のみ異なるものを示しており、図６のステップＳ３２に対応するステップＳ７１の後に、オーディオ機器は動作中か否かの判別を行っている。この判別の結果、オーディオ機器が動作中であると判別されたときには利用者によるオーディオ機器の聴取を妨げないように、画面表示による案内のみを行う。なお、オーディオ機器が動作中ではないときには、以降前記図６に示す作動フローと同様の作動を行う。
【００８９】
上記の実施例においては、利用者による各種機器利用の妨げにならないようにするものの１つとして、利用者がオーディオ機器を利用して音楽を聴いているときの例を示したが、その他、例えばカセットテープ、ＣＤ、ＭＤ、ＤＶＤ等の一般オーディオ機器の音楽ソースを聴取中には音声による案内と画面表示の案内の両方を行い、交通情報やニュースを聞いている可能性の高いＡＭ／ＦＭラジオの聴取中には、図１におけるオーディオ機器作動検出部１３においてＡＭ／ＦＭラジオ１０の作動を検出し、音声による案内を停止し、画面表示の案内のみ行うように設定することもできる。
【００９０】
更に、上記の例において、音声による案内を停止した際には、図１における音声入力可能確認音出力部２７から、スピーカ３１を通して、あるいは他のブザー等の音響発生手段によってビープ音やピッという確認音を発生させ、現在操作したスイッチ等には音声入力手段が存在することを知らせることができるようにしても良い。また、このとき、画面に対する案内の表示と併用することもでき、また画面の表示を停止することもできる。
【００９１】
更に、図１に示すように経路案内作動検出部１４においてナビゲーション装置１１における交差点の右左折案内、インターチェンジの出入り口の案内、ＶＩＣＳから取り込んだ交通事故情報の案内、渋滞発生の案内等、車の走行経路に関連する重要な案内を音声及び画面で行っているときには、音声による案内を停止し、更に必要に応じて画面への表示も停止するように設定することもできる。また、このときも前記と同様に、スピーカから、或いは別途設けたブザー等から、ビープ音やピッというような確認音を発生させ、現在行なったスイッチ操作等は音声入力を行うことができることを知らせるようにしても良い。
【００９２】
なお、前記図５以降の作動フローにおいては、カーソルを移動した例についてのみ記載しているが、例えば図３に示すように、機器のスイッチを操作したことを検出して作動を行うものにも同様に適用することができる。また、カーソルの移動検出は、前記のようにカーソルで特定の選択表示部が指示されたときに案内を開始することができ、またその選択表示部を指示する選択入力操作を行なったときに初めて案内を開始するようにすることもできる。更に、スイッチ類については、スイッチを押し込む等の操作を行う前に、指等が触れたことを検出するタッチセンサ部を設け、スイッチ類に指が触れたときに直ちに音声入力が可能である案内を行うように設定することもできる。
【００９３】
また、本発明による音声入力案内は、例えば機種のバージョンアップ等により音声入力操作の方法が変更し、あるいは音声入力により操作できる範囲が拡大したときには、その機器の内部のプログラム及びデータ蓄積部のメモリを書き替えることにより対応することができる。特に、その機器にメモリを着脱自在にする機能が存在するときには、インターネットを介して機器メーカのホームページにアクセスし、ここに提供されているプログラム等をパソコンによってそのメモリにダウンロードし、これを機器に装着することにより容易にプログラム等の変更が可能となる。また、その機器にインターネット接続機能がある場合には、直接前記プログラム等の書き替えも可能である。なお、上記実施例においては音声入力案内を音声によって案内する案内音声出力部と、画面に案内表示する案内画面表示出力部の両方を備えた例を示したが、いずれか片方のみでも本発明を実施することができる。
【００９４】
上記の実施例においては、音声入力により操作を行うことができるにも関わらず他の手段で操作を行った際に、その操作が音声入力で操作を行うことができること、或いはどのようなコマンドで操作を行うことができるのかを利用者に案内する装置の例について説明したが、本発明はその他、下記のような種々の手段によって音声入力案内を行うことができる。
【００９５】
すなわち、図１に示す機能ブロック図において、マイク１５から音声による機器操作入力が行われたとき、音声入力部１６で入力したその信号を音声入力実行検出部１７が検出し、利用者が例えば操作対象を示す「音量」という言葉しか発していないと音声入力案内中央制御部７が判別したときには、予め操作対象とそれを操作するための言葉をリスト化して蓄積している音声入力案内データ蓄積部２１のデータを、データ検索・記録部２０で検索し、その結果を前記実施例と同様に案内作動開始出力部２３、案内出力選択部２４を介して、画像出力部２８からディスプレイ５にリスト表示し、また案内音声出力部２６を介してスピーカ３１から出力する。
【００９６】
また、上記のような音声入力により操作対象の操作を行うもの以外に、例えば交通案内の一つの態様としてのＶＩＣＳ情報の表示方式の選択のように、操作対象の中のカテゴリー、即ち操作対象の一機能をどのように操作するかについて音声により指示を行うときにおいても、音声入力案内データ蓄積部にその案内用のデータを蓄積しておくことにより、図１に示す機能ブロックによって作動させることが可能である。なお、上記ＶＩＣＳ情報の表示方式の選択のように操作対象の中の更に一機能についても、説明の便宜のため操作対象と略称する。
【００９７】
このような音声入力案内の機能は、例えば図１２に示すような作動フローにしたがって処理することができる。以下、図１３及び図１４に示す音声入力案内リストの例等を参照しつつ説明する。操作対象音声入力時の音声入力案内処理に際して、最初音声入力中に音声コマンド入力が存在するか否かを判別する（ステップＳ８０）。ここでは、利用者がマイクに対して発声した言葉の中に、予め登録してある音声コマンドが存在していないと判別されたときには、元に戻ってこの作動を繰り返す。
【００９８】
ステップＳ８０において利用者がマイクに対して発声した言葉に予め登録してある音声コマンドが存在すると判別したとき、即ち音声コマンドを入力したと判別したときには、その音声コマンドが操作対象のみのコマンドであるか否かを判別する（ステップＳ８１）。その判別の結果、例えば「音量」のように操作対象のみのコマンドであると判別したときには、その操作対象に関連する音声コマンドの案内を行う（ステップＳ８２）。また、前記ステップＳ８１において操作対象のみのコマンドではない、即ち操作対象に対してどのような操作を行うかの入力もなされている音声コマンドであると判別したときには、その音声コマンドの認識結果に対応した動作を実行し（ステップＳ８３）、再び最初のステップＳ８０に戻る。
【００９９】
上記のような案内を行うためには、前記のような音量に関するコマンドに関しては、図１の音声入力案内データ蓄積部２１に、例えば図１３右欄に示すようなデータを蓄積しておく。即ち、音声入力を受け付けることができる音量の調節に関するコマンドとして、音量アップ、音量あげる、ボリュームアップ、ボリュームあげる、音量ダウン、音量さげる、ボリュームダウン、ボリュームさげるの言葉によってそれぞれの調節を行うことができるように設定しているとき、利用者が「音量」という操作対象を示す言葉だけを発したときには、その言葉以外で同じ操作対象を操作することができる言葉、即ち言い換えの言葉を案内するため、「ボリューム」の言葉を「音量」の言葉に対応して音声入力案内用に登録しておく。また、操作対象を示す「音量」のコマンドで行うことができる操作内容の言葉として、「アップ」「あげる」「ダウン」「さげる」の各言葉を登録しておく。
【０１００】
同様に、利用者が「ボリューム」という操作対象を示す言葉を発したときには、その言葉以外で同じ操作対象を操作することができる言い換えの言葉を案内するため、「音量」の言葉を「ボリューム」の言葉に対応して音声入力案内用に登録しておく。また、操作対象を示す「ボリューム」のコマンドで行うことができる機能の言葉として、前記「音量」と同様に「アップ」「あげる」「ダウン」「さげる」の言葉を登録しておく。
【０１０１】
このような登録を行っておく結果、利用者が図１のマイク１５から「音量」という操作対象を示すコマンドのみを発したときには、音声入力案内中央制御部７が音声入力部１６、音声入力実行検出部１７を介してその言葉を入力し、データ検索・記録部２０に指示して例えば図１３の「音声入力案内蓄積データ」に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その結果を例えば図１５（ａ）に示すように表示する。それにより、「音量」は「ボリューム」の音声コマンドでも実行できることを案内し、また、その操作対象の言葉に組み合わせて使用する、操作したいことのコマンドとして「アップ」「あげる」「ダウン」「さげる」の言葉が存在することを表示する。
【０１０２】
利用者はこれを見ることにより容易に「音量」に関する種々のコマンドを知ることができる。また、同様の内容を音声によっても案内を行うことができるようにし、前記図１における案内出力選択部２４によって、手動により、あるいは前記のようにオーディオの作動状態等に応じて自動的に種々の案内出力の選択作動を行う。
【０１０３】
また、例えば近年ナビゲーション装置の機能の一つとして携帯電話を利用してインターネットに接続し、各種情報を取り込むことが提案されているが、その一環としてメールの送受信を行うことも提案されている。このようなメールについて音声で操作指示を行うときには、例えば図１４（ａ）の右欄に示すように、「メール送信」「メールを送る」「メール受信」「メールを受る」のような、操作対象とそれをどのように操作するかの言葉が一体となっているコマンドを登録しておくほか、利用者が「メール」という操作対象を示す言葉しか発しなかったときに、その操作対象はどのような言葉で操作を行うことができるのかを示すために、「送信」「を送る」「受信」「を受る」「読み上げ」「保存」「セーブ」・・・のような言葉を登録しておく。
【０１０４】
同様に、図１４（ｂ）に示すように、ＶＩＣＳに関連して「ＶＩＣＳ文字情報」「ＶＩＣＳ図形情報」のように、操作対象とそれをどのように操作するかの言葉が一体となっているコマンドを登録しておくほか、利用者が「ＶＩＣＳ」という操作対象を示す言葉しか発しなかったときに、その操作対象はどのような言葉と組み合わせて操作を行うことができるのかを示すために、例えば「文字情報」「図形情報」・・・のような言葉を対応して登録しておく。
【０１０５】
このような登録を行う結果、利用者が図１のマイク１５から「メール」という操作対象を示す言葉のみを発したときには、前記と同様に例えば図１４（ｂ）に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その結果を例えば図１６（ａ）に示すように表示する。同図に示す例においては、音声入力により「操作するもの」のリストを左列に列挙することにより利用者がこの機器において音声入力を行うことができる操作対象を示している。また、上記のように利用者が「メール」と発声したことを認識したときには、その中で「メール」の部分をハイライト表示すると共に、この操作対象に対して音声で操作を行うことができる操作内容の言葉としての「操作のことば」を画面の右側に列挙する。
【０１０６】
利用者がこれを見ることにより、「メール」に関して音声で操作を行うことができることと、そのとき用いる言葉を知ることができる。このときも前記と同様に、画面表示と同様の内容を音声によって案内を行うことができ、これらの案内の選択を利用者の指示により、或いは予め設定されたとおりに自動的に行うようにする。
【０１０７】
なお、この画面表示において、利用者がリモコンのカーソルをこのコマンドの一つに合わせて実行ボタンを押すことにより、或いはこの画面をタッチパネルとして特定のコマンドの表示にタッチすることにより、そのコマンドの機能を実行することができるようにしても良い。
【０１０８】
また、例えば図１６（ｂ）に示すように、前記とは逆に利用者が例えば「アップ」のような操作内容を示す言葉のみを音声入力した場合には、その同じ言葉によって複数の操作対象が操作できる場合に、それらの操作対象を案内するようにしても良い。図１６（ｂ）に示す例においては、操作の言葉「アップ」はオーディオ装置で音量を上げる「音量」「ボリューム」の言葉と組み合わせて使用され、またエアコンの「温度」を上げるときにも使用され、更にオーディオ装置の選曲作動としてのトラックの選択を行う際にも使用されることを示しており、この機能は前記図１６（ａ）の案内機能に対する逆引き辞書の機能となる。
【０１０９】
図１６に示す例において、同図（ａ）に示すものは利用者が操作対象を音声入力したことにより表示された画面であり、その操作対象に対する操作内容の音声コマンドを表示していることを、「操作するもの」から「操作したいこと」の方に矢印を表示することにより表している。同様に同図（ｂ）に示すものは利用者が操作したい操作内容を音声入力したことにより表示された画面であり、その操作内容のコマンドとしての「操作のことば」がどのような操作対象を操作するために用いられるかを、「操作したいこと」から「操作するもの」の方に矢印を表示することにより表し利用者に対して明示している。また、図１６（ｂ）に示す例においては、前記「アップ」と極めて関連の強い言葉として「ダウン」が存在し、この言葉も同じ操作対象に対して用いることができることも示している。
【０１１０】
上記実施例においては、現在広く用いられている、個々の単語を独立して認識する孤立単語音声認識システムの例で説明したが、不要語や助詞や動詞の活用などに比較的柔軟に対応できる連続音声認識システムにおいて用いても良い。即ち、このシステムにおいても操作対象と操作内容の組み合わせへの対応度に限界があるため、操作対象に関連する操作内容のコマンドを案内するという機能は必要であり、その際には前記と同様の音声入力案内を行うことが好ましい。
【０１１１】
また、操作対象の語句ではなく、「音量案内」「音量ヘルプ」のような特定の操作対象の音声案内の出力を希望する、予め登録してある言葉を発声することにより、音量に関する音声入力案内を行うことができるようにしても良い。ただし、このような言葉によって音声入力案内を行うことは、多くの音声コマンドを予め登録する必要があり、より簡易な操作のためには、操作対象の語句のみで作動するようにした前記実施例の方がより好ましい。
【０１１２】
上記実施例において前記のように音声入力案内を行うことにより、利用者は操作内容と音声コマンドの対応を覚えることが容易となり、また操作対象の音声コマンドのみがわかり、操作内容のコマンドがわからない場合でも、この音声入力案内によって知ることができ、音声コマンドによる操作が容易となると共に、逆に操作内容のコマンドがわかっているときに、その言葉でどのような操作対象を操作できるのかも容易に知ることができ、容易に覚えることができる。
【０１１３】
更に、上記のような音声入力案内を行うことにより、利用者は特定の音声入力用の言葉を容易に覚えることができるので、音声認識用蓄積データとして必要以上に多い言い換えの言葉を登録しておく必要が無くなる。また、様々な言い換えの言葉を定義して音声認識用蓄積データ中に登録しておくことによって、入力された特定の言葉に対して音声認識装置が極めて多くのデータの中から対応する言葉を選択して認識する処理を行う必要が無くなり、音声認識時の誤認識率を少なくすることができる。
【０１１４】
また、音声入力案内を例えば図１６（ａ）に示すように、操作対象毎に分類して案内を行うことが可能となり、利用者に理解しやすい音声入力案内を行うことができる。更に、車両に搭載している機器の機種を変更したとき、或いは機器の作動を行うソフトをバージョンアップしたときに音声案内のコマンドが変更されたときでも、この音声案内のソフトの一部を変更することにより容易に対応することができ、また変更点を案内する機能を付加することも可能となる。また、音声入力案内を前記実施例と同様に画面による案内、音声による案内を同時に、或いは個別に、それを手動により、或いは予め設定した条件に対応して自動的に、音声入力案内の態様を種々切り替えることができる。
【０１１５】
上記実施例においては、例えば「音量」のような操作対象の言葉を入力したとき、その操作対象をどのように操作するかの操作内容の音声入力コマンドを案内するようにしたものであるが、その際に単に操作内容を列挙するだけでなく、利用者がこの音声入力装置を利用した実績に応じて、例えば利用回数の少ないコマンドを優先して表示し、或いは利用した時期が古いほど優先して表示する等の、表示の並び替えを行うことができる。
【０１１６】
その際には、図１の案内出力選択部２４から画像出力や音声出力を行ったとき、図２に示す音声入力案内データにおける音声入力実行回数のカウント値ｈ（ｎ）を更新しているので、音声入力案内実行検出部２２ではこのデータを用いて利用者の音声入力の実績を検出し、この実績のデータに基づいて出力する音声入力案内のコマンドの並び替えを行うことができる。また、図２に示すカウント値に更に、最新の音声入力日時のデータを記憶する部分を設け、そのデータを用いて音声入力実行日時の古い順等、上記データの種々の並び替えを行って出力することができる。
【０１１７】
上記のようなデータの並び替えを行うことにより、例えば図１７に示すようにな表示を行う。図１７に示す表示例においては、図１４（ｂ）に示すＶＩＣＳ情報の表示に関する音声入力コマンドの案内を行う例を示しており、利用者が「ＶＩＣＳ」の音声を発したときに、音声認識装置は図１４（ｂ）に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その操作内容として存在する多くのコマンドを使用頻度が少ない順に並び替え、図１７に示すように表示する。
【０１１８】
この例においては、ナビゲーション装置の地図画面上に表示されている渋滞を示す矢印を消すコマンドである「消去」が最も使用頻度が少ないものとして最上位に表示し、続いて、一般道だけのＶＩＣＳ情報を表示させる「一般」、更に「高速」「図形情報」「文字情報」「渋滞」を順に表示している。これ以外のコマンドが存在するときには、画面をスクロールすることにより表示する。なお、使用頻度の多いコマンドは単に表示順位を下げるだけでなく、その表示に際して表示色を他とは変え、或いは小さく表示して目立たなくする等の表示を行っても良い。それにより、表示されたコマンドが利用者がたびたび使用しているコマンドであることを知ることも可能となる。
【０１１９】
上記のような表示において、利用者が所定回数以上使用したコマンドについては、表示させないように設定することもできる。その際には上記のように使用頻度に応じた優先順位に基づいた表示を行うとき以外に、前記図１６に示す表示例のように、優先順位に基づかない表示を行うときに適用しても良い。このように利用者が所定回数以上使用したコマンドを案内しないことにより、音声入力操作の実行実績が増えるにつれて音声入力案内の表示項目が少なくなるので、利用者にとってわかりやすい音声入力案内装置とすることができる。
【０１２０】
音声入力案内に際して、上記実施例における利用者の使用頻度が高いコマンドばかりを用いて入力しているときには、特別の操作、或いは操作対象のみの音声入力等を行わない限り音声入力案内が行われない可能性もあるので、例えば図１５（ｂ）に示すように、利用者がたびたび使用している「音声あげる」というコマンドを入力したときにでも、それに関連するコマンドとして「音量をさげる」「曲を送る」「ＭＤ」「ディスクチェンジ」のような種々のコマンドが存在することを参考のために表示しても良い。なお、更に多くの関連コマンドが存在するときには「次へ」「戻る」の操作によって任意にスクロール表示することができる。
【０１２１】
このような案内は音声によって行うと利用者に対して煩わしい感じを抱かせるので、画面のみによって案内を行うことが好ましく、このような機能は図１の案内出力選択部２４において設定することができる。なお、このときもここに表示されたコマンドに対してリモコン等でカーソルを合わせて実行する等により、直接そのコマンドに対応した機器の操作を実行させることも可能である。
【０１２２】
なお、上記実施例においては、例えば「音量」のような操作対象の言葉のみを入力したとき、利用者は音声入力の案内を要求していると見なすことにより、利用者の音声入力案内要求を検出したものであるが、利用者の音声入力案内要求の検出に際してはその他、例えば図１１に示すような「ＧＵＩＤＥ」キーを押したときに音声入力案内を要求していると見なし、例えば図１６（ａ）に示すような操作対象毎に操作内容を列挙した音声入力案内を表示するようにしても良い。その他、利用者が「音声ガイド」というような特定の言葉を発したときも、上記のような音声入力案内を表示させても良い。したがって、利用者による音声入力案内出力要求を検出し出力する音声入力案内出力要求検出部としては、前記のような例えば操作対象の言葉のみを入力したときのような場合、或いは「音量案内」という音声を利用者が発声した場合のほか、更に上記のようなキー操作を検出した場合、「音声ガイド」と発声した場合等、種々の状態を検出する場合が存在することとなる。
【０１２３】
【発明の効果】
本発明に係る音声入力案内装置は、各種機能を音声によって操作指示を行うことができるようにした、音声入力装置を備えた機器において、利用者が音声以外の手段で機器の操作を行なったときに、その操作は音声入力によって行うことができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作を別途特別な操作を行うことなしに容易に理解し、音声入力操作の習熟を早めることができる。
また、利用者が行なった機器の操作が音声入力により操作することができること、またどのような音声によって操作することができるかを音声によって、及び画面表示によって直ちに知ることができ、利用者の音声入力操作の習熟を容易に早めることができる。
また、音声入力案内を行うか否かを出力する音声入力案内制御部を備え、該音声入力案内制御部で音声入力案内を行わない出力がなされたときには音声入力案内を停止するようにしたので、音声入力案内制御部で行う判別によって種々の態様で音声入力案内の出力を停止することができ、利用者にとって邪魔にならない音声入力案内を行う等、きめの細かな案内を行うことが可能となる。
また、前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部においては、機器操作に対応した出力回数を前記データ検索部で検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたので、所定回数以上の多数の音声案内を行なったものについてはそれ以降の案内を停止することができ、多数回案内を行うことにより利用者が慣れている音声入力の案内を頻繁に出力することが無くなるので、利用者にとって煩わしい感じを与えることが無くなる。また、多数回案内を行っても音声入力を実行しない利用者は、少なくともその音声入力操作についてはスイッチ等で実行することに慣れている場合があるので、そのようなときに頻繁に音声入力案内を行うことによって、利用者に煩わしい感じを与えることが無くなる。
また、前記データ記録部には案内音声出力回数と、案内画面表示出力回数を別々に記録し、前記音声入力案内制御部においては、いずれかの回数が予め設定した所定回数を超えるときに全ての案内を停止し、または案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止し、或いは案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたので、案内音声出力回数と案内画面表示出力回数のいずれかの回数が予め設定した所定回数を超えるときに全ての案内を停止した場合は、頻繁な各種の案内を行うことによって利用者に煩わしい感じを与えることを確実に防止することができる。
また、案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止した場合は、案内音声出力回数が多いときには案内音声のみ停止し、案内画面表示等を継続することができるので、きめの細かな音声入力案内が可能となる。更に、案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたものにおいては、案内画面表示出力回数が多いときには画面表示のみを停止し、案内音声出力等を継続することができるので、きめの細かな音声入力案内が可能となる。
【０１２６】
また、本発明に係る他の音声入力案内装置は、前記機器操作検出部において、スイッチ、ロータリーエンコーダ、タッチパネル、カーソル操作のうちの少なくともいずれかの操作を検出するので、利用者がこれらのうちのいずれかを操作したとき、それらの操作が音声入力により操作することができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作の習熟を容易に早めることができる。
【０１２８】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、オーディオを含む音声出力を行う機器の作動検出時には音声による音声入力を停止する出力を行うようにしたので、オーディオを聴いている利用者に対して音声による案内を行うことにより邪魔をすることがないように設定することができる。
【０１２９】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ラジオの作動を検出したときには、音声による案内を停止するようにしたので、交通情報やニュース等、利用者にとって重要な情報の取得中に音声による案内を行って邪魔をすることが無くなる。
【０１３０】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ナビゲーション装置の音声による経路案内の作動検出時には、音声による案内を停止するようにしたので、経路に沿って走行している車両にとって極めて重要な、例えば交差点の右左折案内等の音声案内を行っているときに、音声入力案内を音声によって行うことによって邪魔をすることが無くなり、安全な装置とすることができる。
【０１３１】
また、本発明に係る他の音声入力案内装置は、前記音声による案内の停止時には、画面による案内、または音声入力が可能であることを示す確認音のうちの少なくともいずれかを出力するようにしたので、音声による案内が停止されても、画面によって案内を行い、或いは少なくとも音声入力が可能であることを確認音で利用者に知らせることができ、音声入力の案内を確実に行うことができる。
【０１３２】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、案内表示画面に少なくともナビゲーション装置の経路案内の表示中には、同一画面による案内を停止するようにしたので、経路に沿って走行している車両にとって極めて重要な例えば交差点の右左折案内等の画面表示中に、同一画面に音声入力案内の画面を表示させることによって邪魔をすることが無くなり、安全な装置とすることができる。
【０１３６】
また、本発明に係る他の音声入力案内装置は、機器操作の音声入力が行われたことを検出する音声入力実行検出部を備え、音声入力実行検出部で検出した信号により音声入力を行なった回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部は、機器操作に対応した音声入力回数を前記データ検索部で検索して入力し、該音声入力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたので、利用者が所定回数以上の多数回音声入力を実行している操作は、既に利用者が音声入力操作に慣れていると推測でき、このように慣れている音声入力の案内を頻繁に行うことにより利用者に煩わしい感じを与えることを防止することができる。
【０１４４】
また、本発明に係る他の音声入力案内装置は、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して出力する音声入力案内出力部と、音声入力実行コマンドと、各音声入力実行コマンドの相互の対応を記録した音声入力案内データ蓄積部と、利用者による音声入力操作を検出し出力する音声入力検出部と、前記音声入力検出部からの出力により、前記入力した音声入力実行コマンドに関連した音声入力実行コマンドを検索して出力するデータ検索部とを備え、前記音声入力案内出力部では、前記データ検索部で検索した音声入力実行コマンドを、画面または音声の少なくともいずれかで出力するので、前記と同様に、音声入力装置を備えた機器において、利用者が音声以外の手段で機器の操作を行なったときに、その操作は音声入力によって行うことができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作を特別な操作を行うことなしに容易に理解し、利用者の音声入力操作の習熟を早めることができる。また、利用者が音声入力による操作に慣れていることにより、前記各種手段によっても音声入力案内が行われないような状況であっても、利用者が音声入力実行コマンドを入力したときには自動的に関連する音声入力実行コマンドを参考として案内することができ、より多様な音声入力の習熟を行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の実施例の機能ブロック図である。
【図２】本発明に用いられる音声入力案内データ蓄積部における、蓄積データの例を示す図である。
【図３】本発明において機器のスイッチを操作したことにより音声入力案内が行われる実施例の基本的な作動フロー図である。
【図４】本発明においてカーソルを移動したことにより音声入力案内が行われる実施例の基本的な作動フロー図である。
【図５】本発明において、音声入力の音声による案内及び画面表示による案内の出力回数に応じて案内の態様を変える実施例を示す作動フロー図である。
【図６】本発明において、音声入力の音声による案内の出力回数に応じて案内の態様を変える実施例を示す作動フロー図である。
【図７】本発明において、音声入力の音声による案内及び画面表示による案内の出力回数に応じて案内の態様を変える他の実施例を示す作動フロー図である。
【図８】本発明において、実際に音声入力を行なった回数をカウントする処理の実施例を示す作動フロー図である。
【図９】 本発明において、実際に音声入力を行なった回数によって音声入力案内の態様を変化させる実施例の作動フロー図である。
【図１０】本発明において、オーディオ機器の動作に応じて音声入力案内の態様を変化させる実施例の作動フロー図である。
【図１１】本発明を実際の機器に搭載したときの主として画面表示の例を示す図であり、（ａ）はオーディオ装置のボリュームアップをスイッチにより操作し、そのときに表示される音声入力案内の例を示し、（ｂ）はナビゲーション装置の行き先検索における電話番号で探す部分にカーソルを移動させ、そのときに表示される音声入力案内の例を示す。
【図１２】本発明の他の実施例の作動を示す作動フロー図である。
【図１３】同実施例において用いられる音声入力案内データの例を示す図である。
【図１４】同実施例において用いられる音声入力案内データの他の例を示す図である。
【図１５】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、（ａ）は操作対象の音声入力実行コマンドに対して言い換えの音声入力実行コマンド及び操作内容の音声入力実行コマンドを表示した例を示し、（ｂ）は音声入力実行コマンドに関連するコマンドを表示した例を示す。
【図１６】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、（ａ）は操作対象の音声入力コマンドに対して操作内容の音声入力コマンドを表示した例を示し、（ｂ）は操作内容の音声入力コマンドに対してそれにより操作可能な操作対象の音声入力コマンドを表示した例を示す。
【図１７】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、操作対象の音声入力コマンドに対して操作内容の音声入力コマンドを使用頻度の少ないものを優先して表示した例を示す。
【符号の説明】
１ スイッチ
２ ロータリーエンコーダ
３ タッチパネル
４ スイッチ類操作検出部
５ ディスプレイ
６ カーソル操作検出部
７ 音声入力案内中央制御部
８ 音声入力案内開始スイッチ
１０ ＡＭ／ＦＭラジオ
１１ ナビゲーション装置
１３ オーディオ機器作動検出部
１４ 経路案内作動検出部
１５ マイク
１７ 音声入力実行検出部
１８ 出力選択設定部
２０ データ検索・記録部
２２ 音声入力案内実行検出部
２３ 案内作動開始出力部
２４ 案内出力選択部
２５ 案内画面表示出力部
２６ 案内音声出力部
２７ 音声入力可能確認音出力部
２８ 画像出力部
３０ 音声出力部
【発明の属する技術分野】
本発明は、各種機器の操作を音声で行うことができるようにした音声入力装置において、音声によって操作することができる機能を利用者に知らせることができるようにした音声入力案内方法及びその方法を実施する音声入力案内装置に関する。
【０００２】
【従来の技術】
近年の各種機器の機能の多様化により、１つの機器において極めて多数のことを行うことができるようになっており、機器の利用者にとっては非常に便利になっている。しかしながらその反面、利用者は多くのスイッチ等の操作部の中から特定の機能を行う操作部を選び、これを操作することにより操作指示入力を行う必要が生じて、操作部の選択の困難性、及び操作順を考える煩わしさ等が増加している。その対策として、例えば液晶ディスプレイ等に上位の機能から順に表示を行うことができるように設定し、利用者は表示された機能をタッチパネル、或いはリモコンによるカーソル指示等によりこれを選択し、最後に特定の機能を行うことができるようにしたものも多くなってきている。
【０００３】
例えば車両用ナビゲーション装置においては、目的地を設定する場合、地図をスクロールして広域地図から拡大地図に順に表示して特定の地点を探す方法、都道府県から順に特定の地点を絞り込んで検索する方法、電話番号を入力して探す方法、郵便番号を入力して特定の地点の近辺の地図を表示させ、地図をスクロールして探す方法、特定の施設等をその施設のジャンルを指定し、更に地域等を指定して検索する方法、従来目的地に設定したことがある地点、行なったことがある地点、予め別途に登録をしている地点等のリストの中から選択し、あるいは五十音キーで直接入力する方法等、種々の方法の中から希望する目的地設定手段を選択し、その後その各手段について順に表示される選択画面やスクロール画面に対して操作を行い、特定の地点を探し出し、最終的に確定する操作を行うこととなる。
【０００４】
このように多くの機能の中から所望の機能を指定し、更にその中で種々の選択画面を表示させて設定操作を行うことは、多くの機能を正確に行わせるためには適切な方法である。しかしながらその機能がより多機能化し更に複雑になってくると、所望の操作を行うためにはどのような操作を順に行えばよいかわからなくなり、また種々の操作を何回も行わなければ設定することができなくなってしまう、という問題点があった。
【０００５】
一方、例えば車両用ナビゲーション装置や車両用オーディオ装置等のような車両搭載機器においては、これらの機器を操作する利用者が車を運転する人である場合が多く、このような運転者が車両搭載機器を操作する際、最も注意力を集中していなければならない運転に支障がない程度の範囲でこれらの機器の操作を行うことができるようにしなければならない。しかしながら、上記のように各種機器は多機能化し、多くの機能ボタンの中から所望の機能ボタンを選択して操作することや、画面に表示された機能メニュを順に選択する操作を行うことは実質的にできなくなっており、停車時に行わざるを得なくなる。
【０００６】
その対策として、近年急速に研究開発が進んでいる音声認識技術を導入し、各種の操作の指示を音声によって行うことが次第に普及している。この技術を用いることにより、音声入力装置をＯＮにした状態で例えば「近くのセブンイレブン」と発声するだけで、ナビゲーション装置は「近くの・・・」という言葉を認識して特定の施設の検索であると判断し、更にその検索範囲は現在地にできる限り近い地点であることを判断し、更にこの車両が誘導経路に沿って走行していると判別されたときにはできる限りその誘導経路上で、現在地より先にある地域の検索を行うように検索範囲の選択を行う。また、「セブンイレブン」という言葉を認識することによりジャンル検索を行い、各種のジャンルの中からコンビニのジャンルを選択し、その中から「セブンイレブン」の施設を検索する。また、検索結果が得られたときにはその地点データから画面の地図上にこれを表示し、必要に応じて音声により「この先７００ｍ左側にセブンイレブンがあります。」のような案内を行う。
【０００７】
【発明が解決しようとする課題】
このように音声認識技術を用いると、短い言葉を発声しただけで特定の操作の選択を容易に行うことができるようになり、極めて便利であるとともに、車両搭載機器にこれを用いることは安全運転の観点からも重要なこととなっており、現在の車両には急速にこの音声認識を用いた技術が普及している。
【０００８】
しかしながら、この音声認識による各種機器の操作指示は、これを熟知しているとその使用は極めて便利であるものの、例えば前記の例のように「近くの・・・」という発声だけで施設検索が行われること、検索範囲の選択が絞られること等を知らない場合には通常の画面表示による選択のように、例えば「施設検索」「ジャンルの選択」「コンビニ」「セブンイレブン」「誘導経路上」等を順に発声することとなり、本来持っている便利な機能を生かすことができない。
【０００９】
また、全ての機能を音声によって操作するように設定することができない場合が多いので、例えばあるオーディオ機器の機種は音量を上げる操作を「ボリュームアップ」のような音声により操作することができるのに対して他の機種はこれを行うことができない等、各機器や機種によって音声で操作できる機能範囲が異なることが多い。そのため、現在使用している機器はどの範囲の機能を音声によって操作指示することができるのか、またどのような言葉で操作指示を行なったらよいのかがわからない場合が多くなり、利用者はせっかく音声によって簡単に操作する機能を備えているにもかかわらずこれを使用しない場合が多くなる。
【００１０】
また逆に、前記のような音量を上げる機能を音声によって行うことができない機種を使用しているにもかかわらず、大声で何回も「ボリュームアップ！」「ボリュームアップ！」の発声を繰り返し、それでもこの機器がこの発声を理解して受け付けてくれないことによって利用者をいらいらさせ、音声認識装置に対する不信が多くなり、音声認識による操作指示を利用することが少なくなってしまうという問題もある。このように、どの機能がどのような音声により操作指示することができるのかを知ることは、その機器の操作マニアルを何回も見ることにより覚えるか、あるいは長期間の試行錯誤を繰り返した後覚えるしかない。
【００１１】
また、前記のように画面表示による操作指示案内の場合は、操作指示のツリー構造によって順に表示される画面表示の案内に沿って操作指示を行うため、論理的な思考により操作指示を行うことができるので、少々の間違いがあっても順に元の状態に戻る操作を繰り返し行うことで、いつかはその間違いを訂正することができ、正しい使い方も容易に覚えることができる。しかしながら操作指示を音声によって行う際には、操作指示のツリー構造がわからないことが多いため、例えばナビゲーション装置における目的地の設定に際して、最初に何を発声すればよいのかわからず、もしも「目的地の設定」という言葉でその機能が開始できたとしても、次に何を発声すればよいかがわからない場合には、音声認識による操作指示手段は実質的に使うことができないこととなる。
【００１２】
また、最近の電子機器は、その機器の構成、内部のハード機構は同一でも、これらを作動するソフトウエアのみ変更し、更に機能を追加することによる機器のバージョンアップを行うことが多くなっている。このようなときには、従来音声による操作指示を行うことができなかった部分が可能となり、また、慣れ親しんできた音声案内のコマンドが変更されることもある。そのため従来の音声認識を用いた入力装置では解説書等に記載しても、これを熟読しない利用者にとってはわからない場合が多く、また、新しい音声案内の機能、手法を利用者に慣れてもらう手段がなかった。
【００１３】
上記のように、従来の音声認識装置における音声で指示を行う言葉の設定には未だ多くの課題を抱えており、従来の装置では利用者にとって使用しにくい面も備えている。そのため、利用者が現在使用中の機器において音声により操作を行うための言葉を知らないときにでも、適切な方法でその言葉を案内することができ、また利用者が容易に音声入力による操作に習熟することができる装置の開発が期待されている。
【００１４】
更に、現在用いられている音声認識装置においては音声認識処理負担の軽減のため、また音声認識率の向上のために単語を単位としたい孤立単語音声認識システムが用いられることが多い。例えば利用者が「音量アップ」という言葉を発したときには、この言葉は操作対象を示すオーディオ装置の「音量」と、その操作対象をどのように操作するかという「アップ」という動作指示を示す言葉とからなっている。しかしながら上記のような音声認識処理負担を軽減した音声認識装置においてはこれを分離する処理は行わず、「音量アップ」という言葉を一つの言葉と認識して、予め登録し蓄積しているデータの中から最も近似しているものを選択することにより認識している。
【００１５】
しかしながら、利用者は上記のようなオーディオ装置の音量を上げる指示を行うとき、上記のような「音量アップ」の他、「ボリュームアップ」「音量上げる」「ボリューム上げる」「音量大きく」「ボリューム大きく」など、各種の表現で指示を行うことが考えられる。このことは他の音声による指示においても全て共通しており、各種操作指示の音声入力の表現形式は、少なくとも数種類から多ければ数十種類も存在することが考えられる。また、音声入力に際して例えば「音量を上げる」「音量を大きくする」というような助詞等を含む場合には、それに付随して更に多くの表現形式が存在することとなる。
【００１６】
それに対して、現在用いられている音声認識装置においては、これらの全ての表現形式に対応して予め登録しておくには記憶容量、及びそれらの言葉のデータを読み出して入力音声データと比較する処理能力負担の問題もあり、それと関連して誤認識が発生しやすくなるため、上記の例のように「音量アップ」という１つの言葉のみで１つの操作を行うことができるように設定することが多くなる。
【００１７】
このように設定したときには、利用者はその言葉を知らなければ音声による操作指示を行うことができず、「ボリューム」という言葉や「上げる」という言葉の組み合わせで音声入力を行おうと試みる時にはいつまでたっても機器の操作を行うことができない。また、「ボリュームアップ」のような言葉を発したときには、音声認識装置はこれに類似する他の機器の操作指示と認識して誤作動を行うことも考えられる。特に利用者が以前に別の機器で、或いはその機器の前のバージョンで「ボリュームアップ」という言葉で操作していたときには、誤った言葉を発することが多く、使用しにくい装置とならざるを得なかった。
【００１８】
上記のように、音声認識装置の利用に際して、利用者が音声入力により「音量」のような操作対象の指定を行ったとき、あるいはナビゲーション装置の交通案内機能の中における「ＶＩＣＳ情報」のような操作対象のカテゴリーの指定を行ったときには、それらをどのような言葉で操作を行うことができるかを案内する装置の開発が期待されている。更には必要に応じて音声入力により操作を行うことができる言葉のリストの一覧を、利用者が音声入力に習熟している状態に合わせて分かり易く表示する装置の開発が期待されている。
【００１９】
したがって本発明は、各種機能を音声によって操作指示を行うことができるようにした、音声入力装置を備えた機器において、利用者が機器の手動操作等を行ったときにその操作がどのような音声によって行うことができるかを案内し、或いは必要なときに利用者に対して音声入力を行うことができる言葉の提示を適切に行い、利用者が容易に音声入力の機能を理解し、慣れることができるようにした音声入力案内装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明による音声入力案内方法は上記課題を解決するため、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して音声及び画面で案内出力する音声入力案内出力部と、機器操作に対応した出力回数を検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止する音声入力案内制御部と、前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部とを備え、前記データ記録部には案内音声出力回数と、案内画面表示出力回数を別々に記録し、前記音声入力案内制御部は、いずれかの出力回数が予め設定した所定回数を超えるときに全ての案内を停止し、または案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止し、或いは案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたものである。
【００２３】
また、本発明に係る他の音声入力案内装置は、前記機器操作検出部において、スイッチ、ロータリーエンコーダ、タッチパネル、カーソル操作のうちの少なくともいずれかの操作を検出するものである。
【００２５】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、オーディオを含む音声出力を行う機器の作動検出時には音声による音声入力案内を停止する出力を行うようにしたものである。
【００２６】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ラジオの作動を検出したときには、音声による案内を停止するようにしたものである。
【００２７】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ナビゲーション装置の音声による経路案内の作動検出時には、音声による案内を停止するようにしたものである。
【００２８】
また、本発明に係る他の音声入力案内装置は、前記音声による案内の停止時には、画面による案内、または音声入力が可能であることを示す確認音のうちの少なくともいずれかを出力するようにしたものである。
【００２９】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、案内表示画面に少なくともナビゲーション装置の経路案内の表示中には、同一画面による案内を停止するようにしたものである。
【００３２】
また、本発明に係る他の音声入力案内装置は、機器操作の音声入力が行われたことを検出する音声入力実行検出部を備え、音声入力実行検出部で検出した信号により音声入力を行なった回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部は、機器操作に対応した音声入力回数を前記データ検索部で検索して入力し、該音声入力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたものである。
【００３８】
また、本発明に係る他の音声入力案内装置は、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して出力する音声入力案内出力部と、音声入力実行コマンドと、各音声入力実行コマンドの相互の対応を記録した音声入力案内データ蓄積部と、利用者による音声入力操作を検出し出力する音声入力検出部と、前記音声入力検出部からの出力により、前記入力した音声入力実行コマンドに関連した音声入力実行コマンドを検索して出力するデータ検索部とを備え、前記音声入力案内出力部では、前記データ検索部で検索した音声入力実行コマンドを、画面または音声の少なくともいずれかで出力するものである。
【００４０】
【発明の実施の形態】
本発明の実施例を図面に沿って説明する。図１は本発明により音声入力の案内を行う音声入力案内装置の主要機能部と、それらの相互の関係を示した機能ブロック図であり、特に車両搭載機器を音声によって操作することができるようにした音声入力装置を搭載している例を示している。
【００４１】
図示実施例においては、各種オーディオ装置、ナビゲーション装置を初めとして図示されていないエアコン等の各種機器を搭載しており、これらの機器の操作を行うために各々の機器に多数の操作スイッチ１を備えている。また、音量調節、受信周波数設定等を行う回転式つまみとしてのロータリーエンコーダ２を備え、更に液晶等のディスプレイ５に設けたタッチパネル３等の利用者が指を接触させることにより直接操作を行う操作指示信号出力部等を備えており、これらはスイッチ類操作検出部４によって利用者の直接的な指示信号として検出される。
【００４２】
また、ディスプレイ３に表示された各種選択入力部を、リモコンによるカーソル指示等によって順に色を変え、或いは明るく表示する等のフラッシュ表示を行なったことを検出するカーソル操作検出部６を備え、前記スイッチ類操作検出部４と共に音声入力案内中央制御部７に出力している。これらのスイッチ類操作検出部４とカーソル操作検出部６は、本発明の機器操作検出部に相当する。
【００４３】
音声入力案内中央制御部７は、本発明による音声入力案内の全体の制御を行うと共に、特に後に述べる予め定められた条件が満たされたか否かを判別する音声入力案内作動可否判別部１９を備え、ここで音声入力の案内を行う旨の判別がなされたときには、案内作動開始出力部２３に作動開始信号を出力する。案内作動開始出力部２３では、入力されたスイッチ類の操作信号やカーソル操作信号に対応した音声入力の言葉を、データ検索・記録部２０で後述するような音声入力案内データ蓄積部２１のデータを検索し、その検索結果得られた音声入力案内のデータを後述する種々の態様で音声出力部３０からスピーカ３１に、また、画像出力部２８からディスプレイ５に出力し、利用者に対してその操作が音声入力により操作することができ、またどのような音声によって操作を行うことができるのかを案内する。
【００４４】
音声入力案内中央制御部７には音声入力案内開始スイッチ８が接続しており、利用者がこのスイッチを操作したときに、それ以降行われる前記各種入力操作に対応した音声入力の案内を所定の条件の時に行い、また、このスイッチを再度操作することにより、音声入力案内の作動を終了させることができる。なお、この音声入力案内開始スイッチ８を前記とは逆に、特に操作を行わないときには音声入力の案内を行うようにし、このスイッチを操作したときに初めてその案内を停止するように設定することもできる。
【００４５】
図示実施例においてはオーディオ機器としてカセットテープ、ＣＤ、ＭＤ、ＤＶＤ等の一般オーディオ機器９、並びにＡＭ／ＦＭラジオ１０を搭載しており、これらの作動はオーディオ機器作動検出部１３によって検出され、これを入力する音声入力案内中央制御部７における音声入力案内作動可否判別部１９では、上記のようなオーディオ機器が作動しているときは利用者の聴取を妨げないように、必要に応じて音声入力案内を停止させることができる。特にＡＭ／ＦＭラジオ１６については、利用者が重要な交通情報やニュース等を聴いていることも多いため、その時に音声入力案内を行うことにより邪魔をすることがないように、前記他のオーディオ機器についてはそれらが作動しているときにでも音声入力案内を行うように設定されている場合でも、ＡＭ／ＦＭラジオ１０を受信しているときにはこの音声入力案内の作動を行わせないようにすることができる。
【００４６】
図示実施例ではナビゲーション装置１１を搭載した例を示しており、このナビゲーション装置１１にはビーコン受信機１２が接続され、ビーコンからのＶＩＣＳ情報を入力し、また前記ＡＭ／ＦＭラジオ１０におけるＦＭ多重放送によるＶＩＣＳ情報の入力も行う。このナビゲーション装置１１から出力される交差点案内、渋滞情報、事故情報等の走行経路に関する各種音声案内の作動、更には交差点案内の画像出力を行っていること、交通事故情報等の詳細表示を行っていること等を経路案内作動検出部１４で検出して、音声入力案内中央制御部７に出力している。
【００４７】
音声入力案内中央制御部７における音声入力案内作動可否判別部１９では、ナビゲーション装置１１において利用者に対して重要な案内が行われているときに音声入力案内を行うことがないようにし、また交差点案内の画像表示を行っているときには音声入力案内の画面表示は行わない等の処理を行う。また必要ならば、出力選択設定部１８にその信号を出力し、前記のようなときに音声による案内は行わず、単に画面による案内を行い、あるいはビープ音やピッというような音声入力可能確認音をスピーカやブザーから出力するように設定することもできる。
【００４８】
音声入力案内中央制御部７には音声入力実行検出部１７が接続されており、この音声入力実行検出部１７においては、マイク１５から利用者が各種機器の操作を音声入力の機能を用いて操作したとき、その信号を音声入力部１６から入力し、データ検索・記録部２０にこの信号を出力して音声入力案内データ蓄積部２１における図２に示すようなデータを検索し、このデータの中の前記入力された音声コマンドのインデックスに対応する、音声入力実行回数を示すｈ（ｍ）のデータに対して１を加えて書き換える。
【００４９】
なお、このデータは音声入力作動可否判別部１９において、利用者がスイッチ等を操作して操作指示を行なったときに、その操作に対応する音声入力手段が存在することを案内するに際して、データ検索・記録部２０で音声入力案内データ蓄積部２１の前記データを検索し、既に利用者が所定回数ｐ以上その言葉を用いて機器の操作を行っていると判別された時には、音声入力案内を行う必要がないと判別するためのデータとして用いられる。
【００５０】
音声入力案内作動可否判別部１９で音声入力のための案内を行うと判別したときには、前記のように案内作動開始出力部２３においてデータ検索・記録部２０にアクセスし、その操作をどのような音声入力によって作動することができるかのデータを音声入力案内データ蓄積部２１から取り込む。案内作動開始出力部２３ではこの音声入力案内データを案内出力選択部２４に出力し、音声入力案内中央制御部７の指示により作動する出力選択設定部１８からの出力によって、案内を行う出力の選択切り替えを行う。
【００５１】
その選択切り替えに際しては、大別してスピーカ３１から音で出力するか、ディスプレイ５によって画像出力を行うかの選択、また、スピーカ３１から音で出力する際には、案内音声出力部２６から音声によって案内を行うか、或いは音声入力可能確認音出力部２７からビープ音やピッというような音によって案内を行うか等の案内出力の選択を行う。
【００５２】
また、このように音声入力案内を行なったときには、音声入力案内実行検出部２２において案内出力選択部２４の作動を検出することにより、画像出力、音声出力のいずれに出力したかを検出し、音声入力案内中央制御部７に出力する。音声入力案内中央制御部７においてはこれをデータ検索・記録部２０に出力して、音声入力案内データ蓄積部２１における図２に示されるようなデータ中の、今回出力した音声コマンドインデックスに対応する音声案内カウンタｉ（ｍ）、あるいは案内表示カウンタｊ（ｍ）に対して１を加え、データの更新記録を行う。
【００５３】
このデータは必要なときに音声入力案内中央制御部７によってデータ検索・記録部２０により読み込まれ、例えば音声による案内がｋ回を越えているとき、或いは画像による案内を同様にｋ回を越えているときには、利用者は既にその案内が存在することを知っていてスイッチ等の操作を行っている可能性が高いとして、音声案内がうっとうしく感じることがないように、音声入力の案内を行わないようにすることができる。
【００５４】
案内出力選択部２４において前記出力選択設定部１８の指示により選択した各種出力部に対して、前記音声入力案内のデータを出力し、案内音声出力部２６を介してスピーカ３１から、例えば「現在地の操作は、音声コマンド“現在地”で実行できます。」のような音声を出力し、更に案内画面表示出力部２５から画像出力部２８を介してディスプレイ５に対して同様の表示を行うことができる。また、前記のように種々の条件に応じて出力選択設定部１８が出力選択の指示を行い、前記のスピーカからの音声案内を停止し、画面表示のみを行うこと、或いは音声案内のみを行うこと、更には音声案内を停止してビープ音等の音声入力可能確認音を出力する等々、種々の態様で案内を行うことができる。
【００５５】
上記のような機能ブロックから構成される音声入力案内装置において、特にその作動の中心をなす音声入力案内中央制御部７においては、その中の音声入力案内作動可否判別部１９において、スイッチ類操作検出部４，或いはカーソル操作入力部６から利用者が何らかの操作指示を行なった旨の入力があったとき、その操作に対応する音声コマンドインデックスを求め、それに対応した音声入力案内データをデータ検索・記録部２０を介して音声入力案内データ蓄積部２１から読み込み、これを案内作動開始出力部２３を介して案内出力選択部２４に出力し、出力選択設定部１８の指示による所定の出力部からその案内を行うことができる。
【００５６】
そのとき音声入力案内を行う条件として、音声入力案内開始スイッチ８、オーディオ機器作動検出部１３、経路案内作動検出部１４、音声入力実行検出部１７で検出され後にカウントされる音声入力実行回数、音声入力案内実行検出部２２で検出された後にカウントされる案内出力回数等を検出し、音声入力案内中央制御部７において、音声入力案内を行うか否か、またどのような手段で行うかを判断するようにしている。
【００５７】
上記のような機能ブロックで構成される音声入力案内装置において、例えば図１におけるスイッチ類操作検出部４から音声入力案内中央制御部７に入力があったときには、図３に示すような作動フローによって基本的な処理が行われる。以下前記図１の機能ブロック図を参照しつつ説明する。音声入力案内処理に際して、機器のスイッチを操作したか否かの判別が行われる（ステップＳ１）。これは前記のようにスイッチ類操作検出部４において例えば各種のスイッチ１が操作されたこと、ロータリーエンコーダ２によってボリューム調整、チャンネル選択等のために回転操作が行われたこと、ディスプレイ５の表面のタッチパネル３が押圧されたことを検出し、これを音声入力案内中央制御部７に出力することによって行われる。
【００５８】
このステップＳ１の判別において、機器のスイッチが操作されないと判別されたときには、再びこのステップＳ１を繰り返し、機器のスイッチが操作されるまでこの状態で待機する。また、ここで機器のスイッチを操作したと判別されたときには、操作したスイッチの機能に対応する音声コマンドはあるか否かを判別する（ステップＳ２）。これは音声入力中央制御部７において、データ検索・記録部２０によって音声入力案内データ蓄積部２１のデータを検索し、この中に前記スイッチの機能に対応する音声入力案内のデータが存在するか否かによって検出することができる。
【００５９】
このステップＳ２の判別において、操作したスイッチの機能に対応する音声コマンドが存在しないと判別されたときには、本発明による音声入力案内を行うことができないので再びステップＳ１に戻り、次の機器のスイッチ操作を待つ。また、音声コマンドが存在すると判別されたときには音声入力案内の音声出力を行うか否かの判別を行う（ステップＳ３）。これは少なくとも図１における音声入力案内開始スイッチ８がＯＦＦになっている場合は音声出力を行わない旨の判別を行い、その他、例えばナビゲーション装置１１における経路案内作動検出部１４において交差点での右左折の音声案内が行われているときには、これを邪魔するような音声入力案内は行わない、というような設定が予めなされている際において、音声出力を行わない旨の判別がなされる。これらの音声入力案内を音声によって行うか否かの各種条件は、更に他の作動フローにおいても説明する。
【００６０】
このステップＳ３の判別において、音声入力案内の音声出力を行うと判別されたときには音声案内が実行される（ステップＳ４）。これは音声入力案内中央制御部７がデータ検索・記録部２０により音声入力案内データ蓄積部２１のデータを読み込み、これを案内作動開始出力部２３に出力し、前記のようにしてスピーカ３１から出力することにより行われる。また、前記音声入力案内開始スイッチがＯＦＦになっている等により、このステップＳ３の判別において音声入力案内の音声出力を行わない旨の判別がなされたときには、音声案内を行わず次のステップＳ５に進む。
【００６１】
次のステップＳ５においては画面への音声入力案内表示を行うか否かの判別がなされる。これも前記と同様に、少なくとも図１における音声入力案内開始スイッチ８がＯＦＦになっている場合は音声出力を行わない旨の判別を行い、その他、例えばナビゲーション装置１１における交差点の右左折案内情報を表示しているときには、これを邪魔するような同一画面への画像表示は行わない、というような設定が予めなされている際には、画像出力を行わない旨の判別がなされる。これらの画像出力を行うか否かの各種条件についても、更に他の作動フローにおいても説明する。
【００６２】
このステップＳ５において画面への音声入力案内表示を行わない旨の判別がなされたときにはステップＳ１に戻り、次の機器のスイッチの操作まで待機する。このとき、図１の音声入力案内開始スイッチ８がＯＦＦされているときには、前記ステップＳ３において音声入力案内の音声出力を行わないと判別され、ステップＳ５において同様に画面への音声入力案内表示を行わないと判別されることにより一切の音声入力案内を行わないようにしているが、別途音声入力案内開始スイッチがＯＮかＯＦＦかの判別を設けて同様の機能をなす処理を行うこともできる。
【００６３】
上記のような処理が行われる結果、例えば図１１（ａ）に示すように、利用者がオーディオ機器としてのＭＤヘッドユニット４１の操作を行うに際して、ボリュームスイッチ４２を指４３でボリュームアップ側に押したとき、その信号は図１の音声入力案内装置におけるスイッチ類操作検出部４に送られ、前記のような処理が行われることにより各種条件を満たしたときにはスピーカから「ボリュームアップの操作は、音声コマンド“ボリュームアップ”で実行できます」というアナウンスを行い、また図１１（ａ）に示すように、通常は各種装飾用ディスプレイ表示、あるいは他の情報を表示しているディスプレイ４４に、上記アナウンスと同様の画面表示を行う。
【００６４】
図１１（ａ）に示す実施例においては、第１表示部４５に、このディスプレイ部分には現在音声入力ガイドを表示していることを示し、第２表示部４６に現在行われた利用者の操作指示の内容を表示し、第３表示部４７には利用者に見やすいように大きく音声入力を行うためのコマンドを表示している。また、このオーディオ機器には図１の音声入力案内開始スイッチ８に対応するスイッチとしてガイドスイッチ４８を設けており、更に多くのオーディオ用スイッチ類が配置されている例を示している。なお、このような表示、及びスイッチ類の設置及びその配置はその他種々の態様で実施でき、例えばボリュームのアップダウンはロータリーエンコーダ式のつまみの回転によって行い、そのアップダウンはその回転の方向によって検出する等の態様で実施することもできる。
【００６５】
上記図３の作動フローに示す実施例においては、利用者が図１に示すスイッチ１、ロータリーエンコーダ２、タッチパネル３等を操作することによりスイッチ類操作検出部４でこれらの操作を検出したときの作動フローを説明したものであるが、図１におけるディスプレイ５に表示されたリモコンによるカーソル指示等によって順に色を変え、或いは明るく表示する等のフラッシュ表示を行うカーソル操作を、カーソル操作入力部６で検出したとき行われる音声入力の案内の作動フローを図４に示している。
【００６６】
図４に示す例においては、最初カーソルを移動したか否かの判別がなされる（ステップＳ１１）。これは前記のように図１のカーソル操作検出部６によって検出される。未だカーソルの移動が検出されない時にはカーソルが移動するまでこの作動を繰り返して待機する。なお、このステップＳ１１におけるカーソルを移動したか否かの判別に際しては、単にカーソルを移動したのみでそのカーソルに対応する音声入力の案内を行うこともできるが、そのカーソル位置で確定操作を行なった後に次の画面が表示するように設定されている機器においては、その確定操作時に音声入力の案内を行うように設定することもできる。
【００６７】
ステップＳ１１においてカーソルの移動が行われたと判別されたときには、現在のカーソル位置の操作に対応する音声コマンドはあるか否かの判別が行われる（ステップＳ１２）。これは前記図３に示す実施例と同様に、データ検索・記録部２０によって音声入力案内データ蓄積部２１のデータを検索し、この中に前記スイッチの機能に対応する音声入力案内のデータが存在するか否かによって検出することができる。
【００６８】
ここで対応する音声コマンドがないと判別されたときには再びステップＳ１１に戻り、次のカーソルの移動を検出する。また、対応する音声コマンドがあると判別されたときには、以降、前記図３に示す実施例と同様の作動フローによって処理され、音声入力案内の音声出力を行うか否かの判別（ステップＳ１３）、音声案内の実行（ステップＳ１４）、画面への音声入力案内表示を行うか否かの判別（ステップＳ１５）、画面への音声入力案内の表示（ステップＳ１６）を順に行う。これらの処理は前記図３の作動フローの説明において述べたものと同様であるので、ここでの説明は省略する。
【００６９】
上記のような処理が行われる結果、例えば利用者がナビゲーション装置において行き先を設定するに際し、種々の検索方式の中から特定の方式を選択しようとしたとき、図１１（ｂ）に示すような画面５１が表示される。同図においては、この機器で選択することができる種々の検索方式をリスト化して表示した検索方式リスト表示部５２を備え、利用者がここに表示された各種の検索方式のうち、電話番号によって行き先を設定しようとしてカーソルを「電話番号で探す」の部分に移動させた状態を示しており、この検索方式リスト表示部５２に隣接して配置した従来はこれらの検索操作の参考情報を表示している情報表示部５３に、ここには「音声入力ガイド」を表示していることを示すと共に、「電話番号で探す操作は、音声コマンド“電話番号”で実行できます」と表示している。
【００７０】
それにより利用者は、ナビゲーション装置で行き先を探すとき、電話番号を入力して検索を行う際には、「電話番号」と発声することにより実行することができることがわかる。図示実施例のナビゲーション装置のディスプレイ５０には、左下部分に「ガイド」スイッチ５４を設けており、図１の音声入力案内開始スイッチ８の機能を行うようにした例を示している。なお、このような表示の配置等は、その他種々の態様で実施することができる。
【００７１】
本発明による他の実施例の作動フローを図５に示している。同図においては、カーソルを移動したことを検出して作動する音声入力案内について、同じ音声入力案内を所定回数以上行なったときには、それ以降の音声入力案内は行わないようにした例を示している。同図においてステップＳ２１のカーソルを移動したか、及びステップＳ２２の現在のカーソル位置の操作に対応する音声コマンドはあるかの各ステップは、前記図４に示すものと同一であるのでここでの説明は省略する。
【００７２】
ステップＳ２２において、現在のカーソル位置の操作に対応するコマンドが存在すると判別されたときには、例えば図２に示す音声入力案内データにおける音声案内のカウント値ｉ（ｍ）、及び画面に対する案内表示のカウント値ｊ（ｍ）を読み出し、その値のいずれかが所定値ｋを越えているか否かを判別する（ステップＳ２３）。このデータのカウント値の書き替えは、図１における音声入力案内実行検出部２２において案内の出力が行われる毎に検出され、これを音声入力案内中央制御部７を介してデータ検索・記録部２０により音声入力案内データ蓄積部２１の前記データ部分に１を加え、書き替えて記録することにより行われている。
【００７３】
ステップＳ２３の条件を満たしていないとき、即ち、音声入力案内を音声によって行なった回数が所定回数以上になっていないか、または画面による案内が所定回数以上になっていない場合には、音声入力案内の音声出力を行うか否かの判別を行い（ステップＳ２４）、音声出力を行うと判別されたときには音声案内を実行する（ステップＳ２５）。これらの処理は前記図３及び図４と同様であるので、ここでの説明は省略する。また、ステップＳ２３の判別において、同一音声入力案内を音声により出力した回数ｉ（ｍ）と、画面表示を行なった回数ｊ（ｍ）のいずれかが例えば５回等の所定回数ｋ回を越えていると判別されたときには、再びステップＳ２１に戻り新たなカーソルの移動を待つ。
【００７４】
なお、前記実施例においては、前記判別でステップＳ２１に戻る例を示したが、このようにいずれかが例えば１０回等の所定回数以上であると判別されたときには、この利用者は例えば前記音声入力案内開始スイッチをＯＦＦにする操作をしていなくても、音声入力を行うことを好まないタイプの人であると判別し、以降の音声入力案内処理を終了することもできる。
【００７５】
次いで音声入力に関する音声案内が実行されたことを検出し、図２に示す音声案内カウント値ｉ（ｍ）に対して１を加える（ステップＳ２６）。この処理は図１の音声入力案内実行検出部２２で音声案内が実行されたことを検出し、前記のようにデータ検索・記録部２０により音声入力案内データ蓄積部２１の図２に示す上記データ部分に１を加えることにより行われる。この処理の後次のステップＳ２７に進むが、前記ステップＳ２４において音声入力案内の音声出力を行わないと判別されたときにも同様にステップＳ２７に進む。
【００７６】
ステップＳ２７においては画面への音声入力案内の表示を行うか否かの判別を行い、ここで行わないと判別したときには再びステップＳ２１に戻り前記作動を繰り返す。案内の表示を行うと判別したときには、画面への音声入力案内を表示する（ステップＳ２８）。これらのステップにおける処理も前記図３及び図４と同様である。更に前記ステップＳ２６と同様に画面への音声入力案内の表示が実行されたことを検出し、図２に示す案内表示カウント値ｊ（ｍ）に対して１を加える（ステップＳ２９）。この処理も前記と同様に音声入力案内実行検出部２２による検出、データ検索・記録部２０によるデータの書き替えによって行われる。その後ステップＳ２１に戻り、新たなカーソルの移動の検出を行う。
【００７７】
上記実施例においては、ステップＳ２３の判別において、同一音声入力案内を音声により出力した回数ｉ（ｍ）と、画面表示を行なった回数ｊ（ｍ）のいずれかが所定回数ｋ回を越えているか否かの判別により、以降の種々の案内を行わないようにした例を示したが、例えば同一音声入力案内を音声により出力した回数ｉ（ｍ）が所定回数ｋ回を越えているか否かのみを判別し、所定回数を越えているときのみ音声による案内を行わないようにもすることができ、その際の作動フローを図６に示している。
【００７８】
図６における作動フローにおいて、図４の作動フローと異なる点はステップＳ３３において音声入力案内の音声出力を行うか否かの判別を行なった後、同一音声入力案内を音声により出力した回数ｉ（ｍ）が所定回数ｋ回を越えているか否かを判別し、これを越えているときには音声による案内を行わず、また、越えていないときには音声による案内を行うと共に、記録されていたデータに対して１を加える処理を行う点であり、その他の点は同様である。
【００７９】
なお、図６に示した処理を一部変形し、音声による案内については同一案内を行なった回数を考慮することなく案内を行い、画面への案内表示のみ同一音声入力案内を出力した回数ｊ（ｍ）が所定回数ｋ回を越えているか否かを判別し、越えているときには画面表示を行わないようにすることも可能である。このときには、音声入力案内の主要な案内手段である音声による案内については常に行い、補助的な案内を繰り返し行わないようにすることができる。
【００８０】
また、例えば図７に示すように、前記図６に示す処理に加えて画面への音声入力案内の表示を行うか否かの判別を行なった後（ステップＳ４７）、同一の案内画面の表示を行なった回数が所定回数ｒ回を越えたか否かを判別し、越えたときには画面への案内表示は行わないようにすることもできる。このときの所定回数ｒ回は前記音声による案内が所定回数以上行われたか否かを判別する基準値のｋ回とは異なる値に設定している。それにより、例えば音声による同一案内は５回を越えたときには行わず、画面による同一案内は１０回を越えたときには行わない等、きめの細かな種々の設定を行うことができる。
【００８１】
図１における音声入力案内実行検出部１７からの信号により、データ検索・記録部２０が音声入力案内データ蓄積部２１に蓄積している図２に示すデータを書き替えているので、この音声入力実行回数ｈ（ｍ）の値を用いることにより、既に利用者が所定の回数以上音声によってそのコマンドを実行しているときには、その言葉の音声入力案内は行わないようにする処理を行うことができる。その処理を行うための基本データである前記図２に示すデータの書き替えは、図８に示す作動フローによって行うことができる。
【００８２】
図８に示す音声入力時のカウント処理に際しては、最初音声入力による操作を行なったか否かを判別し（ステップＳ５１）、行っていないときには行われるまで作動を繰り返して待機し、行なったときにはその音声による操作には他の操作方法があるか否かを判別する（ステップＳ５２）。この判別に際しては、例えば図２に示す音声入力案内データ中に、現在使用されている機器において音声入力によってのみ作動する操作のリストを別途作成しておき、そのリストを参照することにより行うことができる。
【００８３】
この判別の結果、音声入力を行なった操作が例えばスイッチやカーソル等の他の手段によって操作することができると判別されたときには、当該音声による操作回数のカウントを行い、１を加える（ステップＳ５３）。このカウントは音声入力実行検出部１７の信号を入力する音声入力案内中央制御部７によって行われ、その計算値をデータ検索・記録部２０において、音声入力案内データ蓄積部２１における、入力された音声コマンドに対応する音声入力実行カウント値ｈ（ｍ）に１を加えて書き替える。
【００８４】
上記のように、他の操作手段がありながら音声によって入力を行なった回数は、利用者がこの操作を音声入力により実行することの熟練の状態の指標を示しているとみることができるので、その音声入力の回数をカウントし、積算して記憶しておく。このようにして積算されたデータを用いて例えば図９に示されるような作動フローによる処理を行うことができる。
【００８５】
図９に示す作動フローは、その機能を明確にするために図４に示す実施例に対してステップＳ６３のみを付加した例を示している。即ち図９におけるステップＳ６１及びステップＳ６２は図４のステップＳ１１とステップＳ１２と同様であり、図９に示す作動フローにおいては、次に、カーソルを移動して指示した操作は所定回数としての例えば３回等のｐ回を越えて音声入力による操作指示を行っているか否かを、ｈ（ｍ）＞ｐによって判別する（ステップＳ６６）。
【００８６】
この判別において、所定回数を越えてその操作を音声入力によって実行していると判別されたときには、その操作に対しては音声入力の案内を行う必要がないとしてステップＳ６１に戻り、次のカーソル移動を待つ。また、未だ３回等の所定回数以上音声入力を行っていないと判別されたときには、前記図４に示すものと同様の音声案内処理、及び画面の表示による案内処理を行う。このような処理を行うことにより、利用者が特定の操作を音声入力によって行なった経験を加味した音声入力案内を行うことができる。
【００８７】
本発明において音声入力の案内を行う条件として、更に図１に示すように、各種オーディオ機器の作動信号を入力するオーディオ機器作動検出部１３の信号、及びナビゲーション装置１１の各種作動のうち経路案内に関する作動を検出する経路案内作動検出部１４の信号を用いて、利用者の邪魔にならない、よりきめの細かな制御を行う音声入力案内装置とすることができる。そのときの実施例を図１０に示している。
【００８８】
図１０は前記機能を明確にするため図６に示す実施例とはステップＳ７３を付加した点のみ異なるものを示しており、図６のステップＳ３２に対応するステップＳ７１の後に、オーディオ機器は動作中か否かの判別を行っている。この判別の結果、オーディオ機器が動作中であると判別されたときには利用者によるオーディオ機器の聴取を妨げないように、画面表示による案内のみを行う。なお、オーディオ機器が動作中ではないときには、以降前記図６に示す作動フローと同様の作動を行う。
【００８９】
上記の実施例においては、利用者による各種機器利用の妨げにならないようにするものの１つとして、利用者がオーディオ機器を利用して音楽を聴いているときの例を示したが、その他、例えばカセットテープ、ＣＤ、ＭＤ、ＤＶＤ等の一般オーディオ機器の音楽ソースを聴取中には音声による案内と画面表示の案内の両方を行い、交通情報やニュースを聞いている可能性の高いＡＭ／ＦＭラジオの聴取中には、図１におけるオーディオ機器作動検出部１３においてＡＭ／ＦＭラジオ１０の作動を検出し、音声による案内を停止し、画面表示の案内のみ行うように設定することもできる。
【００９０】
更に、上記の例において、音声による案内を停止した際には、図１における音声入力可能確認音出力部２７から、スピーカ３１を通して、あるいは他のブザー等の音響発生手段によってビープ音やピッという確認音を発生させ、現在操作したスイッチ等には音声入力手段が存在することを知らせることができるようにしても良い。また、このとき、画面に対する案内の表示と併用することもでき、また画面の表示を停止することもできる。
【００９１】
更に、図１に示すように経路案内作動検出部１４においてナビゲーション装置１１における交差点の右左折案内、インターチェンジの出入り口の案内、ＶＩＣＳから取り込んだ交通事故情報の案内、渋滞発生の案内等、車の走行経路に関連する重要な案内を音声及び画面で行っているときには、音声による案内を停止し、更に必要に応じて画面への表示も停止するように設定することもできる。また、このときも前記と同様に、スピーカから、或いは別途設けたブザー等から、ビープ音やピッというような確認音を発生させ、現在行なったスイッチ操作等は音声入力を行うことができることを知らせるようにしても良い。
【００９２】
なお、前記図５以降の作動フローにおいては、カーソルを移動した例についてのみ記載しているが、例えば図３に示すように、機器のスイッチを操作したことを検出して作動を行うものにも同様に適用することができる。また、カーソルの移動検出は、前記のようにカーソルで特定の選択表示部が指示されたときに案内を開始することができ、またその選択表示部を指示する選択入力操作を行なったときに初めて案内を開始するようにすることもできる。更に、スイッチ類については、スイッチを押し込む等の操作を行う前に、指等が触れたことを検出するタッチセンサ部を設け、スイッチ類に指が触れたときに直ちに音声入力が可能である案内を行うように設定することもできる。
【００９３】
また、本発明による音声入力案内は、例えば機種のバージョンアップ等により音声入力操作の方法が変更し、あるいは音声入力により操作できる範囲が拡大したときには、その機器の内部のプログラム及びデータ蓄積部のメモリを書き替えることにより対応することができる。特に、その機器にメモリを着脱自在にする機能が存在するときには、インターネットを介して機器メーカのホームページにアクセスし、ここに提供されているプログラム等をパソコンによってそのメモリにダウンロードし、これを機器に装着することにより容易にプログラム等の変更が可能となる。また、その機器にインターネット接続機能がある場合には、直接前記プログラム等の書き替えも可能である。なお、上記実施例においては音声入力案内を音声によって案内する案内音声出力部と、画面に案内表示する案内画面表示出力部の両方を備えた例を示したが、いずれか片方のみでも本発明を実施することができる。
【００９４】
上記の実施例においては、音声入力により操作を行うことができるにも関わらず他の手段で操作を行った際に、その操作が音声入力で操作を行うことができること、或いはどのようなコマンドで操作を行うことができるのかを利用者に案内する装置の例について説明したが、本発明はその他、下記のような種々の手段によって音声入力案内を行うことができる。
【００９５】
すなわち、図１に示す機能ブロック図において、マイク１５から音声による機器操作入力が行われたとき、音声入力部１６で入力したその信号を音声入力実行検出部１７が検出し、利用者が例えば操作対象を示す「音量」という言葉しか発していないと音声入力案内中央制御部７が判別したときには、予め操作対象とそれを操作するための言葉をリスト化して蓄積している音声入力案内データ蓄積部２１のデータを、データ検索・記録部２０で検索し、その結果を前記実施例と同様に案内作動開始出力部２３、案内出力選択部２４を介して、画像出力部２８からディスプレイ５にリスト表示し、また案内音声出力部２６を介してスピーカ３１から出力する。
【００９６】
また、上記のような音声入力により操作対象の操作を行うもの以外に、例えば交通案内の一つの態様としてのＶＩＣＳ情報の表示方式の選択のように、操作対象の中のカテゴリー、即ち操作対象の一機能をどのように操作するかについて音声により指示を行うときにおいても、音声入力案内データ蓄積部にその案内用のデータを蓄積しておくことにより、図１に示す機能ブロックによって作動させることが可能である。なお、上記ＶＩＣＳ情報の表示方式の選択のように操作対象の中の更に一機能についても、説明の便宜のため操作対象と略称する。
【００９７】
このような音声入力案内の機能は、例えば図１２に示すような作動フローにしたがって処理することができる。以下、図１３及び図１４に示す音声入力案内リストの例等を参照しつつ説明する。操作対象音声入力時の音声入力案内処理に際して、最初音声入力中に音声コマンド入力が存在するか否かを判別する（ステップＳ８０）。ここでは、利用者がマイクに対して発声した言葉の中に、予め登録してある音声コマンドが存在していないと判別されたときには、元に戻ってこの作動を繰り返す。
【００９８】
ステップＳ８０において利用者がマイクに対して発声した言葉に予め登録してある音声コマンドが存在すると判別したとき、即ち音声コマンドを入力したと判別したときには、その音声コマンドが操作対象のみのコマンドであるか否かを判別する（ステップＳ８１）。その判別の結果、例えば「音量」のように操作対象のみのコマンドであると判別したときには、その操作対象に関連する音声コマンドの案内を行う（ステップＳ８２）。また、前記ステップＳ８１において操作対象のみのコマンドではない、即ち操作対象に対してどのような操作を行うかの入力もなされている音声コマンドであると判別したときには、その音声コマンドの認識結果に対応した動作を実行し（ステップＳ８３）、再び最初のステップＳ８０に戻る。
【００９９】
上記のような案内を行うためには、前記のような音量に関するコマンドに関しては、図１の音声入力案内データ蓄積部２１に、例えば図１３右欄に示すようなデータを蓄積しておく。即ち、音声入力を受け付けることができる音量の調節に関するコマンドとして、音量アップ、音量あげる、ボリュームアップ、ボリュームあげる、音量ダウン、音量さげる、ボリュームダウン、ボリュームさげるの言葉によってそれぞれの調節を行うことができるように設定しているとき、利用者が「音量」という操作対象を示す言葉だけを発したときには、その言葉以外で同じ操作対象を操作することができる言葉、即ち言い換えの言葉を案内するため、「ボリューム」の言葉を「音量」の言葉に対応して音声入力案内用に登録しておく。また、操作対象を示す「音量」のコマンドで行うことができる操作内容の言葉として、「アップ」「あげる」「ダウン」「さげる」の各言葉を登録しておく。
【０１００】
同様に、利用者が「ボリューム」という操作対象を示す言葉を発したときには、その言葉以外で同じ操作対象を操作することができる言い換えの言葉を案内するため、「音量」の言葉を「ボリューム」の言葉に対応して音声入力案内用に登録しておく。また、操作対象を示す「ボリューム」のコマンドで行うことができる機能の言葉として、前記「音量」と同様に「アップ」「あげる」「ダウン」「さげる」の言葉を登録しておく。
【０１０１】
このような登録を行っておく結果、利用者が図１のマイク１５から「音量」という操作対象を示すコマンドのみを発したときには、音声入力案内中央制御部７が音声入力部１６、音声入力実行検出部１７を介してその言葉を入力し、データ検索・記録部２０に指示して例えば図１３の「音声入力案内蓄積データ」に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その結果を例えば図１５（ａ）に示すように表示する。それにより、「音量」は「ボリューム」の音声コマンドでも実行できることを案内し、また、その操作対象の言葉に組み合わせて使用する、操作したいことのコマンドとして「アップ」「あげる」「ダウン」「さげる」の言葉が存在することを表示する。
【０１０２】
利用者はこれを見ることにより容易に「音量」に関する種々のコマンドを知ることができる。また、同様の内容を音声によっても案内を行うことができるようにし、前記図１における案内出力選択部２４によって、手動により、あるいは前記のようにオーディオの作動状態等に応じて自動的に種々の案内出力の選択作動を行う。
【０１０３】
また、例えば近年ナビゲーション装置の機能の一つとして携帯電話を利用してインターネットに接続し、各種情報を取り込むことが提案されているが、その一環としてメールの送受信を行うことも提案されている。このようなメールについて音声で操作指示を行うときには、例えば図１４（ａ）の右欄に示すように、「メール送信」「メールを送る」「メール受信」「メールを受る」のような、操作対象とそれをどのように操作するかの言葉が一体となっているコマンドを登録しておくほか、利用者が「メール」という操作対象を示す言葉しか発しなかったときに、その操作対象はどのような言葉で操作を行うことができるのかを示すために、「送信」「を送る」「受信」「を受る」「読み上げ」「保存」「セーブ」・・・のような言葉を登録しておく。
【０１０４】
同様に、図１４（ｂ）に示すように、ＶＩＣＳに関連して「ＶＩＣＳ文字情報」「ＶＩＣＳ図形情報」のように、操作対象とそれをどのように操作するかの言葉が一体となっているコマンドを登録しておくほか、利用者が「ＶＩＣＳ」という操作対象を示す言葉しか発しなかったときに、その操作対象はどのような言葉と組み合わせて操作を行うことができるのかを示すために、例えば「文字情報」「図形情報」・・・のような言葉を対応して登録しておく。
【０１０５】
このような登録を行う結果、利用者が図１のマイク１５から「メール」という操作対象を示す言葉のみを発したときには、前記と同様に例えば図１４（ｂ）に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その結果を例えば図１６（ａ）に示すように表示する。同図に示す例においては、音声入力により「操作するもの」のリストを左列に列挙することにより利用者がこの機器において音声入力を行うことができる操作対象を示している。また、上記のように利用者が「メール」と発声したことを認識したときには、その中で「メール」の部分をハイライト表示すると共に、この操作対象に対して音声で操作を行うことができる操作内容の言葉としての「操作のことば」を画面の右側に列挙する。
【０１０６】
利用者がこれを見ることにより、「メール」に関して音声で操作を行うことができることと、そのとき用いる言葉を知ることができる。このときも前記と同様に、画面表示と同様の内容を音声によって案内を行うことができ、これらの案内の選択を利用者の指示により、或いは予め設定されたとおりに自動的に行うようにする。
【０１０７】
なお、この画面表示において、利用者がリモコンのカーソルをこのコマンドの一つに合わせて実行ボタンを押すことにより、或いはこの画面をタッチパネルとして特定のコマンドの表示にタッチすることにより、そのコマンドの機能を実行することができるようにしても良い。
【０１０８】
また、例えば図１６（ｂ）に示すように、前記とは逆に利用者が例えば「アップ」のような操作内容を示す言葉のみを音声入力した場合には、その同じ言葉によって複数の操作対象が操作できる場合に、それらの操作対象を案内するようにしても良い。図１６（ｂ）に示す例においては、操作の言葉「アップ」はオーディオ装置で音量を上げる「音量」「ボリューム」の言葉と組み合わせて使用され、またエアコンの「温度」を上げるときにも使用され、更にオーディオ装置の選曲作動としてのトラックの選択を行う際にも使用されることを示しており、この機能は前記図１６（ａ）の案内機能に対する逆引き辞書の機能となる。
【０１０９】
図１６に示す例において、同図（ａ）に示すものは利用者が操作対象を音声入力したことにより表示された画面であり、その操作対象に対する操作内容の音声コマンドを表示していることを、「操作するもの」から「操作したいこと」の方に矢印を表示することにより表している。同様に同図（ｂ）に示すものは利用者が操作したい操作内容を音声入力したことにより表示された画面であり、その操作内容のコマンドとしての「操作のことば」がどのような操作対象を操作するために用いられるかを、「操作したいこと」から「操作するもの」の方に矢印を表示することにより表し利用者に対して明示している。また、図１６（ｂ）に示す例においては、前記「アップ」と極めて関連の強い言葉として「ダウン」が存在し、この言葉も同じ操作対象に対して用いることができることも示している。
【０１１０】
上記実施例においては、現在広く用いられている、個々の単語を独立して認識する孤立単語音声認識システムの例で説明したが、不要語や助詞や動詞の活用などに比較的柔軟に対応できる連続音声認識システムにおいて用いても良い。即ち、このシステムにおいても操作対象と操作内容の組み合わせへの対応度に限界があるため、操作対象に関連する操作内容のコマンドを案内するという機能は必要であり、その際には前記と同様の音声入力案内を行うことが好ましい。
【０１１１】
また、操作対象の語句ではなく、「音量案内」「音量ヘルプ」のような特定の操作対象の音声案内の出力を希望する、予め登録してある言葉を発声することにより、音量に関する音声入力案内を行うことができるようにしても良い。ただし、このような言葉によって音声入力案内を行うことは、多くの音声コマンドを予め登録する必要があり、より簡易な操作のためには、操作対象の語句のみで作動するようにした前記実施例の方がより好ましい。
【０１１２】
上記実施例において前記のように音声入力案内を行うことにより、利用者は操作内容と音声コマンドの対応を覚えることが容易となり、また操作対象の音声コマンドのみがわかり、操作内容のコマンドがわからない場合でも、この音声入力案内によって知ることができ、音声コマンドによる操作が容易となると共に、逆に操作内容のコマンドがわかっているときに、その言葉でどのような操作対象を操作できるのかも容易に知ることができ、容易に覚えることができる。
【０１１３】
更に、上記のような音声入力案内を行うことにより、利用者は特定の音声入力用の言葉を容易に覚えることができるので、音声認識用蓄積データとして必要以上に多い言い換えの言葉を登録しておく必要が無くなる。また、様々な言い換えの言葉を定義して音声認識用蓄積データ中に登録しておくことによって、入力された特定の言葉に対して音声認識装置が極めて多くのデータの中から対応する言葉を選択して認識する処理を行う必要が無くなり、音声認識時の誤認識率を少なくすることができる。
【０１１４】
また、音声入力案内を例えば図１６（ａ）に示すように、操作対象毎に分類して案内を行うことが可能となり、利用者に理解しやすい音声入力案内を行うことができる。更に、車両に搭載している機器の機種を変更したとき、或いは機器の作動を行うソフトをバージョンアップしたときに音声案内のコマンドが変更されたときでも、この音声案内のソフトの一部を変更することにより容易に対応することができ、また変更点を案内する機能を付加することも可能となる。また、音声入力案内を前記実施例と同様に画面による案内、音声による案内を同時に、或いは個別に、それを手動により、或いは予め設定した条件に対応して自動的に、音声入力案内の態様を種々切り替えることができる。
【０１１５】
上記実施例においては、例えば「音量」のような操作対象の言葉を入力したとき、その操作対象をどのように操作するかの操作内容の音声入力コマンドを案内するようにしたものであるが、その際に単に操作内容を列挙するだけでなく、利用者がこの音声入力装置を利用した実績に応じて、例えば利用回数の少ないコマンドを優先して表示し、或いは利用した時期が古いほど優先して表示する等の、表示の並び替えを行うことができる。
【０１１６】
その際には、図１の案内出力選択部２４から画像出力や音声出力を行ったとき、図２に示す音声入力案内データにおける音声入力実行回数のカウント値ｈ（ｎ）を更新しているので、音声入力案内実行検出部２２ではこのデータを用いて利用者の音声入力の実績を検出し、この実績のデータに基づいて出力する音声入力案内のコマンドの並び替えを行うことができる。また、図２に示すカウント値に更に、最新の音声入力日時のデータを記憶する部分を設け、そのデータを用いて音声入力実行日時の古い順等、上記データの種々の並び替えを行って出力することができる。
【０１１７】
上記のようなデータの並び替えを行うことにより、例えば図１７に示すようにな表示を行う。図１７に示す表示例においては、図１４（ｂ）に示すＶＩＣＳ情報の表示に関する音声入力コマンドの案内を行う例を示しており、利用者が「ＶＩＣＳ」の音声を発したときに、音声認識装置は図１４（ｂ）に示すようなデータが記録されている音声入力案内データ蓄積部２１のデータを検索し、その操作内容として存在する多くのコマンドを使用頻度が少ない順に並び替え、図１７に示すように表示する。
【０１１８】
この例においては、ナビゲーション装置の地図画面上に表示されている渋滞を示す矢印を消すコマンドである「消去」が最も使用頻度が少ないものとして最上位に表示し、続いて、一般道だけのＶＩＣＳ情報を表示させる「一般」、更に「高速」「図形情報」「文字情報」「渋滞」を順に表示している。これ以外のコマンドが存在するときには、画面をスクロールすることにより表示する。なお、使用頻度の多いコマンドは単に表示順位を下げるだけでなく、その表示に際して表示色を他とは変え、或いは小さく表示して目立たなくする等の表示を行っても良い。それにより、表示されたコマンドが利用者がたびたび使用しているコマンドであることを知ることも可能となる。
【０１１９】
上記のような表示において、利用者が所定回数以上使用したコマンドについては、表示させないように設定することもできる。その際には上記のように使用頻度に応じた優先順位に基づいた表示を行うとき以外に、前記図１６に示す表示例のように、優先順位に基づかない表示を行うときに適用しても良い。このように利用者が所定回数以上使用したコマンドを案内しないことにより、音声入力操作の実行実績が増えるにつれて音声入力案内の表示項目が少なくなるので、利用者にとってわかりやすい音声入力案内装置とすることができる。
【０１２０】
音声入力案内に際して、上記実施例における利用者の使用頻度が高いコマンドばかりを用いて入力しているときには、特別の操作、或いは操作対象のみの音声入力等を行わない限り音声入力案内が行われない可能性もあるので、例えば図１５（ｂ）に示すように、利用者がたびたび使用している「音声あげる」というコマンドを入力したときにでも、それに関連するコマンドとして「音量をさげる」「曲を送る」「ＭＤ」「ディスクチェンジ」のような種々のコマンドが存在することを参考のために表示しても良い。なお、更に多くの関連コマンドが存在するときには「次へ」「戻る」の操作によって任意にスクロール表示することができる。
【０１２１】
このような案内は音声によって行うと利用者に対して煩わしい感じを抱かせるので、画面のみによって案内を行うことが好ましく、このような機能は図１の案内出力選択部２４において設定することができる。なお、このときもここに表示されたコマンドに対してリモコン等でカーソルを合わせて実行する等により、直接そのコマンドに対応した機器の操作を実行させることも可能である。
【０１２２】
なお、上記実施例においては、例えば「音量」のような操作対象の言葉のみを入力したとき、利用者は音声入力の案内を要求していると見なすことにより、利用者の音声入力案内要求を検出したものであるが、利用者の音声入力案内要求の検出に際してはその他、例えば図１１に示すような「ＧＵＩＤＥ」キーを押したときに音声入力案内を要求していると見なし、例えば図１６（ａ）に示すような操作対象毎に操作内容を列挙した音声入力案内を表示するようにしても良い。その他、利用者が「音声ガイド」というような特定の言葉を発したときも、上記のような音声入力案内を表示させても良い。したがって、利用者による音声入力案内出力要求を検出し出力する音声入力案内出力要求検出部としては、前記のような例えば操作対象の言葉のみを入力したときのような場合、或いは「音量案内」という音声を利用者が発声した場合のほか、更に上記のようなキー操作を検出した場合、「音声ガイド」と発声した場合等、種々の状態を検出する場合が存在することとなる。
【０１２３】
【発明の効果】
本発明に係る音声入力案内装置は、各種機能を音声によって操作指示を行うことができるようにした、音声入力装置を備えた機器において、利用者が音声以外の手段で機器の操作を行なったときに、その操作は音声入力によって行うことができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作を別途特別な操作を行うことなしに容易に理解し、音声入力操作の習熟を早めることができる。
また、利用者が行なった機器の操作が音声入力により操作することができること、またどのような音声によって操作することができるかを音声によって、及び画面表示によって直ちに知ることができ、利用者の音声入力操作の習熟を容易に早めることができる。
また、音声入力案内を行うか否かを出力する音声入力案内制御部を備え、該音声入力案内制御部で音声入力案内を行わない出力がなされたときには音声入力案内を停止するようにしたので、音声入力案内制御部で行う判別によって種々の態様で音声入力案内の出力を停止することができ、利用者にとって邪魔にならない音声入力案内を行う等、きめの細かな案内を行うことが可能となる。
また、前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部においては、機器操作に対応した出力回数を前記データ検索部で検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたので、所定回数以上の多数の音声案内を行なったものについてはそれ以降の案内を停止することができ、多数回案内を行うことにより利用者が慣れている音声入力の案内を頻繁に出力することが無くなるので、利用者にとって煩わしい感じを与えることが無くなる。また、多数回案内を行っても音声入力を実行しない利用者は、少なくともその音声入力操作についてはスイッチ等で実行することに慣れている場合があるので、そのようなときに頻繁に音声入力案内を行うことによって、利用者に煩わしい感じを与えることが無くなる。
また、前記データ記録部には案内音声出力回数と、案内画面表示出力回数を別々に記録し、前記音声入力案内制御部においては、いずれかの回数が予め設定した所定回数を超えるときに全ての案内を停止し、または案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止し、或いは案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたので、案内音声出力回数と案内画面表示出力回数のいずれかの回数が予め設定した所定回数を超えるときに全ての案内を停止した場合は、頻繁な各種の案内を行うことによって利用者に煩わしい感じを与えることを確実に防止することができる。
また、案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止した場合は、案内音声出力回数が多いときには案内音声のみ停止し、案内画面表示等を継続することができるので、きめの細かな音声入力案内が可能となる。更に、案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止するようにしたものにおいては、案内画面表示出力回数が多いときには画面表示のみを停止し、案内音声出力等を継続することができるので、きめの細かな音声入力案内が可能となる。
【０１２６】
また、本発明に係る他の音声入力案内装置は、前記機器操作検出部において、スイッチ、ロータリーエンコーダ、タッチパネル、カーソル操作のうちの少なくともいずれかの操作を検出するので、利用者がこれらのうちのいずれかを操作したとき、それらの操作が音声入力により操作することができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作の習熟を容易に早めることができる。
【０１２８】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、オーディオを含む音声出力を行う機器の作動検出時には音声による音声入力を停止する出力を行うようにしたので、オーディオを聴いている利用者に対して音声による案内を行うことにより邪魔をすることがないように設定することができる。
【０１２９】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ラジオの作動を検出したときには、音声による案内を停止するようにしたので、交通情報やニュース等、利用者にとって重要な情報の取得中に音声による案内を行って邪魔をすることが無くなる。
【０１３０】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部において、ナビゲーション装置の音声による経路案内の作動検出時には、音声による案内を停止するようにしたので、経路に沿って走行している車両にとって極めて重要な、例えば交差点の右左折案内等の音声案内を行っているときに、音声入力案内を音声によって行うことによって邪魔をすることが無くなり、安全な装置とすることができる。
【０１３１】
また、本発明に係る他の音声入力案内装置は、前記音声による案内の停止時には、画面による案内、または音声入力が可能であることを示す確認音のうちの少なくともいずれかを出力するようにしたので、音声による案内が停止されても、画面によって案内を行い、或いは少なくとも音声入力が可能であることを確認音で利用者に知らせることができ、音声入力の案内を確実に行うことができる。
【０１３２】
また、本発明に係る他の音声入力案内装置は、前記音声入力案内制御部においては、案内表示画面に少なくともナビゲーション装置の経路案内の表示中には、同一画面による案内を停止するようにしたので、経路に沿って走行している車両にとって極めて重要な例えば交差点の右左折案内等の画面表示中に、同一画面に音声入力案内の画面を表示させることによって邪魔をすることが無くなり、安全な装置とすることができる。
【０１３６】
また、本発明に係る他の音声入力案内装置は、機器操作の音声入力が行われたことを検出する音声入力実行検出部を備え、音声入力実行検出部で検出した信号により音声入力を行なった回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部は、機器操作に対応した音声入力回数を前記データ検索部で検索して入力し、該音声入力回数が予め設定した所定回数を超えるときには音声入力案内を停止するようにしたので、利用者が所定回数以上の多数回音声入力を実行している操作は、既に利用者が音声入力操作に慣れていると推測でき、このように慣れている音声入力の案内を頻繁に行うことにより利用者に煩わしい感じを与えることを防止することができる。
【０１４４】
また、本発明に係る他の音声入力案内装置は、利用者の機器操作を検出する機器操作検出部と、機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、前記データ検索部で検索されたデータを利用者に対して出力する音声入力案内出力部と、音声入力実行コマンドと、各音声入力実行コマンドの相互の対応を記録した音声入力案内データ蓄積部と、利用者による音声入力操作を検出し出力する音声入力検出部と、前記音声入力検出部からの出力により、前記入力した音声入力実行コマンドに関連した音声入力実行コマンドを検索して出力するデータ検索部とを備え、前記音声入力案内出力部では、前記データ検索部で検索した音声入力実行コマンドを、画面または音声の少なくともいずれかで出力するので、前記と同様に、音声入力装置を備えた機器において、利用者が音声以外の手段で機器の操作を行なったときに、その操作は音声入力によって行うことができること、またどのような音声によって操作することができるかを直ちに知ることができ、利用者の音声入力操作を特別な操作を行うことなしに容易に理解し、利用者の音声入力操作の習熟を早めることができる。また、利用者が音声入力による操作に慣れていることにより、前記各種手段によっても音声入力案内が行われないような状況であっても、利用者が音声入力実行コマンドを入力したときには自動的に関連する音声入力実行コマンドを参考として案内することができ、より多様な音声入力の習熟を行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の実施例の機能ブロック図である。
【図２】本発明に用いられる音声入力案内データ蓄積部における、蓄積データの例を示す図である。
【図３】本発明において機器のスイッチを操作したことにより音声入力案内が行われる実施例の基本的な作動フロー図である。
【図４】本発明においてカーソルを移動したことにより音声入力案内が行われる実施例の基本的な作動フロー図である。
【図５】本発明において、音声入力の音声による案内及び画面表示による案内の出力回数に応じて案内の態様を変える実施例を示す作動フロー図である。
【図６】本発明において、音声入力の音声による案内の出力回数に応じて案内の態様を変える実施例を示す作動フロー図である。
【図７】本発明において、音声入力の音声による案内及び画面表示による案内の出力回数に応じて案内の態様を変える他の実施例を示す作動フロー図である。
【図８】本発明において、実際に音声入力を行なった回数をカウントする処理の実施例を示す作動フロー図である。
【図９】 本発明において、実際に音声入力を行なった回数によって音声入力案内の態様を変化させる実施例の作動フロー図である。
【図１０】本発明において、オーディオ機器の動作に応じて音声入力案内の態様を変化させる実施例の作動フロー図である。
【図１１】本発明を実際の機器に搭載したときの主として画面表示の例を示す図であり、（ａ）はオーディオ装置のボリュームアップをスイッチにより操作し、そのときに表示される音声入力案内の例を示し、（ｂ）はナビゲーション装置の行き先検索における電話番号で探す部分にカーソルを移動させ、そのときに表示される音声入力案内の例を示す。
【図１２】本発明の他の実施例の作動を示す作動フロー図である。
【図１３】同実施例において用いられる音声入力案内データの例を示す図である。
【図１４】同実施例において用いられる音声入力案内データの他の例を示す図である。
【図１５】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、（ａ）は操作対象の音声入力実行コマンドに対して言い換えの音声入力実行コマンド及び操作内容の音声入力実行コマンドを表示した例を示し、（ｂ）は音声入力実行コマンドに関連するコマンドを表示した例を示す。
【図１６】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、（ａ）は操作対象の音声入力コマンドに対して操作内容の音声入力コマンドを表示した例を示し、（ｂ）は操作内容の音声入力コマンドに対してそれにより操作可能な操作対象の音声入力コマンドを表示した例を示す。
【図１７】本発明の実施例において実際に表示される音声入力案内の例を示す図であり、操作対象の音声入力コマンドに対して操作内容の音声入力コマンドを使用頻度の少ないものを優先して表示した例を示す。
【符号の説明】
１ スイッチ
２ ロータリーエンコーダ
３ タッチパネル
４ スイッチ類操作検出部
５ ディスプレイ
６ カーソル操作検出部
７ 音声入力案内中央制御部
８ 音声入力案内開始スイッチ
１０ ＡＭ／ＦＭラジオ
１１ ナビゲーション装置
１３ オーディオ機器作動検出部
１４ 経路案内作動検出部
１５ マイク
１７ 音声入力実行検出部
１８ 出力選択設定部
２０ データ検索・記録部
２２ 音声入力案内実行検出部
２３ 案内作動開始出力部
２４ 案内出力選択部
２５ 案内画面表示出力部
２６ 案内音声出力部
２７ 音声入力可能確認音出力部
２８ 画像出力部
３０ 音声出力部
Claims (9)
- 利用者の機器操作を検出する機器操作検出部と、
機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、
前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、
前記データ検索部で検索されたデータを利用者に対して音声及び画面で案内出力する音声入力案内出力部と、
機器操作に対応した出力回数を検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止する音声入力案内制御部と、
前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部とを備え、
前記データ記録部には案内音声出力回数と、案内画面表示出力回数を別々に記録し、前記音声入力案内制御部は、いずれかの出力回数が予め設定した所定回数を超えるときに全ての案内を停止し、または案内音声出力回数が予め設定した所定回数を超えるときに案内音声出力のみを停止し、或いは案内画面表示出力回数が予め設定した所定回数を超えるときに案内画面表示のみを停止することを特徴とする音声入力案内装置。 - 前記機器操作検出部は、スイッチ、ロータリーエンコーダ、タッチパネル、カーソル操作のうちの少なくともいずれかの操作を検出することを特徴とする請求項１記載の音声入力案内装置。
- 前記音声入力案内制御部は、オーディオを含む音声出力を行う機器の作動検出時には、音声による案内を停止することを特徴とする請求項１記載の音声入力案内装置。
- 前記音声入力案内制御部は、ラジオの作動を検出したときには、音声による案内を停止することを特徴とする請求項３記載の音声入力案内装置。
- 前記音声入力案内制御部は、ナビゲーション装置の音声による経路案内の作動検出時には、音声による案内を停止することを特徴とする請求項１記載の音声入力案内装置。
- 前記音声による案内の停止時には、画面による案内、または音声入力が可能であることを示す確認音のうちの少なくともいずれかを出力することを特徴とする請求項１記載の音声入力案内装置。
- 前記音声入力案内制御部は、案内表示画面に少なくともナビゲーション装置の経路案内の表示中には、同一画面による案内を停止することを特徴とする請求項１記載の音声入力案内装置。
- 前記音声入力案内出力部から出力した回数を機器操作種別毎に音声入力案内データ蓄積部に記録するデータ記録部を備え、前記音声入力案内制御部は、機器操作に対応した出力回数を前記データ検索部で検索して入力し、該出力回数が予め設定した所定回数を超えるときには音声入力案内を停止することを特徴とする請求項１記載音声入力案内装置。
- 利用者の機器操作を検出する機器操作検出部と、
機器操作種別毎に当該機器操作を音声入力で実行するコマンドを案内するための音声入力案内データを記録した音声入力案内データ蓄積部と、
前記機器操作検出部で検出した機器操作に対応する音声入力案内データを前記音声入力案内データ蓄積部から検索して出力するデータ検索部と、
前記データ検索部で検索されたデータを利用者に対して出力する音声入力案内出力部と、
音声入力実行コマンドと、各音声入力実行コマンドの相互の対応を記録した音声入力案内データ蓄積部と、
利用者による音声入力操作を検出し出力する音声入力検出部と、
前記音声入力検出部からの出力により、前記入力した音声入力実行コマンドに関連した音声入力実行コマンドを検索して出力するデータ検索部とを備え、
前記音声入力案内出力部では、前記データ検索部で検索した音声入力実行コマンドを、画面または音声の少なくともいずれかで出力する音声入力案内出力部とからなることを特徴とする音声入力案内装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001311584A JP3919210B2 (ja) | 2001-02-15 | 2001-10-09 | 音声入力案内方法及び装置 |
| US10/078,334 US7379876B2 (en) | 2001-02-15 | 2002-02-14 | Method and apparatus for speech input guidance |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001039273 | 2001-02-15 | ||
| JP2001-39273 | 2001-02-15 | ||
| JP2001311584A JP3919210B2 (ja) | 2001-02-15 | 2001-10-09 | 音声入力案内方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002318597A JP2002318597A (ja) | 2002-10-31 |
| JP3919210B2 true JP3919210B2 (ja) | 2007-05-23 |
Family
ID=26609489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001311584A Expired - Fee Related JP3919210B2 (ja) | 2001-02-15 | 2001-10-09 | 音声入力案内方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7379876B2 (ja) |
| JP (1) | JP3919210B2 (ja) |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3919210B2 (ja) * | 2001-02-15 | 2007-05-23 | アルパイン株式会社 | 音声入力案内方法及び装置 |
| EP1408303B1 (en) * | 2002-03-15 | 2011-12-21 | Mitsubishi Denki Kabushiki Kaisha | Vehicular navigation device |
| JP2004037998A (ja) * | 2002-07-05 | 2004-02-05 | Denso Corp | 音声制御装置 |
| JP4170777B2 (ja) * | 2003-01-09 | 2008-10-22 | 村田機械株式会社 | 音声案内機能を有する装置 |
| JP2004239963A (ja) * | 2003-02-03 | 2004-08-26 | Mitsubishi Electric Corp | 車載制御装置 |
| JP4223832B2 (ja) * | 2003-02-25 | 2009-02-12 | 富士通株式会社 | 適応型音声対話システム及び方法 |
| JP3951954B2 (ja) * | 2003-04-08 | 2007-08-01 | 株式会社デンソー | 経路案内装置 |
| JP3868937B2 (ja) * | 2003-08-06 | 2007-01-17 | 本田技研工業株式会社 | 車両用ナビゲーション装置 |
| US20050075884A1 (en) * | 2003-10-01 | 2005-04-07 | Badt Sig Harold | Multi-modal input form with dictionary and grammar |
| WO2005045807A1 (ja) * | 2003-11-05 | 2005-05-19 | Sanyo Electric Co., Ltd. | 電子機器 |
| ATE415684T1 (de) * | 2004-01-29 | 2008-12-15 | Harman Becker Automotive Sys | Verfahren und system zur sprachdialogschnittstelle |
| JP4310779B2 (ja) * | 2004-02-18 | 2009-08-12 | 株式会社リコー | 電子装置、電子装置の音声案内方法、プログラムおよび記録媒体 |
| JP4126284B2 (ja) * | 2004-03-08 | 2008-07-30 | 松下電器産業株式会社 | インタラクティブ経路案内装置 |
| US7580837B2 (en) | 2004-08-12 | 2009-08-25 | At&T Intellectual Property I, L.P. | System and method for targeted tuning module of a speech recognition system |
| US7242751B2 (en) | 2004-12-06 | 2007-07-10 | Sbc Knowledge Ventures, L.P. | System and method for speech recognition-enabled automatic call routing |
| TWI293753B (en) * | 2004-12-31 | 2008-02-21 | Delta Electronics Inc | Method and apparatus of speech pattern selection for speech recognition |
| US7751551B2 (en) | 2005-01-10 | 2010-07-06 | At&T Intellectual Property I, L.P. | System and method for speech-enabled call routing |
| JP2006279710A (ja) * | 2005-03-30 | 2006-10-12 | Kenwood Corp | 無線機のライト制御方式及び方法 |
| US20060279531A1 (en) * | 2005-05-25 | 2006-12-14 | Jung Edward K | Physical interaction-responsive user interface |
| US20060279530A1 (en) * | 2005-05-25 | 2006-12-14 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Physical interaction-sensitive user interface |
| US7657020B2 (en) | 2005-06-03 | 2010-02-02 | At&T Intellectual Property I, Lp | Call routing system and method of using the same |
| EP1895508B1 (en) * | 2005-06-21 | 2010-10-06 | Pioneer Corporation | Speech recognizing device, information processing device, speech recognizing method, program, and recording medium |
| JP2007052397A (ja) * | 2005-07-21 | 2007-03-01 | Denso Corp | 操作装置 |
| JP2007072076A (ja) * | 2005-09-06 | 2007-03-22 | Matsushita Electric Ind Co Ltd | オーディオ連携ナビゲーション装置 |
| DE102005057263A1 (de) | 2005-12-01 | 2007-06-06 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Ausgabe von Zielführungsinformationen eines Navigationssystems |
| US7697627B1 (en) * | 2006-02-06 | 2010-04-13 | Griffin Technology, Inc. | FM transmitter for portable electronic device having rotary encoder |
| JP4736982B2 (ja) * | 2006-07-06 | 2011-07-27 | 株式会社デンソー | 作動制御装置、プログラム |
| KR100810275B1 (ko) * | 2006-08-03 | 2008-03-06 | 삼성전자주식회사 | 차량용 음성인식 장치 및 방법 |
| JP4739153B2 (ja) * | 2006-09-06 | 2011-08-03 | 富士通テン株式会社 | 車両用通知装置 |
| JP4853310B2 (ja) * | 2007-01-29 | 2012-01-11 | 株式会社デンソー | 入力処理装置 |
| JP4915665B2 (ja) * | 2007-04-18 | 2012-04-11 | パナソニック株式会社 | 音声認識機能付き操作器 |
| JP4315211B2 (ja) * | 2007-05-01 | 2009-08-19 | ソニー株式会社 | 携帯情報端末及び制御方法、並びにプログラム |
| US20090240845A1 (en) * | 2008-03-18 | 2009-09-24 | Denso International America, Inc. | Audio help system |
| KR20090107365A (ko) * | 2008-04-08 | 2009-10-13 | 엘지전자 주식회사 | 이동 단말기 및 그 메뉴 제어방법 |
| US8068016B2 (en) * | 2009-02-04 | 2011-11-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for disseminating witness information in multi-hop broadcast network |
| JP5208014B2 (ja) * | 2009-02-17 | 2013-06-12 | キヤノン株式会社 | 情報処理装置 |
| US9009612B2 (en) | 2009-06-07 | 2015-04-14 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| US8412531B2 (en) * | 2009-06-10 | 2013-04-02 | Microsoft Corporation | Touch anywhere to speak |
| US20110246194A1 (en) * | 2010-03-30 | 2011-10-06 | Nvoq Incorporated | Indicia to indicate a dictation application is capable of receiving audio |
| US8707195B2 (en) * | 2010-06-07 | 2014-04-22 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface |
| WO2012017525A1 (ja) * | 2010-08-04 | 2012-02-09 | パイオニア株式会社 | 処理装置及びコマンド入力支援方法 |
| JP5271330B2 (ja) * | 2010-09-29 | 2013-08-21 | 株式会社東芝 | 音声対話システム、方法、及びプログラム |
| JP2012075039A (ja) * | 2010-09-29 | 2012-04-12 | Sony Corp | 制御装置、および制御方法 |
| US9368107B2 (en) * | 2011-04-20 | 2016-06-14 | Nuance Communications, Inc. | Permitting automated speech command discovery via manual event to command mapping |
| US8751971B2 (en) | 2011-06-05 | 2014-06-10 | Apple Inc. | Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface |
| US8881269B2 (en) | 2012-03-31 | 2014-11-04 | Apple Inc. | Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader |
| US10019991B2 (en) * | 2012-05-02 | 2018-07-10 | Electronics And Telecommunications Research Institute | Apparatus and method for speech recognition |
| US9026448B2 (en) | 2012-08-16 | 2015-05-05 | Nuance Communications, Inc. | User interface for entertainment systems |
| US9106957B2 (en) * | 2012-08-16 | 2015-08-11 | Nuance Communications, Inc. | Method and apparatus for searching data sources for entertainment systems |
| US9031848B2 (en) | 2012-08-16 | 2015-05-12 | Nuance Communications, Inc. | User interface for searching a bundled service content data source |
| US9497515B2 (en) | 2012-08-16 | 2016-11-15 | Nuance Communications, Inc. | User interface for entertainment systems |
| US8799959B2 (en) | 2012-08-16 | 2014-08-05 | Hoi L. Young | User interface for entertainment systems |
| KR101330671B1 (ko) | 2012-09-28 | 2013-11-15 | 삼성전자주식회사 | 전자장치, 서버 및 그 제어방법 |
| KR102019719B1 (ko) * | 2013-01-17 | 2019-09-09 | 삼성전자 주식회사 | 영상처리장치 및 그 제어방법, 영상처리 시스템 |
| JP2014202808A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 入出力装置 |
| CN104183144B (zh) * | 2013-05-20 | 2017-11-03 | 北京百度网讯科技有限公司 | 一种实时路况信息生成方法和系统 |
| JP6315942B2 (ja) * | 2013-11-01 | 2018-04-25 | 株式会社ユピテル | システム及びプログラム |
| JP5955299B2 (ja) | 2013-11-08 | 2016-07-20 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置、表示制御方法、プログラム及び情報記憶媒体 |
| US9412363B2 (en) | 2014-03-03 | 2016-08-09 | Microsoft Technology Licensing, Llc | Model based approach for on-screen item selection and disambiguation |
| JP6146366B2 (ja) * | 2014-04-04 | 2017-06-14 | 株式会社デンソー | 音声入力装置 |
| JP6193179B2 (ja) * | 2014-05-27 | 2017-09-06 | アイシン・エィ・ダブリュ株式会社 | 施設出力システム、施設出力方法、及び施設出力プログラム |
| CN106302972A (zh) * | 2015-06-05 | 2017-01-04 | 中兴通讯股份有限公司 | 语音使用的提示方法以及终端设备 |
| US10331312B2 (en) * | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US9886958B2 (en) | 2015-12-11 | 2018-02-06 | Microsoft Technology Licensing, Llc | Language and domain independent model based approach for on-screen item selection |
| USD795903S1 (en) * | 2015-12-25 | 2017-08-29 | Neusoft Corporation | Onboard vehicle device with graphical user interface |
| USD795905S1 (en) * | 2015-12-25 | 2017-08-29 | Neusoft Corporation | Onboard vehicle device with graphical user interface |
| US10453460B1 (en) * | 2016-02-02 | 2019-10-22 | Amazon Technologies, Inc. | Post-speech recognition request surplus detection and prevention |
| US10319371B2 (en) * | 2016-05-04 | 2019-06-11 | GM Global Technology Operations LLC | Disambiguation of vehicle speech commands |
| DK201670580A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | Wrist-based tactile time feedback for non-sighted users |
| JP6906345B2 (ja) * | 2017-04-03 | 2021-07-21 | 三菱電機株式会社 | 操作装置および操作方法 |
| KR102480728B1 (ko) * | 2017-11-10 | 2022-12-23 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| JP2018084843A (ja) * | 2018-01-30 | 2018-05-31 | パイオニア株式会社 | 入出力装置 |
| JP2020086364A (ja) * | 2018-11-30 | 2020-06-04 | 株式会社Ｎｔｔぷらら | 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム |
| JP7275795B2 (ja) | 2019-04-15 | 2023-05-18 | コニカミノルタ株式会社 | 操作受付装置、制御方法、画像形成システム、及び、プログラム |
| US10996761B2 (en) | 2019-06-01 | 2021-05-04 | Apple Inc. | User interfaces for non-visual output of time |
| WO2023042277A1 (ja) * | 2021-09-14 | 2023-03-23 | ファナック株式会社 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
| KR20230090510A (ko) * | 2021-12-15 | 2023-06-22 | 현대자동차주식회사 | 단말기 및 차량 |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58195957A (ja) * | 1982-05-11 | 1983-11-15 | Casio Comput Co Ltd | 音声によるプログラム実行方式 |
| JPS6045300A (ja) * | 1983-08-22 | 1985-03-11 | 株式会社オ−ゼン | 音声発生装置 |
| US5125071A (en) * | 1986-09-10 | 1992-06-23 | Hitachi, Ltd. | Computer command input unit giving priority to frequently selected commands |
| US4827520A (en) * | 1987-01-16 | 1989-05-02 | Prince Corporation | Voice actuated control system for use in a vehicle |
| DE3904344A1 (de) * | 1989-02-14 | 1990-08-16 | Bosch Gmbh Robert | Verfahren zum lesen von navigationsdaten einer compact-disc |
| US5177685A (en) * | 1990-08-09 | 1993-01-05 | Massachusetts Institute Of Technology | Automobile navigation system using real time spoken driving instructions |
| JPH04264916A (ja) * | 1991-02-20 | 1992-09-21 | Nec Corp | メニュー表示方式 |
| JPH0575576A (ja) | 1991-09-11 | 1993-03-26 | Toshiba Corp | 情報交換処理装置 |
| US5386494A (en) * | 1991-12-06 | 1995-01-31 | Apple Computer, Inc. | Method and apparatus for controlling a speech recognition function using a cursor control device |
| US5890122A (en) * | 1993-02-08 | 1999-03-30 | Microsoft Corporation | Voice-controlled computer simulateously displaying application menu and list of available commands |
| CA2091658A1 (en) * | 1993-03-15 | 1994-09-16 | Matthew Lennig | Method and apparatus for automation of directory assistance using speech recognition |
| JPH0764749A (ja) * | 1993-08-25 | 1995-03-10 | Fujitsu Ltd | コマンド実行処理装置 |
| JP3452098B2 (ja) | 1995-04-04 | 2003-09-29 | アイシン・エィ・ダブリュ株式会社 | 車両用ナビゲーション装置 |
| US5729659A (en) * | 1995-06-06 | 1998-03-17 | Potter; Jerry L. | Method and apparatus for controlling a digital computer using oral input |
| DE19533541C1 (de) * | 1995-09-11 | 1997-03-27 | Daimler Benz Aerospace Ag | Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens |
| JPH09179574A (ja) | 1995-12-27 | 1997-07-11 | Yamaha Corp | カラオケ装置 |
| EP0826172A2 (en) * | 1996-03-05 | 1998-03-04 | Koninklijke Philips Electronics N.V. | Transaction system based on a bidirectional speech channel through status graph building and problem detection for thereupon providing feedback to a human user person |
| US6208932B1 (en) * | 1996-09-30 | 2001-03-27 | Mazda Motor Corporation | Navigation apparatus |
| JP3703051B2 (ja) * | 1996-09-30 | 2005-10-05 | マツダ株式会社 | ナビゲーション装置 |
| EP0847003A3 (en) * | 1996-12-03 | 2004-01-02 | Texas Instruments Inc. | An audio memo system and method of operation thereof |
| US6094476A (en) * | 1997-03-24 | 2000-07-25 | Octel Communications Corporation | Speech-responsive voice messaging system and method |
| JP3474089B2 (ja) | 1997-11-06 | 2003-12-08 | 株式会社デンソー | ナビゲーション装置 |
| US6266614B1 (en) * | 1997-12-24 | 2001-07-24 | Wendell Alumbaugh | Travel guide |
| US6420975B1 (en) * | 1999-08-25 | 2002-07-16 | Donnelly Corporation | Interior rearview mirror sound processing system |
| JP3509060B2 (ja) | 1998-05-28 | 2004-03-22 | 松下電器産業株式会社 | 表示制御装置および方法 |
| US6778970B2 (en) * | 1998-05-28 | 2004-08-17 | Lawrence Au | Topological methods to organize semantic network data flows for conversational applications |
| US6240347B1 (en) * | 1998-10-13 | 2001-05-29 | Ford Global Technologies, Inc. | Vehicle accessory control with integrated voice and manual activation |
| JP2000155594A (ja) | 1998-11-19 | 2000-06-06 | Fujitsu Ten Ltd | 音声案内装置 |
| US6192343B1 (en) * | 1998-12-17 | 2001-02-20 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms |
| JP3619380B2 (ja) * | 1998-12-25 | 2005-02-09 | 富士通株式会社 | 車載入出力装置 |
| JP3846095B2 (ja) | 1999-03-16 | 2006-11-15 | 株式会社デンソー | 車載用マルチメディアシステム |
| JP2001022370A (ja) | 1999-07-12 | 2001-01-26 | Fujitsu Ten Ltd | 音声案内装置 |
| JP3946917B2 (ja) * | 1999-10-20 | 2007-07-18 | アルパイン株式会社 | ナビゲーションシステム |
| DE19959850A1 (de) * | 1999-12-10 | 2001-06-13 | Deutsche Telekom Ag | Kommunikationssystem und Verfahren zum Bereitstellen eines Internet-Zugangs über ein Telefon |
| JP2001175596A (ja) * | 1999-12-14 | 2001-06-29 | Nec Corp | コマンド処理装置、コマンド処理方法、およびそのプログラムを記録した記録媒体 |
| DE10003615A1 (de) * | 2000-01-28 | 2001-12-06 | Volkswagen Ag | Verfahren und Vorrichtung zur Steuerung der Sprachausgabe in einem Kraftfahrzeug |
| JP2001216129A (ja) | 2000-02-02 | 2001-08-10 | Denso Corp | コマンド入力装置 |
| US6560576B1 (en) * | 2000-04-25 | 2003-05-06 | Nuance Communications | Method and apparatus for providing active help to a user of a voice-enabled application |
| US6587824B1 (en) * | 2000-05-04 | 2003-07-01 | Visteon Global Technologies, Inc. | Selective speaker adaptation for an in-vehicle speech recognition system |
| JP3919210B2 (ja) * | 2001-02-15 | 2007-05-23 | アルパイン株式会社 | 音声入力案内方法及び装置 |
-
2001
- 2001-10-09 JP JP2001311584A patent/JP3919210B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-14 US US10/078,334 patent/US7379876B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002318597A (ja) | 2002-10-31 |
| US20020120455A1 (en) | 2002-08-29 |
| US7379876B2 (en) | 2008-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3919210B2 (ja) | 音声入力案内方法及び装置 | |
| US7181342B2 (en) | Vehicular navigation device | |
| EP2102602B1 (en) | Improved navigation device interface | |
| JP4304952B2 (ja) | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム | |
| US20120013548A1 (en) | Human-Machine Interface System | |
| US20030231208A1 (en) | Multimode interface | |
| US20080016443A1 (en) | Navigation device and simple/detailed information display method | |
| US7126580B2 (en) | Interface for a multifunctional system | |
| KR20100076998A (ko) | 정보 입력 및 표시를 위한 운전자 보조 시스템의 멀티모달 사용자 인터페이스 | |
| JP2006315597A (ja) | 車載用表示装置 | |
| JPH0933278A (ja) | 車載機器の操作用表示装置 | |
| US20100005412A1 (en) | In-vehicle display apparatus | |
| JP2006258699A (ja) | 車載システム | |
| JP3702935B2 (ja) | ナビゲーション装置及び記録媒体 | |
| WO2008134657A2 (en) | Information management system and method | |
| JP3434045B2 (ja) | 階層的メニュ選択による指示入力装置 | |
| JP5261878B2 (ja) | 車載画像表示制御装置および車載画像表示制御用プログラム | |
| JP5040545B2 (ja) | ナビゲーション装置 | |
| EP1895508B1 (en) | Speech recognizing device, information processing device, speech recognizing method, program, and recording medium | |
| JP2010281572A (ja) | 車載装置および車載装置の制御方法 | |
| JP4714472B2 (ja) | 入力制御装置 | |
| JP4396180B2 (ja) | ナビゲーション装置 | |
| JP2008046758A (ja) | 車載用情報端末、情報端末の操作方法およびメニュー項目の検索方法 | |
| JP5028045B2 (ja) | 車載表示装置 | |
| JP2019086599A (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060920 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061201 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3919210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |