WO2015128960A1

WO2015128960A1 - 車載制御装置および車載制御方法

Info

Publication number: WO2015128960A1
Application number: PCT/JP2014/054669
Authority: WO
Inventors: 匠武井; 太郎熊谷
Original assignee: 三菱電機株式会社
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2015-09-03
Also published as: CN106030697B; CN106030697A; US9881605B2; US20160336009A1; JPWO2015128960A1; DE112014006409T5

Abstract

　この発明の車載制御装置によれば、表示器に表示された複数の操作キーの情報を受信し、当該操作キー情報に基づいてユーザ発話を音声認識した結果から対応する操作キーを特定し、ユーザの決定キーによる実行指示を受けて操作キーに割り付けられた機能を実行するようにしたので、表示器に表示された複数の操作キーに直接触れることがなく、かつ、複雑なキー操作を要することなく操作が可能となる。また、たった１つの決定キーをステアリングホイールに設置するのみで、ユーザが運転中にステアリングホイールから手を離すことなく表示器に表示された操作キーの安全な操作が可能となる。

Description

車載制御装置および車載制御方法

　この発明は、車載機器に接続された表示器に表示された操作キーに割り付けられた機能の実行を指示する車載制御装置および車載制御方法に関するものである。

　従来より、一般的なカーナビゲーション装置等の車載情報機器では、その機器に接続された表示器に表示された操作キーに割り付けられた機能を実行させるのに、タッチパネル、各操作キーに対応する物理キー、あるいは、ロータリースイッチや十字キー等の操作デバイスなどにより、表示器の画面に表示された操作キーを特定し、操作するようになっている。

　そのため、例えばタッチパネルで操作する場合は、ユーザがステアリングホイールから手を離すこととなり、運転中の操作を困難にすると共に運転に支障をきたすという問題があった。
　また、物理キーの場合は、操作キーの数に比例して物理キーの数が増大するため、操作キーの数が多い場合にはステアリングホイール上にすべての操作キーに対応する物理キーを配置することは困難であるという問題があった。

　また、ロータリースイッチや十字キーをステアリングホイール上に配置することは不可能ではないが、限られた配置スペースにこれらの比較的大きいデバイスを配置することは望ましくなく、表示器に表示された操作キーの数が増大するに従い各操作キーを特定するために複雑な操作を要することとなり、運転中の操作を困難にすると共に運転に支障をきたすという問題があった。

　このような問題を解決するものとして、例えば、特許文献１には、自動変速機の変速制御装置や車両装備機器類を操作する場合において、運転者がステアリングホイールから手を離すことなく車載制御システムを制御することができる車両制御装置を提供する技術が開示されている。

特開平８－８３０９３号公報

　しかしながら、例えば特許文献１のような従来の技術では、表示器に表示された複数の操作キーにおいて、その操作キーの数が膨大となる場合や、その時々の状況や表示内容に応じて実行可能な操作キーが異なる場合も多く、特許文献１の発明をそのまま適用するのみではユーザにとって十分な操作性を提供することが困難な場合がある。

　具体的には、操作キーの数が膨大である場合に、そのすべての操作キーに対応する制御指令をユーザが覚えておくのは困難であると同時に、音声認識技術の問題として、ユーザの発話様態や周囲の環境などにも依存して、待ち受ける制御指令の数が増えれば増えるほど音声認識精度が低下するという課題がある。また、制御対象が増えることにより、同時に受付可能な制御指令の音声入力内容についての曖昧性が許容されなくなり、一般的にユーザは、より長い言葉を制御指令として覚える必要が生じてくるという課題もある。

　例えば、オーディオ一体型のカーナビゲーション装置において、単に「大きく」という制御指令では、［地図画面の拡大］と［オーディオの音量アップ］のいずれを意図しているかが曖昧であるため、「地図を大きく」や「音量を大きく」などと発話する必要がある。また、特定の条件下のみでしか受け付けない操作においては、たとえ、ユーザが制御指令を覚えていたとしても、どの場面で発話すべきか分からずユーザを困惑させるおそれがある。

　この発明は、上記のような課題を解決するためになされたものであり、車載機器に接続された表示器に表示された複数の操作キーを操作する場合に、運転中の操作を容易にすると共に運転に支障をきたさないようにし、かつ、表示内容に応じて受付可能な操作と対応する制御指令をユーザに分かりやすく提供することができる車載制御装置および車載制御方法を提供することを目的とする。

　上記目的を達成するため、この発明は、車両に搭載された車載機器の制御を行う車載制御装置において、前記車載機器に接続された表示器に表示された複数の操作キーの情報を、前記表示器に表示された表示内容の変化に応じて動的に受信するキー情報受信部と、音声認識辞書を用いてユーザにより発話された音声を認識する音声認識部と、前記キー情報受信部により受信された操作キー情報と前記音声認識部による音声認識結果に基づいて、前記ユーザにより発話された音声に対応する操作キーを特定する操作キー特定部と、前記操作キー特定部により特定された操作キーを選択する決定キーからの出力を受け、前記特定された操作キーに割り付けられた機能を実行するよう前記車載機器に対して指示を行う制御部とを備えることを特徴とする。

　この発明の車載制御装置によれば、表示器に表示された複数の操作キーに直接触れることがなく、かつ、複雑なキー操作を要することなく操作が可能となる。また、たった１つの決定キーをステアリングホイールに設置するのみで、ユーザが運転中にステアリングホイールから手を離すことなく表示器に表示された操作キーの安全な操作が可能となる。

実施の形態１による車載制御装置の一例を示すブロック図である。実施の形態１における車載制御装置の動作を示すフローチャートである。実施の形態１において、表示器の表示画面に複数の操作キーが表示されているメニュー画面の一例を示す図である。図３の場合における操作キー情報（各操作キーに対応する認識キーワードと実行指令）の一例を示す表である。カーナビゲーション装置（車載機器）の動作および表示器の表示内容と操作キー情報とユーザ操作の具体例を示す説明図である。実施の形態１による車載制御装置の別の例を示すブロック図である。実施の形態１による車載制御装置のさらに別の例を示すブロック図である。実施の形態２による車載制御装置の一例を示すブロック図である。実施の形態２における車載制御装置の動作を示すフローチャートである。実施の形態２において、表示器の表示画面に複数の操作キーが表示されているメニュー画面からの遷移の一例を示す図である。実施の形態２による車載制御装置の別の例を示すブロック図である。実施の形態３による車載制御装置の一例を示すブロック図である。実施の形態３における車載制御装置の動作を示すフローチャートである。実施の形態３における車載制御装置の動作を示すフローチャートの別の例である。実施の形態３による車載制御装置の別の例を示すブロック図である。実施の形態４による車載制御装置の一例を示すブロック図である。実施の形態４における車載制御装置の動作を示すフローチャートである。実施の形態５による車載制御装置の一例を示すブロック図である。実施の形態５における車載制御装置の動作を示すフローチャートである。実施の形態６による車載制御装置の一例を示すブロック図である。実施の形態６における車載制御装置の動作を示すフローチャートである。実施の形態６における操作キー情報（各操作キーに対応する認識キーワード、実行指令および座標情報）の一例を示す表である。

　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
　この発明は、ユーザ操作により車両に搭載された各種車載機器の制御を行う車載制御装置において、車載機器に接続された表示器に表示された複数の操作キーの操作を、音声認識と１つの決定キーにより行うものである。

実施の形態１．
　図１は、この発明の実施の形態１による車載制御装置の一例を示すブロック図である。この車載制御装置１０は、制御対象となる車載機器１に接続されており、キー情報受信部１１と、音声認識部１２と、音声認識辞書１３と、操作キー特定部１４と、制御部１５を備え、車載機器１と車載制御装置１０とが連携して、車載機器１の操作制御を行う。また、この車載制御装置１０には、マイク３と、１つの決定キー４が接続されており、車載機器１には、表示器２が接続されている。

　なお、車載制御装置１０に接続される車載機器１としては、例えば、カーナビゲーション装置やＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）、インストルメントパネルなど、操作制御機能を有する表示器、表示器を有する機器、または表示器と接続される機器など表示と操作を伴うものであれば何でもよく、この車載制御装置１０自体がそれら機器に組み込まれていてもよい。接続される形態としては、有線でもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）など無線でもよく、ネットワーク上のサーバとして構成してもよい。

　また、決定キー４は、ここでは車両のステアリングホイール（ハンドル）に設置されたＨ／Ｗスイッチとして説明するが、設置される場所やスイッチの形態を限定するものではなく、決定操作を実行するためのスイッチであればどのようなものであってもよい。また、図示は省略したが、車載機器１の操作制御として、タッチパネル、Ｈ／Ｗスイッチ、ロータリースイッチ、十字キー、リモコン等、従来の操作デバイスを併用して操作できるようにしてもよく、車載制御装置１０に接続される車載機器が複数であってもよく、マイク３、および、１つの決定キー４は、車載機器１側に接続されてもよい。以下の実施の形態においても同様である。

　車載機器１は、表示器２に表示された操作キーの情報を車載制御装置１０に送信し、車載制御装置１０から各操作キーに対応する実行指令を受け、当該操作キーに対応する（割り付けられた）機能を実行する。この操作キーに対応する（割り付けられた）機能とは、例えば、予め規定された画面への遷移、または、音楽再生など、その操作キーを選択した場合に実行される機能をいう。

　また、表示器２に表示された操作キーとは、厳密に表示器２に表示された操作キーのみに限定するものではなく、表示器２の表示領域に収まらないなどの理由により所定の操作、例えば、画面スクロールや画面縮小または拡大や表示・非表示の切り替えにより表示されるものを含めるようにしてもよい。なお、以下の実施の形態においても同様である。

　キー情報受信部１１は、接続された車載機器１から車載機器１と接続する表示器２に表示された複数の操作キーの情報を受信する。操作キー情報の具体例については後述するが、表示器２に表示された表示内容の変化に応じて動的に受信する。すなわち、表示器２に画面表示された表示内容が動的に変化するのに応じて、受信する操作キー情報も動的に変化する。

　音声認識部１２は、音声認識辞書１３を有し、マイク３等により集音された音（ユーザにより発話された音声）をＡ／Ｄ変換して、例えばＰＣＭ（ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）形式で取得し、音声の特徴量と音声認識辞書１３とを照合することによって音声認識処理を行う。ここで、音声認識処理としては、例えばＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌのような一般的な方法を用いて行えばよい。また、音声認識部１２は、ネットワーク上の音声認識サーバを使用してもよい。

　ここで、音声認識辞書１３は、後述する操作キー特定部１４でのキー特定処理に使用するキーワード等を認識可能なように構成されており、音声認識部１２は、発話中に含まれるキーワードを音認識結果（以下、「認識キーワード」と呼ぶ）として出力する。

　ところで、カーナビゲーションシステム等に搭載されている音声認識機能においては、ユーザが発話等の開始をシステムに対して明示（指示）するのが一般的である。そのために、音声認識開始を指示するボタン等（以下、「音声認識開始指示部」と呼ぶ）が、タッチパネルに表示されたりステアリングホイールに設置されたりしている。そして、ユーザにより音声認識開始指示部が押下された後に、発話された音声を認識する。すなわち、音声認識開始指示部が音声認識開始信号を出力し、音声認識部が当該信号を受けると、ユーザの発話を待ち受け、上述した認識処理を行う。

　しかし、この実施の形態１における音声認識部１２は、上述したようなユーザによる音声認識開始指示がなくても、常に、ユーザの発話内容を認識する。すなわち、音声認識部１２は、音声認識開始信号を受けなくても、認識辞書を用いて認識処理を行い、音声認識結果に含まれるキーワードを出力する処理を繰り返し行う。また、前記は、常に、ユーザの発話内容を認識するとしたが、ＣＰＵやメモリ等の使用量を抑える目的で、入力音声の特徴（例えば、入力音量など）を元にマイク入力された音が音声であると判断できる場合のみ認識処理を行うようにしてもよい。以下の実施の形態においても同様である。

　操作キー特定部１４は、キー情報受信部１１により受信された操作キー情報と音声認識部１２による音声認識結果に基づいて、ユーザにより発話された音声に対応する操作キーを特定する。具体的には、キー情報受信部１１で取得した操作キー情報を参照して、音声認識部１２から取得した認識キーワードに対応する操作キーの実行指令を特定する。

　制御部１５は、操作キー特定部１４により特定された各操作キーを選択する決定キー４からの出力を受け、特定された操作キーに対応する実行指令を車載機器１に送信することにより、当該操作キーに割り付けられた機能を実行するよう車載機器１に対して指示を行う。実行指令は、例えば、数字列や文字列によるＩＤ、あるいは電気信号のパターン、あるいは操作キーの名称など予め規定されたルールに沿って操作キーを一意に特定できるものであればどのような形態でもよい。以下の実施の形態においても同様である。

　次に、このように構成された実施の形態１における車載制御装置１０の動作について、図２を参照しながら具体的に説明する。ここでは、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　まず、キー情報受信部１１は、接続されたカーナビゲーション装置（車載機器１）から表示器２に表示された操作キー情報を受信する（ステップＳＴ１）。例えば、図３に示すように、表示器２の表示画面に［再生］、［停止］、［次の曲］、［前の曲］の４つの操作キーが表示されているとすると、図４に示すように、操作キー情報としては、各操作キーに対応する少なくとも１つの認識キーワードと実行指令の情報となる。

　ここで、図３は、実施の形態１において、表示器２の表示画面に複数の操作キーが表示されているメニュー画面の一例を示す図である。また、図４は、図３の場合における操作キー情報（各操作キーに対応する認識キーワードと実行指令）の一例を示す表である。この場合、操作キー［再生］の認識キーワードは「再生」であり、実行指令コードが「０００１」、操作キー［停止］の認識キーワードは「停止」であり、実行指令コードが「００１０」、操作キー［次の曲］の認識キーワードは「次の曲」であり、実行指令コードが「００１１」、操作キー［前の曲］の認識キーワードは「前の曲」であり、実行指令コードが「０１００」である。

　その後、音声認識部１２は、マイク３から入力された音声信号から音声認識辞書１３を使用して音声認識を行い、発話中に含まれる認識キーワードを出力する（ステップＳＴ２）。例えば、音声認識辞書１３内に認識キーワードとして“再生”が定義されており、「えーと、“再生”」などとユーザが発話した場合、「認識キーワード＝“再生”」が出力される。

　次に、操作キー特定部１４は、音声認識部１２から取得した認識キーワードを使用してキー情報受信部１１から取得した操作キー情報を参照し、音声認識結果に対応する操作キーがあるか否かを判定する（ステップＳＴ３）。具体的には、音声認識結果である認識キーワードと一致する操作キーがあるか否かを判断する。

　そして、操作キー情報の中に音声認識結果（認識キーワード）に対応する操作キーがない場合（ステップＳＴ３のＮＯの場合）は、ステップＳＴ２に戻って、再度、音声認識部１２で音声認識処理を行う。

　一方、音声認識結果に対応する操作キーがある場合、すなわち、認識キーワードが一致する操作キーがある場合（ステップＳＴ３のＹＥＳの場合）には、その認識キーワードが一致する操作キーを特定し（ステップＳＴ４）、その操作キーに対応する実行指令を制御部１５に送る。例えば、「認識キーワード＝“再生”」の場合は「操作キー＝“再生”」が特定され、対応する「実行指令＝“０００１”」を制御部１５に送る。

　制御部１５は、車載制御装置１０に接続された１つの決定キー４の押下を検知すると（ステップＳＴ５のＹＥＳの場合）、操作キー特定部１４から送られた実行指令を、車載制御装置１０に接続された車載機器１に送信し（ステップＳＴ６）、車載機器１は対応する機能を実行する。例えば、「操作キー＝再生」に対応する「実行指令＝“０００１”」が車載制御装置１０から車載機器１に送信され、車載機器１は「実行指令＝“０００１”」に対応する機能として、例えば音楽再生を実行する。

　ここで、キー情報受信部１１は表示器２の表示内容の変化に応じて動的に操作キーの情報を受信するものである。これについて、図５を参照しながら具体的に説明する。
　図５は、カーナビゲーション装置（車載機器１）の動作および表示器２の表示内容と操作キー情報とユーザ操作の具体例を示す説明図である。

　図５（ａ）に示すように、表示器２に［目的地設定］［オーディオ］［ルート編集］［ヘルプ］および［戻る］という５つの操作キーを有するメインメニューが表示されているものとする。この場合、キー情報受信部１１が受信する操作キー情報は、図５（ｂ）に示すとおりである。

　この状態で、例えばユーザが音楽を再生したい場合、図５（ｃ）に示すように、ユーザが「えーと、“オーディオ”」と発話して決定キー４を押下すると、図５（ｄ）に示すように、表示器２にはオーディオメニュー画面が表示される（オーディオメニュー画面に遷移する）。

　図５（ｄ）に示すオーディオメニュー画面には、［アーティスト］［アルバム］［すべての曲］［検索］および［戻る］という５つの操作キーが表示されている。この場合に、キー情報受信部１１が受信する操作キー情報は、図５（ｅ）に示すとおりである。
　この状態で、例えば図５（ｆ）に示すように、ユーザが「“すべての曲”」と発話して決定キー４を押下すると、表示器２にすべての曲リスト画面が表示される（すべての曲リスト画面に遷移する）。

　以降、図示は省略するが、そこでさらに、ユーザが「“ＸＸＸＸ”(リスト中の楽曲名)」と発話して、決定キー４を押下すると、ＸＸＸＸの曲が再生され、上述したようなオーディオ操作画面が表示される、という流れで操作をすればよい。
　なお、図５（ｃ）および（ｆ）に示す符号３０は、ユーザの発話（発話内容）を示している。

　以上のように、この実施の形態１によれば、表示器に表示された複数の操作キーに直接触れることがなく、かつ、複雑なキー操作を要することなく操作が可能となる。また、たった１つの決定キーをステアリングホイールに設置するのみで、ユーザが運転中にステアリングホイールから手を離すことなく表示器に表示された操作キーの安全な操作が可能となる。

　また、階層化された画面間を遷移するようなＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を有する車載機器、あるいは、表示領域内に操作キーが部分的に重畳、あるいは、追加されるといった表示にも動的に対応した操作が可能、すなわち、表示器の表示内容の変化に応じて動的に操作キーの情報を受信するため、表示された操作キーが変更されても動的に追従することができ、あるいは、ポップアップ的な通知にも対応して操作可能となる。

　また、図６に示すように、車載制御装置１０が、表示されている操作キーの情報に基づいて少なくとも表示器２に表示された操作キーに対応する言葉（認識キーワード）から辞書を作成する辞書作成部１６をさらに備え、音声認識部１２は辞書作成部１６によって作成された音声認識辞書１７を用いてユーザが発話した音声を認識するようにしてもよい。

　音声認識辞書１７を作成する際、音声を認識するために音素等の読み情報が必要となるが、この情報は操作キー情報中に認識キーワードに対応するように埋め込んでもよく、操作キー情報の操作キー名称や認識キーワードの情報などのテキスト情報から形態素解析処理などにより読み情報を付与、あるいは、推定するようにしてもよい。ここで形態素解析処理には、前述の音声認識処理でも用いられるようなＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌのような一般的な方法を用いて行えばよい。

　このようにすることにより、表示内容が動的に変化したときにそれに応じて音声認識辞書１７を作成するため、音声認識対象となる語数を必要最小限にとどめることができるようになる。このため、操作に関係ない言葉を誤認識するのを防ぐこと、あるいは、音声認識に要する時間を抑制することができ、音声認識性能（精度、応答速度など）を向上させることができるので、ユーザが快適な操作を行うことができる。

　また、図７に示すように、車載制御装置１０が、決定キー４に代えて、ユーザの身体動作を認識する動作認識部１８をさらに備え、制御部１５は、動作認識部１８により実行を意図するユーザの身体動作、例えば、うなずき、あるいは、ウインクなどが認識された場合に、特定された操作キーに割り付けられた機能を実行するよう指示を行うようにしてもよい。

　動作認識部１８による身体動作認識処理としては、カメラ５を用いた一般的なパターン認識を用いて行えばよく、うなずきの検知においては、頭部に加速度センサを装着し、所定の方向に所定の強さを検知した場合にうなずいたと判断するようにしてもよい。

　このようにすることにより、決定キーだけでなく決定キーの押下という動作（操作）も不要となるため、一切のボタン操作が不要となり、完全にステアリングホイールから手や指を離す必要がなくなるので、走行中でも安全に操作することができる。

　なお、車載制御装置１０は、これが適用される車載機器１のマイクロコンピュータが、この発明に特有な処理に関するプログラムを実行することにより、ハードウェアとソフトウェアとが協働した具体的な手段として実現される。以下の実施の形態においても、同様である。

実施の形態２．
　図８は、この発明の実施の形態２による車載制御装置の一例を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

　以下に示す実施の形態２の車載制御装置１０は、実施の形態１と比べると、受付情報報知部１９をさらに備え、操作キー特定部１４による操作キー特定の結果に基づき、その特定された操作キーの実行指示受付を開始したこと、実行指示受付を継続中であること、または、特定された操作キー情報の少なくともいずれか１つを、接続されたスピーカ６により、あるいは、車載機器１を通じて表示器２により、報知するようにした。なお、図示は省略したが、スピーカは車載機器１に接続されたものを使用するようにしてもよい。

　次に、このように構成された実施の形態２による車載制御装置１０の動作について説明する。
　図９は、実施の形態２における車載制御装置１０の動作を示すフローチャートである。ここでも、実施の形態１と同様、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　操作キー特定部により操作キーを特定するまでの処理（ステップＳＴ１１～ＳＴ１４）については、実施の形態１における図２に示すフローチャートのステップＳＴ１～ＳＴ４と同じであるため、説明を省略する。

　そして、この実施の形態２では、ステップＳＴ１４において操作キー特定部１４が操作キーを特定した後、受付情報報知部１９が、操作キー特定部１４により操作キーが特定されて当該操作キーの実行指示受付が可能となったこと、あるいは、特定された操作キーの情報など、操作キーが特定されて当該操作キーの実行指示受付が開始されたこと、実行指示受付を継続中であること、特定された操作キーの情報のうちの少なくとも１つを報知する（ステップＳＴ１５）。

　具体的には、例えば「操作キー＝“再生”」と特定された結果を受け、接続されたスピーカ６から効果音や音楽を鳴らす、あるいは、表示器２の表示画面の明るさ、色などを変更し、操作キーが特定されて当該操作キーの実行指示受付が可能となったことを報知するなどである。

　さらに、特定された操作キーを明確にユーザに伝えるよう、操作キー名称（例えば、「再生」など）等を操作キー毎に用意された録音音声や音声合成によるＴＴＳ（Ｔｅｘｔ　ｔｏ　Ｓｐｅｅｃｈ）技術を利用して読み上げるようにしてもよい。また、表示器２に表示された操作キーに視覚効果、例えば、図１０（ｂ）に示すように、特定された操作キーの周りを点灯させる、選択された操作キー付近に特定を示す図形を表示する、あるいは、アイコンを表示する、あるいは、操作キー部分の明度、色、形、大きさなどを変更するようにしてもよい。

　図１０は、実施の形態２において、表示器２の表示画面に複数の操作キーが表示されているメニュー画面からの遷移の一例を示す図である。
　図１０（ａ）に示すように、表示器２に［目的地設定］［オーディオ］［ルート編集］［ヘルプ］および［戻る］という５つの操作キーを有するメインメニューが表示されているものとする。

　この状態で、例えばユーザが音楽を再生したい場合、ユーザが「オーディオ」と発話すると、図１０（ｂ）に示すように、［オーディオ］という操作キーのみが枠で囲まれる等の強調表示４０が付加されることにより、その操作キーの実行指示受付が可能となったことをユーザが視覚的に認識できるように報知される。

　そして、この状態で、ユーザが決定キー４を押下すると、図１０（ｃ）に示すように、表示器２には［アーティスト］［アルバム］［すべての曲］［検索］および［戻る］という５つの操作キーが表示される。以降の操作および画面遷移については省略する。

　以上のように、この実施の形態２によれば、実行指示を受付可能なタイミング、あるいは、特定された操作キーの少なくともいずれか１つを実行指示前に確認できるため、操作キーが特定される前に決定キーを押下しても実行指示が受け付けられないという不具合や、意図と異なる操作キーが特定されたことによる誤操作（ユーザの意図と異なる操作）を抑制することができる。

　また、図１１に示すように、車載制御装置１０が、車両の情報を取得する車両情報取得部２０をさらに備え、受付情報報知部１９が、車両情報取得部２０により各種センサ７から取得された車速、あるいは、ステアリングホイールの操舵角などの車両情報に応じて、特定された操作キーについて報知する方法を変更するようにしてもよい。

　例えば、上述したように特に特定された操作キーを明確にユーザに伝えるような場合、車両の走行速度が予め定められた所定値未満であれば、画面を見る余裕があると判断し、快適性を重視して、例えば図１０（ｂ）に示すように、表示器２に対して報知情報の伝達に時間を要さない画面表示による報知を行うよう指示を行い、所定値以上であれば、安全性を重視して、スピーカ６に対して画面を見る必要がない音による報知（音声ガイダンスなど）を行うよう指示することなどが考えられる。

　そして、制御部１５は、車載制御装置１０に接続された１つの決定キー４の押下を検知すると（ステップＳＴ１６のＹＥＳの場合）、操作キー特定部１４から送られた実行指令を、車載制御装置１０に接続された車載機器１に送信し（ステップＳＴ１７）、車載機器１は対応する機能を実行する。

　このようにすることにより、例えば、停車時は画面表示により報知することで軽快に操作でき、走行時は音声出力により報知することで安全な操作ができるなど、ユーザの運転負荷が低い時は快適性を重視し、ユーザの運転負荷が高い時は安全性を重視して、特定された操作キーについてユーザに報知することができるので、運転状況に合わせてユーザが安全かつ快適に操作することが可能となり、操作の不便さを改善することができる。

　なお、ここでの車両情報には、車両が走行する道路の道幅や曲がり具合（直線具合）などの道路情報や、走行中の時刻情報なども含むものとし、停車時や走行時といった違いだけではなく、車速に応じて報知の方法を変化させるようにしたり、走行場所、道路情報、時刻等によって、その車速の閾値を変更して報知の方法を変化させるようにすることにより、ユーザにとってより安全かつ快適に操作することができる。

　また、図示は省略したが、接続されたナビゲーション装置（車載機器１）などの情報から走行中の自車位置や道幅の情報を取得できるようにして走行しやすさに応じて走行速度の所定値（閾値）を変更するようにしてもよい。

実施の形態３．
　図１２は、この発明の実施の形態３による車載制御装置の一例を示すブロック図である。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

　以下に示す実施の形態３の車載制御装置１０は、実施の形態１と比べると、受付期間設定部２１をさらに備え、操作キー特定部１４により特定された操作キーに割り付けられた機能の実行指示を受付可能な期間（受付期間）を設定するようにし、制御部１５は受付期間設定部２１により設定された受付期間内のみ実行指示を受け付けるようにした。

　次に、このように構成された実施の形態３による車載制御装置１０の動作について説明する。
　図１３は、実施の形態３における車載制御装置１０の動作を示すフローチャートである。ここでも、実施の形態１，２と同様、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　操作キー特定部１４により操作キーを特定するまでの処理（ステップＳＴ２１～ＳＴ２４）については、実施の形態１における図２に示すフローチャートのステップＳＴ１～ＳＴ４と同じであるため、説明を省略する。

　そして、この実施の形態３では、ステップＳＴ２４において操作キー特定部１４が操作キーを特定した後、受付期間設定部２１が、操作キー特定部１４による操作キー特定の結果を受け、予め定められた所定の受付期間、例えば、１０秒間を設定する（ステップＳＴ２５）。

　制御部１５は、操作キーが特定されてから所定の受付期間（ここでは１０秒）以内であれば（ステップＳＴ２６のＮＯの場合）、ユーザからの決定キー押下を実施の形態１と同様に待ち受ける。一方、操作キーが特定されてから所定の受付期間（１０秒）を経過してもユーザからの決定キー押下が検知されなければ（ステップＳＴ２７がＮＯで、ステップＳＴ２６がＹＥＳになった場合）は、ステップＳＴ２２に戻って、再度、音声認識部１２で音声認識処理を行う。

　そして、制御部１５は、車載制御装置１０に接続された１つの決定キー４の押下を検知すると（ステップＳＴ２７のＹＥＳの場合）、操作キー特定部１４から送られた実行指令を、車載制御装置１０に接続された車載機器１に送信し（ステップＳＴ２８）、車載機器１は対応する機能を実行する。

　以上のように、この実施の形態３によれば、操作キーが特定された後、決定キーが押下されるまでに受付期間が経過した場合には、認識した言葉がキャンセルされるので、誤認識した場合にユーザが意図しない動作が生じる可能性を低減することができる。また、ユーザが運転に集中していたことにより、特定された操作キーが何だったかを忘れてしまった場合などにも、受付期間経過後に発話し直すことで音声認識からやり直すことができるので、ユーザ操作の快適性を向上することができる。

　また、図１４に示すように、音声認識部１２が、ステップＳＴ２５において所定の受付期間が設定された後の当該受付期間内にも動作して、音声認識部１２による音声認識結果に変更が生じる度に、操作キー特定部１４がその変更後の音声認識結果に基づいて操作キーを特定し直すようにしてもよい。

　すなわち、操作キーが特定されてから所定の受付期間（例えば１０秒）以内であって、ユーザから決定キーが押下されないうちに、ユーザからの発話があった（ユーザが発話し直した）場合（ステップＳＴ２６，ＳＴ２７がいずれもＮＯで、ステップＳＴ２９がＹＥＳの場合）、ステップＳＴ２２に戻って、再度、音声認識部１２で音声認識処理を行う。

　このようにすれば、操作キーが特定されてしまったが別の操作キーを選択し直したい場合や、操作キーが正しく特定されなかった場合など、所定期間が経過しなくとも発話し直すことで簡便に誤認識を訂正することができ、ユーザ操作の快適性を向上することができる。

　また、図１５に示すように、車載制御装置１０が、車両の情報を取得する車両情報取得部２０をさらに備え、受付期間設定部２１が、車両情報取得部２０により各種センサ（車速センサ等）７から取得された車速、あるいは、ステアリングホイールの操舵角などの車両情報に応じて、受付期間を変更する（可変にする）ようにしてもよい。なお、ここでの車両情報には、車両が走行する道路の道幅や曲がり具合（直線具合）などの道路情報なども含むものとする。

　例えば、高速走行時や交差点での右左折中の場合は、運転負荷が高くユーザによる決定キー押下が困難であると判断して、受付期間を長く設定し、逆にステアリングホイール操作の頻度が少なく直線がしばらく続いていれば、運転負荷が低くユーザによる決定キー押下が容易であると判断して、受付期間を短く設定する。

　このようにすることにより、運転負荷によるユーザの余裕度に応じて、適切な受付期間が設定されるため、余裕がない場合に受付期間内に実行指示を行うことができず、操作のためにもう一度音声認識させなければならないとか、誤認識した場合にユーザが意図しない動作が生じる可能性があるといった、操作における煩わしさを軽減することができる。

　また、図示は省略したが、接続されたナビゲーション装置（車載機器１）などの情報から走行中の自車位置や道幅の情報を取得できるようにして走行しやすさに応じて受付期間を変更するようにしてもよい。

実施の形態４．
　図１６は、この発明の実施の形態４による車載制御装置の一例を示すブロック図である。なお、実施の形態１～３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

　以下に示す実施の形態４の車載制御装置１０は、実施の形態１と比べると、マイク３からの入力音声（ユーザにより発話された音声）が操作を意図する発話であるか否かを判定する発話判定部２２をさらに備え、発話判定部２２により入力音声（発話された音声）が操作を意図する発話であると判定された発話についてのみ音声認識部１２が音声認識を行うようにした。

　発話判定部２２における発話態様判定処理（操作を意図する発話であるか否かを判定する処理）には、音声認識で使用するような前述のＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌを使用すればよく、例えば、操作を意図しない発話として、笑い声や咳払いやくしゃみ、複数人の会話の少なくとも１つの音声特徴を予め学習しておけば、入力音声が操作を意図しない発話を識別することができ、操作を意図する発話であるか否かを判定できる。

　あるいは、図示は省略したが、車内で利用する場合は、乗車しているユーザの位置が頻繁に変わることがないので、複数マイクを配置することにより各マイクの入力信号のパワー比や位相差の変動により複数人による会話か否かを判断できるので、そのような複数人による会話の場合には操作を意図しない発話であると判定することができる。また、運転者のみを操作対象者とする場合は、運転座席位置方向以外から到来する音声は操作を意図しない発話であると判定することができる。

　次に、このように構成された実施の形態４による車載制御装置１０の動作について説明する。
　図１７は、実施の形態４における車載制御装置１０の動作を示すフローチャートである。ここでも、実施の形態１～３と同様、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　まず、キー情報受信部１１が、接続されたカーナビゲーション装置（車載機器１）から表示器２に表示された操作キー情報を受信する（ステップＳＴ３１）。
　次に、発話判定部２２が、マイク３からの入力音声から操作を意図した発話であるか否かを、例えば前述の方法により判定する（ステップＳＴ３２）。

　そして、マイク３からの入力音声が操作を意図した発話ではないと判定された場合（ステップＳＴ３２のＮＯの場合）には、操作を意図した発話であると判定される音声が入力されるまで待ち続ける。すなわち、操作を意図した発話ではないと判定された場合には、その入力音声は音声認識処理が行われる前に棄却される。

　一方、操作を意図した発話であると判定された場合（ステップＳＴ３２のＹＥＳの場合）、音声認識部１２は、発話判定部２２による発話様態の判定結果を受け、音声認識処理を行う（ステップＳＴ３３）。すなわち、ステップＳＴ３２において操作を意図した発話であると判定された場合のみ、音声認識処理が行われる。

　次に、操作キー特定部１４は、音声認識部１２から取得した認識キーワードを使用してキー情報受信部１１から取得した操作キー情報を参照し、音声認識結果に対応する操作キーがあるか否かを判定する（ステップＳＴ３４）。

　そして、操作キー情報の中に音声認識結果（認識キーワード）に対応する操作キーがなく、操作キーが特定されなかった場合（ステップＳＴ３４のＮＯの場合）には、ステップＳＴ３２に戻って、再度、発話判定部２２による発話態様判定処理を行う。

　一方、音声認識結果に対応する操作キーがあり、操作キーが特定された場合、すなわち、認識キーワードが一致する操作キーがある場合（ステップＳＴ３４のＹＥＳの場合）以降の処理（ステップＳＴ３５～ＳＴ３７）については、実施の形態１における図２に示すフローチャートのステップＳＴ４～ＳＴ６と同じであるため、説明を省略する。

　以上のように、この実施の形態４によれば、操作と無関係な発話を音声認識前に除去できるため、音声認識処理において誤認識する頻度を抑制したり、意図しない操作キーを実行してしまうことを抑制し、操作におけるユーザの快適性を向上することができる。

実施の形態５．
　図１８は、この発明の実施の形態５による車載制御装置の一例を示すブロック図である。なお、実施の形態１～４で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

　以下に示す実施の形態５の車載制御装置１０は、実施の形態１と比べると、車載機器１に接続されたスピーカ８に対して車載機器１から出力されるスピーカ出力音信号を取得して当該スピーカ出力音の成分を入力音から除去する出力音除去部２３をさらに備え、この出力音除去部２３によりスピーカ出力音の成分が除去された音声に対して音声認識部１２が音声認識を行うようにした。

　出力音除去部２３における出力音除去方法としては、例えば、一般的なスピーカ出力音信号とマイク入力音信号を使用し、フィルタ係数を学習同定法により求める適応フィルタなど用いて行えばよい。このようにすることで、使用する音響環境でマイクに入力されるスピーカ出力音の音響エコー成分を推定できるため、マイクに入力される音声信号から当該音響エコー成分を差し引くことでスピーカ出力音信号が音声認識精度に与える影響を抑制することができる。

　次に、このように構成された実施の形態５による車載制御装置１０の動作について説明する。
　図１９は、実施の形態５における車載制御装置１０の動作を示すフローチャートである。ここでも、実施の形態１～４と同様、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　まず、キー情報受信部１１が、接続されたカーナビゲーション装置（車載機器１）から表示器２に表示された操作キー情報を受信する（ステップＳＴ４１）。
　次に、出力音除去部２３が、車載機器１からスピーカ８に対して送信されるスピーカ出力音信号を受信し（ステップＳＴ４２）、そのスピーカ出力音信号とマイクから入力される音声信号を使用して、例えば、前述の方法によって、マイク入力される音声の中からスピーカ出力される音声の音響エコー成分（出力音成分）を除去する（ステップＳＴ４３）。

　そして、音声認識部１２は、出力音除去部２３によりスピーカ出力音を除去された入力音声について、音声認識処理を行う（ステップＳＴ４４）。
　この音声認識処理以降の処理（ステップＳＴ４５～ＳＴ４８）については、実施の形態１における図２に示すフローチャートのステップＳＴ３～ＳＴ６と同じであるため、説明を省略する。

　なお、上述した実施の形態５では、接続された車載機器１のスピーカ出力音信号を除去するようにしたが、車載制御装置１０そのものや他の機器、または、車載制御装置１０を搭載した車両等から出力される音の信号もあわせて受信し、除去するようにしてもよい。

　以上のように、この実施の形態５によれば、車音声ガイダンス・効果音の吹鳴中や音楽再生中であってもマイク入力される音声からスピーカ出力音の音響エコー成分を除去できるようにしたため、誤認識を抑制してより精度の高い音声認識を行うことができ、操作におけるユーザの快適性を向上することができる。

実施の形態６．
　図２０は、この発明の実施の形態６による車載制御装置の一例を示すブロック図である。なお、実施の形態１～５で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。

　以下に示す実施の形態６の車載制御装置１０は、実施の形態１と比べると、ユーザの視線を検知する視線検出部２４をさらに備え、操作キー特定部１４は、視線検出部２４により検知された視線情報と音声認識部１２による認識結果とを用いて操作キーを特定するようにした。
　視線検出部２４は、ユーザの視線を検知して当該視線の座標情報を操作キー特定部１４に送信する

　視線検出部２４による視線検出処理は、例えば、カメラ５によりユーザの顔を撮影した画像に基づいて一般的なパターン認識による顔方向から大まかに推定するようにすればよく、あるいは、図示は省略したが光源照射による角膜反射法などを用いればよい。また、事前に表示器２とユーザの目の相対位置関係の情報を取得しておくようにすれば、ユーザが表示器２のどの部分を見ているかを座標値として取得することができる。

　次に、このように構成された実施の形態６による車載制御装置１０の動作について説明する。
　図２１は、実施の形態６における車載制御装置１０の動作を示すフローチャートである。ここでも、実施の形態１～５と同様、接続される車載機器１がオーディオ一体型のカーナビゲーション装置であると仮定する。

　まず、キー情報受信部１１が、接続されたカーナビゲーション装置（車載機器１）から表示器２に表示された操作キー情報を受信する（ステップＳＴ５１）。
　ここで受信する操作キー情報は、図２２に示すように、各操作キーに対応する認識キーワードと実行指令に加え、各操作キーが表示された表示器２上の座標情報、例えば（ｘ，ｙ）＝（１００，１００）などを含んでいる。この座標情報には、例えば、操作キーの左上座標、あるいは、中心座標など表示位置を一意に判別できるものであれば何でもよく、あわせてサイズがわかる情報を付与してもよい。

　次に、視線検出部２４が、例えば前述の方法により、カメラ５で撮影されたカメラ画像からユーザの視線方向を検出し、ユーザが視線を向けている表示器２の表示画面上の対応する座標情報（以下、「視線座標」と呼ぶ）、例えば（ｘ，ｙ）＝（２００，２００）を取得して、操作キー特定部１４に送る（ステップＳＴ５２）。
　また、音声認識部１２は、マイク３から入力された音声信号から音声認識辞書１３を使用して音声認識を行い、発話中に含まれる認識キーワードを出力する（ステップＳＴ５３）。

　そして、操作キー特定部１４は、ステップＳＴ５２において視線検出部２４から受信した視線座標と、ステップＳＴ５３において認識された音声認識結果と、ステップＳＴ５１において受信した操作キー情報とに基づいて、視線方向と認識結果に対応する操作キーがあるか否かを判定し（ステップＳＴ５４）、視線方向と認識結果に対応する操作キーがある場合（ステップＳＴ５４のＹＥＳの場合）、音声認識結果に対応する操作キーを特定する（ステップＳＴ５５）。

　具体的には、視線検出部２４から受信した視線座標（ｘ，ｙ）＝（２００，２００）から予め定められた所定の範囲、例えば±１００、すなわち、座標（ｘ，ｙ）＝（１００，１００）から（ｘ，ｙ）＝（３００，３００）までの範囲を視認可能範囲と仮定する。

　そして、キー情報受信部１１が受信した操作キー情報に付与された操作キーの座標情報から、その視認可能範囲内にある操作キー、すなわち、操作キー情報が図２２に示すものである場合には、座標（ｘ，ｙ）＝（１００，１００）である［再生］および座標（ｘ，ｙ）＝（１００，３００）である［次の曲］のみが視認可能範囲内にある操作キーであるので、［再生］および［次の曲］という操作キーのみの操作キー情報を参照して、音声認識結果に対応する操作キーを特定する。

　一方、視認可能範囲内にある操作キー情報の中に音声認識結果（認識キーワード）に対応する操作キーがない場合（ステップＳＴ５４のＮＯの場合）は、ステップＳＴ５２に戻って、再度、視線検出部２４による視線検出、および、音声認識部１２による音声認識処理を行う。

　そして、ステップＳＴ５５における操作キー特定以降の処理（ステップＳＴ５６～ＳＴ５７）については、実施の形態１における図２に示すフローチャートのステップＳＴ５～ＳＴ６と同じであるため、説明を省略する。
　なお、複数の車載機器を接続するようにした場合は、操作対象の機器を限定するよう、視線検出部２４による視線方向を利用するようにしてもよい。

　また、図示は省略したが、実施の形態１と同様、辞書作成部１６（図６参照）をさらに備え、操作キー情報に付与された座標位置と視線検出部２４により取得された視線座標を使用し、所定の視認可能範囲に含まれる操作キーのみに限定して音声認識するように音声認識辞書を作成してもよい。

　このようにすることにより、表示されているものの中からユーザが見ている付近に絞り込んで、その絞り込まれた付近に限定して操作キーを特定することにより、ユーザが操作しそうなキーに対応する認識キーワードに音声認識の対象を限定できるため、音声認識の精度、あるいは、応答速度を高めることができる。これは、例えば表示器２の表示画面が大きい場合や、複数の画面（複数の表示器）がある場合などに特に効果を奏する。

　以上のように、この実施の形態６によれば、視線検知により、ユーザが操作しそうなキーを推定可能になり、発話と異なる操作キーの特定を抑制することができるため、意図しない操作キーを実行してしまうことを抑制し、操作におけるユーザの快適性を向上することができる。

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　この発明の車載制御装置は、例えば、カーナビゲーション装置やＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）、インストルメントパネルなど、操作制御機能を有する表示器、表示器を有する機器、または表示器と接続される機器など表示と操作を伴うものであればどのような車載機器にでも適用することができる。また、この車載制御装置自体がそれらの機器に組み込まれていてもよい。

　１　車載機器、２　表示器、３　マイク、４　決定キー、５　カメラ、６，８　スピーカ、７　各種センサ、１０　車載制御装置、１１　キー情報受信部、１２　音声認識部、１３，１７　音声認識辞書、１４　操作キー特定部、１５　制御部、１６　辞書作成部、１８　動作認識部、１９　受付情報報知部、２０　車両情報取得部、２１　受付期間設定部、２２　発話判定部、２３　出力音除去部、２４　視線検出部、３０　発話（発話内容）、４０　強調表示。

Claims

　車両に搭載された車載機器の制御を行う車載制御装置において、
　前記車載機器に接続された表示器に表示された複数の操作キーの情報を、前記表示器に表示された表示内容の変化に応じて動的に受信するキー情報受信部と、
　音声認識辞書を用いてユーザにより発話された音声を認識する音声認識部と、
　前記キー情報受信部により受信された操作キー情報と前記音声認識部による音声認識結果に基づいて、前記ユーザにより発話された音声に対応する操作キーを特定する操作キー特定部と、
　前記操作キー特定部により特定された操作キーを選択する決定キーからの出力を受け、前記特定された操作キーに割り付けられた機能を実行するよう前記車載機器に対して指示を行う制御部と
　を備えることを特徴とする車載制御装置。
　前記操作キーの情報に基づいて少なくとも前記表示器に表示された操作キーに対応する言葉から前記音声認識辞書を作成する辞書作成部をさらに備え、
　前記音声認識部は、前記辞書作成部によって作成された音声認識辞書を用いて前記ユーザにより発話された音声を認識する
　ことを特徴とする請求項１記載の車載制御装置。
　前記操作キー特定部による操作キー特定の結果に基づき、前記特定された操作キーの実行指示受付を開始したこと、前記特定された操作キーの実行指示受付を継続中であること、または、前記特定された操作キー情報のうちの少なくとも１つを報知する受付情報報知部をさらに備えた
　ことを特徴とする請求項１記載の車載制御装置。
　前記車両の情報を取得する車両情報取得部をさらに備え、
　前記受付情報報知部は、前記車両情報取得部により取得された車両情報に応じて、前記報知する方法を変更する
　ことを特徴とする請求項３記載の車載制御装置。
　前記操作キー特定部により特定された操作キーに割り付けられた機能の実行指示を受付可能な受付期間を設定する受付期間設定部をさらに備え、
　前記制御部は、前記受付期間設定部により設定された前記受付期間内のみ実行指示を受け付ける
　ことを特徴とする請求項１記載の車載制御装置。
　前記音声認識部は、前記受付期間内も動作して、
　前記操作キー特定部は、前記音声認識部による音声認識結果に変更が生じる度にその変更後の音声認識結果に基づいて操作キーを特定し直す
　ことを特徴とする請求項５記載の車載制御装置。
　前記車両の情報を取得する車両情報取得部をさらに備え、
　前記受付期間設定部は、前記車両情報取得部により取得された車両情報に応じて、前記受付期間を変更する
　ことを特徴とする請求項５記載の車載制御装置。
　前記ユーザにより発話された音声が操作を意図する発話であるか否かを判定する発話判定部をさらに備え、
　前記音声認識部は、前記発話判定部により前記発話された音声が操作を意図する発話であると判定された場合にのみ音声認識を行う
　ことを特徴とする請求項１記載の車載制御装置。
　前記ユーザの身体動作を認識する動作認識部をさらに備え、
　前記制御部は、前記動作認識部により実行を意図する前記ユーザの身体動作が認識された場合に前記特定された操作キーに割り付けられた機能を実行するよう指示を行う
　ことを特徴とする請求項１記載の車載制御装置。
　前記車載機器から出力される出力音信号を取得して当該出力音の成分を入力音から除去する出力音除去部をさらに備え、
　前記音声認識部は、前記出力音除去部により前記出力音の成分が除去された音声に対して前記音声認識を行う
　ことを特徴とする請求項１記載の車載制御装置。
　前記ユーザの視線を検知して当該視線の座標情報を前記操作キー特定部に送信する視線検出部をさらに備え、
　前記キー情報受信部は、前記操作キー情報として各操作キーが表示された表示器上の座標情報をあわせて受信し、
　前記操作キー特定部は、前記視線検出部から受信した前記視線の座標情報と前記音声認識部による認識結果と前記キー情報受信部により受信された操作キー情報とに基づいて、前記操作キーを特定する
　ことを特徴とする請求項１記載の車載制御装置。
　車両に搭載された車載機器の制御を行う車載制御方法であって、
　キー情報受信部が、前記車載機器に接続された表示器に表示された複数の操作キーの情報を、前記表示器に表示された表示内容の変化に応じて動的に受信するステップと、
　音声認識部が、音声認識辞書を用いてユーザにより発話された音声を認識するステップと、
　操作キー特定部が、前記キー情報受信部により受信された操作キー情報と前記音声認識部による音声認識結果に基づいて、前記ユーザにより発話された音声に対応する操作キーを特定するステップと、
　制御部が、前記操作キー特定部により特定された操作キーを選択する決定キーからの出力を受け、前記特定された操作キーに割り付けられた機能を実行するよう前記車載機器に対して指示を行うステップと
　を備えることを特徴とする車載制御方法。