JP7392827B2 - 音声認識装置及び音声認識方法 - Google Patents

Description

本発明は、音声認識装置及び音声認識方法に関するものである。

音声認識装置は、ユーザが発した音声を音声認識し、音声認識結果に基づいて、各種の処理を行う。特許文献１に記載される車両機器制御装置は、曖昧語を含むキーワードを検出するキーワード検出手段を有しており、ユーザが発した音声による指示が不明瞭な場合でも、可能な限りユーザの意図に沿って、音声認識を行うことができる。

特開２００６‐３０８８４８号公報

しかしながら、特許文献１に記載される車両機器制御装置によって車両などの移動体に搭載された装置を制御する場合は、装置の種類によっては、不明瞭な指示による制御が適さない場合がある。

本発明が解決しようとする課題は、各々の操作対象装置に応じた適切な検出モードで、ユーザの音声による指示に基づく制御要求を特定することができる音声認識装置及び音声認識方法を提供することである。

本発明に係る音声認識装置及び音声認識方法は、操作対象装置に応じて、制御要求を特定するための検出モードを設定し、設定された検出モードに基づいて、制御要求を特定することによって上記課題を解決する。

本発明によれば、操作対象装置に応じて検出モードを設定することができるので、各々の操作対象装置に応じた適切な検出モードで、ユーザの音声による指示に基づく制御要求を特定することができるという効果を奏する。

本発明の第１実施形態に係る音声認識装置を利用する車両の構成を示すブロック図である。 図１に示す音声認識装置を用いた音声認識方法を示すフローチャートである。 図１に示す音声認識装置によって予め設定される第１検出モード対象装置及び第２検出モード対象装置の例を示す図である。 ルールベース認識に基づく第２検出モードと自然言語認識に基づく第１検出モードとの音声の認識範囲の違いを例示する表である。 本発明の第２実施形態に係る音声認識装置を含む車両の構成を示すブロック図である。 本発明の第３実施形態に係る音声認識装置を利用する車両の構成を示すブロック図である。 図６に示す音声認識装置を用いた音声認識方法を示すフローチャートである。 図７に示す音声認識方法において、各々の車両状態に応じて加算される誤認識レベルの点数を示す表である。 図７に示す音声認識方法において、集音環境が良好でないと判断された場合の操作対象装置と検出モードとの対応関係を示す図である。 図６に示す音声認識装置を用いた音声認識方法の別例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
第１実施形態に係る音声認識装置１００及び音声認識装置１００を用いた音声認識方法について、図１～４を参照して説明する。
図１に示すように、移動体である車両１は、車載装置として、室内灯３，エアコン４，ドアウィンドウ制御装置５，ルーフウィンドウ制御装置６，バックドア制御装置７，ディスプレイ１２，オーディオ機器１３，ナビゲーション機器１４，通話装置１５，走行制御装置３１，ヘッドランプ３２，シート制御装置３３及びトランク制御装置３４を有している。また、車両１は、これらの車載装置を制御する機器制御部１１と、ユーザの音声による指示を入力するためのマイクである音声取得部１０１と、機器制御部１１及び音声取得部１０１に無線又は有線で接続され、車外のサーバ２０に対して通信可能な通信部１０７とを有する。
なお、室内灯３，エアコン４及びオーディオ機器１３は、車両１の内部である室内の環境状態を調整する環境調整装置である。すなわち、室内灯３は、光量を含む環境状態を調整する。エアコン４は、温度を含む環境状態を調整する。オーディオ機器１３は、音量を含む環境状態を調整する。

また、車両１の通信部１０７は、無線によって、サーバ２０と通信することができる。なお、サーバ２０にも、車両１の通信部１０７と通信可能なサーバ側通信部（図示せず）が設けられている。サーバ２０は、音声データ変換部１０２、操作対象装置特定部１０４、検出モード設定部１０５及び制御要求特定部１０６を有する。車両１に設けられたディスプレイ１２，オーディオ機器１３，ナビゲーション機器１４，通話装置１５，機器制御部１１，音声取得部１０１及び通信部１０７と、サーバ２０の音声データ変換部１０２、操作対象装置特定部１０４、検出モード設定部１０５及び制御要求特定部１０６とは、ナビゲーションシステム１０を構成する。ナビゲーションシステム１０は、例えば、ＩＶＩシステム等である。また、車両１に設けられた音声取得部１０１及び通信部１０７と、サーバ２０の音声データ変換部１０２、操作対象装置特定部１０４、検出モード設定部１０５及び制御要求特定部１０６とは、音声認識装置１００を構成する。すなわち、音声認識装置１００はナビゲーションシステム１０の一部を構成している。また、音声認識装置１００は、ユーザの発した音声による指示を受け付け、機器制御部１１を介して、車載装置のいずれか一つ以上又は全てを制御する。すなわち、ナビゲーションシステム１０は、車両１に乗車したユーザの発した音声による指示に基づいて、車両１に搭載される各種の装置に対する制御要求を受け付ける音声認識装置１００を有する。音声認識装置１００は、音声認識システムである。

なお、図３に示すように、ドアウィンドウ制御装置５は、ドアウィンドウロック装置５ａ及びドアウィンドウ開閉装置５ｂを有する。ルーフウィンドウ制御装置６は、ルーフウィンドウロック装置６ａ及びルーフウィンドウ開閉装置６ｂを有する。バックドア制御装置７は、バックドアロック装置７ａ及びバックドア開閉装置７ｂを有する。トランク制御装置３４は、トランクロック装置３４ａ及びトランク開閉装置３４ｂを有する。

また、シート制御装置３３は、車両１の室内に設けられたシートの各種機能を制御する装置であり、シートマッサージ装置３３ａ，シートヒータ３３ｂ及びシート位置調整装置３３ｃを有する。シート位置調整装置３３ｃは、シートの高さ、シートの前後方向の位置及びシートの背凭れの角度を調整することができる。

また、図１に示す走行制御装置３１は、車両１の走行モードとして自動運転モードが選択されている場合に、車両１の走行を制御する装置である。具体的には、走行制御装置３１は、車両１の駆動アクチュエータ、操舵アクチュエータ及び制動アクチュエータを制御する。

ディスプレイ１２は、ユーザのタッチ操作によって、オーディオ機器１３，ナビゲーション機器１４，通話装置１５及びその他の車載装置への制御指示を入力することができる入力機能を備えるタッチパネル式のディスプレイである。また、ディスプレイ１２は、通話装置１５への着信情報、通話装置１５を介して会話をしている通話相手の情報、ナビゲーション機器１４による案内情報などを、文字情報やアイコンを含む映像として出力することができる。また、オーディオ機器１３は、通話装置１５に着信があったことを通知する音声、通話装置１５を介して会話をしている通話相手の発話音声、ナビゲーション機器による案内情報を示す音声などを出力することができる。
なお、ディスプレイ１２は、入力機能を備えるタッチパネル式のディスプレイに限定されず、文字情報を含む２Ｄ映像又は３Ｄ映像を出力する装置であればよい。また、ディスプレイ１２は、車両１のダッシュボードに設けられるディスプレイに限らず、フロントガラス投影式のヘッドアップディスプレイやその他の各種ディスプレイであってもよい。
ディスプレイ１２及びオーディオ機器１３は、情報提供装置を構成する。

サーバ２０の音声データ変換部１０２は、音声取得部１０１が取得した音声の情報を、通信部１０７を介して受信し、音声データに変換する。なお、音声データは、音声に基づくテキストデータである。

また、サーバ２０の操作対象装置特定部１０４は、音声データ変換部１０２によって変換された音声データを解析し、音声データに含まれるキーワードから、操作の対象となる操作対象装置を特定する。操作対象装置は、例えば、室内灯３，エアコン４，ドアウィンドウ制御装置５，ルーフウィンドウ制御装置６，バックドア制御装置７，ディスプレイ１２，オーディオ機器１３，ナビゲーション機器１４，通話装置１５，走行制御装置３１，ヘッドランプ３２，シート制御装置３３及びトランク制御装置３４のうちの１つ又は複数の車載装置である。なお、操作対象装置特定部１０４は、制御要求を特定する際には、サーバ２０に格納されている辞書データ及び文脈データを参照する。また、操作対象装置に応じて、操作対象装置特定部１０４は、各操作対象装置を第１検出モード対象装置又は第２検出モード対象装置に予め設定する。操作対象装置特定部１０４は、各操作対象装置が第１検出モード対象装置又は第２検出モード対象装置のいずれかであるかが予め設定された対象装置情報を参照して、特定された操作対象装置が第１又は第２検出モード対象装置のいずれであるかを判定する。第１検出モード対象装置は、制御要求の特定の際に、後述する自然言語認識に基づく第１検出モードを用いる対象となる装置である。また、第２検出モード対象装置は、制御要求の特定の際に、後述するルールベース認識に基づく第２検出モードを用いる対象となる装置である。そして、操作対象装置特定部１０４によって判定された「操作対象装置が第１又は第２検出モード対象装置のいずれであるか」を示す情報（以下、判定情報ともいう）は、車両１側の通信部１０７及び機器制御部１１を介してディスプレイ１２及び／又はオーディオ機器１３に出力される。すなわち、特定された操作対象装置が第１検出モード対象装置であるか、又は、第２検出モード対象装置であるかを示す判定情報が、ディスプレイ１２に映像やテキストを含む画像として表示され、又は、オーディオ機器１３により音声によって出力される。また、操作対象装置特定部１０４によって設定された操作対象装置の判定情報は、検出モード設定部１０５に出力される。

検出モード設定部１０５は、音声データ変換部１０２が変換した音声データに対応する制御要求を特定するための検出モードを、操作対象装置特定部１０４が判定した操作対象装置の判定情報に応じて、設定する。具体的には、検出モード設定部１０５は、検出モードを、操作対象装置の判定情報に応じて、後述する自然言語認識に基づく第１検出モード、又は、後述するルールベース認識に基づく第２検出モードのいずれかに設定する。検出モード設定部１０５によって設定された検出モードの情報は、車両１側の通信部１０７及び機器制御部１１を介してディスプレイ１２及び／又はオーディオ機器１３に出力される。すなわち、現在の検出モードが、第１検出モード又は第２検出モードのいずれに設定されているかを示す情報（以下、「検出モード設定情報」ともいう）が、ディスプレイ１２に映像やテキストを含む画像として表示され、又は、オーディオ機器１３により音声によって出力される。また、検出モード設定部１０５によって設定された検出モードを示す検出モード設定情報は、制御要求特定部１０６に出力される。

制御要求特定部１０６は、検出モード設定部１０５によって設定された検出モードに基づいて、音声データ変換部１０２が変換した音声データを解析し、操作対象装置に対する制御要求の内容を特定する。なお、制御要求特定部１０６は、操作対象装置特定部１０４と同様に、制御要求を特定する際には、サーバ２０に格納されている辞書データ及び文脈データを参照する。そして、制御要求特定部１０６は、特定された操作対象装置に対する制御要求の内容を、車両１側の通信部１０７を介して、機器制御部１１に送信する。機器制御部１１は、受信した操作対象装置の情報及び操作対象装置に対する制御要求の内容に基づいて、操作対象装置を制御する。

次に、音声認識装置１００による音声認識方法の手順について、図２に示すフローチャートを用いて説明する。
まず、ステップＳ１において、音声認識装置１００の車両１側の音声取得部１０１は、ユーザが発した音声を取得する。具体的には、音声取得部１０１は、周波数によってユーザが発話したことを検出し、ユーザの発話が検出された場合に、ユーザが発した音声を含む音声情報を音声認識対象として取得する。このように、音声取得部１０１が、ユーザが発話している間にのみ音声情報を取得することにより、常に音声情報を取得している場合に比べて、音声認識装置１００の制御負荷を減らすことができる。また、音声による指示の開始を示す特定のキーワードが予め決められている場合は、音声取得部１０１は、ユーザが特定のキーワードを発話した直後から、音声認識対象としての音声情報を取得してもよい。

次に、ステップＳ２において、音声認識装置１００のサーバ２０側の音声データ変換部１０２は、取得した音声を、テキストとして認識可能な音声データに変換する。

さらに次に、ステップＳ３において、操作対象装置特定部１０４は、音声データ変換部１０２によって変換された音声データを解析して、制御の対象である操作対象装置を特定する。操作対象装置特定部１０４は、自然言語認識により、音声データを解析して、操作対象装置を特定する。具体的には、ユーザが「ルーフウィンドウあけて」と発音した場合は、操作対象装置特定部１０４は、辞書データ及び文脈データを参照して、操作対象装置をルーフウィンドウ開閉装置６ｂであると特定する。また、ユーザが「上の窓あけて」、「屋根あけて」等の言い方で音声による指示を発話した場合にも、操作対象装置特定部１０４は、この場合の「上の窓」又は「屋根」がルーフウィンドウを意味していると判断し、操作対象装置をルーフウィンドウ開閉装置６ｂであると特定する。すなわち、操作対象装置特定部１０４は、ユーザが発した音声に基づく音声データが、予め定義された制御要求テキストと一致しない場合であっても、操作対象装置を特定することができる。

次に、ステップＳ４において、操作対象装置特定部１０４は、ステップＳ３で特定された操作対象装置が第１検出モード対象装置か否かを判定する。ここで、操作対象装置が第１検出モード対象装置か、又は、第１検出モード対象装置ではなく第２検出モード対象装置かを判定する方法について、図３を参照して説明する。

図３に示す例では、車両１の車載装置が、操作重要度の高低に応じて、予め３つの区分に分類されている。操作重要度とは、その車載装置の制御が車両１の走行状態又は車両１に乗車しているユーザに及ぼす影響の大きさの度合いである。よって、操作重要度が高い車載装置ほど、車両１の走行に及ぼす影響が大きいため、制御要求の誤認識の可能性を可能な限り０に近づけたいという要請が大きい。すなわち、操作重要度が高い操作対象装置ほど、音声認識装置１００が特定する制御要求と、実際のユーザの音声による指示とが正確かつ確実に合致している必要がある。

具体的には、ナビゲーション機器１４，通話装置１５，オーディオ機器１３，ディスプレイ１２，室内灯３，エアコン４，シートマッサージ装置３３ａ及びシートヒータ３３ｂは、操作重要度「１（Ｌｏｗ）」の区分に分類される。これらのアクセサリ装置は運転に与える影響が低いと考えられるので、最も低い操作重要度に分類される。一方、シート位置調整装置３３ｃは、操作重要度「２（Ｍｉｄｄｌｅ）」の区分に分類される。すなわち、ユーザが着席するシートの位置や高さは、ユーザによる車両１の運転に影響を及ぼし得るため、シート位置調整装置３３ｃは、シートマッサージ装置３３ａ及びシートヒータ３３ｂよりも操作重要度が高い。また、走行制御装置３１，ヘッドランプ３２，ドアウィンドウロック装置５ａ，ドアウィンドウ開閉装置５ｂ，ルーフウィンドウロック装置６ａ，ルーフウィンドウ開閉装置６ｂ，バックドアロック装置７ａ，バックドア開閉装置７ｂ，トランクロック装置３４ａ及びトランク開閉装置３４ｂは、車両１の走行やユーザに及ぼす影響が特に大きいため、操作重要度「３（Ｈｉｇｈ）」の区分に分類される。操作対象装置特定部１０４は、操作重要度「１（Ｌｏｗ）」の区分に分類された車載装置及び操作重要度「２（Ｍｉｄｄｌｅ）」の区分に分類された車載装置を、第１検出モード対象装置として判定する。また、操作対象装置特定部１０４は、操作重要度「３（Ｈｉｇｈ）」の区分に分類された車載装置を、第２検出モード対象装置として判定する。
なお、第１検出モード対象装置と第２検出モード対象装置との区別は、各々の車載装置に対して予め設定されているが、操作対象装置特定部１０４は、第１検出モード対象装置及び第２検出モード対象装置の設定を適宜変更することができる。

次に、図２に示すように、ステップＳ４において、操作対象装置が第１検出モード対象装置であると判定された場合は、ステップＳ５において、検出モード設定部１０５は、検出モードを第１検出モードに設定する。そして、ステップＳ６において、制御要求特定部１０６は、ステップＳ２で変換された音声データから、自然言語認識によって、ユーザの指示の内容が読み取り可能か否かを判定する。指示の内容が読み取り可能か否かは、音声データ変換部１０２によって変換された音声データを、制御要求特定部１０６が、辞書データ及び文脈データを参照して自然言語認識に基づき解釈し、制御要求の内容を特定することができるか否かによって判定する。音声データから指示を読み取ることができない場合は、ステップＳ１２において、音声認識装置１００は、ユーザに聞き直しを行う。聞き直しは、ディスプレイ１２に文字を含む画像として表示されるか、又は、オーディオ機器１３が音声案内を行うことによって、ユーザに提示される。一方、音声データから指示内容が読み取り可能であった場合、ステップＳ７において、制御要求特定部１０６は、操作対象装置に対する制御要求を特定する。すなわち、制御要求特定部１０６は、音声データ変換部１０２によって変換された音声データを、辞書データ及び文脈データを参照して自然言語認識に基づき解釈し、制御要求の内容を特定する。特定された制御要求は、ステップＳ１１において、操作対象装置を制御するために、車両１の機器制御部１１へ送信され、フローは終了する。

ステップＳ４において、操作対象装置が第１検出モード対象装置でないと判定された場合、すなわち、操作対象装置が第２検出モード対象装置であると判定された場合は、ステップＳ８において、検出モード設定部１０５は、検出モードを第２検出モードに設定する。そして、ステップＳ９において、ステップＳ２で変換された音声データが、予め定義された制御要求テキストに一致するか否かを判定し、一致していない場合は、ステップＳ１２において、ユーザに聞き直しを行う。ユーザへの聞き直しとは、音声入力（指示の発話）のやり直しを提案又は要求する処理である。このとき、制御要求特定部１０６は、ユーザに対して、音声データが制御要求テキストに一致するように指示（音声入力／発話）をやり直すことを案内する案内情報を、車両１の通信部１０７及び機器制御部１１を介して、ディスプレイ１２又はオーディオ機器１３に出力する。

一方、音声データが制御要求テキストに一致している場合、ステップＳ１０において、制御要求特定部１０６は、ルールベース認識に基づく第２検出モードにより、制御要求テキストに対応する制御要求を特定する。ステップＳ１１において、特定された制御要求は、操作対象装置を制御するために、車両１の通信部１０７を介して、機器制御部１１へ送信され、フローは終了する。
なお、ルールベース認識における音声データが制御要求テキストに一致しているか否かの判断は、ステップＳ１において入力された音声に基づく音声データ（テキストデータ）の全部と、制御要求テキストとを比較することによって実行する。音声データの全部とは、発話開始から発話終了までに入力された音声に基づく音声データである。つまり、制御要求特定部は、発話が開始されてから終了するまでの一連の音声に基づく音声データと制御要求テキストとが一致するか否かを判断する。

ここで、自然言語認識に基づく第１検出モードと、ルールベース認識に基づく第２検出モードとの違いについて、図４を用いて説明する。図４には、制御対象装置がエアコンであり、制御要求の内容が「エアコンの電源をＯＮにしたい」というものである場合の第１検出モードと第２検出モードとの違いを示す。なお、図３に示す例では、エアコン４は第１検出モード対象装置として規定されているが、図４に示す例においては、説明の便宜上、エアコン４への制御要求の特定に、第１検出モード及び第２検出モードのいずれもが適用され得るものとする。

図４に示すように、制御対象装置がエアコンであり、制御要求の内容が「エアコンの電源をＯＮにしたい」というものである場合、この制御要求の内容に対応する制御要求テキストは、「エアコンかけて」であると予め定義されている。
ルールベース認識に基づく第２検出モードでは、ユーザの発した音声に基づく音声データが制御要求テキストに一致すると判定した場合に、操作対象装置であるエアコンに対する制御要求を特定する（図２のステップＳ１０参照）。すなわち、図４に示す例では、検出モード設定部１０５が検出モードを第２検出モードに設定した場合には、ユーザが、定義された制御要求テキストに従って「エアコンかけて」と発話した時にのみ、機器制御部１１は、エアコン４の電源をＯＮにする。従って、ユーザが制御要求テキストに一致しない発話をした場合、例えば、「エアコンつけて」、「えーと、エアコンかけたい」又は「エアコンかけると寒くなっちゃうよね」と発話した場合は、機器制御部１１は、エアコン４の電源をＯＮにせず、ＯＦＦの状態を維持する。

自然言語認識に基づく第１検出モードでは、ユーザが、制御要求テキストである「エアコンかけて」を発話する場合以外にも、例えば、「エアコンつけて」又は「えーと、エアコンかけたい」と発話した場合には、機器制御部１１は、エアコン４の電源をＯＮにする。具体的には、ユーザが「エアコンつけて」と発話した場合、制御要求特定部１０６は、音声データを「エアコン」と「つけて」とに分節し、辞書データを参照し、「つけて」が「かけて」の類語であると判断して、「エアコンの電源をＯＮにしたい」という制御要求を特定する。なお、第１検出モードで用いる辞書データは、登録された一の単語と、その単語と意味内容が共通する他の単語とを、類語として対応づけて記憶する。また、ユーザが「えーと、エアコンかけたい」と発話した場合は、制御要求特定部１０６は、「えーと」が間投詞であり、意味を持たない単語であると判断するとともに、「えーと、エアコンかけたい」は、「エアコンかけて」と同じ要求を意味する音声データであると判断する。これによって、制御要求特定部１０６は、「えーと、エアコンかけたい」という音声データに基づいて「エアコンの電源をＯＮにしたい」という制御要求を特定する。
すなわち、各々の制御要求に対応して認識することができる音声データの範囲は、ルールベース認識に基づく第２検出モードの方が、自然言語認識に基づく第１検出モードよりも狭い。すなわち、ルールベース認識に基づく第２検出モードは、制御要求テキストが定義づけられている制御要求のみを特定するので、制御要求の内容を特定することができる音声データの範囲は、定義された制御要求の数に応じて制限される。また、ルールベース認識に基づく第２検出モードは、定義された制御要求テキストと一致する制御要求のみを特定するので、第２検出モードで特定することができる（第２検出モードで入力できる）音声データは制限される。すなわち、検出モードが第２検出モードに設定された場合の音声入力の自由度は、検出モードが第１検出モードに設定された場合よりも低い。従って、第２検出モードの方が第１検出モードよりも、制御要求を特定するための条件が厳しい。
言い換えると、各々の操作対象装置及び制御要求に対応して認識することができる音声データの範囲は、自然言語認識に基づく第１検出モードの方が、ルールベース認識に基づく第２検出モードよりも広い。すなわち、第１検出モードの方が第２検出モードよりも、操作対象装置及び制御要求を特定するための条件が緩和されている。

一方、ユーザが「エアコンかけると寒くなっちゃうよね」と発話した場合、制御要求特定部１０６は、単語の組み合わせ及び順序を辞書データ及び文脈データに沿って解析し、ユーザの音声による指示が「エアコンの電源をＯＮにした場合は、車両の室温が適温を下回るため、エアコンの電源をＯＮにしたくない」ということを意味していると推測する。従って、制御要求特定部１０６は、車両１の機器制御部１１に対して、エアコン４の電源をＯＮにする指示を送信しない。すなわち、ユーザが「エアコンかけると寒くなっちゃうよね」と発話した場合は、検出モードが第１検出モード又は第２検出モードのいずれに設定されていても、エアコン４の電源はＯＦＦの状態に維持され、ＯＮにはならない。
なお、音声認識装置１００の制御要求特定部１０６は、音声データとユーザの実際の指示内容との対応関係のパターンを学習し、辞書データ及び文脈データを定期的に更新することができる。

以上より、本実施形態に係る音声認識装置１００及び音声認識装置１００を用いた音声認識方法は、操作対象装置に応じて、音声データに対応する制御要求を特定するための検出モードを設定し、設定された検出モードに基づいて制御要求を特定する。従って、音声認識装置１００は、各々の操作対象装置に応じた適切な検出モードで、ユーザの音声による指示に基づく制御要求を特定することができる。

また、音声認識装置１００は、特定された操作対象装置が第１検出モード対象装置である場合に、検出モードを、自然言語認識によって前記音声データを解析する第１検出モードに設定し、特定された操作対象装置が第２検出モード対象装置である場合に、検出モードを、自然言語認識とは異なる手法の音声認識によって音声データを解析する２検出モードに設定する。すなわち、音声認識装置１００は、操作対象装置に応じて、検出モードを、自然言語認識を用いた第１検出モード、又は、自然言語認識とは異なる手法の音声認識を用いた第２検出モードのいずれかに設定することができる。また、各々の制御要求に対応して認識することができる音声データの範囲は、第２検出モードの方が、第１検出モードよりも狭く、限定的である。従って、音声認識装置１００は、操作対象装置によって、音声による曖昧な指示（自由度の高い指示）を受け付ける自然言語認識に基づく第１検出モードと、自然言語認識よりも自由度が低いものの、確度の高い音声認識に基づく第２検出モードとを使い分けることができる。なお、自然言語認識を用いて音声データを分析する場合は、制御要求特定部１０６が認識すべき対象の単語の数が増加したり、また、音声データに複数の意味を持つ単語が含まれたりすることがある。そのため、検出モードを第１検出モードに設定した場合は、検出モードを第２検出モードに設定した場合に比べて制御要求の誤認識の可能性が高くなる。よって、音声認識装置１００は、例えば、操作重要度が高く、音声による曖昧な指示が適さない操作対象装置に対して制御の指示が出された場合は、検出モードとして、高い確度の音声認識が期待できる第２検出モードを選択することができる。一方、音声認識装置１００は、操作重要度があまり高くない操作対象装置に対して制御の指示が出された場合は、音声認識ができる範囲が広く、入力が許容される音声の自由度が高い第１検出モードを選択することができる。

また、検出モードが第２検出モードに設定されている場合に、音声認識装置１００は、音声データが、予め定義された制御要求テキストに一致するか否かを判定する。そして、音声認識装置１００は、音声データが制御要求テキストに一致すると判定した場合に、制御要求テキストに対応する制御要求を特定する。すなわち、第２検出モードは、ルールベース認識によって音声データを解析する検出モードである。従って、例えば、操作重要度が高く、自然言語認識による音声認識が適していない操作対象装置に対する制御要求を特定する場合は、音声認識装置１００は、ルールベース認識によって音声データを解析する第２検出モードを選択することができる。よって、音声認識装置１００は、自然言語認識による音声認識が適していない操作対象装置に対する制御要求を特定する場合に、音声認識の確度を向上させ、ユーザの音声による指示の誤認識を防止することができる。

また、検出モードが第２検出モードに設定されている場合であって、音声による指示に基づく音声データが制御要求テキストに一致しない場合に、音声認識装置１００は、ユーザに対して、音声による指示をやり直すように案内する。これにより、検出モードが第２検出モードに設定されている場合に、音声認識装置１００は、ユーザに対して、ルールベース認識が可能な態様で、音声による指示を出すように促すことができる。

さらに、操作対象装置特定部１０４は、操作対象装置が、車両１の走行を制御するための走行制御装置３１であると特定した場合に、操作対象装置を第２検出モード対象装置と判定する。走行制御装置３１による車両１の駆動アクチュエータ、操舵アクチュエータ及び制動アクチュエータの制御は、車両１の走行状態に大きな影響を及ぼすため、走行制御装置３１の操作重要度は特に高い。従って、操作対象装置特定部１０４が、走行制御装置３１を第２検出モード対象装置であると判定することによって、制御要求特定部１０６は、走行制御装置３１に対する制御要求を、確実かつ正確に特定することができる。よって、車両１の走行状態の安定性が維持される。

また、操作対象装置特定部１０４は、操作対象装置が、車両１のトランク、ドア若しくはウィンドウのロック装置、又は、トランク、ドア若しくはウィンドウの開閉装置であると特定した場合に、操作対象装置を第２検出モード対象装置と判定する。すなわち、操作対象装置特定部１０４は、ドアウィンドウロック装置５ａ，ドアウィンドウ開閉装置５ｂ，ルーフウィンドウロック装置６ａ，ルーフウィンドウ開閉装置６ｂ，バックドアロック装置７ａ，バックドア開閉装置７ｂ，トランクロック装置３４ａ又はトランク開閉装置３４ｂを、予め第２検出モード対象装置として設定する。車両１のトランク、ドア若しくはウィンドウがロックされているか、又は、トランク、ドア若しくはウィンドウが開いているか否かは、車両１の走行状態及び車両１に乗車するユーザに大きな影響を及ぼす。そのため、ドアウィンドウロック装置５ａ，ドアウィンドウ開閉装置５ｂ，ルーフウィンドウロック装置６ａ，ルーフウィンドウ開閉装置６ｂ，バックドアロック装置７ａ，バックドア開閉装置７ｂ，トランクロック装置３４ａ及びトランク開閉装置３４ｂの操作重要度は特に高い。操作対象装置特定部１０４が、これらのロック装置及び開閉装置を第２検出モード対象装置と判定することによって、制御要求特定部１０６は、ドアウィンドウ制御装置５，ルーフウィンドウ制御装置６，バックドア制御装置７又はトランク制御装置３４に対する制御要求を、確実かつ正確に特定することができる。よって、車両１の走行状態の安定性が維持される。

操作対象装置特定部１０４は、操作対象装置が、車両１の内部の温度、光量及び音量のうち少なくともいずれか１つを含む環境状態を調整する環境調整装置、すなわち、室内灯３，エアコン４又はオーディオ機器１３であると特定した場合に、操作対象装置を第１検出モード対象装置と判定する。室内灯３，エアコン４又はオーディオ機器１３は、走行制御装置３１又はドア等のロック装置若しくは開閉装置よりも、車両１の走行状態及びユーザに対して与える影響は小さい。そのため、図３に示すように、室内灯３，エアコン４及びオーディオ機器１３の操作重要度は「１（Ｌｏｗ）」である。従って、操作対象装置特定部１０４が、室内灯３，エアコン４又はオーディオ機器１３を第１検出モード対象装置と判定することにより、制御要求特定部１０６は、入力が許容される音声の自由度が高い第１検出モードを用いて、これらの装置への制御要求を特定することができる。これにより、ユーザは、様々なパターンの発話によって、より感覚的に、室内灯３，エアコン４若しくはオーディオ機器１３のＯＮ／ＯＦＦ、又は、室内灯３の光量，エアコン４の風量若しくはオーディオ機器１３の設定音量等を制御する指示を出すことができる。

操作対象装置特定部１０４は、操作対象装置が、車両１の内部に設けられたシートの状態を制御するシート制御装置３３、すなわち、シートマッサージ装置３３ａ，シートヒータ３３ｂ又はシート位置調整装置３３ｃであると特定した場合に、操作対象装置を第１検出モード対象装置として判定する。シート制御装置３３は、走行制御装置３１又はドア等のロック装置若しくは開閉装置よりも、車両１の走行状態及びユーザに対して与える影響は小さい。そのため、図３に示すように、シートマッサージ装置３３ａ及びシートヒータ３３ｂの操作重要度は「１（Ｌｏｗ）」であり、シート位置調整装置３３ｃの操作重要度は「２（Ｍｉｄｄｌｅ）」である。従って、操作対象装置特定部１０４が、シートマッサージ装置３３ａ，シートヒータ３３ｂ又はシート位置調整装置３３ｃを第１検出モード対象装置と判定することにより、制御要求特定部１０６は、入力が許容される音声の自由度が高い第１検出モードを用いて、各々のシート制御装置３３への制御要求を特定することができる。これにより、ユーザは、様々なパターンの発話（自由度の高い発話）によって、より感覚的に、シートマッサージ装置３３ａによるマッサージの強弱の切り替え、シートヒータ３３ｂによって加熱される座面の温度、又は、シート位置調整装置３３ｃによって調整されるシートの高さや位置等を制御する指示を出すことができる。

操作対象装置特定部１０４は、操作対象装置がユーザに対して情報の提供を行う情報提供装置、すなわち、ディスプレイ１２又はオーディオ機器１３であると特定した場合に、操作対象装置を第１検出モード対象装置と判定する。ディスプレイ１２又はオーディオ機器１３は、走行制御装置３１又はドア等のロック装置若しくは開閉装置よりも、車両１の走行状態及びユーザに対して与える影響は小さい。そのため、図３に示すように、ディスプレイ１２又はオーディオ機器１３の操作重要度は「１（Ｌｏｗ）」である。従って、操作対象装置特定部１０４が、ディスプレイ１２又はオーディオ機器１３を第１検出モード対象装置と判定することにより、制御要求特定部１０６は、入力が許容される音声の自由度が高い第１検出モードを用いて、制御要求を特定することができる。これにより、ユーザは、様々なパターンの発話によって、より感覚的に、ディスプレイ１２若しくはオーディオ機器１３のＯＮ／ＯＦＦ、又は、ディスプレイ１２の画面の明度や文字の大きさ若しくはオーディオ機器１３の設定音量等を制御する指示を出すことができる。
なお、オーディオ機器１３は、車両１の内部の環境状態を調整する環境調整装置であるとともに、情報提供装置でもある。また、情報提供装置は、ディスプレイ１２又はオーディオ機器１３のみに限定されず、メータパネル（図示せず）等を含んでもよい。

また、操作対象装置特定部１０４は、図２に示すステップＳ３において、自然言語認識に基づいて音声データを解析し、操作対象装置を特定する。これにより、ユーザが制御要求テキストに一致しない言い方で音声による指示を出した場合であっても、操作対象装置特定部１０４は、操作対象装置を特定することができる。

なお、本実施形態において、音声データ変換部１０２，操作対象装置特定部１０４，検出モード設定部１０５及び制御要求特定部１０６は、サーバ２０に設けられているが、これらのうち一部の機能は、車両１に設けられていてもよい。

《第２実施形態》
第２実施形態に係る音声認識装置２００を含む車両１の構成を図５に示す。なお、以下の説明において、図１～４に記載された符号と同一の符号は、同一又は同様の構成要素又はステップを示すため、詳細な説明は省略する。
図５に示すように、車両１は、音声入力によって、ディスプレイ１２，オーディオ機器１３，ナビゲーション機器１４及び通話装置１５のうちのいずれか一つ以上又はこれらの全てを制御するナビゲーションシステム１１０を有している。ナビゲーションシステム１１０は、車両１に乗車したユーザの発した音声による指示に基づいて、車両１に搭載される各種の装置に対する制御要求を受け付ける音声認識装置２００を有する。音声認識装置２００を構成する音声取得部１０１，音声データ変換部１０２，操作対象装置特定部１０４，検出モード設定部１０５，制御要求特定部１０６及び通信部１０７は、全て、車両１に設けられている。検出モード設定部１０５及び制御要求特定部１０６は、通信部１０７を介して、機器制御部１１とデータ又は信号のやり取りを行うことができる。
なお、音声認識装置２００は、図２に示す音声認識方法と同様の手順によって、操作対象装置に対する制御要求を特定する。

以上より、本実施形態に係る音声認識装置２００は、第１実施形態に係る音声認識装置１００と同様に、操作対象装置に応じて、音声データに対応する制御要求を特定するための検出モードを設定し、設定された検出モードに基づいて制御要求を特定する。従って、音声認識装置２００は、音声認識装置１００と同様に、各々の操作対象装置に応じた適切な検出モードで、ユーザの音声による指示に基づく制御要求を特定することができる。また、音声認識装置２００は車両１に搭載されているため、通信環境に関わらず、ユーザの音声による指示に基づいて、操作対象装置に対する制御要求を特定することができる。

《第３実施形態》
第３実施形態に係る音声認識装置３００及び音声認識装置３００による音声認識方法について、図６～１０を参照して説明する。
図６に示すように、サーバ２０は、集音環境判定部１０８を有する。集音環境判定部１０８は、音声取得部１０１が音声を取得するための集音環境が良好か否かを判定する。また、車両１は、車両１の走行速度を検出する車速センサ２を有している。車速センサ２は、例えば、車両１の車輪の回転速度（車輪速）から、車両１の走行速度を検出する。さらに、車両１は、車両１の周囲の風速を検出する風速センサ８を有している。また、車両１には、車両１の状態情報を取得する車両情報取得部１０３が設けられている。車両情報取得部１０３は、車速センサ２又は風速センサ８に無線又は有線によって接続する。また、車両情報取得部１０３は、音声取得部１０１及び通信部１０７にも、無線又は有線によって接続する。
なお、車両情報取得部１０３は、移動体情報取得部を構成する。

車両１に設けられたディスプレイ１２，オーディオ機器１３，ナビゲーション機器１４，通話装置１５，機器制御部１１，音声取得部１０１，車両情報取得部１０３及び通信部１０７と、サーバ２０の集音環境判定部１０８，音声データ変換部１０２，操作対象装置特定部１０４，検出モード設定部１０５及び制御要求特定部１０６とは、ナビゲーションシステム２１０を構成する。また、車両１に設けられた音声取得部１０１，車両情報取得部１０３及び通信部１０７と、サーバ２０の集音環境判定部１０８，音声データ変換部１０２、操作対象装置特定部１０４、検出モード設定部１０５及び制御要求特定部１０６とは、音声認識装置３００を構成する。すなわち、音声認識装置３００はナビゲーションシステム２１０の一部を構成している。また、音声認識装置３００は、ユーザの発した音声による指示を受け付け、機器制御部１１を介して、車載装置のいずれか一つ以上又は全てを制御する。すなわち、ナビゲーションシステム２１０は、車両１に乗車したユーザの発した音声による指示に基づいて、車両１に搭載される各種の装置に対する制御要求を受け付ける音声認識装置３００を有する。音声認識装置３００は、音声認識システムである。

ここで、車両情報取得部１０３は、車速センサ２，風速センサ８，音声取得部１０１及び通信部１０７を介して、車両１の状態情報を取得する。車両１の状態情報とは、車両１の室内の音環境に影響を与える要素に関する情報である。例えば、車両１の状態情報は、車両１の室内の騒音の大きさ、ドアウィンドウ，ルーフウィンドウ又はバックドア等の開口部の開閉情報、車両１の走行速度、車両１の周囲の風速、オーディオ機器１３の設定音量、エアコン４から吹き出される空気の風量等である。車両１の室内の騒音の大きさは、音声取得部１０１によって検出されるノイズ、すなわち、ユーザの発話による音声以外の音の大きさ（例えば計測値）であり、ｄＢ（デシベル）を単位として算出される。また、車両情報取得部１０３は、通信部１０７及び機器制御部１１を介して、オーディオ機器１３の設定音量、エアコン４から吹き出される空気の風量、ドアウィンドウ、ルーフウィンドウ又はバックドアの開閉情報等を、車両１の状態情報として取得する。また、車両情報取得部１０３は、車両１の室内の騒音の大きさとオーディオ機器１３の設定音量とに基づいて、車両１の内部のうち、例えば、室内の騒音レベルを算出し、算出された騒音レベルを車両１の状態情報として取得することもできる。具体的には、車両１の室内の騒音の大きさに応じて割り振られた点数と、オーディオ機器１３の設定音量に応じて割り振られた点数とを合計することで、騒音レベルが算出される。騒音レベルは、車両１の車室内に設けられたマイクによる計測値を用いて算出してもよいし、車両１の車体に設けられたマイクや振動センサによる計測値を用いて算出してもよい。

サーバ２０に設けられた集音環境判定部１０８は、車両情報取得部１０３によって取得された車両１の状態情報に基づいて、車両１の室内の集音環境が良好か否かを判定する。車両１の室内の集音環境とは、音声認識装置３００の音声取得部１０１がユーザの発した音声を取得するための環境である。車両１の室内の集音環境が良好である程、音声取得部１０１が取得する音声に含まれるノイズ（ユーザの発話による音声以外の音）が少なく、音声認識装置３００がユーザの音声による指示を正確に認識できる可能性が高くなる。一方、車両１の室内の集音環境が良好でない程、音声取得部１０１が取得する音声に含まれるノイズが多く、音声認識装置３００がユーザの音声による指示を、誤って特定する、つまり、誤認識してしまう可能性が高くなる。なお、ユーザの音声による指示の認識処理には、制御の対象となる操作対象装置の特定処理及び／又は操作対象装置に対する制御要求の内容の特定処理を含む。

次に、音声認識装置３００による音声認識方法の手順について、図７に示すフローチャートを用いて説明する。
図７に示すように、ステップＳ４において、操作対象装置が第１検出モード対象装置であると判定された場合は、ステップＳ１３において、車両情報取得部１０３が、移動体の状態情報、すなわち、車両の状態情報を取得する。そして、ステップＳ１４において、集音環境判定部１０８が車両の状態情報に基づいて、集音環境が良好であるか否かを判定する。
なお、ステップＳ１３の処理は、ステップＳ１～Ｓ４の処理と並行して実行してもよい。ステップＳ１３の処理は、本制御手順のスタート以降、継続的又は周期的に行ってもよい。また、車両情報取得部１０３は、本制御手順のスタート前から車両の状態情報を継続的又は周期的に取得しており、ステップＳ１３の処理で、予め継続的又は周期的に取得していた状態情報の中から、音声取得後の車両の状態情報を抽出して取得してもよい。

ここで、車両の状態情報に基づいて集音環境が良好であるか否かを判定する基準について、図８を用いて説明する。
集音環境が良好であるか否かは、車両１の状態情報に応じた誤認識レベルによって判定される。誤認識レベルとは、音声認識装置３００がユーザの発した音声を正確に認識することができず、正しい制御要求を特定することができない可能性を示す指標である。図８に示す例では、誤認識レベルを定量的な指標値として表現する。すなわち、誤認識レベルの指標値が高いほど、車両１の室内にノイズが多く、音声データ変換部１０２が音声を正確に音声データに変換することができないため、ユーザの音声による指示の誤認識の可能性が高くなる。従って、誤認識レベルの指標値が高いほど、集音環境は良好ではない。図８に示す表では、車両１の状態情報に応じた誤認識レベル（指標値）の加算点数が規定されている。なお、図８は、誤認識レベルの算出手法の一例を示すものであり、加算点数や加算の事項は、車両特性、音声認識装置の特性等に応じて予め定義することができる。

図８に示すように、車両１のルーフウィンドウＷ１又はドアウィンドウＷ２が開状態である場合の誤認識レベルの加算点数は１点である。また、エアコン４の風量が予め定められた基準風量以上である場合の誤認識レベルの加算点数は２点である。また、ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態であって、車両１の走行速度が２０ｋｍ／ｈ以上８０ｋｍ／ｈ未満である場合の誤認識レベルの加算点数は２点である。また、ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態であって、車両１の走行速度が８０ｋｍ／ｈ以上である場合の誤認識レベルの加算点数は３点である。さらに、車両１の室内の騒音レベルが予め定められた基準騒音レベル以上である場合の誤認識レベルの加算点数は３点である。
なお、車両１のルーフウィンドウＷ１及びドアウィンドウＷ２は、車両１の開口部を構成する。車両１の開口部は、ルーフウィンドウＷ１又はドアウィンドウＷ２に限定されず、例えば、車両１のドアであってもよい。

集音環境の誤認識レベル（指標値）は、車両１の状態情報に応じて、図８の表の右側に示す点数を加算することにより算出される。例えば、ルーフウィンドウＷ１が開状態であり、車速が２０ｋｍ／ｈ以上８０ｋｍ／ｈ未満である場合の誤認識レベルを示す点数は、１点と２点とを加算して３点と算出される。また、ルーフウィンドウＷ１が開状態であり、エアコン風量が基準風量以上であり、車速が８０ｋｍ／ｈ以上である場合の誤認識レベルを示す点数は、１点と２点と３点とを加算して６点と算出される。
ステップＳ１４において、集音環境判定部１０８は、誤認識レベルの基準レベルを４点と定め、誤認識レベルが基準レベルである４点未満である場合に集音環境が良好であると判定し、誤認識レベルが４点以上である場合に集音環境が良好でないと判定する。なお、基準レベルの点数は、車両特性、音声認識装置の特性等に応じて予め定義することができる。また、基準レベルの点数は、実験又はシミュレーションに基づいて予め定義することもできる。

ステップＳ１４において、集音環境が良好であると判定された場合、ステップＳ５において、検出モード設定部１０５は、検出モードを第１検出モードに設定する。すなわち、集音環境判定部１０８が、集音環境は良好であると判定し、かつ、操作対象装置特定部１０４が操作対象装置を第１検出モード対象装置と判定している場合は、検出モード設定部１０５は、検出モードを前記第１検出モードに設定する。

一方、ステップＳ１４において、集音環境が良好でないと判定された場合、ステップＳ１５において、操作対象装置特定部１０４は、操作対象装置の設定を第１検出モード対象装置から第２検出モード対象装置に変更する。すなわち、集音環境判定部１０８が集音環境は良好でないと判定している場合は、操作対象装置特定部１０４は、予め第１検出モード対象装置として設定されていた操作対象装置を、第２検出モード対象装置に変更して設定し直す。サーバ２０は、操作対象装置の設定の変更を示す情報、すなわち、操作対象装置の設定が第１検出モード対象装置から第２検出モード対象装置に変更されたことを含む情報を、車両１の通信部１０７及び機器制御部１１を介して、ディスプレイ１２又はオーディオ機器１３に出力する。そして、ステップＳ８において、検出モード設定部１０５は、検出モードを第２検出モードに設定する。

ここで、ステップＳ１５において、操作対象装置特定部１０４が、操作対象装置の設定を第１検出モード対象装置から第２検出モード対象装置に変更して、設定し直した状態の例を、図９に示す。
ステップＳ１４において、集音環境が良好でないと判定された場合は、図９に示すように、操作重要度「１（Ｌｏｗ）」の区分に分類されるナビゲーション機器１４，通話装置１５，オーディオ機器１３，ディスプレイ１２，室内灯３，エアコン４，シートマッサージ装置３３ａ及びシートヒータ３３ｂは、第２検出モード対象装置として判定され、ルールベース認識に基づく第２検出モードによって制御要求が特定される。また、操作重要度「２（Ｍｉｄｄｌｅ）」の区分に分類されるシート位置調整装置３３ｃも、同様に、第２検出モード対象装置として判定され、ルールベース認識に基づく第２検出モードによって制御要求が特定される。

なお、操作重要度「３（Ｈｉｇｈ）」の区分に分類される走行制御装置３１，ヘッドランプ３２，ドアウィンドウロック装置５ａ，ドアウィンドウ開閉装置５ｂ，ルーフウィンドウロック装置６ａ，ルーフウィンドウ開閉装置６ｂ，バックドアロック装置７ａ，バックドア開閉装置７ｂ，トランクロック装置３４ａ及びトランク開閉装置３４ｂについては、設定の変更は行われない。従って、ステップＳ１４において、集音環境が良好でないと判定された場合は、操作対象装置は全て第２検出モード対象装置に設定され、操作対象装置に対する制御要求の特定には、全て、ルールベース認識に基づく第２検出モードが適用される。

以上より、本実施の形態に係る音声認識装置３００及び音声認識装置３００を用いた音声認識方法では、集音環境判定部１０８が、集音環境は良好であると判定し、かつ、操作対象装置特定部１０４が操作対象装置を第１検出モード対象装置として判定している場合は、検出モード設定部１０５は、検出モードを前記第１検出モードに設定する。従って、音声認識装置３００は、集音環境が良好である場合、すなわち、集音環境にノイズが少ない場合にのみ、操作重要度があまり高くない第１検出モード対象装置に対して、自然言語認識に基づく第１検出モードを適用し、制御要求を特定する。すなわち、音声認識装置３００は、ノイズの多い集音環境では、自然言語認識に基づく第１検出モードの適用を避けるように構成されている。よって、音声認識装置３００は、音声入力の自由度が高い自然言語認識によって制御要求を特定する場合であっても、集音環境に応じて、誤認識の可能性を低くすることができるため、操作対象装置に対する制御要求をより確実に特定することができる。

また、集音環境判定部１０８が集音環境は良好でないと判定している場合は、操作対象装置特定部１０４は、予め第１検出モード対象装置として設定されていた操作対象装置を、第２検出モード対象装置に変更して設定し直す。ここで、集音環境が良好でない場合、すなわち、ノイズが多い集音環境では、制御要求の特定に誤認識が生じる可能性が高まる。そのため、予め第１検出モード対象装置として設定されていた操作対象装置も第２検出モード対象装置に設定し直して、ルールベース認識に基づく第２検出モードを適用し、制御要求を特定することによって、誤認識を防止することができる。

集音環境判定部１０８は、空調装置であるエアコン４から吹き出される空気の風量を状態情報として取得する。エアコン４の風量が多い程、音声取得部１０１が取得する音声にノイズが混じりやすくなるため、エアコン４から吹き出される空気の風量を状態情報として取得することによって、集音環境判定部１０８は、集音環境が良好か否かをより適切に判定することができる。

また、集音環境判定部１０８は、車両１に設けられた開口部であるルーフウィンドウＷ１又はドアウィンドウＷ２の開閉状態と、ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態である場合における車両１の走行速度を状態情報として取得する。ルーフウィンドウＷ１又はドアウィンドウＷ２が開けられた状態で車両１が走行している場合、車両１の走行速度が速い程、風音や対向車の走行音等、外から車両１の室内に入ってくるノイズが大きくなるからである。そのため、ルーフウィンドウＷ１又はドアウィンドウＷ２の開閉状態と、車両１の走行速度とを状態情報として取得することにより、集音環境判定部１０８は、集音環境が良好か否かをより適切に判定することができる。

さらに、集音環境判定部１０８は、車両１に設けられた開口部であるルーフウィンドウＷ１又はドアウィンドウＷ２の開閉状態と、ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態である場合における車両１の周囲の風速を状態情報として取得する。ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態にある場合には、車両１の周囲の風速が速い程、車両１の室内に吹き込む風量が多く、ノイズが大きくなるからである。なお、車両１が走行しておらず停止している場合であっても、ルーフウィンドウＷ１又はドアウィンドウＷ２が開状態にあれば、車両１の周囲の風速は、車両１の室内の集音環境に影響を及ぼす。そのため、ルーフウィンドウＷ１又はドアウィンドウＷ２の開閉状態と、車両１の周囲の風速とを状態情報として取得することにより、集音環境判定部１０８は、集音環境が良好か否かをより適切に判定することができる。
なお、車両１の開口部は、ルーフウィンドウＷ１又はドアウィンドウＷ２に限定されず、その他の窓又はドアであってもよい。

また、集音環境判定部１０８は、車両１の室内の騒音レベルを状態情報として取得する。車両１の室内の騒音レベルが高い程、音声取得部１０１が取得する音声にノイズが混じりやすくなるため、車両１の室内の騒音レベルを状態情報として取得することによって、集音環境判定部１０８は、集音環境が良好か否かをより適切に判定することができる。

また、操作対象装置特定部１０４が、予め第１検出モード対象装置として設定されていた操作対象装置を、第２検出モード対象装置に変更して設定し直した場合は、音声認識装置３００は、車両１に設けられたディスプレイ１２又はオーディオ機器１３に、操作対象装置の設定の変更を示す情報を出力する。これにより、操作対象装置の設定が第１検出モード対象装置から第２検出モード対象装置に変更されたことをユーザが確実に確認することができ、ユーザは、操作対象装置の現在の設定に合わせた音声指示を出しやすくなる。

なお、本実施の形態に係る音声認識装置３００を用いた音声認識方法は、図７に示すフローに限定されない。音声認識装置３００を用いた音声認識方法の別例を、図１０に示す。
図１０に示すように、ステップＳ３において、操作対象装置が特定された場合は、ステップＳ２３において、車両情報取得部１０３が、車両の状態情報を取得する。なお、ステップＳ２３の処理は、ステップＳ１～Ｓ４の処理と並行して実行してもよい。そして、ステップＳ２４において、集音環境判定部１０８が車両の状態情報に基づいて、集音環境が良好であるか否かを判定する。ステップＳ２４において、集音環境が良好でないと判定された場合は、音声認識装置３００は、操作対象装置が第１検出モード対象装置か否かを判定せずに、検出モードを、一律に、第２検出モードに設定する。すなわち、集音環境判定部１０８が集音環境は良好であると判定し、かつ、操作対象装置特定部１０４が操作対象装置を第２検出モード対象装置と判定している場合、又は、集音環境判定部１０８が集音環境は良好でないと判定している場合は、検出モード設定部１０５は、検出モードを第２検出モードに設定する。この場合も、集音環境が良好でないと判定された場合には、図９に示すように、操作対象装置は全て第２検出モード対象装置に設定され、操作対象装置に対する制御要求の特定には、全て、ルールベース認識に基づく第２検出モードが適用される。これにより、音声認識装置３００は、音声入力の自由度が高い自然言語認識によって制御要求を特定する場合であっても、集音環境に応じて、誤認識の可能性を低くすることができる。

また、車両情報取得部１０３は、車両１の走行状態を車両１の状態情報として取得することができる。この場合、操作対象装置特定部１０４は、車両１の走行状態に基づいて、車両１が停止していると判定した場合に、予め第２検出モード対象装置として設定されていた操作対象装置を、第１検出モード対象装置に変更して設定し直すことができる。具体的には、図３に示す第２検出モード対象装置であるヘッドランプ３２，ドアウィンドウロック装置５ａ，ドアウィンドウ開閉装置５ｂ，ルーフウィンドウロック装置６ａ，ルーフウィンドウ開閉装置６ｂ，バックドアロック装置７ａ，バックドア開閉装置７ｂ，トランクロック装置３４ａ及びトランク開閉装置３４ｂは、車両１が停止している間は、ユーザに及ぼす影響が小さくなる。従って、これらの車載装置の設定を第１検出モード対象装置に変更し、音声入力の自由度が高い自然言語認識に基づく第１検出モードによって制御要求を特定してもよい。すなわち、車両１が停車している間は、操作対象装置は全て第１検出モード対象装置に設定され、操作対象装置に対する制御要求の特定には、全て、自然言語認識に基づく第１検出モードが適用されてもよい。また、操作対象装置特定部１０４が、予め第２検出モード対象装置として設定されていた操作対象装置を、第１検出モード対象装置に変更して設定し直した場合は、音声認識装置３００は、車両１に設けられたディスプレイ１２又はオーディオ機器１３に、操作対象装置の設定の変更を示す情報を出力してもよい。

また、音声認識装置１００，２００，３００は、音声認識の手法として自然言語認識又はルールベース認識のいずれを用いるかの区別に関わらずに、特定された操作対象装置に応じて、第１検出モード又は第２検出モードを設定してもよい。例えば、第１検出モード及び第２検出モードは、いずれも、自然言語認識に基づく検出モードであってもよい。この場合も、各々の制御要求に対応して認識することができる音声データの範囲は、第２検出モードの方が、第１検出モードよりも狭くなるように設定される。具体的には、第１検出モードをマルチインテント（Ｍｕｌｔｉ－ｉｎｔｅｎｔ）式の自然言語認識に基づく検出モードとし、第２検出モードをシングルインテント（Ｓｉｎｇｌｅ－ｉｎｔｅｎｔ）式の自然言語認識に基づく検出モードとしてもよい。マルチインテント式の自然言語認識に基づく検出モードでは、制御要求特定部１０６は、２つ以上の制御要求が含まれる音声指示、例えば「エアコンを消して、窓をあけて」等の指示から、２つの制御対象装置（エアコン４とドアウィンドウＷ２）と各々の制御対象装置に対する制御要求（「エアコンをＯＦＦにしたい」と「ドアウィンドウを開けたい」）を特定することができる。一方、シングルインテント式の自然言語認識に基づく検出モードでは、制御要求特定部１０６は、例えば「エアコンを消して」又は「窓をあけて」のように、１回の音声指示につき１つの制御要求が含まれている場合にのみ、制御要求を特定することができる。

また、音声認識装置１００，２００，３００は、図３に示すように、操作重要度「１（Ｌｏｗ）」の区分に分類される操作対象装置と、操作重要度「２（Ｍｉｄｄｌｅ）」の区分に分類される操作対象装置とで、自然言語認識の手法を異なるものとしてもよい。具体的には、検出モード設定部１０５は、操作重要度「１（Ｌｏｗ）」の区分に分類される操作対象装置に対して、マルチインテント式の自然言語認識に基づく第１検出モードを設定し、操作重要度「２（Ｍｉｄｄｌｅ）」の区分に分類される操作対象装置に対して、シングルインテント式の自然言語認識に基づく第１検出モードを設定してもよい。また、これに限定されず、検出モード設定部１０５は、各々の第１検出モード対象装置に応じて、適宜、２種類以上の手法による自然言語認識に基づく検出モードを設定してもよい。

また、移動体は車両に限定されず、電車又は飛行機であってもよい。

上記の車両１は、本発明に係る移動体に相当する。上記の室内灯３は、本発明に係る環境調整装置に相当する。上記のエアコン４は、本発明に係る環境調整装置及び空調装置に相当する。上記のディスプレイ１２は、本発明に係る情報提供装置に相当する。上記のオーディオ機器１３は、本発明に係る環境調整装置及び情報提供装置に相当する。上記の車両情報取得部１０３は、本発明の移動体情報取得部に相当する。上記のルーフウィンドウＷ１及びドアウィンドウＷ２は、本発明の開口部に相当する。

１００，３００…音声認識装置（音声認識システム）
２００…音声認識装置
１…車両（移動体）
３…室内灯（環境調整装置）
４…エアコン（環境調整装置／空調装置）
５ａ…ドアウィンドウロック装置
５ｂ…ドアウィンドウ開閉装置
６ａ…ルーフウィンドウロック装置
６ｂ…ルーフウィンドウ開閉装置
７ａ…バックドアロック装置
７ｂ…バックドア開閉装置
１２…ディスプレイ（情報提供装置）
１３…オーディオ機器（環境調整装置／情報提供装置）
３１…走行制御装置
３３…シート制御装置
３４ａ…トランクロック装置
３４ｂ…トランク開閉装置
１０１…音声取得部
１０２…音声データ変換部
１０３…車両情報取得部（移動体情報取得部）
１０４…操作対象装置特定部
１０５…検出モード設定部
１０６…制御要求特定部
１０８…集音環境判定部
Ｗ１…ルーフウィンドウ（開口部）
Ｗ２…ドアウィンドウ（開口部）

Claims (19)

1. ユーザの発した音声による指示に基づいて、移動体に搭載される装置に対する制御要求を受け付ける音声認識装置であって、
   前記音声を取得する音声取得部と、
   前記音声取得部により取得された前記音声を音声データに変換する音声データ変換部と、
   前記音声データ変換部により変換された前記音声データを解析して、操作の対象である操作対象装置を特定する操作対象装置特定部と、
   前記操作対象装置特定部により特定された前記操作対象装置に応じて、前記音声データに対応する前記制御要求を特定するための検出モードとして、辞書データを参照して自然言語認識に基づき前記音声データを解釈し、前記音声データが前記制御要求と同じ要求を意味する音声データであるかを判断することによって前記音声データを解析する第１検出モード、又は、前記音声データが予め定義された制御要求テキストに一致するか否かを判定することによって前記音声データを解析する第２検出モードを設定する検出モード設定部と、
   前記検出モード設定部により設定された前記検出モードに基づいて、前記操作対象装置に対する前記制御要求を特定する制御要求特定部とを備える、音声認識装置。
2. 前記検出モード設定部は、
   前記特定された操作対象装置が第１検出モード対象装置である場合に、前記検出モードを前記第１検出モードに設定し、
   前記特定された操作対象装置が第２検出モード対象装置である場合に、前記検出モードを前記第２検出モードに設定し、
   各々の前記制御要求に対応して認識することができる前記音声データの範囲は、前記第２検出モードの方が、前記第１検出モードよりも狭い、請求項１に記載の音声認識装置。
3. 前記検出モード設定部が、前記検出モードを前記第２検出モードに設定した場合に、
   前記制御要求特定部は、
   前記音声データが、予め定義された制御要求テキストに一致するか否かを判定し、
   前記音声データが前記制御要求テキストに一致すると判定した場合に、前記制御要求テキストに対応する前記制御要求を特定する、請求項２に記載の音声認識装置。
4. 前記検出モードが前記第２検出モードに設定されている場合であって、
   前記音声による指示に基づく前記音声データが前記制御要求テキストに一致しない場合に、
   前記制御要求特定部は、
   前記ユーザに対して、前記音声データが前記制御要求テキストに一致するように前記指示をやり直すことを案内する案内情報を、前記移動体に設けられた情報提供装置に出力する、請求項３に記載の音声認識装置。
5. 前記操作対象装置特定部は、前記操作対象装置が、前記移動体の走行を制御するための走行制御装置であると特定した場合に、前記操作対象装置を前記第２検出モード対象装置と判定する、請求項２～４のいずれか一項に記載の音声認識装置。
6. 前記操作対象装置特定部は、前記操作対象装置が前記移動体のトランク、ドア若しくはウィンドウのロック装置、又は、前記トランク、前記ドア若しくは前記ウィンドウの開閉装置であると特定した場合に、前記操作対象装置を前記第２検出モード対象装置と判定する、請求項２～４のいずれか一項に記載の音声認識装置。
7. 前記操作対象装置特定部は、前記操作対象装置が、前記移動体の内部の温度、光量又は音量のうち少なくともいずれか１つを含む環境状態を調整する環境調整装置であると特定した場合に、前記操作対象装置を前記第１検出モード対象装置と判定する、請求項２～４のいずれか一項に記載の音声認識装置。
8. 前記操作対象装置特定部は、前記操作対象装置が、前記移動体の内部に設けられたシートの状態を制御するシート制御装置であると特定した場合に、前記操作対象装置を前記第１検出モード対象装置と判定する、請求項２～４のいずれか一項に記載の音声認識装置。
9. 前記操作対象装置特定部は、前記操作対象装置が前記ユーザに対して情報の提供を行う情報提供装置であると特定した場合に、前記操作対象装置を前記第１検出モード対象装置と判定する、請求項２～４のいずれか一項に記載の音声認識装置。
10. 前記移動体の状態情報を取得する移動体情報取得部と、
    移動体情報取得部が取得した前記移動体の前記状態情報に基づいて、前記音声を取得するための集音環境が良好か否かを判定する集音環境判定部とを備え、
    前記集音環境判定部が前記集音環境は良好であると判定し、かつ、前記操作対象装置特定部が前記操作対象装置を前記第１検出モード対象装置と判定している場合には、前記検出モード設定部は、前記検出モードを前記第１検出モードに設定する、請求項２～９のいずれか一項に記載の音声認識装置。
11. 前記集音環境判定部が前記集音環境は良好でないと判定している場合は、前記操作対象装置特定部は、予め前記第１検出モード対象装置として設定されていた前記操作対象装置を、前記第２検出モード対象装置に変更して設定し直す、請求項１０に記載の音声認識装置。
12. 前記移動体情報取得部は、前記移動体に設けられた空調装置から吹き出される空気の風量を前記状態情報として取得する、請求項１０又は１１に記載の音声認識装置。
13. 前記移動体情報取得部は、前記移動体に設けられた開口部の開閉状態と、前記開口部が開状態である場合における前記移動体の走行速度とを前記状態情報として取得する、請求項１０～１２のいずれか一項に記載の音声認識装置。
14. 前記移動体情報取得部は、前記移動体に設けられた開口部の開閉状態と、前記開口部が開状態である場合における前記移動体の周囲の風速を前記状態情報として取得する、請求項１０～１２のいずれか一項に記載の音声認識装置。
15. 前記移動体の状態情報を取得する移動体情報取得部を備え、
    前記移動体情報取得部は、前記移動体の走行状態を前記状態情報として取得し、
    前記操作対象装置特定部は、前記移動体の前記走行状態に基づいて、前記移動体が停止していると判定した場合に、予め前記第２検出モード対象装置として設定されていた前記操作対象装置を、前記第１検出モード対象装置に変更して設定し直す、請求項２～９のいずれか一項に記載の音声認識装置。
16. 前記操作対象装置特定部が、予め前記第１検出モード対象装置として設定されていた前記操作対象装置を、前記第２検出モード対象装置に変更して設定し直した場合、又は、予め前記第２検出モード対象装置として設定されていた前記操作対象装置を、前記第１検出モード対象装置に変更して設定し直した場合は、前記移動体に設けられた情報提供装置に、前記操作対象装置の設定の変更を示す情報を出力する、請求項２～１５のいずれか一項に記載の音声認識装置。
17. 前記操作対象装置特定部は、自然言語認識に基づいて前記音声データを解析し、操作対象装置を特定する、請求項１～１６のいずれか一項に記載の音声認識装置。
18. 前記操作対象装置特定部は、操作重要度によって分類された操作対象装置の区分に応じて、前記操作対象装置を第１検出モード対象装置又は第２検出モード対象装置と判定し、
    前記検出モード設定部は、前記操作対象装置特定部による判定結果に応じて、前記検出モードを設定する請求項１～１７のいずれか一項に記載の音声認識装置。
19. ユーザの発した音声による指示に基づいて、移動体に搭載される装置に対する制御要求を受け付ける音声認識装置を用いた音声認識方法であって、
    前記音声認識装置は、
    前記音声を取得し、
    取得した前記音声を音声データに変換し、
    前記音声データを解析して、操作の対象である操作対象装置を特定し、
    前記操作対象装置に応じて、前記音声データに対応する前記制御要求を検出するための検出モードとして、辞書データを参照して自然言語認識に基づき前記音声データを解釈し、前記音声データが前記制御要求と同じ要求を意味する音声データであるかを判断することによって前記音声データを解析する第１検出モード、又は、前記音声データが予め定義された制御要求テキストに一致するか否かを判定することによって前記音声データを解析する第２検出モードを設定し、
    設定された前記検出モードに基づいて、前記操作対象装置に対する前記制御要求を特定する、音声認識方法。

Images