JP3827058B2 - 音声対話装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両搭載機器等の各種機器を、音声認識装置を用いて利用者の音声により操作する場合において、利用者の音声による指令に対応して音声認識システム側が利用者の意図を推測して利用者に推測したことを提示する等、利用者と音声認識システムとが対話を行うことができるようにした音声対話装置に関する。
【０００２】
【従来の技術】
家庭内の各種機器を初めあらゆる機器は、制御技術の発達等により機能が増加し、それらの機能を行うために各機器には多くの操作スイッチが設けられるようになっており、例えば車両搭載機器においても同様の傾向となっている。即ち、車両においては、オーディオ、エアコン、近年広く普及しているカーナビゲーション装置、更にはパワーウインドウやドアロック等の各種機器が搭載され、これらは各々機能が増大し、車内には多くのスイッチが設置されている。
【０００３】
しかもこれらのスイッチは、コンソールパネル部やアームレスト近辺、更にはハンドル周囲と分散しており、また、コンソールパネル部においてもエアコン部分、オーディオ部分、カーナビゲーション設置部分、あるいはディスプレイ上のタッチパネル部分等に分散しており、その確実な操作を行うには多くの熟練を要するようになっている。
【０００４】
上記のような車両搭載機器においては、これらの操作を行う人は多くの場合運転者であり、運転者は通常、車両の安全のために常に前方及びその周辺を注視していなければならず、それに加えて上記のような多くの車両搭載機器について、分散している操作部分で操作しなければならないため、どうしても安全運転に支障を来すこととなる。
【０００５】
その対策として、近年の音声認識技術の進展により、車両に音声認識装置を搭載し、利用者の発声する各機器の操作指示によって、これらの機器を作動する技術開発が進んでいる。車両における各種機器の中では、特にその操作機能が多いと共に、運転に関する情報を直接提示するナビゲーション装置に対して、このような音声認識装置を適用するための技術開発が進んできたが、この音声認識装置は当然オーディオの操作、エアコンの操作等にも使用することができるため、例えばオーディオのヘッドユニットに音声認識装置を組み込み、ヘッドユニットに接続した各種機器を音声により操作する研究もなされている。更に、エアコンにおいても同様であり、このように車両に搭載している各種機器に音声認識装置を組み込むことにより、各々の機器を音声によって操作することができるようになり、運転者の機器操作の負担を軽減することができる。
【０００６】
上記のように、音声認識装置を組み込んだ機器を車両に搭載することにより、運転者はこれらの機器を操作する際、操作スイッチを見つけてそれを操作するという必要が無くなり、容易に各種操作を行うことができるものであるが、車両搭載機器において、例えばオーディオ装置とエアコンとは各々別のメーカーが製作し、これを車両メーカーが組み立てることにより製品化することが多く、また、例えば利用者が最初搭載されていたオーディオ装置より機能・性能の良いオーディオの搭載を望み、後付け用オーディオ装置を購入して組み込む場合もあり、結局、各機器毎に独立した音声認識装置を組み込んで製品化することとなる。
【０００７】
【発明が解決しようとする課題】
しかしながら、このような音声認識により作動する各種機器を車両に搭載して使用しているとき、例えばオーディオ装置に対して音声による指示を行うときには、多数ある機器の中からオーディオへの音声指示を行うことを指定した後に、例えば「ＭＤ２曲目再生」等の音声指示を行う。また、エアコンに対して音声による指示を行うときには、同様に、エアコンへの音声指示を行うことを指定した後に、例えば「温度を下げる」等の音声指示を行う。このように、車両に搭載する各種機器に対して個別に音声認識装置を組み込み、これらの機器の操作を音声によって指示するときには、音声によって指示する機器の選択操作を行わなければならず面倒であるという問題があった。
【０００８】
一方、従来の音声認識装置においては、各機器を音声により操作指示を行うとき、その操作の指示はあらかじめ定められた指示項目の階層順に行う必要があった。例えばオーディオ装置を音声により操作するに際して、「ＭＤ」の「２曲目」を「再生」する時には、この順序で音声により指示する必要があり、例えば一番最初に「２曲目」と指示したときには、このオーディオ機器にＣＤやカセットテープ等の複数の音楽再生機器を備えているとき、このような音声入力によっては作動することができず、再度の正しい音声入力を行うように指示されることとなる。
【０００９】
その際、音声認識を行う機器において、音声認識用制御を行う音声認識エンジンからは、単に再度の正しい音声入力の指示がなされるのみであるので、使用者はどこが間違ったのかをよく考え、正しい指示は何かを検討した後に、再度音声指示を行う必要がある。このように、従来の音声認識装置においては、あらかじめ定められた音声認識用の階層構造に沿って、順に音声入力指示を行う必要があり、その使用に際してこのような制約があるため、使用が面倒であるという問題もあった。
【００１０】
このような問題点は、前記のような機器の操作指示に限らず、例えばナビゲーション装置の目的地を音声入力で設定する際等にも当てはまり、更に、一般家庭の電気機器操作を音声で行うような場合、あるいはパソコンに接続された種々の機器を音声で操作する場合等、各種の音声認識装置搭載機器において同様の問題を生じる。
【００１１】
したがって、本発明は、多くのものを対象として音声により一連で指示を行うことができ、しかもその音声による指示の際に階層構造に沿って音声指示を行う必要が無く、階層構造に沿っていない操作指示に対しては、機器の側で利用者の意図を推測し、また、不足している操作指示部分の入力を機器の側から質問し、利用者はそれに答えるだけで適切な指示を行うことができるようにした音声対話装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を解決するため、利用者の音声を認識する音声認識手段と、音声認識手段からの入力信号により利用者への対話情報を出力する音声対話手段と、前記対話情報を利用者への音声に変換する音声合成手段とを備え、前記音声対話手段には、音声認識対象項目群の各項目を階層順に並べてこれを接続した音声認識用ツリー構成データを備えると共に、前記音声認識用ツリー構成データの項目をチェックしてツリー構成の根幹部から前記入力信号に対応しない部分を枝刈りし、ツリー構成上不足する項目を得るツリーチェック・枝刈り部と、不足する項目のうち利用者が意図していると思われる項目を推定して利用者に提示する不足データ推定部と、前記枝刈の結果１本の枝が確立していることを確認したときそのツリーに対応する信号を外部に出力する信号出力部とを備えたことを特徴とする音声対話装置としたものである。
【００１３】
また、前記音声認識対象項目群は、機器の種類、機能、動作の階層項目からなる音声認識用ツリー構成をなすようにしたものである。
【００１４】
また、前記不足データ推定部は、機器の前回作動終了状態を記憶したラストモードに基づき推定を行うようにしたものである。請求項２記載の音声対話装置。
【００１５】
また、前記音声認識対象項目群は、広域の地名から狭域の地名の階層項目からなる音声認識用ツリー構成をなすようにしたものである。
【００１６】
また、前記不足データ推定部は、現在地に近い地名を優先的に推定するようにしたものである。
【００１７】
また、前記音声対話手段は、利用者の追加音声入力による追加項目が、前回チェックした項目とは別のツリー構成部分であるときには、前回のチェックを消去し、新たなツリー構成部分へのチェックを行うようにしたものである。
【００１８】
また、前記音声認識手段は、前記音声認識対象項目群の各項目に対応した音声認識用辞書を参照するようにしたものである。
【００１９】
【発明の実施の形態】
本発明の実施の形態を図面に沿って説明する。図１は本発明による音声対話装置を、車両搭載機器に用いた例を示し、この例においては、ＣＤプレーヤ１、ＭＤプレーヤ２、ラジオ３を接続しているヘッドユニット等のオーディオ制御部４を備えると共に、エアコン５を備え、これらの機器を音声によって操作指示する場合の構成を示している。
【００２０】
これらの機器を音声によって操作する際には、マイク６から入力された音声を音声認識エンジン７において、例えば図３（ｂ）に示すような認識単語テーブルを備えた音声認識用辞書８を参照しつつ認識し、操作指示信号としてこれを音声対話エンジン９に入力する。音声対話エンジン９内においては、入力された操作指示信号に応じて後述する図２に示すような種々の作動をなすため、多くの機能部を備えているが、基本的な機能部の構成は図１に示すようなものとなる。即ち、操作指示信号入力部１０に入った信号はツリーチェック・枝刈り部１１において、図４に示すような音声認識用ツリー構成１２を形成するための、図３（ａ）に詳細に示すようなツリー構成テーブル１３のデータに基づき、このツリーの図中２１〜４７で示されている各項目のいずれに相当するかをチェックし、チェックされた項目に沿った枝以外の枝に対して枝刈りを行う。
【００２１】
このようにして得られたツリー情報を元に、利用者意図推定部１４は前記チェックされた項目を操作指示メモリ１５にメモリし、更に機器の操作のためにはデータが不足しているときには、今までの操作指示入力データに基づいて利用者が意図していると思われる操作指示を推定して対話情報とし、これを対話情報出力部１６から音声合成エンジン１７に出力する。音声合成エンジン１７ではこれを音声化し、スピーカ１８から利用者に対して音声出力する。また、このような音声対話を繰り返し、また、対話情報出力部から種々の確認出力を行った後、音声認識用ツリー構成１２において一義的に操作指示が決定される状態となったたときには、それまでの操作指示メモリ１５のデータに基づいて、機器作動信号出力部１９から外部の所定の機器に対して、所定の操作指示を行う。
【００２２】
上記のような機能ブロックからなる音声対話エンジン８の作動を説明する前に、作動の最も基本となる音声認識用ツリー構成図の例を図４に沿って説明する。この例における音声認識用ツリー構成は、その根幹をなす「ＲＯＯＴ」２１から、ユニット分類項目と、それを展開した操作最小機能分類項目と、更にそれを展開した動作項目という順に階層分けされ、具体的には、「ＲＯＯＴ」２１からユニット項目として「オーディオ」２２と「エアコン」２３が枝分かれしており、「オーディオ」２２にはその機器構成項目として「ＣＤ」２４、「ＭＤ」２５、「ラジオ」２６が存在し、各々が枝分かれしている。また、この「オーディオ」２２には各機器共通の機能分類項目として、音量を一時的に低くさせる「ミュート」２７の機能項目を備えている。なお、図示したものは一例であり、例えばこの「オーディオ」２２に関しては、「オン」「オフ」等の動作分類項目を設け、また、「音量」の機能分類項目を設けて、そこに「上げる」「下げる」等の動作分類項目を枝分かれさせておくことも可能である。
【００２３】
また、図示の例においては、上記「ＣＤ」２４には、図４中「１曲目」２８と「２曲目」２９として示されているように、このＣＤに記録されている曲番に対応する項目が枝分かれしており、更に各曲に対して図中の例では「再生」３０、３１として示されている動作分類項目が１つだけ存在するものを示している。同様に「ＭＤ」２５に対しても「１曲目」３２、「２曲目」３３の項目が、更に各曲に対して図中「再生」３４、３５として示されている動作分類項目を備えている。
【００２４】
「ラジオ」２６は「ＦＭ」３６と「ＡＭ」３７を枝分かれさせ、更に機能分類項目である「ミュート」２７はそのミュートを「かける」３８と「やめる」３９を枝分かれさせている。なお、オーディオ２２における上記のように枝分かれさせたツリー構成は、上記の例のほか、「作動」等の機能分類項目を付け加え、そこに「スキップ」「早送り」「早戻し」「停止」等の動作分類項目を枝分かれさせることができる。なお、そのほかのオーディオ機器構成を有する場合は、それに対応して音声認識用ツリー構成を形成することとなる。
【００２５】
一方、「エアコン」２３については、動作分類項目として「オン」４０と「オフ」４１を直接枝分かれさせ、また、操作対象機能分類項目として「風量」４２、「設定温度」４３を枝分かれさせている。また、「風量」４２については「上げる」４４と「下げる」４５の動作分類項目を枝分かれさせており、「設定温度」４３についても同様に「上げる」４６と「下げる」４７の動作分類項目を枝分かれさせている。なお、ここで「風量」４２と「設定温度」４３共に同じ「上げる」と「下げる」の各項目を枝分かれさせているが、例えば「風量」４２を「強く」「弱く」等とすることも可能である。ただし、ここでは本発明の機能、及び作動の説明の都合上、上記のように風量と温度設定が同じ言葉で動作するものを示している。
【００２６】
上記図４に示すように「ＲＯＯＴ」２１から各種枝分かれさせている音声認識用ツリー構成を備えた装置において、このツリー構成に対応して、図３（ａ）に示すようなツリー構成テーブルが作成される。即ち、このツリー構成テーブルの例においては、図４に示す各項目に対するＩＤ番号２１〜４７がつけられ、それに名前が付され、各項目のツリー構成上における直上の階層項目である親ノードの項目のＩＤ番号が付されている。例えばＩＤ番号３６の「ＦＭ」の親ノード番号はＩＤ番号２６であって、ツリー構成上の直上の階層項目は「ラジオ」であることが示され、また、ＩＤ番号２６の「ラジオ」の親ノードＩＤ番号は２２であって、ツリー構成上の直上の階層項目は「オーディオ」であることが示される。このように、このテーブルによってツリー構成を示すデータが得られる。
【００２７】
また、このテーブルには「認識フラグ」欄を備えており、音声認識作動中に適宜この部分にフラグを立て、一連のツリー構成が形成される状態を確認する等の作業ために使用することができる。図３（ａ）中のテーブルに示される例においては、「オーディオ」「ＣＤ」「ＣＤ２曲目」に認識フラグ「１」が立てられ、一連のツリー構成が完成していることを示している。また「ラストモード」欄を設け、各機器分類項目において、前回作動して終了した状態、即ちラストモードをここにメモリしておき、後述するように操作者の意図を推定するの際にこれを用いる。図３（ａ）の例においては、例えば「オーディオ」は前回ＩＤ番号２５の「ＭＤ」の作動中に終了し、この「ＭＤ」においてはＩＤ番号３２の「ＭＤ１曲目」で終了したことを示している。なお、「対応動作」はこの表における各項目の動作を説明するために記載しており、実際の作動には関与しない。
【００２８】
更に、各項目に対して「認識単語リスト」を備え、各項目を音声認識させる際にどのような言葉が発せられたときに、この項目と認識するかを、あらかじめ考えられる態様をリストアップしておく。この欄にリストアップされた言葉はすべて図３（ｂ）の認識単語テーブルに載せられ、前記図１の音声認識用辞書８の一部として用いられる。例えば図３（ａ）に示されるように、ＩＤ２３の「エアコン」については、「エアコン」と発声された場合は勿論、「ヒーター」あるいは「クーラー」と発声されたことが音声認識されたときも、いづれも「エアコン」を意味しているものとして音声認識する。また、同テーブルには、「エアコン」の言葉は図３（ｂ）の認識単語テーブルでは、ＩＤ番号３において「単語」が「エアコン」であり、その読みは「えあこん」として登録されていることが示されている。
【００２９】
上記のように、図４に示す音声認識用ツリー構成と、このツリー構成に基づく図３（ａ）のようなツリー構成テーブルに基づき、また、同図（ｂ）のような認識単語テーブルを用いて音声認識を行うことにより、図２に示すような作動フローに沿って、以下に述べるような種々の作動を行わせることができる。以下、代表的な例に基づいて、ツリー構成図を参照しつつ順次説明する。
【００３０】
第１の実施の態様として、利用者がエアコンを作動させるに際して「エアコンをＯＮして」と発声した場合について説明する。この場合、図１のマイク６から「えあこんをおんして」の音声が入力され（図２ステップＳ１）、入力された上記音声は、音声認識エンジン７において「えあこん」と「おん」に単語を分解し、音声認識用辞書８にアクセスする。音声認識用辞書８には図３（ｂ）に示す認識単語テーブルが備えられているので、その認識単語テーブルに基づいてＩＤ３の「エアコン」とＩＤ６の「ＯＮ」が認識されれ（ステップＳ２）、その認識結果は、図１の音声対話エンジン９の操作指示信号入力部１０から、ツリーチェック・枝刈り部１１に入る。
【００３１】
ここにおいては、あらかじめ、後述する各種確認の音声出力に対する応答の処理のため、確認に対する「ＹＥＳ」の応答であるか否の判別（ステップＳ３）、及びそれが最終確認であるか否かの判別（ステップＳ４）の作業を行うが、この例においてはこのような確認の応答ではないのでステップＳ１２に進み、ツリー階層順の操作指示であるか否かが判別される。ここでは、前記音声認識用ツリー構成を参照し、「ＲＯＯＴ」から順を追った階層順の操作指示であるか否かが判別され、この例の場合は「エアコン」が「ＲＯＯＴ」から直接枝分かれした項目であり、「ＯＮ」も「エアコン」に直接接続されている項目であるので、これらはすべてツリー階層順の操作指示であり、このステップ１２からステップ５に進む。
【００３２】
このステップＳ５では、ツリーチェック・枝刈り部１１の本来の作業として、音声で入力された前記「エアコン」と「ＯＮ」を音声認識用ツリーにおけるノード部分の各項目のいずれに当てはまるか検討し、このツリーにチェックする作業を行う。その結果、図５に太線で示すように「エアコン」と「ＯＮ」にチェックがつけられる。
【００３３】
次いで上記のようにしてチェックが付された各項目のツリー構成を見ることにより、最も根幹部である「ＲＯＯＴ」からみて、前記「ＲＯＯＴ」−「エアコン」−「ＯＮ」の枝に関係しない枝、即ち図６に示す太線の枝以外の枝刈りを実行する（ステップＳ６）。また、上記のようにチェックされた操作指示内容を、例えば図３のツリー構成テーブルにおける認識フラグの欄にフラグ「１」をつける等の手段によってメモリする（ステップＳ７）。この例の場合は、図１における利用者意図推定部１４では、格別の推定処理を行うことなくそのまま操作指示メモリ１５に前記のようなメモリを行うことが可能である。
【００３４】
上記のようなツリーに沿った枝刈りの結果、図６に示すように、最終的な作動分類である「ＯＮ」から、根幹部である「ＲＯＯＴ」までの１本の枝が確立していることが確認されるので、ツリーに沿った操作指示が完了しているか否かの判別（ステップＳ８）では完了したと判別される。次いで、最終確認応答があったか否かの判別（ステップＳ９）において、未だ最終確認が行われていないので、図１の対話情報出力部１６から音声合成エンジン１７、スピーカ１８を介して、利用者に対して例えば「エアコンをＯＮします。」等の最終確認の音声出力を行う（ステップＳ２３）。
【００３５】
その結果、利用者から［ＹＥＳ］を意味する「はい」「ＯＫ」等の答えが発せられたときには、前記と同様のルートをたどり、ステップＳ３において確認に対する「ＹＥＳ」応答か否かの判別からステップＳ４の最終確認か否かの判別に進み、ここにおいて最終確認であると判別されることによりステップＳ９に進み、最終確認の応答有りと判別され、前記のメモリの作動指示を図１の機器作動信号出力部１９からエアコン５に出力し、エアコンのＯＮ作動を行わせる（ステップＳ１１）。
【００３６】
上記の例は最も単純な機器操作指示の例であるが、次に、例えば利用者が本来は「エアコン」の「設定温度」を「上げる」操作指示を行うに際して、一番最初の操作指示として「上げて」としか発声しなかった場合の作動を説明する。この第２の実施の態様においては、図１の音声認識エンジン７において、通常の音声認識と同様に「上げて」の操作指示音声の類似語音声である「上げる」を意味するものと認識する。次いで、図７に示すように、音声認識用ツリー構成図を参照することにより、動作階層において「上げる」の項目は、エアコンの風量における「上げる」と、エアコンの設定温度における「上げる」とが存在することがわかる。
【００３７】
この場合、図２の作動フローにおいては、ステップＳ１からステップＳ３、ステップＳ１２迄は前記第１の実施の態様と同じルートをたどり、ステップＳ１２において図７に示すように「ＲＯＯＴ」からみて途中の階層が飛んだ操作指示であるので、階層順に指示された操作指示ではないと判別しステップＳ１３に進む。ここでは、前回の操作指示とは異なる枝の操作指示か否かが判別されるが、このケースにおいては一番最初の操作指示であるので考慮せずそのままステップＳ１４に進み、前記ステップＳ５と同様にツリーにチェックを行う。このようにしてツリーにチェックが付された状態が、前記図７にエアコンの風量における「上げる」と、エアコンの設定温度における「上げる」にチェックが付された状態として示されている。
【００３８】
次いで前記と同様に、図８に示すような枝刈りを行い（ステップＳ１５）、その結果図中太線で示された枝のみが残る。その後、図１の利用者意図推定部１４において、適切と思われる操作指示を推定する（ステップＳ１６）。ここではエアコンの風量と設定温度の２つが存在し、枝刈りの結果、それ以外は考慮する必要がないと判断し、この２つのうちのいずれかが利用者の操作指示の意図と推定する。その結果、ステップＳ１７において１つの操作指示に推定することができないので、ステップＳ１９に進み、ここでは３個以上推定されていないのでステップＳ２０に進む。ここでは、複数の操作指示の選択を促す音声出力を行い、上記の例においては「温度ですか？、それとも風量ですか？」という２者選択を促す音声出力を行う。
【００３９】
なお、他の例としてステップＳ１７において例えば３個以上推定された場合においては、ステップＳ１９では３個以上推定されたと判別されるのでステップＳ２１に進み、例えば「何を上げますか？」等のように、何に対する操作指示かの質問を音声出力する。図２の例においては、ステップＳ１９で３個以上推定されたとき、何に対する操作指示かの質問を音声出力する例を示したが、これを４個以上推定されたときにそのような音声出力を行うように設定し、３個まではステップＳ２０において複数操作指示の選択を促す音声出力を行うようにすることもできる。
【００４０】
本実施の態様においては、前記のように「温度ですか？、それとも風量ですか？」という２者選択を促す音声出力が行われ、利用者はそれに対して、本来はエアコンの設定温度を上げる操作指示を行う意図であったので、「温度」と答えることとなる。この音声入力は前記と同様のステップＳ１からステップＳ３に至り、ここでは確認に対する「ＹＥＳ」の応答であるのでステップＳ４に進み、最終確認ではないのでステップＳ５に進む。ここでは前記と同様にツリーに対するチェックを行い、続いて枝刈りを実行する（ステップＳ６）。
【００４１】
この状態は図９に示されており、先に図８においてエアコンから伸びていた２つの枝のうち、「風量」側の枝が刈り取られる。その結果、動作階層の１つとしての「上げる」から根幹部である「ＲＯＯＴ」迄、一連の１つの枝のみが選択されたこととなり、これを操作指示としてメモリする（ステップＳ７）。次いでツリーに沿った操作指示が完了したか否かが判別され（ステップＳ８）、この場合は上記のように一連の１つの枝のみが選択されたのでステップＳ９に進み、最終確認応答があったか否かが判別され、未だ最終確認は行っていないのでステップＳ２３に進み、最終確認のため例えば「エアコンの設定温度を上げます。」等の確認音声を出力する。
【００４２】
以下、前記と同様の最終確認ステップを行い、図３（ａ）のＩＤ４６の対応動作に示しているように、エアコンの設定温度を１℃上げる、という作動を行う。このように、本発明においては、音声認識の階層構造において、従来のように上から順に指示することなく、下から指示した場合においても、利用者は音声案内に沿って発声していくのみで、最終的に適切な操作指示を行うことが可能となる。
【００４３】
次に、本発明の第３の態様として、図１の利用者意図推定部１４において、ラストモードを用いて操作指示を推定する例を説明する。利用者が例えば「オーディオ」における「ＭＤ」の「１曲目」を再生するに際して、最初「オーディオ」と発声した場合には、前記と同様にステップＳ１からステップＳ３、ステップＳ１２を経てステップＳ５に進む。
【００４４】
ここでは図１０に示すように、音声認識用ツリー構成図の「オーディオ」に対してチェックを行う。次いでステップＳ６において枝刈りを行う。この状態は図１１に示されており、エアコン側のみの枝刈りが行われ、「オーディオ」に含まれる多くの枝はそのまま選択の対象として残っている。作動フローにおいてはその後ステップＳ７でこの操作指示内容をメモリし、次いでツリーに沿った操作指示は完了したか否かの判別が行われ、多数の候補が残っているので未だ完了していないと判断され、ステップＳ１６に進む。
【００４５】
ステップＳ１６では適切と思われる操作指示を推定するが、この例においては、図３（ａ）のツリー構成データテーブルにおいて「ラストモード」の記憶部が存在するのでこれを用い、前記「オーディオ」のラストモードはＩＤ２５のＭＤであり、また、「ＭＤ」のラストモードはＩＤ３２の「ＭＤ１曲目」であることから、「オーディオ」のラストモードは「ＭＤ」の「１曲目」を再生することであることがわかる。この状態は音声認識用ツリー構成図上では、図１２に太線で示されるような１つの操作指示系統となっている。
【００４６】
したがって、前記ステップＳ１６においてはこのラストモードにより得られた結果を利用者の操作指示と推定し、以降、ステップＳ１７における１つの操作指示が推定されたか否かの判別において、１つだけ推定されているのでステップＳ１８に進み、前記推定により得られたデータによって、「ＭＤの１曲目を再生しますか？」という確認の音声出力を行う。その結果、利用者の意図と同じものが示された結果、利用者はそれに対して「はい」等の返事をすることにより、前記と同様のステップを経て機器の作動が行われる。
【００４７】
上記ラストモードによって推定された結果に対応する音声確認に対して、前記の例とは異なり、利用者がＣＤの１曲目の再生を希望していたときには、「いや、ＣＤをかけてくれ。」等の返事が行われる。このときには、上記言葉の中の「ＣＤ」のキーワードにより再びステップＳ１からステップＳ２，Ｓ３，Ｓ１２を経て再びステップＳ５に至り、ツリーにチェックを行う。次いで枝刈りを行い（ステップＳ６）、その結果図１３の二点鎖線の部分が枝刈りされ、太い実線部分が残る。ステップＳ７において前記「オーディオ」に続いて「ＣＤ」をメモリし、続くステップＳ８においては、ツリーに沿った操作指示が完了していないのでステップＳ１６に至る。
【００４８】
ここでは再び図３（ａ）の「ラストモード」のデータを検索し、「ＣＤ」では「１曲目を再生する」がラストモードであることがわかるので、これを利用者の操作指示と推定し、前記と同様にステップＳ１８において、例えば「１曲目を再生しますか？」という確認の音声出力を行う。それに対して利用者は、「はい」「ＯＫ］等の「ＹＥＳ」応答を行うことにより、これを最終確認として機器作動を行う（ステップＳ１１）。
【００４９】
次に、本発明の第４の態様として、利用者の音声指示作動中、途中で利用者の気持が変わって、別の操作指示を行う例を説明する。最初、利用者が例えば「オーディオ」と発声した場合には、前記第３の態様の最初の作動部分と全く同様に作動し、ラストモードによる操作指示の推定を行い、結局図１２に示すように「ＭＤ」の「１曲目」を「再生」する操作指示と、利用者の意図を推定し、前記と同様の確認の音声出力を行う。
【００５０】
そのとき利用者は、突然「あ、設定温度アップ。」と発声したとすると、ステップＳ１２においてツリーの階層順の操作指示ではないと判別されるばかりでなく、ステップＳ１３において前回の操作指示とは異なる枝の操作指示であると判別される。その結果、ステップＳ２２に進み、前の「オーディオ」のメモリを消去し、新たにツリーに対するチェック（ステップＳ５）、枝刈りの実行（ステップＳ６）を行い、今回の「設定温度」「上げる」のメモリを行う（ステップＳ７）。音声認識ツリー構成図におけるこの状態は、前記図９に示すものと同様となっており、ここで操作指示系統は一義的に確定したので、最終確認の音声出力を行って確認をとった後、機器の作動を行う（ステップＳ１１）。このように、利用者の操作指示が途中で突然に変化したときでも、容易に、かつ適切に対応することができる。
【００５１】
上記のようなシステムにより作動する結果、利用者とこのシステムとは、対話形式で処理を進めることができるものであるが、その際、例えば次のような対話が行われる。利用者がエアコンの風量を上げたい場合において、利用者が最初「エアコンを上げて。」と発声すると、システム側は「温度ですか、風量ですか？」と質問し、それに対して利用者が「風量」と答えると、システム側は「エアコンの風量を上げますか？」と確認し、利用者が「ＯＫ」と答えることにより、このシステムはエアコンの風量を１段階上げる作動を開始させる。
【００５２】
また、例えば利用者がＭＤの５曲目を再生したい場合において、利用者が最初「５曲目を再生。」と発声すると、システム側は「ＣＤですか、ＭＤですか？」と質問し、それに対して利用者が「ＭＤ」と答えると、システム側は「ＭＤの５曲目を再生しますか？」と確認し、利用者が「ＯＫ」と答えることにより、このシステムはオーディオ装置に対してＭＤの５曲目の再生を開始させる。
【００５３】
本発明においては、上記のような各種機器の作動に適用されるばかりでなく、例えばナビゲーション装置における目的地設定において、住所指定によって目的地をセットする際にも効果的に利用することができる。このような住所指定目的地セットにおいては、図１４に示すような音声認識用ツリー構成が用いられる。なお、図中例示している県名、市町村名は、後に述べる「いわき」に関連した地名の設定を説明するのに合わせて、特定の部分を選択して示している。
【００５４】
このツリー構成は、従来の住所の階層構造と同様に、「ＲＯＯＴ」から始まり、広域の地名から狭域の地名への階層項目からなり、図示の例では、「ＲＯＯＴ」から各都道府県が枝分かれし、各都道府県から市町村が枝分かれしている構成となっていて、最後に、その地点を目的地に設定する動作機能項目として、「行く」の項目を設けている。
【００５５】
このようなツリー構成を備えたものにおいて、利用者が「いわきに行きたい」と発声したときには、前記のような機器の操作指示における図２の作動フローと同様の作動フローに沿って処理が行われる。その結果、「ＲＯＯＴ」から順に並べられたツリーの階層順の操作指示か否かの判別において、そうではないと判別された後ツリーへのチェック、及び枝刈りが行われる。その際には、このツリー構成に含まれている地名のすべてから「いわき」の言葉を備えた地名項目を検索する。それにより青森県の岩木市、秋田県の岩城町、福島県のいわき市がチェックされ、且つ、これと接続する項目、及び親ルートをたどり、各々「ＲＯＯＴ」迄の枝を残して、他を枝刈りする。この状態は図１５に示される。
【００５６】
次いで、図２のステップＳ１６に対応する同様のステップにおいて、適切と思われる操作指示を推定する。ここでは前記のように３つ選択肢が存在するが、現在地に最も近いところが利用者が意図している地点であろうと推定し、現在地が福島県内であるときには「福島県」の「いわき市」をその地点と推定する。このように１つの系統が推定されたので、「福島県のいわき市に目的地をセットしますか？」という確認の音声出力を行う。それに対して、この推定が利用者の意図通りであった場合には、利用者は「はい」等の「ＹＥＳ」の応答を行うので、これを目的地に設定する。
【００５７】
ただし、前記のような現在地に最も近いところである福島県のいわき市が利用者が意図している地点であろうと推定し、その確認の音声出力を行った結果、実際には利用者は青森県の岩木市を意図していたときには、前記確認の音声出力に対して「いいえ」と答えるか、あるいは「青森県の岩木市です。」と回答する。その回答音声に対応して、以下前記と同様の推定、あるいは確定を行い、利用者の意図した地点を容易に目的地に設定することができる。
【００５８】
本発明は上記のような車両搭載種機器の操作指示、あるいはナビゲーション装置の目的地設定以外にも、一般家庭の各種電気機器操作を音声で行うような場合、あるいはパソコンに接続された種々の機器を操作する場合等、多くの分野において種々の態様で使用することができる。
【００５９】
【発明の効果】
本発明は、上記のように構成したので、多くの種類のものを対象として音声により一連で指示を行うことができ、しかもその音声による指示の際に階層構造に沿って音声指示を行う必要が無く、階層構造に沿っていない指示に対しては、機器の側で利用者の意図を推測し、また、不足している指示部分の入力を機器の側から質問し、利用者はそれに答えるだけで適切な指示を行うことができる。したがって、利用者は余計な集中力や特別の記憶力を要することなく、容易に各種操作を音声によって行うことができる。
【００６０】
また、前記音声認識対象項目群が、機器の種類、機能、動作の階層項目からなる音声認識用ツリー構成をなすようにしたものにおいては、先の効果に加えて、多数の種類の機器を対象として音声により容易に指示を行い、機器の操作を行うことができる。
【００６１】
また、前記不足データ推定部において、機器の前回作動終了状態を記憶したラストモードに基づき推定を行うものにおいては、あらかじめ利用者に最も適切な項目をラストモードに基づいて提示することができ、利用者はこれを選択する確率が高いので、多数の音声入力を行う必要が無くなり、音声入力を高速で行うことができ、音声対話装置に対する信頼感が向上する。
【００６２】
また、前記音声認識対象項目群が、広域の地名から狭域の地名の階層項目からなる音声認識用ツリー構成をなすものにおいては、地名の階層構造に沿って音声指示を行う必要が無くなり、最初に思いついた地名から発声するのみで所定の階層に沿った地名の入力が可能となり、地名の音声入力が容易となる。
【００６３】
また、前記不足データ推定部において、現在地に近い地名を優先的に推定するものにおいては、複数の推定値が存在するときに、最も利用者の意図に適合する地名を提示することができ、音声入力を高速で行うことが可能となると共に、音声対話装置に対する信頼感が向上する。
【００６４】
また、前記音声対話手段において、利用者の追加音声入力による追加項目が、前回チェックした項目とは別のツリー構成部分であるときに、前回のチェックを消去し、新たなツリー構成部分へのチェックを行うようにしたものにおいては、利用者の気持ちが音声入力の途中で変化したときにでも迅速に対応することができ、融通性の高い音声対話装置とすることができる。
【００６５】
また、前記音声認識手段において、前記音声認識対象項目群の各項目に対応した音声認識用辞書を参照するものにおいては、入力される音声に対して適切な辞書を提示することができ、的確な音声認識を行うことができる。
【図面の簡単な説明】
【図１】本発明を、車両搭載機器の音声操作指示に用いた実施例を示す機能ブロック図である。
【図２】同実施例の作動を示す作動フロー図である。
【図３】同実施例で用いられるデータテーブルの例であり、（ａ）はツリー構成テーブル、（ｂ）は認識単語テーブルである。
【図４】同実施例で用いられる、機器操作時の音声認識用ツリー構成図の例である。
【図５】同実施例の第１の作動態様における、最初の音声発声時の同ツリーへのチェックの状態を示す音声認識用ツリー構成図である。
【図６】動作動態様における同ツリーへの枝刈りの状態を示す音声認識用ツリー構成図である。
【図７】同実施例の第２の作動態様における、最初の音声発声時のツリーへのチェックの状態を示す音声認識用ツリー構成図である。
【図８】同作動態様における同ツリーへの枝刈りの状態を示す音声認識用ツリー構成図である。
【図９】同作動態様における、追加の音声発声時のツリーへのチェックと枝刈りの状態を示す音声認識用ツリー構成図である。
【図１０】同実施例の第３の作動態様における、最初の音声発声時のツリーへのチェックの状態を示す音声認識用ツリー構成図である。
【図１１】同作動態様における、同ツリーの枝刈りの状態を示す音声認識用ツリー構成図である。
【図１２】同作動態様における、ラストモードによる操作指示の推定状態を示す音声認識用ツリー構成図である。
【図１３】同作動態様における、追加の音声発声時のツリーへのチェックの状態を示す音声認識用ツリー構成図である。
【図１４】本発明を地名の音声指定に用いた実施例における、音声認識用ツリー構成図の一部である。
【図１５】同実施例における、「いわき」発声時のツリーへのチェックと枝刈りの状態を示す音声認識用地ルー構成図である。
【符号の説明】
６ マイク
７ 音声認識エンジン
８ 音声認識用辞書
９ 音声対話エンジン
１１ ツリーチェック・枝刈り部
１２ 音声認識用ツリー構成
１３ ツリー構成テーブル
１４ 不足データ推定部
１６ 対話情報出力部
１７ 音声合成エンジン
１８ スピーカー
１９ 機器操作信号出力部
２０ 音声認識ツリー構成データ部

Claims (7)

1. 利用者の音声を認識する音声認識手段と、
   音声認識手段からの入力信号により利用者への対話情報を出力する音声対話手段と、
   前記対話情報を利用者への音声に変換する音声合成手段とを備え、
   前記音声対話手段には、音声認識対象項目群の各項目を階層順に並べてこれを接続した音声認識用ツリー構成データを備えると共に、前記音声認識用ツリー構成データの項目をチェックしてツリー構成の根幹部から前記入力信号に対応しない部分を枝刈りし、ツリー構成上不足する項目を得るツリーチェック・枝刈り部と、不足する項目のうち利用者が意図していると思われる項目を推定して利用者に提示する不足データ推定部と、前記枝刈の結果１本の枝が確立していることを確認したときそのツリーに対応する信号を外部に出力する信号出力部とを備えたことを特徴とする音声対話装置。
2. 前記音声認識対象項目群は、機器の種類、機能、動作の階層項目からなる音声認識用ツリー構成をなす請求項１記載の音声対話装置。
3. 前記不足データ推定部は、機器の前回作動終了状態を記憶したラストモードに基づき推定を行う請求項２記載の音声対話装置。
4. 前記音声認識対象項目群は、広域の地名から狭域の地名の階層項目からなる音声認識用ツリー構成をなす請求項１記載の音声対話装置。
5. 前記不足データ推定部は、現在地に近い地名を優先的に推定する請求項４記載の音声対話装置。
6. 前記音声対話手段は、利用者の追加音声入力による追加項目が、前回チェックした項目とは別のツリー構成部分であるときには、前回のチェックを消去し、新たなツリー構成部分へのチェックを行う請求項１記載の音声対話装置。
7. 前記音声認識手段は、前記音声認識対象項目群の各項目に対応した音声認識用辞書を参照する請求項１記載の音声対話装置。

Images