JP3489772B2 - 作業支援システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、調理手順を案内す
るクッキングガイドや運行経路を案内するカーナビゲー
ションシステム等に代表されるような作業支援システム
に関する。

【０００２】

【従来の技術】近年、情報処理技術等の進展を背景とし
て、各種の作業支援システムが研究開発されており、そ
の進歩発展には目覚ましいものがある。このような作業
支援システムとしては、ＧＰＳ技術の進歩と共に急激に
普及したカーナビゲーション技術を代表として、調理手
順を音声で案内するクッキングガイド等がある。

【０００３】クッキングガイドの一例は、例えば特開昭
６３−２０１６８６号公報に開示されている。この公報
には、調理方法及び材料を音声データメモリに格納し、
マイクからの音声入力や押しボタンによるキー入力に基
づく進段命令によって、各料理に関する食材の量と調理
方法とを音声出力するようにした発明が開示されてい
る。例えば、ある料理を指定して食材の量の案内を求め
ると、システムより人数が問い合わされ、これに答える
と必要な食材の量が音声出力される。そして、調理方法
の案内を求めると、調理方法が音声出力される。

【０００４】カーナビゲーションシステムとしては、例
えば次のような例がある。まず、特開昭６２−２６７９
００号公報には、画像表示による経路案内に加え、音声
による経路案内を行うようにした発明が開示されてい
る。これを更に進めたものとして、特開平４−１８９７
号公報には、車両の速度に応じて音声アナウンスする先
の交差点までの到達時間を算出し、音声アナウンスの読
み終わりから逆算して案内音声の開始タイミングを制御
するようにした発明が開示されている。つまり、この発
明は、先の交差点について音声アナウンスの開始タイミ
ングを的確にすることを目的としている。そして、特開
平７−２７５６９号公報には、進路変更すべき交差点と
その手前の交差点との間の距離に応じて案内音声の出力
タイミングを変えることにより、より的確な経路案内を
することができるようにした発明が開示されている。こ
の発明では、進路変更すべき交差点とその手前の交差点
との間の距離を求め、この距離が所定距離以上の場合に
は所定距離の地点で案内音声を出力し、その距離が所定
距離以下の場合には手前の交差点通過後に案内音声を出
力する。これにより、進路変更すべき交差点の手前の交
差点を進路変更すべき交差点と誤解させてしまうような
ことがなくなる。

【０００５】また、株式会社ソニー社製のカーナビゲー
ション用音声認識ユニットＮＶＡ−ＶＲ１では、ユーザ
の問い合わせ、例えば、「現在地」、「次は」、「後ど
れくらい」等の問いあわせに応じてシステムが回答を音
声案内する。

【０００６】

【発明が解決しようとする課題】何らかの作業中、この
作業に関する情報が必要となった場合、その情報を持っ
ている人がそばにいればその人に尋ねることができ、こ
の場合には作業を極めて効率的に行うことができる。こ
れに対し、必要な情報を持っている人がそばにいなけれ
ばマニュアル等の情報源を検索する必要があり、この場
合には効率的な作業の実行が困難である。これは、必要
な情報を持っている人がそばにいるといないとでは、情
報提供側における現在の状況の把握という点で大きな開
きがあるからである。つまり、作業者の近くにいる人
は、作業者が置かれている状況を共有しているか大体把
握しているので、作業者がどのような情報を要求してい
るかということを容易に理解することができ、このため
速やかに必要な情報を提供することができる。これに対
し、マニュアル等の情報源それ自体は、当然のことなが
ら、作業者が置かれている状況を把握することができな
い。このため、そのような情報源から作業者が必要な情
報を見つけ出すためには、自分の置かれている状況に適
合する記述部分を探すことに多くの労力を割かなければ
ならず、いきおい効率が低下することになる。

【０００７】このようなことを前提に従来の作業支援シ
ステムを考えると、従来の作業支援システムには、作業
者が置かれている状況をシステム自体が認識する種類の
ものはない。このため、作業者が真に必要としている情
報を提供しがたいという問題がある。

【０００８】例えば、従来の技術の項目で紹介した各公
報記載の発明について考えると、特開昭６３−２０１６
８６号公報記載のクッキングガイドは、ユーザの要求に
応じて単に料理の材料量と調理方法とが案内されるにす
ぎず、調理しているユーザが置かれている状況判断は一
切なされない。このため、例えば、システムの想定と異
なる火力のコンロを使用したための状況変化、聞き間違
い等によるユーザのミスによる状況変化、食材の大きさ
や質のバラツキによる状況変化等が生じた場合、これに
まったく対応することができない。また、実際の調理作
業に際しては、沸騰したら火を止めるというような、何
らかの状況変化が起こったらある行動をするということ
が多々あるが、このようなことにもまったく対応するこ
とができない。さらに、実際の調理作業では、複数の品
を同時に作るとか、肉を煮ながら野菜を切るというよう
に、複数の作業が同時進行するのが一般的である。とこ
ろが、例えば鍋の中身が沸騰する時点と野菜を切り終わ
る時点との順序というような事柄は予め予測できないた
め、このような事柄に対応できるような的確な案内が不
可能である。

【０００９】特開昭６２−２６７９００号公報や特開平
７−２７５６９号公報に開示されたカーナビゲーション
システムも、ユーザが置かれている状況判断を行ってい
ないという点に関しては特開昭６３−２０１６８６号公
報記載のクッキングガイドと同様である。したがって、
場合によってはユーザに誤認識を生じさせることがあ
る。例えば、特開平７−２７５６９号公報に開示された
発明では、進路変更すべき交差点とその手前の交差点と
の間の距離に応じて案内音声の出力タイミングを変え、
ユーザの誤解をなくすという発想自体は優れたものであ
りながら、渋滞によって進路変更すべき交差点の遥か手
前で音声アナウンスがなされる可能性があり、この場合
にはユーザに誤解を生じさせることがある。つまり、特
開平７−２７５６９号公報記載の発明には、ユーザが置
かれている状況を把握するという思想はない。この点、
特開平４−１８９７号公報には、車両の速度というユー
ザが置かれている状況の一つを把握している。しかしな
がら、特開平７−２７５６９号公報でも指摘されている
ように、進路変更すべき交差点の手前の交差点に関して
の対応が欠落している。つまり、ユーザが置かれている
状況の把握という点に関し、カーナビゲーションシステ
ムに求められるレベルに達していない。したがって、特
開平４−１８９７号公報記載の発明も、ユーザが置かれ
ている状況を把握するという思想を備えていないといえ
る。

【００１０】ユーザが置かれた状況をシステムが認識し
ないという点では、先に紹介した株式会社ソニー社製の
カーナビゲーション用音声認識ユニットＮＶＡ−ＶＲ１
も同様である。つまり、このカーナビゲーション用音声
認識ユニットＮＶＡ−ＶＲ１は、１回のユーザ発話に対
して１回の音声案内を対応させた一問一答式で音声案内
をする構造であり、文脈把握まではすることができない
ので、音声案内がユーザの意図とずれてしまうという問
題がある。例えば、カーナビゲーション用音声認識ユニ
ットＮＶＡ−ＶＲ１は、「後どれくらい」というユーザ
発話に対して走行前に設定した目的地までの距離を答え
るような設定となっているのに対し、もしもその質問が
「次はｘ交差点です」という音声案内の直後の発話であ
れば、ｘ交差点までの距離を答えるのが自然である。

【００１１】以上より、ある時点でユーザが真に欲する
情報というのは、ユーザが置かれた状況をシステムが認
識することで始めて可能になり、また、ユーザが置かれ
た状況をシステムが認識するにはユーザとシステムとの
リアルタイムコミュニケーションによる対話が不可欠で
ある、ということが理解できる。そして、ユーザとシス
テムとの対話には、一問一答式ではなく一連の発話を関
連付けて扱うことが必要である。そこで、本発明は、ユ
ーザが真に欲する情報を提供するために、作業中のユー
ザが置かれた状況を把握し、これに適合する情報案内を
対話形式で行うことができる作業支援システムを得るこ
とを目的とする。

【００１２】

【００１３】したがって、状況収集手段の出力信号に基
づき現状認識手段が認識するユーザが置かれている現在
の状態、及び、ユーザ発話収集手段の出力信号に基づき
ユーザ発話認識手段が以前のシステム発話又はユーザ発
話と関連付けて認識するユーザが行った案内情報に対す
る関連発話に応じ、情報検索手段によってユーザが行っ
ている作業の支援に必要な情報がデータベースから検索
され、これが案内手段の命令によって案内部に案内され
る。これにより、ユーザが必要とする情報が対話形式で
検索されて的確に案内されることになる。

【００１４】ここで、請求項１記載の作業支援システム
において、ユーザ発話認識手段によるデータベースから
の支援情報の検索は、例えば、直前のシステム発話に含
まれる単語及びその同義異音語をユーザ発話の認識候補
として行われる（請求項２）。この場合、ユーザ発話認
識手段は、直前のシステム発話に含まれる単語の優先順
位をその同義異音語よりも高くし、同義異音語中に以前
出現したユーザ発話が含まれている場合にはその同義異
音語の優先順位を引き上げる、というようなことを行う
（請求項３）。

【００１５】 そして、ユーザ発話認識手段は、ユーザ
の注意対象が現在の案内情報にあるかどうかを推察し、
ユーザの注意対象が現在の案内情報から移ったと判断し
た場合は、以前の案内情報の再要求に対する準備を行
う。これにより、ユーザの注意対象が現在の案内情報か
ら移った場合のユーザの自然な行動パターンに沿った案
内が行われる。ここで、ユーザの注意対象が現在の案内
情報から移ったかどうかの推察は、例えば、ユーザ発話
認識手段が認識したユーザの関連発話に対して情報検索
手段がその回答となる情報を検索したかどうか（請求項
２）、あるいは、案内手段によって情報が案内部から案
内された後一定時間経過後、現状認識手段及びユーザ発
話認識手段の認識結果から作業の十分な進行が認識でき
るかどうか（請求項３）、に基づいて行われる。つま
り、ユーザ発話認識手段が認識したユーザの関連発話に
対して情報検索手段がその回答となる情報を検索した場
合、ユーザの注意対象が現在の案内情報から移ったと判
断し、直前のユーザ関連発話の対象とならなかった項目
の優先順位を引き上げる（請求項２）。また、案内手段
によって情報が案内部から案内された後一定時間経過
後、現状認識手段及びユーザ発話認識手段の認識結果か
ら作業の十分な進行が認識できない場合、ユーザの注意
対象が現在の案内情報から移ったと判断し、直前のユー
ザ関連発話の対象とならなかった項目の優先順位を引き
上げる（請求項３）。

【００１６】

【００１７】

【００１８】

【発明の実施の形態】本発明の一実施の形態を図１ない
し図６に基づいて説明する。本実施の形態は、料理ナビ
ゲーションシステムへの適用例である。

【００１９】図１は、料理ナビケーションシステムの概
要を示す模式図である。このシステムは、各部を集中的
に制御し、各部の間の情報のやり取りに際して中心的な
役割を担う対話管理部１を基本とし、この対話管理部１
にデータベースとしての料理知識データベース２と、各
種情報を一時記憶する発話記憶部３と、各種情報の入出
力部とが接続されて構成されている。

【００２０】対話管理部１に接続されている入力部とし
ては、状況認識部４と音声認識部５とが設けられてい
る。状況認識部４は、状況収集手段としての温度センサ
６、ガスセンサ７、重量センサ８、及びタイマ９から収
集されて電気的信号の形態で出力された各種の情報を対
話管理部１に送信する。温度センサ６は調理器具内やそ
の周辺の温度を計測するセンサであり、ガスセンサ７は
使用されるガスの流量や流速を計測するセンサであり、
重量センサ８は重量計測用のキッチン秤に内蔵された重
量測定用のセンサや調理中の材料の重量を測定するセン
サであり、タイマ８は時間を計測するキッチンタイマで
ある。したがって、温度センサ６、ガスセンサ７、重量
センサ８、及びタイマ９は、調理対象物の物理的又は化
学的変化を感知するセンサとして機能する。また、音声
認識部５は、状況収集手段及びユーザ発話収集手段とし
て機能する複数本のマイクロフォン１０が取り込んで電
気的信号の形態で出力された音声情報をデータベースと
しての音声言語データベース１１に格納された情報に基
づいて解析し、その結果を対話管理部１に送信する。状
況収集手段として機能するマイクロフォン１０は、調理
作業がなされる位置や鍋釜等の調理用具が使用される位
置等、キッチン内のあるゆる位置に設置されて調理に伴
い発生する音を拾う。また、ユーザ発話収集手段として
機能するマイクロフォン１０は、ユーザの近傍に設置さ
れ、調理作業中のユーザの発話を拾う。

【００２１】対話管理部１に接続されている出力部とし
ては、音声合成部１２が設けられている。この音声合成
部１２は、対話管理部１の制御の下、音声言語データベ
ース１１に格納された情報に基づいて必要な音声情報を
生成し、この音声情報を案内部としてのスピーカ１３か
ら出力する。

【００２２】図２は、各部の電気的接続を示すブロック
図である。図１は、本実施の形態の料理ナビケーション
システムの概要を模式的に示した図であり、実際には、
図２に示すブロック図のように各部が構成されている。
つまり、各種の演算処理を実行して各部を集中的に処理
するＣＰＵ１４のＲＯＭ１５及びＲＡＭ１６からなる記
憶装置がバスライン１７を介して接続され、これが対話
管理部１を構成する主要な構成要素となっている。発話
記憶部３のためには、ＲＡＭ１６内のレジスト領域が利
用されている。また、状況収集手段としての温度センサ
６、ガスセンサ７、重量センサ８、及びタイマ９という
センサ類、並びに、状況収集手段及びユーザ発話認識手
段としてのマイクロフォン１０は、Ａ／Ｄコンバータ１
８を介してバスライン１７に接続され、案内部としての
スピーカ１３は、Ｄ／Ａコンバータ１９を介してバスラ
イン１７に接続され、これらの各部はＣＰＵ１４に統括
的に制御される。ここで、Ａ／Ｄコンバータ１８は多チ
ャンネル構成であり、そのうちの数チャンネルはマイク
ロフォン１０からの入力音響や入力音声、他のチャンネ
ルは温度センサ６、ガスセンサ７、重量センサ８、及び
タイマ９というセンサ類からの収集情報をそれぞれ処理
し、状況認識部４及び音声認識部５にそれぞれ出力す
る。また、Ｄ／Ａコンバータ１９は、音声合成部１２か
らの出力波形をスピーカ１３を駆動するのに適した信号
に変換する。そして、ＣＰＵ１４に接続されたバスライ
ン１７には、ＣＤ−ＲＯＭドライブ２０が接続されてお
り、このＣＤ−ＲＯＭドライブ２０によってＣＤ−ＲＯ
Ｍの内容が読み取られる。ＣＤ−ＲＯＭには、料理知識
データベース２及び音声言語データベース１１が格納さ
れている。

【００２３】図３は、料理知識データベース２に格納さ
れた料理知識のデータ構造を示す模式図である。図３に
示すように、料理知識データベース２には、各料理毎
に、調理手順、調理対象物、その処理法、その数量、処
理の程度、及び終了条件が対応付けられて記憶保持され
ている。つまり、料理知識データベース２には、ユーザ
の調理作業を支援するための情報が体系的に記憶保持さ
れている。

【００２４】ここで、ＲＯＭ１５やＣＤ−ＲＯＭドライ
ブ２０によって内容が読み取られるＣＤ−ＲＯＭには、
動作プログラムが固定的に格納されており、この動作プ
ログラムに従ったＣＰＵ１４の統括制御機能、つまりマ
イコン機能によって各種の機能が実行される。こうして
実行される機能の一つには、対話管理部１の統括制御の
下に状況認識部４及び音声認識部５が果たす機能があ
る。この機能は、概略的には、状況収集手段としての温
度センサ６、ガスセンサ７、重量センサ８、タイマ９、
及びマイクロフォン１０の一部が収集してＡ／Ｄコンバ
ータ１８より出力された信号に基づき、ユーザが置かれ
ている現在の状況を認識するという現状認識手段として
の機能である。このような現状認識機能のうち、マイク
ロフォン１０が拾った音声に基づき実行される現状認識
機能は、音声認識部５における既存の音声認識技術に基
づいて行われる。既存の音声認識技術としては、例え
ば、情報処理学会・音声言語情報処理研究会資料「文テ
ンプレートによる発話文認識」（望主雅子、室井哲也、
１９９５，７）や、日本音響学会誌４８巻１号２６ペー
ジから３２ページの「数理統計モデルによる音声認識の
現状と将来」に記述されたもの等がある。

【００２５】マイコン機能によって実行される他の機能
には、対話管理部１の統括制御の下に音声認識部５が果
たす機能がある。この機能は、概略的には、ユーザ発話
収集手段として使用される一部のマイクロフォン１０が
収集してＡ／Ｄコンバータ１８より出力された信号に基
づき、案内情報に対してユーザが行った関連発話をそれ
以前のシステム発話又はユーザ発話と関連付けて認識す
るユーザ発話認識手段としての機能である。ここで、
「関連発話」というのは、案内情報に対してユーザが行
った質問、問い返し、関連情報要求等を意味する。ま
た、「システム発話」というのは、本実施の形態の料理
ナビゲーションシステムによる音声アナウンスを意味
し、「ユーザ発話」というのは、ユーザの発話を意味す
る。このようなユーザ発話認識機能は、音声認識部５に
おける既存の音声認識技術に基づいて行われる。既存の
音声認識技術としては、例えば、情報処理学会・音声言
語情報処理研究会資料「文テンプレートによる発話文認
識」（望主雅子、室井哲也、１９９５，７）や、日本音
響学会誌４８巻１号２６ページから３２ページの「数理
統計モデルによる音声認識の現状と将来」に記述された
もの等がある。

【００２６】マイコン機能によって実行されるさらに他
の機能としては、情報検索機能及び案内機能がある。情
報検索機能は、ユーザが行っている作業の支援に必要な
情報を料理知識データベース２から検索するという情報
検索手段としての機能である。情報検索機能における料
理知識データベース２及び音声言語データベース１１か
らの情報検索は、料理知識データベース２の体系に従っ
て行われ、この場合、現状認識手段の認識結果に応じて
情報検索される場合もある。料理知識データベース２の
体系というのは、ある料理に関するある調理手順毎に対
応付けられた調理対象物、その数量、その処理法、処理
の程度、及び終了条件である。調理手順は、一連の作業
を人間が一度に把握するのに適当な作業単位毎に分割さ
れている。したがって、情報検索手段による情報検索
も、そのような作業単位に分割されて行われる。次に、
案内機能は、情報検索手段によって検索された必要な情
報をスピーカ１３によって音声アナウンスするという案
内手段としての機能である。スピーカ１３による音声ア
ナウンスは、音声言語データベース１１に格納されたデ
ータに基づき音声合成部１２がテンプレートを利用して
その音声を音声合成をすることよってなされる。このよ
うな処理には既存の音声合成技術が利用される。既存の
音声合成技術としては、例えば、日本音響学会誌４８巻
１号３９ページから４５ページの「音声合成の研究の現
状と将来」に記述されたもの等がある。

【００２７】ここで、本実施の形態の料理ナビゲーショ
ンシステムによる作業支援処理について説明する。この
作業支援処理は、概略的には、各料理毎に調理対象物と
その処理法とを案内し、この際にユーザが現在置かれて
いる状態を参照してユーザとの対話形式で次の処理を決
定し実行する、というものである。ここで、カレーを調
理する場合を例に挙げると、「玉葱を切って下さい」と
いうような案内を音声アナウンスし、これに対する「玉
葱を何個切るのですか」や「玉葱をどうやって切るので
すか」というようなユーザからの関連発話に答えつつ、
この際、例えば無音が１０秒以上続いたというようなユ
ーザの現状を検出し、この場合には玉葱２個の微塵切り
という処理が終了したと判断して次の手順を音声アナウ
ンスする、というような作業支援が行われる。そこで、
実際の処理を図４及び図５のフローチャートに基づいて
次に説明する。

【００２８】図４は、作業支援処理の概要を示すフロー
チャートである。作業支援処理としては、始めに、作業
内容の検索が行われる（ステップＳ１）。この処理は、
ユーザによる料理名の宣言、ある料理における特定の手
順の終了による次の処理の検索等によってなされる。ユ
ーザによる料理名の宣言は、マイクロフォン１０によっ
て取り込まれたユーザの発話が音声認識技術によって認
識されて行われる。

【００２９】作業内容が検索されると、作業内容がある
かどうかが判断される（ステップＳ２）。これは、料理
知識データベース２に該当する料理の項目があるかどう
か、また、ある料理におけるすべての手順がまだ終了し
ていないかどうかをの判定によって行われる。例えば、
「カレー」と宣言された場合、カレーの項目が料理知識
データベース２にあるのでステップＳ２では作業内容あ
りと判断されるのに対し、料理知識データベース２にト
ムヤンクンという項目がない場合、「トムヤンクン」と
いう料理名が宣言されるとステップＳ２では作業内容な
しと判断される。同様に、料理知識データベース２に格
納されたカレーの調理手順が１〜３０とすると、手順３
０の終了後は、ステップＳ２で作業内容なしと判断され
る。作業内容がない場合には、他のモジュールに終了通
知を送り（ステップＳ３）、処理を終了する。

【００３０】ステップＳ２で作業内容ありと判断される
と、トリガ条件が設定される（ステップＳ４）。例え
ば、作業内容がカレーの手順３の場合、料理知識データ
ベース２におけるデータ構造中の終了条件は「報告＝飴
色」又は「重量＝１／２」なので、これがトリガ条件と
して設定される。その他にも、「報告＝終わりました」
とか、「報告＝次は」等の作業の終了を表すユーザ発話
やそれらの同義異音語もトリガ条件として設定される。
設定は、ＲＡＭ１６のワークエリアが利用されて行われ
る。ここで、「重量＝１／２」は現状認識手段によって
認識され、「報告＝飴色」、「報告＝終わりました」、
「報告＝次は」等のユーザ発話は発話認識手段によって
認識される。発話認識手段におけるユーザ発話の認識
は、音声認識部５が認識文テンプレート、例えば「〈対
象〉〈色〉」、「〈終了語〉」というような認識文テン
プレートの各項目（対象、色、終了語等）に、音声言語
データベース１１から検索した具体的な単語をあてはめ
て行う音声認識処理である。

【００３１】次いで、ステップＳ１で検索された作業内
容が情報検索手段に検索されて案内手段により案内出力
される（ステップＳ５）。これは、まず、対話管理部１
が料理知識データベース２を検索して案内情報を見出
し、これを発話記憶部３に書き込み、音声合成部１２に
割り込みをかけることによりなされる。これにより、音
声合成部１２は、発話記憶部３に書き込まれた案内情報
から発話文テンプレートを用いて発話文を作成し、これ
を合成音声してスピーカ１３から出力する。例えば、作
業内容がカレーの手順３の場合、調理対象「玉葱」、数
量「２」、処理「炒める」、処理程度「中火」というデ
ータ構造をしているので、音声合成部１２では、このデ
ータ構造と「〈対象〉〈処理〉」という発話文テンプレ
ートに基づいて、「〈対象〉＝玉葱、〈処理〉＝炒め
る」という音声を合成する。その結果、「玉葱を炒めて
下さい」という音声アナウンスがスピーカ１３より案内
されることになる。ここで、調理対象「玉葱」、数量
「２」、処理「炒める」、処理程度「中火」というデー
タ構造中から調理対象「玉葱」及び処理「炒める」とい
う言葉だけが選択されるのは、それらが知識や好みに左
右されない必須確定的情報である反面、数量「２」及び
処理程度「中火」というのは知識や好みに左右される参
照的情報であり、必ずしも案内する必要がない場合を考
慮したためである。

【００３２】作業内容の案内出力（ステップＳ５）後、
対話管理部１より発話記憶部３に予測質問が出力される
（ステップＳ６）。予測質問は、「玉葱を切って下さ
い」という音声アナウンス後に予測される質問であり、
例えば、「〈対象〉は〈量〉〈疑問〉」や「〈程度〉
〈処理〉〈疑問〉」というような認識文テンプレートの
形で出力される。音声認識部５は、認識文テンプレート
中の各項目に音声言語データベース１１から具体的な単
語をあてはめて音声認識処理を行う。音声認識部５が質
問を認識した場合、例えば、「〈対象〉は〈量〉〈疑
問〉」という認識テンプレートにあてはまる「玉葱は何
個ですか」という質問を認識すると、対話管理部に割り
込みがかかり（ステップＳ７）、対話管理部１が料理知
識データベース２を検索してその回答を発話記憶部３に
出力し、これを音声合成部１２が「〈対象〉は〈量〉
〈単位〉です」というテンプレートを使用して音声合成
し、スピーカ１３より「玉葱は２個です」という案内を
出力する（ステップＳ５）。つまり、最初に音声アナウ
ンスされた必須確定的情報に対して参照的情報が音声ア
ナウンスされ、ここにシステムとユーザとの対話がなさ
れる。つまり、ステップＳ５からステップＳ７において
は、ステップＳ４において設定されたトリガ条件が検出
されるまで（ステップＳ８）、システム発話（案内）、
ユーザ発話（関連発話）、システム発話（回答）という
対話が繰り返される。

【００３３】その後、ステップＳ４において設定された
トリガ条件が検出されると（ステップＳ８）、トリガ条
件の解除後（ステップＳ９）、再びステップＳ１の作業
内容の検索が行われる。

【００３４】図５は、条件設定処理の概要を示すフロー
チャートである。これは、図４に示す作業支援処理のサ
ブルーチンとして数ｍｓ毎に実行される処理である。ま
ず、終了通知（図４のステップＳ３）の有無が判定され
（ステップＳ１１）、終了通知がなければトリガ条件
（図４のステップＳ５）の有無が判定される（ステップ
Ｓ１２）。トリガ条件がない場合にはステップＳ１１の
判定処理に戻るのに対し、トリガ条件があれば現状認識
手段又はユーザ発話認識手段に現状認識機能又はユーザ
発話認識機能をそれぞれ実行させる（ステップＳ１
３）。つまり、温度センサ６、ガスセンサ７、重量セン
サ８、タイマ９、及びマイクロフォン１０が収集してＡ
／Ｄコンバータ１８より出力された信号に基づき、ユー
ザが置かれている現在の状況やユーザ発話が認識され
る。この場合、マイクロフォン１０より収集された情報
中、ユーザの現状認識の手掛かりとなる音としては、炒
める音、沸騰する音、圧力釜の蒸気の音等の調理対象の
音、フードプロセッサやハンドミキサ等の機械音、包丁
がまな板を叩く音等のユーザが発する音、電子レンジの
終了音等がある。

【００３５】ステップＳ１３でユーザの現状が認識され
た後、設定条件判定がなされる（ステップＳ１４）。設
定条件判定では、認識されたユーザの現状がトリガ条件
（図４のステップＳ７）を満たしているかどうかが判定
される。例えば、作業内容がカレーの手順３の場合、料
理知識データベース２におけるデータ構造中の「報告＝
飴色」又は「重量＝１／２」がトリガ条件として設定さ
れているので、「飴色になった」というユーザの発話や
「次は」等の作業の終了を表すユーザの発話が音声認識
されたか、あるいは、重量センサ８の出力値より状況認
識部４が炒めている玉葱の重量が１／２になったことを
認識するかした場合、ユーザの現状がトリガ条件を満た
していると判定される。そして、トリガ条件が満たされ
れば、対話管理部１に割り込みがかけられる。これによ
り、図４の作業支援処理においてトリガ条件が解除され
（ステップＳ９）、再度作業内容の検索がなされる（ス
テップＳ１）。ユーザの現状がトリガ条件を満たしてい
ると判定されたカレーの手順３という作業内容の例で
は、ステップＳ１において、作業内容の検索によってカ
レーの手順４という作業内容が検索される。ここに、情
報検索手段の機能が実行される。

【００３６】図５は、テンプレート中の各項目に対する
単語のあてはめ方法及び複数の単語間の優先順位の決定
方法の一例を示すフローチャートである。ここでは、図
３の料理知識データベース２におけるカレーの手順２が
「サラダ油を加熱して下さい」というように案内された
場合において（図４、ステップＳ５）、「〈対象〉は
〈量〉〈疑問〉」という予測質問について考える。この
時、認識文テンプレート中の〈対象〉という項目ｉに
は、直前の案内発話に含まれる「サラダ油」及びその同
義異音語である「サラダオイル」という単語ｊが候補と
してあてはめられる（ステップＳ２１〜２３）。この場
合、「サラダ油」は、「サラダ油を加熱して下さい」と
いう直前のシステム発話に含まれていた単語なので（ス
テップＳ２４）、その優先度が定数ａだけ引き上げられ
る（ステップＳ２５）。また、以前のユーザ発話に「サ
ラダ油」の同義異音語である「サラダオイル」が含まれ
ている場合には（ステップＳ２６）、その優先度が定数
ｂだけ引き上げられる（ステップＳ２７）。これは、相
手の使った単語と同じ単語を使う傾向があるという対話
における引込み現象を考慮すると共に、人によって表現
の仕方が決まっている単語があることを考慮したためで
ある。

【００３７】そして、あるテンプレートのある項目ｉに
おける単語ｊが尽きるまで単語ｊが一つずつインクリメ
ントされてステップＳ２３〜２７の処理が繰り返され
（ステップＳ２８，２９）、あるテンプレートの項目ｉ
が尽きるまで項目ｉがインクリメントされてＳ２３〜２
７の処理が繰り返される（ステップＳ３０，３１）。

【００３８】一方、テンプレートの優先順位の決定方法
の例としては、「火加減はどのくらいですか」というユ
ーザ発話に続いて「火加減は強火です」というシステム
発話があったとする。この場合、このような質問の後に
はそれ以外の既出情報を忘れたり確認したいということ
が起こりがちである。そこで、このような場合には、
「〈対象〉は〈量〉〈疑問〉」等の量に関する予測質問
に関するテンプレートの優先順位を引き上げる、という
ことが行われる。

【００３９】さらに、案内アナウンス後、所定時間が経
過しても、質問がなく作業終了も検出できないというこ
とが起こり得る。これは、音声認識部５や状況認識部４
によって検出されるが、このような場合には、調理すべ
き材料や調理器具の探索やその他の作業によって案内し
た作業が中断している可能性が高い。そこで、この場合
には、既に案内した内容が再び問い返されることが予測
されるため、直前のシステム発話、この場合には最初の
作業内容に含まれる「〈対象〉〈処理〉」に関する予測
質問に関するテンプレートの優先順位を引き上げる、と
いうことが行われる。

【００４０】 本発明の参考例を図７ないし図９に基づ
いて説明する。本参考例は、カーナビゲーションシステ
ムへの適用例である。

【００４１】図７は、カーナビケーションシステムの概
要を示す模式図である。このシステムは、各部を集中的
に制御し、各部の間の情報のやり取りに際して中心的な
役割を担う対話管理部３１を基本とし、この対話管理部
３１にデータベースとしての地図データベース３２と、
各種情報を一時記憶する発話記憶部３３と、各種情報の
入出力部が接続されて構成されている。地図データベー
ス３２は、分岐点であるノード情報と分岐点を繋ぐ道路
であるリンク情報とを基本とし、階層構造をなして構成
されている。発話記憶部３２は、対話管理部３１と他の
各部との間での音声認識処理及び音声合成処理に際して
必要なレジストエリアである。そして、対話管理部３１
に接続される各種情報の入出力部は次の通りである。

【００４２】対話管理部３１に接続されている入力部と
しては、位置測定部３４と地理検索部３５と表示／入力
制御部３６と音声認識部３７とが設けられている。位置
測定部３４は、状況収集手段としてのＧＰＳレシーバ３
８、方位センサ３９、及び車速センサ４０から収集され
て電気的信号の形態で出力された各種の情報を処理し、
対話管理部３１に送信する。つまり、位置測定部３４に
おける情報処理は、ＧＰＳレシーバ３８から得られる人
工衛星からの電波に基づく三角測量による位置情報、光
ファイバジャイロや地磁気センサ等の方位センサ３９か
ら得られる進行方向の情報、車速センサ４０から得られ
る車速パルスに基づく車速情報等を統合する処理であ
る。地理検索部３５は、地図データベース３２を備え、
位置測定部３４からの信号を地図データベース３２の情
報と照合するといういわゆるマップマッチングの技術を
利用して現在位置を求める。また、地理検索部３５は、
経路記憶部４１をも備え、ある地点から別のある地点ま
での経路を経路記憶部４１に記憶保持させる機能をも備
える。このような各種の処理は、現在一般に普及してい
るカーナビゲーションシステムの基本技術であるので、
詳細な説明は省略する。そして、表示／入力制御部３６
は、表示入出力装置４２を備え、必要な情報の対話管理
部３１との間の入出力を制御する。さらに、音声認識部
３７は、ユーザ発話収集手段として機能するマイクロフ
ォン４３が取り込んで電気的信号の形態で出力された音
声情報をデータベースとしての音声言語データベース４
４に格納された情報に基づいて解析し、その結果を対話
管理部３１に送信する。この場合、ユーザ発話収集手段
として機能するマイクロフォン４３は、運転中のユーザ
の近傍に配置され、運転中のユーザの発話を拾う。

【００４３】対話管理部３１に接続されている出力部と
しては、音声合成部４５が設けられている。この音声合
成部４５は、対話管理部３１の制御の下、音声言語デー
タベース４４に格納された情報に基づいて必要な音声情
報を生成し、この音声情報を案内部としてのスピーカ４
６から出力する。

【００４４】 ここで、図７は、本参考例のカーナビケ
ーションシステムの概要を模式的に示した図であり、実
際には、料理ナビゲーションシステムのブロック図を例
示する図２に示すブロック図のような形態で各部が構成
されている（図示せず）。つまり、ＣＰＵとＲＯＭとＲ
ＡＭとからなるマイコンが設けられ、このマイコンにＧ
ＰＳレシーバ３８、方位センサ３９、車速センサ４０、
表示入出力装置４２、マイクロフォン４３、及びスピー
カ４６が接続され、地図データベース３２及び音声言語
データベース４４を記憶保持する大容量記憶媒体が接続
されてシステムが構成される。そして、発話記憶部３３
及び経路記憶部４１のためにはＲＡＭ内の所定領域が利
用され、位置測定部３４と地理検索部３５と表示／入力
制御部３６とが備える機能はマイコン制御によって実行
される。さらに、音声認識部３７における音声認識の手
法及び音声合成部４５における音声合成の手法は、前記
実施の形態における音声認識技術及び音声合成技術と同
様であるため、その説明は省略する。

【００４５】 ここで、マイコン機能によって実行され
る各種の手段としては、現状認識手段、ユーザ発話認識
手段、情報検索手段、及び案内手段が設けられている。
現状認識手段は、状況収集手段としてのＧＰＳレシーバ
３８、方位センサ３９、及び車速センサ４０が収集し出
力した信号に基づき、ユーザが置かれている現在の状況
を認識するという現状認識機能を果たす。次いで、ユー
ザ発話認識手段は、マイクロフォン４３が収集した情報
に基づき、案内情報に対してユーザが行った関連発話を
それ以前のシステム発話又はユーザ発話と関連付けて認
識する機能を果たす。ここで、「関連発話」というの
は、案内情報に対してユーザが行った質問、問い返し、
関連情報要求等を意味する。また、「システム発話」と
いうのは、本参考例のカーナビゲーションシステムによ
る音声アナウンスを意味し、「ユーザ発話」というの
は、ユーザの発話を意味する。次いで、情報検索手段
は、現状認識手段の認識結果に応じ、ユーザが行ってい
る作業の支援に必要な情報を地図データベース３２及び
音声言語データベース４４から検索するという情報検索
機能を果たす。そして、案内手段は、情報検索手段によ
って検索された必要な情報をスピーカ４６によって音声
アナウンスする案内機能を果たす。スピーカ４６による
音声アナウンスは、音声言語データベース４４に格納さ
れたデータに基づき音声合成部４５がテンプレートを利
用してその音声を音声合成をすることよってなされ、こ
のような処理には前記実施の形態において述べたような
既存の音声合成技術が利用される。

【００４６】図８は、経路記憶部４１の記憶保持内容を
例示する模式図である。経路記憶部４１には、交差点を
特定する交差点ＩＤ毎に、ポイント番号、方向、距離、
交差点名、ランドマークが設定されている。このような
設定は、表示入出力装置４２からの所定事項の入力操作
によりなされるが、入力操作自体は従来のカーナビゲー
ションシステムと変わるところがない。つまり、出発地
点と目標地点とを入力操作するだけでポイント番号、方
向、距離、交差点名、ランドマークが自動設定される方
式、交差点ＩＤ毎に方向を入力操作すると他の情報が自
動設定される方式等、既存のあらゆる入力操作方式が許
容される。

【００４７】 本参考例のカーナビゲーションシステム
による作業支援処理について説明する。この作業支援処
理は、概略的には、走行前に目的地までの経路を決定し
経路記憶部４１に記憶保持しておき、この経路を実際の
走行時に音声アナウンスするという一般的な音声ガイド
付きカーナビゲーションシステムの機能である。したが
って、その説明は省略する。これに対し、そのような作
業支援機能中、本参考例に特有の機能は、ユーザが置か
れた現在の状態を参照してこれに適合した音声アナウン
スを対話形式で見出すという点にある。そこで、以下、
このような本参考例に特有の機能を図９のフローチャー
トに基づいて説明する。

【００４８】図９は、対話管理部３１が案内内容及び予
測質問を作成する処理の流れを示すフローチャートであ
る。まず、処理対象のポイント番号ｉを０と置いた後
（ステップＳ４１）、ポイント番号ｉを１つインクリメ
ントし（ステップＳ４２）、続いて案内をするすべての
ポイントの終了の有無を確かめる（ステップＳ４３）。
すべてのポイントについて案内が終了していれば処理を
終了する。そうでない場合にはポイント番号ｉの情報を
経路記憶部４１の記憶情報から取得する（ステップＳ４
４）。そして、地図検索部３５により地図データベース
３２から検索された地図情報のポイント番号ｉの交差点
に位置測定部３４により検出された現在位置が近づいた
時、対話管理部３１はその案内ポイントに関する情報を
経路記憶部４１からロードし、まず、方向及び距離のみ
を発話内容として発話記憶部３３に出力する（ステップ
Ｓ４５）。これは、方向及び距離の情報が交差点におけ
る音声ナビゲーションとして最低限必要な緊急必要情報
だからである。

【００４９】発話記憶部３３に発話内容が記憶保持され
ると、図９に示すフローチャートとは別のサブルーチン
が実行され、音声合成部４５によって案内情報が音声合
成されてスピーカ４６より案内がアナウンスされる。こ
の時、音声合成部４５では、「〈距離〉〈単位〉先〈方
向〉方向です」という発話文テンプレートを用いて音声
合成を行う。例えば、発話記憶部３３に図８に例示する
ような経路記憶部４１の記憶情報、つまり、「〈方向〉
＝右、〈距離〉＝３００」が設定された場合、合成音声
は「３００メートル先右方向です」となる。この案内内
容は、緊急必要情報である。

【００５０】次いで、対話管理部３１が経路記憶部４１
からロードした案内ポイントに関するすべての情報が発
話記憶部３３に出力される（ステップＳ４６）。この
際、音声認識部３７では、案内ポイントｉについてのシ
ステム発話に対するユーザの関連発話である予測質問に
関するすべての認識文テンプレートを用意し、マイクロ
フォン４３を通じて取り込まれるユーザの質問に備え
る。認識文テンプレートとしては、例えば、交差点名や
ランドマークを含む「〈なに〉や〈名前〉〈交差点〉
〈疑問〉」、「〈ランドマーク〉〈存在〉〈疑問〉」等
が用意される。そして、この場合、案内されなかった項
目に関する予測質問の優先度にａが加算され（ステップ
Ｓ４７）、優先度が高く設定される。

【００５１】この後、地図検索部３５により地図データ
ベース３２から検索された地図情報のポイント番号ｉの
交差点と位置測定部３４により検出された現在位置ポイ
ントとを比較し、現在位置ポイントがポイント番号ｉの
交差点を過ぎていないことの認定を前提として（ステッ
プＳ４８）、音声認識部３７において認識されたユーザ
発話が認識される（ステップＳ４９）。つまり、音声認
識部３７では、認識文テンプレートにユーザが発生した
音声をあてはめてユーザ発話を認識する。例えば、「何
という名前の交差点ですか」という質問に対しては、
「〈なに〉や〈名前〉〈交差点〉〈疑問〉」という認識
文テンプレートにユーザ発話をあてはめることにより、
ユーザ発話の認識がなされる。この場合の音声認識は、
既存の音声認識技術を利用して行われるが、ステップＳ
４７で案内されなかった項目に関する予測質問の優先度
が高く設定されているので、音声認識の精度が高い。

【００５２】続くステップＳ５０では、音声認識部３７
が質問項目を評価してその結果を発話記憶部３３に出力
する。この後、図９に示すフローチャートとは別のサブ
ルーチンが実行され、音声合成部４５によって案内情報
が音声合成されてスピーカ４６より案内がアナウンスさ
れる。この際、「何という名前の交差点ですか」という
ユーザの質問を想定した場合には、音声合成部４５で
は、「〈交差点名〉交差点です」という発話文テンプレ
ートを用いて音声合成を行う。したがって、図８の例で
は、「アリーナ前交差点です」という音声合成がなさ
れ、これがスピーカ４６より案内アナウンスされる。こ
の案内内容は、付随的情報である。

【００５３】この後、音声認識部３７においては、既に
案内済みの項目、図８の例では距離及び方向に関する認
識文テンプレートの優先度にｂを加算することでその優
先度を下げ（ステップＳ５１）、更にユーザからの質問
を待つ。そして、現在位置が案内ポイントｉを過ぎたと
判断される場合には（ステップＳ４８）、ポイント番号
ｉを１つインクリメントして同様の処理を繰り返し（ス
テップＳ４２〜５１）、これをステップＳ４３で判定さ
れるすべてのポイントの終了まで続行する。

【００５４】ここで、案内地点が案内ポイントである交
差点に近接している場合、案内された交差点をユーザが
同定することができない場合がある。そこで、このよう
な場合に備え、音声認識部３７は、「〈現在地〉｛を｜
で｝〈方向転換〉〈疑問〉」や「［交差点］は〈現在
地〉〈疑問〉」というような認識文テンプレートを備え
る。このような認識文テンプレート中、［］は、省略可
能性を示す。例えば、「ここですか」という質問を受け
ると、音声認識部３７は、認識文テンプレート「［交差
点］は〈現在地〉〈疑問〉」によって、〈交差点〉が省
略されていると判断し、発話記録部３３の発話履歴から
交差点ＩＤ００２３を検索し、〈交差点〉を交差点ＩＤ
００２３の交差点名であるアリーナ前に置き換える（図
８の例）。また、指示代名詞である「ここ」は音声認識
部３７によって〈現在地〉という項目に置き換えられる
が、これを意味的に解決するために対話管理部３１は地
理検索部３５を通じて現在地の位置情報、最寄りの交差
点名、交差点ＩＤ等を取得して「ここ」を〈現在地〉と
置き換える。その結果、「交差点ＩＤ２３＝交差点ＩＤ
２３」や「交差点ＩＤ２３＝交差点ＩＤ２２」というよ
うな式が得られる。前者の場合、その評価は「真」とな
り、これが音声合成部３７に送られて「そうです」とい
うような案内出力がなされる。これに対し、後者の場
合、その評価は「偽」となり、これが音声合成部３７に
送られて「違います」というような案内出力がなされ
る。

【００５５】

【発明の効果】本発明は、ユーザが置かれている現在の
状態を収集し、これに見合った支援情報を案内するよう
にし、また、システムによる案内に対し、ユーザが質
問、問い返し、関連情報要求等の関連発話を行った場
合、これをそれ以前のシステム発話又はユーザ発話と関
連付けて認識し対応するようにしたので、ユーザにその
者が各時点で真に求める情報を提供し、作業支援効果を
高めることができる。

【００５６】

【００５７】 そして、ユーザ発話認識手段は、ユーザ
の注意対象が現在の案内情報にあるかどうかを推察し、
ユーザの注意対象が現在の案内情報から移ったと判断し
た場合は、以前の案内情報の再要求に対する準備を行う
ので、自然な対話の流れの中からユーザの注意の移動を
推測することができ、したがって、複雑な機構や特別な
センサ、それらのための余計な対話なしにユーザの自然
な行動パターンにシステムを追随させることができ、音
声認識の認識率を向上させることができる。

【００５８】

【００５９】

【図面の簡単な説明】

【図１】本発明の一実施の形態として、料理ナビケーシ
ョンシステムの概要を示す模式図である。

【図２】各部の電気的接続を示すブロック図である。

【図３】料理知識データベースのデータ構造を示す模式
図である。

【図４】作業支援処理の概要を示すフローチャートであ
る。

【図５】条件設定処理の概要を示すフローチャートであ
る。

【図６】テンプレート中の各項目に対する単語のあては
め方法及び複数の単語間の優先順位の決定方法を示すフ
ローチャートである。

【図７】本発明の参考例として、カーナビゲーションシ
ステムの概要を示す模式図である。

【図８】経路記憶部に記憶保持された経路情報の一部を
示す模式図である。

【図９】案内内容及び予測質問を作成する処理の流れを
示すフローチャートである。

【符号の説明】

６〜１０，３８〜４０，４３ 状況収集手段 １０，４３ ユーザ発話収集手段 ２，１１，３２，４４ データベース １３，４６ 案内部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ１０Ｌ 3/00 ５７１Ｕ (56)参考文献 特開 平７−301538（ＪＰ，Ａ) 特開 平７−219590（ＪＰ，Ａ) 特開 平８−146989（ＪＰ，Ａ) 特開 平４−1897（ＪＰ，Ａ) 特開 平５−173589（ＪＰ，Ａ) 特開 平５−307461（ＪＰ，Ａ) 特開 平６−110486（ＪＰ，Ａ) 特開 平７−27569（ＪＰ，Ａ) 特開 平７−152723（ＪＰ，Ａ) 特開 平８−123482（ＪＰ，Ａ) 特開 平８−166797（ＪＰ，Ａ) 特開 平９−265378（ＪＰ，Ａ) 特開 昭62−40577（ＪＰ，Ａ) 特開 昭57−80129（ＪＰ，Ａ) 特開 昭63−201686（ＪＰ，Ａ) 望主雅子，他，ナビゲーション対話に おける省略文の分析，情報処理学会研究 報告［音声言語情報処理］，1996年10月 25日，96−ＳＬＰ−13，ｐ．25−30 酒寄哲也，他，調理行動に伴う対機械 対話収録実験，情報処理学会研究報告 ［音声言語情報処理］，1997年 ７月18 日，97−ＳＬＰ−17，ｐ．27−32 望主雅子，他，調理行動に伴う対機械 対話の発話現象，情報処理学会研究報告 ［音声言語情報処理］，1997年 ７月18 日，97−ＳＬＰ−17，ｐ．33−38 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 13/00 G10L 15/00 G10L 15/22 G10L 15/28 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 所定の作業を実行しているユーザに対し
   てその作業を支援する情報を案内する作業支援システム
   において、 ユーザが置かれている現在の状態をユーザ発話以外の情
   報源から収集して電気信号に変換し出力する状況収集手
   段と、 前記状況収集手段の出力信号に基づいてユーザが置かれ
   ている現在の状態を認識する現状認識手段と、 ユーザ発話を収集して電気信号に変換し出力するユーザ
   発話収集手段と、 前記ユーザ発話収集手段の出力信号に基づいてユーザ発
   話を認識し、ユーザが行った案内情報に対する関連発話
   をそれ以前のシステム発話又はユーザ発話と関連付けて
   認識するユーザ発話認識手段と、 ユーザの作業を支援する情報を体系的に記憶保持するデ
   ータベースと、 前記現状認識手段及び前記ユーザ発話認識手段の認識結
   果に応じてユーザが行っている作業の支援に必要な情報
   を前記データベースから検索する情報検索手段と、 前記情報検索手段によって検索された必要な情報を案内
   部に案内させる案内手段と、を備え、前記ユーザ発話認
   識手段は、ユーザの注意対象が現在の案内情報にあるか
   どうかを推察し、ユーザの注意対象が現在の案内情報か
   ら移ったと判断した場合は、以前の案内情報の再要求に
   対する準備を行うことを特徴とする作業支援システム。
2. 【請求項２】 ユーザ発話認識手段が認識したユーザの
   関連発話に対して情報検索手段がその回答となる情報を
   検索した場合、ユーザの注意対象が現在の案内情報から
   移ったと判断し、直前のユーザ関連発話の対象とならな
   かった項目の優先順位を引き上げることを特徴とする請
   求項１記載の作業支援システム。
3. 【請求項３】 案内手段によって情報が案内部から案内
   された後一定時間経過後、現状認識手段及びユーザ発話
   認識手段の認識結果から作業の十分な進行が認識できな
   い場合、ユーザの注意対象が現在の案内情報から移った
   と判断し、直前のユーザ関連発話の対象とならなかった
   項目の優先順位を引き上げることを特徴とする請求項１
   記載の作業支援システム。