JPH09212568A - ユーザ適応型応答装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の機器に設けられた音声合成装置にあっ
ては、操作者が機器に慣れた人、機器に不慣れな人のよ
うに幅広い人を対象としており、操作者の機器の熟練
度、或るいは熟知度等によらずに、誰が操作しても、そ
の音声合成装置の音声合成出力の内容は普遍的であっ
た。 【解決手段】 本発明は音声ガイダンスに従って操作者
がキー入力を行う機器に具備される音声合成装置であっ
て、上記音声ガイダンスによる、上記操作者のキー入力
の反応時間に基づいて、上記音声ガイダンスの内容を変
更することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、操作者が行う機器
の操作内容に基づいて応答動作が変化するユーザ適応型
応答装置に関し、特に操作者のレベル、例えば機器の熟
練度、或るいは熟知度等に応じて、音声合成の口調、声
色、発声速度、音量、基本周波数、発声内容を機器側で
判断して適宜変更するユーザ適応型応答装置に関する。

【０００２】

【従来の技術】従来、操作者が機器を操作する場合に、
機器から操作方法を音声合成によって操作者に説明する
ことが行われており、図３は銀行でよく見られる現金自
動支払機（以下「ＡＴＭ」という。）の概略構成図であ
る。

【０００３】同図において、１は操作者が現金の振込
み、引き出し等の操作を行う操作項目、紙幣・硬貨の金
額、氏名或るいは口座番号等を釦の押下によって入力す
る入力手段、２は現金の振込み等に際して紙幣・硬貨投
入口に投入された現金の確認、並びにカウントする紙幣
・硬貨算出手段、３は現金の振込み等に際して、その操
作手順を画面表示によって操作者に知らせる表示手段、
４は表示手段３によって知らせる操作手順の音声メッセ
ージを音声合成出力する音声出力手段、５は入力手段
１、紙幣・硬貨算出手段２、表示手段３、及び音声出力
手段４の情報（例えば、現金の金額、口座番号、操作項
目等）を各ＡＴＭ毎に処理する情報処理手段、６は複数
設置されたＡＴＭの情報を集中的に処理する中央処理手
段、７は中央処理手段６で処理された情報を記憶格納す
る記憶手段である。

【０００４】上述の構成において、操作者がＡＴＭを利
用して、現金の振込みを行う場合のＡＴＭの動作原理を
図４のフローチャートに従って説明する。

【０００５】ステップＳ１において、操作者は、例えば
「現金の振込み」を示す、入力手段１の操作項目の釦を
押下してその操作処理内容を選択する。ステップＳ２に
おいては、情報処理手段５は、操作者が押下した釦が現
金の振込みを示す操作項目である旨認識し、これに対応
する操作者が操作すべき処理を表示手段３に出力する。
ステップＳ３では、ステップＳ２と同様に操作者が操作
すべき処理を、例えば「紙幣は紙幣投入口に投入し、硬
貨は硬貨投入口に投入して蓋をしめて下さい。」のよう
に音声合成によって出力する。

【０００６】ステップＳ４では、操作者は現金の振込み
に関して、現金を紙幣・硬貨投入口に投入すると共に、
これに関連する操作、例えば口座番号の入力等を入力手
段１の釦の押下によって行う。

【０００７】ステップＳ５においては、ステップＳ４で
行った操作者の操作が誤操作であるか否かを判定し、誤
操作であれば、ステップＳ６に進み、一方誤操作でなけ
ればステップＳ７に進む。

【０００８】ステップＳ６では、操作者が行った操作が
誤ったものである旨を表示すると共に「貴方が行った現
金の振込み操作は誤っていますので、もう一度やり直し
て下さい。」のように音声合成で出力する。ステップＳ
８では現在行っている現金の振込み処理を途中で終了す
るか否かを判定し、終了するのであれば、ステップＳ９
に進み、一方終了しないのであれば、ステップＳ２に戻
る。

【０００９】ステップＳ９では、ステップＳ１で選択し
た現金の振込み処理が異常終了した旨を操作者に知らせ
る。

【００１０】ステップＳ７においては、例えば「現金の
振込み」に関する全ての入力操作が終了したか否かを判
定し全ての入力操作が終了したのであれば、ステップＳ
１０に進み、一方終了していないのであれば、ステップ
Ｓ２に戻る。

【００１１】ステップＳ１０では、操作者が行った入力
操作に従って、情報処理手段５が処理を実行する。ステ
ップＳ１１においては、現金の振込み処理が正常に終了
した旨を操作者に知らせて、全ての処理を終了する。

【００１２】

【発明が解決しようとする課題】然し乍ら、従来のＡＴ
Ｍ等の機器に設けられた応答装置にあっては、操作者が
機器に慣れた人、機器に不慣れな人のように幅広い人を
対象としており、上述の図７のフローチャートのステッ
プＳ３、及びステップＳ６では、操作者の機器の熟練
度、或るいは熟知度等によらずに、誰が操作しても、そ
の音声合成出力の内容（いわゆる応答動作）は普遍的で
ある。

【００１３】従って、機器の操作に慣れた人にとっては
却って操作性を阻害することが考えられる。

【００１４】そこで、本発明は上述の問題点に鑑み為さ
れたものであり、機器を操作する人の熟練度、或るいは
熟知度に応じて、基本周波数、発声速度等の設定によ
り、口調、声色、発声速度、発声内容を適宜変更するこ
とが可能なユーザ適応型応答装置を提供することを目的
とする。

【００１５】

【課題を解決するための手段】本発明は、機器を操作す
る操作者の操作者情報に基づいて上記機器の応答動作が
変化するユーザ適応型応答装置であって、複数種類の応
答動作に対応する、複数のユーザモデルを記憶するユー
ザモデル部と、上記操作者の操作内容に基づいて類似の
ユーザモデルを上記ユーザモデル部から選択するユーザ
推定部と、該ユーザ推定部により選択されたユーザモデ
ルに対応する応答動作を行う応答部と、を具備すること
を特徴とする。

【００１６】また、上記ユーザモデル記憶部に記憶され
たユーザモデルは、上記操作者の熟練度に基づいて定め
られたものであることを特徴とする。

【００１７】上記操作者情報は、上記操作者の反応時
間、上記操作者の操作履歴、上記操作者の操作位置、上
記操作者の入力音声、顔の映像から推定される感情、生
理的情報のうちいずれかであることを特徴とする。

【００１８】上記操作履歴は、上記操作者の過去の操作
頻度、反応時間、操作誤り回数、又は操作誤りのうちい
ずれか一又は二以上の種類であることを特徴とする。

【００１９】上記反応時間は、上記機器の応答動作の開
始、或るいは終了時刻を基準とし、上記操作者が次の操
作を開始する迄の時間であることを特徴とする。

【００２０】上記反応時間は、上記操作者の一連の入力
操作の一入力当りの所要時間であることを特徴とする。

【００２１】上記入力操作は、上記操作者の釦、或るい
はタッチパネルによる手入力操作であることを特徴とす
る。

【００２２】上記応答部は音声ガイダンスを出力する音
声出力部を具備することを特徴とする。

【００２３】上記音声出力部は、上記ユーザ推定部で選
択されたユーザモデル、又は上記操作者の操作者情報の
少なくともいずれか一方に応じて、発声内容、基本周波
数、発声速度、又は音量を制御することを特徴とする。

【００２４】

【発明の実施の形態】本発明の実施の形態を自動車等に
搭載されるナビゲーションシステムを用いて図１及び図
２に従って説明する。

【００２５】図１は本発明のユーザ適応型応答装置を、
自動車等の行き先の案内経路を示すナビゲーションシス
テムに適用した場合のそのシステムの概略構成図であ
る。

【００２６】図１において、１０はキーボード、或るい
は音声によって指示情報を入力する入力手段、１１は道
路地図等の情報を記憶格納してある道路情報データベー
スであり、具体的にはＣＤ−ＲＯＭ等が該当する。

【００２７】１２は道路情報データベース１１の道路情
報、或るいは入力手段１０から入力された指示情報を表
示する、ＬＣＤ等からなる表示手段、１３は表示手段１
２にて表示する表示情報を制御する表示制御手段、１４
は初心者、中級者、或るいは熟練者等の複数モデルに対
応した音声ガイダンスの内容を予め備えているモデル文
保持部であり、このモデル文保持部１４は出力文生成部
１４ａ、韻律制御部１４ｂ、声質変換部１４ｃ、及び音
声生成部１４ｄから構成されており、斯かる構成部を詳
述する。

【００２８】出力文生成部１４ａはナビゲーションシス
テムにおいて必要な音声ガイダンスの文字列を格納して
おり、また韻律制御部１４ｂは音声ガイダンスをフォー
カス（強調）するために基本周波数、音量等を変更した
り、また発声速度を適宜変更する制御を行っており、更
に声質変換部１４ｃは子供、男性、又は女性の声質に変
換する機能を夫々有している。

【００２９】音声生成部１４ｄは出力文生成部１４ａの
文字列に従って韻律制御部１４ｂで韻律制御、或るいは
声質変換部１４ｃで声質変換された音声を接続形成する
機能を有する。

【００３０】１５は初心者、中級者、或るいは熟練者等
の複数モデルに対応するべく、ナビゲーションシステム
の操作者のレベルを推定するユーザ推定部であり、この
ユーザ推定部１５はナビゲーションシステム等の機器の
音声ガイダンスに対する操作者の応答速度、又は操作者
の一連の入力操作の一入力当りの所要時間、或るいは操
作者による単位時間当りの情報入力数、具体的にはキー
ボードを用いた場合にはキーストロークス数、並びに操
作者の操作履歴、具体的には操作者の過去における操作
頻度、反応時間、操作誤り回数、又は操作誤りの種類を
検出することによって、機器の操作者が初心者、中級
者、或るいは熟練者であるか否かを推定して、適切なユ
ーザモデルを選定する。

【００３１】１６は入力手段１０、道路情報データベー
ス１１、表示手段１２、表示制御手段１３、及びユーザ
推定部１５を制御する中央処理装置である。

【００３２】上述の構成を備えたナビゲーションシステ
ムにおける第１の動作原理を図２のフローチャートに従
って説明する。

【００３３】図２におけるステップＳ２０では、システ
ムの電源投入直後の初期設定としての初期ユーザモデル
を設定する。

【００３４】初期設定としては、操作者が頻繁に交替し
たり、また操作者の能力が不明な場合等では初心者モデ
ルに設定するのが一般的であるが、操作者が限定される
場合では、電源遮断時点の状態を記憶させ電源遮断前に
選択されていたユーザモデルを初期ユーザモデルとして
設定することによって、使いやすさを向上させることが
可能となる。

【００３５】更に、操作者に適宜初期ユーザモデルを選
択できるようにさせることも可能である。

【００３６】ステップＳ２１においては、操作者は表示
手段１２に表示されたメニューの中から必要な操作処理
をタッチ入力、或るいはキーの押下により選択する。

【００３７】ステップＳ２２においては、操作処理内容
の表示を表示手段１２に行う。

【００３８】ステップＳ２３では、操作処理内容に関
し、設定されたユーザモデルに対応する音声ガイダンス
を音声メッセージとして音声出力する。

【００３９】ステップＳ２４においては、操作者はタッ
チ入力、或るいはキーの押下により操作処理に関する情
報、例えば、カーソル移動、行き先等の入力を行う。

【００４０】ステップＳ２５では、操作者の応答パラメ
ータ、例えば音声ガイダンスに対する操作者の応答時
間、キー押下と次のキー押下との間隔、入力訂正頻度等
を算出乃至検知する。これらのパラメータは、値のばら
つきの影響をできるだけ除去するために、最近の操作処
理で得られた値を所定回数分平均してもよい。

【００４１】ステップＳ２６では、ステップＳ２５で得
られた操作者の応答パラメータを予め設定されているユ
ーザモデルに応じた応答パラメータと比較する。

【００４２】一例として、４つのユーザモデルとそれぞ
れに対する応答パラメータの一例を表１に示す。

【００４３】

【表１】

【００４４】ここで、Ｔ１は音声ガイダンスの出力開始
時刻を、Ｔ２は音声ガイダンスの出力終了時刻を、Ｔ３
は操作者による釦等の操作開始時刻をそれぞれ表してお
り、 （１）ユーザモデル１（初級者：音声ガイダンスを最後
まで聞いてから操作する者） （２）ユーザモデル２（中級者：音声ガイダンスを未だ
必要としている者） （３）ユーザモデル３（上級者：操作の手順はほぼ了解
している者） （４）ユーザモデル４（最上級者：長い音声ガイダンス
が煩わしい者） を用意し、夫々に応じた標準的な応答パラメータとし
て、操作者の応答時間Ｔ０と、平均釦操作間隔Ｉ０を予
め設定している。

【００４５】ユーザモデル毎にパラメータを最適に設定
するため、ここではユーザモデル１（初級者）とユーザ
モデル２（中級者）は音声ガイダンスの内容を全て聞い
た後に操作をする操作者であるから、応答時間Ｔは音声
ガイダンスの出力終了時刻Ｔ２を基準にし、ユーザモデ
ル３（上級者）とユーザモデル４（最上級者）は音声ガ
イダンスの内容を聞かなくても操作ができる操作者であ
るから、応答時間Ｔは音声ガイダンスの出力開始時刻Ｔ
１を基準にしている。

【００４６】このほか、釦押下の訂正頻度等の、必要に
応じたパラメータの種類を増減させてもよい。或るい
は、初級者から最上級者へといった段階的な設定だけで
なく、種々の個性的なユーザモデルを用意してもよい。

【００４７】このようなパラメータは、被験者によって
観測された値をそのまま利用することができる。複数の
被験者をあらかじめ能力によって上記４つのユーザモデ
ルに分類し、それぞれのユーザの応答パラメータを求
め、適宜平均する等して設定すればよい。

【００４８】更に好ましいのは、ユーザモデル０として
音声ガイダンスの音声出力を何度か繰り返したり、また
ユーザモデル５として音声ガイダンスを音声出力しない
ユーザモデルを用意してもよい。

【００４９】上述のステップＳ２６においては、操作者
の応答時間Ｔと、平均釦操作間隔Ｉを算出する。操作者
の応答時間Ｔは、表１に示すように、ユーザモデルに応
じて定義を変えているが、このようにパラメータの性質
に応じて適宜定めればよい。

【００５０】而して、数１に基づいて、操作者の応答時
間誤差ΔＴと、平均釦操作間隔誤差ΔＩを算出し、あら
かじめ定めた値α、βを乗じて重み付けして加えること
で、操作者と各ユーザモデルとの誤差関数Ｅが得られ
る。

【００５１】

【数１】

【００５２】そして、最終的に各ユーザモデルに対する
誤差関数Ｅを求め、この誤差関数Ｅが最小となるユーザ
モデルを、操作者に最も類似したモデルと判定する。

【００５３】ここで、具体的な処理の一例として、ステ
ップＳ２１において目的地のコードを８桁の数字で入力
する場合の操作を選択した例を示す。

【００５４】ステップＳ２２において操作処理内容を表
示手段１２に表示し、ステップＳ２３において「画面の
下にある数字キーを押して、目的地のコードを入力して
ください。」という音声を出力する。ステップＳ２４で
操作者は、この指示に対して数字キーを用い、８桁の数
字を入力する。

【００５５】ステップＳ２５では、例えば、音声ガイダ
ンスの出力開始時刻Ｔ１＝０秒、音声ガイダンスの出力
終了時刻Ｔ２＝３秒、操作者による釦の操作開始時刻Ｔ
３＝５秒であることを検知すると共に、操作者の数字入
力における８つの数字キーの押下の所要時間を測定した
結果として、平均間隔Ｉ＝０．８秒であることを算出す
る。

【００５６】これらの数値から、表１、及び数１を用い
て誤差関数を計算すると、表２のようになる。ただし、
ここでは一例としてα＝１、β＝１０とする。

【００５７】

【表２】

【００５８】この結果、誤差関数Ｅを最小にするのはユ
ーザモデル１であることから、最も最適なユーザモデル
１が選択される。

【００５９】なお、ユーザモデル４（最上級者）が設定
されているとき、新たに選択されたユーザモデルがユー
ザモデル１（初心者）だった場合に、機器の応答様式が
急激に変わることでかえって操作性を損なうことが考え
られる。このような場合には、上記誤差関数Ｅを算出す
るにあたり、ユーザモデル１に対する誤差関数が大きく
なるよう、現在設定されているユーザモデル（上述の場
合にはユーザモデル４）に応じて、各ユーザモデルに対
する誤差関数に所定の数値を加算・乗算したり、変更可
能なユーザモデルを限定することで、急激なユーザモデ
ルの変更を避けることができる。操作者が交替なく使用
する機器等では、特に有効である。

【００６０】ステップＳ２６においてユーザモデルの変
更が必要と判断されればステップＳ２７に進み、変更が
不要と判断されればステップＳ２８に進む。

【００６１】ステップＳ２７では、ユーザモデルの設定
変更を行った後、ステップＳ２８に進む。

【００６２】ステップＳ２８では、選択された操作処理
に応じて処理が行われる。その際には、更新されたユー
ザモデルに対応して、音声メッセージの出力や表示手段
への表示等が行われる。

【００６３】ステップＳ２９では、すべての処理が終了
したかどうかを判断し、処理が続くならばステップＳ２
１へ戻り、終了と判断されれば終了を操作者に知らせて
処理を終了する。

【００６４】ステップＳ２２、Ｓ２３、Ｓ２８等で行わ
れる表示や音声出力をユーザモデル毎に設定するにあた
り、初心者には丁寧な応答をさせ、上級者には簡単な応
答にとどめるだけでなく、誤りの多い操作者には注意を
喚起するように重要な部分を強調したりすることもでき
る。

【００６５】また、以上の説明ではキー入力に関するパ
ラメータによってユーザモデルを選択し、これによって
操作者を推定したが、パラメータとしては、赤外線セン
サーによる操作者の操作位置（人の位置）、音声処理に
よる入力音声中の感情や性別情報の抽出、画像処理によ
る人間の顔の表情抽出、赤外線センサーで顔の表面温度
を測定することによる感情等の抽出から得られる数値を
利用することもできる。

【００６６】これらを適宜組み合わせることによって、
操作者の状態や快適度等に適応した応答動作も可能であ
り、本発明は、用いる操作者に関する情報の種類によっ
て何ら制限を受けるものではない。

【００６７】また、応答手段として表示手段への表示や
音声ガイダンスを例として説明したが、上記説明以外に
も、設定されているユーザモデルに応じてメニュー内容
を変えたり、操作者の性別に応じて音声ガイダンスの口
調や声質を変えたり、更に操作者が機器から少し離れて
いれば音声、文字を大きくしたり、更に操作者の身長に
応じて、或るいは操作者が椅子に座っているかを判定し
て画面の向きを変えたりすることも可能である。

【００６８】尚、これら以外にも、例えば作業環境の快
適性を向上させるための温度や湿度、照度等を調節する
ことも可能である。すなわち機器の応答としては種々の
形態が考えられ、それらによって本発明はなんら制限を
受けることはない。

【００６９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、操作者の個性、能力、又は好みに適応した最
適な表示や音声ガイダンス等の応答出力を可能とする、
ユーザフレンドリーなインタフェースを備えたユーザ適
応型応答装置を提供することができる。

【００７０】また、ユーザモデルの性質に応じて、誤差
関数の算出に用いるパラメータの種類や数値を最適に設
定することができるため、多様な操作者に適応し、常に
最適な応答が可能となる。

【００７１】ユーザモデルの追加変更をしても、他のユ
ーザモデルの設定に影響を与えず、しかも、ユーザモデ
ルを増やすだけで、操作者への適応性能が向上する。

【００７２】また、常に複数のユーザモデルの中から最
適なモデルを誤差関数によって選択するので、一つのユ
ーザモデルから別のユーザモデルへの変更条件を個別に
記述する必要性がなくなる。

【００７３】さらに、初心者から上級者へといった直線
的な並び方を意識せずに、せっかちな人、間違いが多い
人、キー操作が苦手な人、といった特徴別にユーザモデ
ルを設計することができる。

【図面の簡単な説明】

【図１】本発明の音声合成装置をナビゲーションシステ
ムに適用した場合のそのシステムの概略構成図である。

【図２】本発明の音声合成装置に係る動作原理のフロー
チャートである。

【図３】従来のＡＴＭの概略構成図である。

【図４】従来のＡＴＭの動作フローチャートである。

【符号の説明】

１０ ・・・・入力手段 １１ ・・・・道路情報データベース １２ ・・・・表示手段 １３ ・・・・表示制御手段 １４ ・・・・モデル文保持部 １４ａ・・・出力文生成部 １４ｂ・・・韻律制御部 １４ｃ・・・声質変換部 １４ｄ・・・音声生成部 １５ ・・・・ユーザ推定部 １６ ・・・・中央処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 湯村 武 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 大西 宏樹 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 機器を操作する操作者の操作者情報に基
   づいて上記機器の応答動作が変化するユーザ適応型応答
   装置であって、 複数種類の応答動作に対応する、複数のユーザモデルを
   記憶するユーザモデル部と、上記操作者の操作内容に基
   づいて類似のユーザモデルを上記ユーザモデル部から選
   択するユーザ推定部と、該ユーザ推定部により選択され
   たユーザモデルに対応する応答動作を行う応答部と、を
   具備することを特徴とするユーザ適応型応答装置。
2. 【請求項２】 上記ユーザモデル記憶部に記憶されたユ
   ーザモデルは、上記操作者の熟練度に基づいて定められ
   たものであることを特徴とする請求項１記載のユーザ適
   応型応答装置。
3. 【請求項３】 上記操作者情報は、上記操作者の反応時
   間、上記操作者の操作履歴、上記操作者の操作位置、上
   記操作者の入力音声、顔の映像から推定される感情、生
   理的情報のうちいずれかであることを特徴とする請求項
   １記載のユーザ適応型応答装置。
4. 【請求項４】 上記操作履歴は、上記操作者の過去の操
   作頻度、反応時間、操作誤り回数、又は操作誤りのうち
   いずれか一又は二以上の種類であることを特徴とする請
   求項３記載のユーザ適応型応答装置。
5. 【請求項５】 上記反応時間は、上記機器の応答動作の
   開始、或るいは終了時刻を基準とし、上記操作者が次の
   操作を開始する迄の時間であることを特徴とする請求項
   ３、又は４記載のユーザ適応型応答装置。
6. 【請求項６】 上記反応時間は、上記操作者の一連の入
   力操作の一入力当りの所要時間であることを特徴とする
   請求項３、４、又は５記載のユーザ適応型応答装置。
7. 【請求項７】 上記入力操作は、上記操作者の釦、或る
   いはタッチパネルによる手入力操作であることを特徴と
   する請求項６記載のユーザ適応型応答装置。
8. 【請求項８】 上記応答部は音声ガイダンスを出力する
   音声出力部を具備することを特徴とする請求項１記載の
   ユーザ適応型応答装置。
9. 【請求項９】 上記音声出力部は、上記ユーザ推定部で
   選択されたユーザモデル、又は上記操作者の操作者情報
   の少なくともいずれか一方に応じて、発声内容、基本周
   波数、発声速度、又は音量を制御することを特徴とする
   請求項１１記載のユーザ適応型応答装置。