JPH10247180A - フォーカス管理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザの入力操作からだけでなく、ユーザの
動作やシステムからの情報提示、フォーカスウィンドウ
の消去等のシステムからユーザへの動作をトリガーとし
て、新たにフォーカス位置の設定、管理を行う装置を提
案し、入力操作におけるユーザの操作負担の軽減を図
る。 【解決手段】 ユーザの入力を利用するシステムにおい
て、ユーザ動作判定手段００５においてユーザの動作に
対するフォーカスに関する操作を判断し、フォーカス管
理手段００７においてフォーカスの移動、管理、取得を
行う。また、システム動作判定手段００９において、シ
ステムからユーザへの情報提示や、情報消去等の各動作
に対するフォーカス操作を判断し、フォーカス管理手段
００７においてフォーカスの移動、設定、管理、取得を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はユーザの音声、ポイ
ンティング動作などを入力として利用するシステムにお
ける、フォーカス管理装置に関する。

【０００２】

【従来の技術】計算機に馴染みの薄いユーザでも簡単に
使えるインタフェースの一つに、計算機に対して音声入
力や自然言語文、マウス、タッチパネルなどのポインテ
ィング動作により問い合わせを行うものが開発されてい
る。このようなインタフェースは、音声入力やポインテ
ィング動作を解釈する入力解釈部を備え、入力される情
報の意味を理解して、対象のアプリケーションに対し
て、アプリケーション固有の操作手段に従った入力列を
作成し、アプリケーションを実行する、システムの入力
解釈部が音声入力中に含まれている指示語などの意味を
理解するためには、同時あるいは予め指定された指示対
象が必要である。

【０００３】従来の音声や自然言語文、マウス、タッチ
パネルなどのポインティング動作を入力とするシステム
では、この指示対象を決定するために、ポインティング
動作の対象にフォーカス設定を行い、音声入力指示にお
ける指示語の解釈に利用する。例えば、電子情報学会論
文誌Ｖｏｌ．Ｊ７７−Ｄ２，Ｎｏ．８の「インテリアデ
ザイン支援システムを対象としたマルチモーダルの評
価」では、ポインティング動作の対象にフォーカスを設
定し、音声で操作を行う対象はそのフォーカスがある対
象とする。

【０００４】

【発明が解決しようとする課題】しかし、この従来の技
術では、ユーザのポインティング動作だけでフォーカス
の移動を行うため、システムによるフォーカス対象の消
去などの動作の際にフォーカスが存在しなくなる場合に
は、ユーザは明示的にフォーカスを設定するためにポイ
ンティングを行う必要がある。

【０００５】よって、ユーザからのポインティング動作
だけからフォーカスの位置を決める場合、ユーザは意識
してポインティング動作を行う必要があり、ユーザの操
作負担に繋がる。

【０００６】本発明の目的は、ユーザの入力操作からだ
けでなく、ユーザの動作やシステムからの情報提示、フ
ォーカスしたウィンドウの消去等のシステムからユーザ
への動作をトリガーとして、新たにフォーカス位置の設
定、管理を行う装置を提案し、入力操作におけるユーザ
の操作負担の軽減をはかることができる。

【０００７】

【課題を解決するための手段】本発明の第１の発明は、
入力手段を介して入力されるユーザからの入力指示を解
釈する入力解釈手段と、前記入力解釈手段の解釈結果に
基づいたシステムの実行を行う操作実行手段と、前記操
作実行手段の実行結果の出力制御を行う出力制御手段
と、を少なくとも備え、ユーザの興味対象に応じて前記
操作実行手段の実行結果のフォーカスの位置を設定する
フォーカス管理装置において、前記入力解釈手段の解釈
結果を入力とし、前記ユーザからの入力指示によってユ
ーザがどこに興味対象があるかを判定するユーザ動作判
定手段と、前記操作実行手段によって実行されるシステ
ム動作の内容よって、ユーザがどこに興味対象があるか
を判定するシステム動作判定手段と、前記ユーザ動作判
定手段と前記システム動作判定手段の判定結果を入力
し、前記判定結果に基づいたフォーカスの位置の設定を
行うフォーカス管理手段と、前記出力制御手段は、前記
フォーカス管理手段で設定されたフォーカスの位置に応
じた出力を行うことを特徴とする。

【０００８】また、本発明の第２の発明は、第１の発明
において、前記フォーカス管理手段で設定されたフォー
カスに関する履歴を保持するフォーカス履歴保持手段を
更に備え、前記システム動作判定手段は、前記フォーカ
ス履歴保持手段が保持している該履歴を参照することに
よって、前記興味対象を判定することを特徴とする。

【０００９】

【発明の実施の形態】本発明の一実施の形態を図面を参
照して説明する。

【００１０】また、本発明において、フォーカスとはユ
ーザの興味対象、注視点と定義し、ユーザのシステムへ
の入力（指示語などを含む）の解釈における参照情報と
して利用する。

【００１１】図１は、本発明におけるフォーカス管理装
置の構成の一実施の形態を示すブロック図である。図１
に示したフォーカス管理装置は、ユーザの入力を受け付
ける入力手段００２と、出力手段００１と、入力された
情報を認識する入力認識手段００３と、入力認識手段で
認識した結果からユーザの入力を文字列情報の場合に
は、構文解析などを用いて解釈する入力解釈手段００４
と、入力解釈手段で解釈した結果に基づいてシステムの
実行を行う操作実行手段００６と、入力解釈手段での解
釈結果と、操作実行手段での実行結果と、フォーカス管
理手段００７の情報とから出力手段の制御を行う出力制
御手段０１０からなるシステムにおいて、特に新規性の
ある部分として、ユーザが入力手段を介して入力等をし
た動作（ユーザ動作）に対して、どのようなことにフォ
ーカスがあるかを予め定義し、ユーザ動作からフォーカ
スがどこにあるのかの判定を行うユーザ動作判定手段０
０５と、ユーザ動作によってシステムが何を実行するか
の解釈（システム動作）に対して、どのような場合にど
こにフォーカスが移動するかを予め定義し、システム動
作からフォーカスがどこにあるのかの判定を行うシステ
ム動作判定手段００９と、ユーザ動作判定手段と、シス
テム動作判定手段の判定結果から、フォーカスの移動、
設定、管理、取得を行い、その履歴をフォーカス履歴保
持手段００８で保持させるフォーカス管理手段００７と
で構成される。

【００１２】次に、本発明の動作について図１、図２、
図３、図４、図５を用いて説明する。

【００１３】本発明のシステムは、特に検索システムに
限るものではないが、説明の便宜上、主に検索を行うシ
ステムとして説明する。

【００１４】文献などの検索をポインティング、音声、
キーボード等によるユーザからの入力指示で実行する検
索システムにおいて、初期画面では、ユーザからの検索
の要求を受け付ける検索要求ウィンドウ１０１だけを表
示し、現在、フォーカス（ユーザの興味対象、注視点）
は、そのウィンドウにある。

【００１５】例えばここで、ユーザが入力手段００２を
介して、「大阪市に関する本は？」と入力した場合（図
２（ａ））、入力認識手段００３においてユーザの入力
を認識し、入力解釈手段００４において、例えば特開昭
６３−３０９６８号公報「言語解釈方式」にあるような
構文解析方式を用いて解釈を行い、その解釈をユーザ動
作判定手段００５と、操作実行手段００６、出力制御手
段０１０に送る。特に、ここでの入力は、入力解釈手段
でユーザの入力が検索要求であると解釈し、出力制御手
段を介して、その内容を検索要求ウィンドウ１０１に表
示する。

【００１６】ここで、ユーザ動作判定手段００５は、図
３に示したように入力解釈手段００４で解釈されたユー
ザ動作に対応したフォーカス管理手段００７への要求を
ユーザ動作判定知識として予め保持し、その知識に基づ
いて、何処にフォーカスがあるのかを判定して、フォー
カス管理手段００７に要求を行う。

【００１７】今、ユーザの入力が「大阪市に関する本は
？」であって、入力解釈手段００４で、検索要求である
と解釈されており、また、入力解釈手段００４内の処理
である形態素解析において、この入力は「この」や「そ
の」等の指示語が存在していないと判断されるので、図
３に示すユーザ動作が検索要求（指示語なし）に相当す
るものであるとみなし、その場合フォーカス管理手段へ
の要求がないことから、ここではフォーカス管理手段０
０７への要求は行わない。

【００１８】また、操作実行手段００６では、入力解釈
手段００４で解釈された結果からシステムの実行を行
う。この場合、操作実行手段００６は、データベース検
索を行い、その結果を出力制御手段０１０に出力する。

【００１９】出力制御手段０１０では、入力解釈手段０
０４から渡された解釈に基づいて、操作実行手段００６
から渡されたデータの出力形式を予め設定した中から選
択し、その形式にそったウィンドウ、ボタンの生成を行
って、それらのウィンドウＩＤやボタンＩＤ、ウィンド
ウ内容や、各ボタン内容を、ディスプレイから消去され
るまで保持する。

【００２０】この場合、入力解釈手段００４でのシステ
ムが何を実行するか（システム動作）の解釈情報：検索
要求に基づいて、図２（ｂ）に示したように検索結果を
リスト形式とした結果リスト１０５を含む検索結果ウィ
ンドウ１０２を作成し、それらのウィンドウＩＤやボタ
ンＩＤ、ウィンドウ内容や各ボタン内容を保持する。

【００２１】そしてシステム動作判定手段へ、ウィンド
ウＩＤ、ウィンドウ内容と入力解釈手段００４での解
釈：検索要求といった情報を出力する。

【００２２】ここで、システム動作判定手段００９で
は、図４に示したようにシステム動作に対応したフォー
カス管理手段００７への要求をシステム動作判定知識と
して予め保持し、その知識に基づいて、ユーザが何処に
フォーカスがあるのかを判定して、フォーカス管理手段
００７に要求を行う。

【００２３】ウィンドウの内容を表す情報は、ウィンド
ウを特定するためのウィンドウＩＤ、ウィンドウ内にあ
るボタンを特定するためのボタンＩＤ、ウィンドウが階
層構造になっている場合に、ウィンドウのリンク元を判
別するためのリンク元ウィンドウＩＤや、入力解釈の際
に利用するウィンドウ内容やボタン内容等のウィンドウ
が持つ情報のことである。

【００２４】フォーカス管理手段００７は、ユーザ動作
判定手段とシステム動作判定手段から入力された情報に
基づいて、ユーザ動作判定手段とシステム動作判定手段
の各手段の判定結果からフォーカスの移動や破棄等を行
うため、出力制御手段０１０に命令し、図５に示したよ
うにフォーカスの履歴の保持をフォーカス履歴保持手段
００８に命令する。

【００２５】また、フォーカス管理手段００７は、入力
が「大阪市に関する本は？」の場合、上記したように、
ユーザ動作判定手段からの入力はなく、システム動作判
定手段からの入力のみとなる。システム動作判定手段か
らは、検索結果ウィンドウへのフォーカス設定と、その
ウィンドウの内容に関する情報を入力し、それらの情報
から図５（ａ）に示したように履歴の更新と、新たなウ
ィンドウをフォーカスとして認識したことをユーザにフ
ィードバックするために、フォーカスの場所を示す情報
を、ウィンドウＩＤ、ウィンドウ内容、ボタンＩＤ、ボ
タン内容の順に記した（１０２，結果：大阪市に関する
本，，）を出力解釈手段０１０に出力する。

【００２６】出力制御手段０１０では、フォーカス管理
手段より入力されたフォーカス情報から、生成した結果
ウィンドウにフォーカスがあるとして、図２（ｂ）に示
すようにその生成した結果ウィンドウの枠の色を変える
等で目立たせた形式での表示を行い、検索要求ウィンド
ウ１０１の内容を消去する。

【００２７】この図２（ｂ）に示す状態であれば、ユー
ザにも検索結果ウィンドウ１０２にフォーカスが移った
ことがわかり、それに関連した質問「その内で難波に関
するものは？」等の質問が行いやすくなる。

【００２８】結果リスト１０５の各項目は、ボタンとな
っていて、項目がポインティングなどでユーザに指示さ
れると、その項目の詳細な情報として関連のある情報を
出力する。

【００２９】ここで、図２（ｂ）に示した結果リスト１
０５のうち、「大阪巡り」をポインティングした場合を
説明する。

【００３０】本実施の形態で説明したように、入力手段
００２を介してユーザがポインティングした場合、操作
実行手段００６で、「大阪巡り」に関する検索をすると
同時に、ユーザ動作判定手段では、ユーザ動作がウィン
ドウ内のボタンのポインティングであることから、フォ
ーカス管理手段への要求は、ボタンへのフォーカス設定
が選ばれ、また、システム動作判定手段では、システム
動作が、「大阪巡り」の検索結果の表示を実行すること
から、フォーカス管理手段への要求は、検索結果ウィン
ドウへのフォーカスが選ばれると同時に、その検索結果
ウィンドウの内容の情報をフォーカス管理手段へ出力す
る。フォーカス管理手段は、それらの情報を入力し、図
５（ｂ）に示したように履歴の更新を行い、フォーカス
の情報を出力制御手段に出力し、出力制御手段は初めに
「大阪巡り」にフォーカスを設定し、次に図２（ｃ）の
結果リスト１０５に示したように検索結果ウィンドウ１
０２の項目の詳細な情報として関連のある情報をフォー
カスがある形式で出力する。この例の場合は、「大阪巡
り」の本の検索をしたため、図２（ｃ）の書誌ウィンド
ウ１０３に示したような、出版年、出版社、関連キーワ
ードなどの関連のある情報を出力する。

【００３１】また、図２（ｃ）に示した状態で、書誌ウ
ィンドウ１０３の関連キーワード‘関空’をポインティ
ングで選択し、「これに関する本は？」と入力指示を行
う（図２（ｄ））場合は、図５（ｃ）に示すように上記
した本実施の形態に基づいてフォーカスの履歴が更新さ
れる。

【００３２】また、入力解釈手段００４では、「大阪市
に関する本は」と同様に検索要求とみなし、形態素解析
結果で「これ」という指示語があることがわかるため、
ユーザ動作判定手段００５ではユーザ動作知識の‘検索
要求（指示語あり）’に相当すると選択する。よって、
フォーカス管理手段００７にフォーカス対象要求を送
り、入力解釈手段００４はフォーカス管理手段００７か
ら現在のフォーカスの情報：（１０３，書誌：大阪巡
り，０４，関空）を受け取る。

【００３３】入力解釈手段００４では、指示語「これ」
の指示対象を次のように決める。

【００３４】フォーカス情報は、ウィンドウＩＤ、ウィ
ンドウ内容、ボタンＩＤ、ボタン内容を区切り文
字「，」等で区切った形式として渡されるので、３つ目
の区切りがｎｕｌｌの場合には、ボタンＩＤが存在せず
ウィンドウ全体が指示されたと選択して、ウィンドウ内
容を第１候補とする。

【００３５】また、ボタンＩＤがある場合には、ボタン
内容を第１候補、ウィンドウ内容を第２候補とする。そ
して、候補が構文解析で与えられた制約を満たす場合に
は、それを指示対象とする。第１候補、第２候補ともに
制約を満たさない場合には、出力制御手段０１０を通じ
て、ユーザに警告メッセージを表示し質問をやり直して
もらう。

【００３６】この「これに関する本は？」の場合には、
「これ」への構文解析上の制約がないため、ボタン内
容：関空と置き換えて「関空に関する本は？」という内
容にして操作実行手段００６へ送る。

【００３７】しかし、例えば同じ状況でも「これと同じ
出版社の本は」のような場合には、入力解釈手段００４
で出版社が本の属性であるという知識に基づいて、「こ
れ」が本である制約が加わる。そのため「これに関する
本は」と同様のフォーカス情報が得られても、書誌ウィ
ンドウ内のボタン内容である‘関空’は「これと同じ出
版社の本は」の「これ」に当てはまらないとして、ウィ
ンドウ内容の「大阪巡り」を用いて「大阪巡りと同じ出
版社の本は」という内容にする。

【００３８】その後は一番目の質問と同様の処理で、図
５（ｄ）に示すように新しい検索結果ウィンドウ１０４
にフォーカスが設定され、図２（ｅ）に示す表示とな
る。検索結果に関してはユーザに検索履歴として表示し
たままにするが、書誌事項ウィンドウに関してはフォー
カスが離れたときにはユーザの興味が失われたと判断し
てウィンドウを閉じる仕様としたため、書誌事項ウィン
ドウ１０３は図２（ｅ）には表示されない。

【００３９】つまり、出力制御手段０１０で、出力に関
する変更がある場合には、保持している現在出力中のウ
ィンドウＩＤや内容、また含まれるボタンのＩＤや内容
の情報から、書誌事項ウィンドウが存在するかどうか調
べる。存在している場合には、フォーカスがその書誌事
項ウィンドウにあるかどうかを調べ、なければその書誌
事項ウィンドウを消去する。

【００４０】ただし、特にウィンドウを閉じなくてもか
まわない。ユーザが検索内容を不用と判断し音声入力
「ウィンドウの破棄」を実行した場合、ユーザ動作判定
手段００５では、最新のフォーカスが存在するウィンド
ウの消去をフォーカス管理手段００７に送り、フォーカ
ス管理手段００７では最新フォーカスと同じウィンドウ
ＩＤ：１０４を持つ項目をすべて破棄する。よって、フ
ォーカス履歴は図５（ｄ）に戻る。

【００４１】また、システム動作判定手段００９では、
更新されたフォーカス履歴から最新のフォーカス情報を
取得する指示をフォーカス管理手段００７へ送る。出力
制御部０１０では、ウィンドウＩＤ：１０４のウィンド
ウを閉じ、取得したフォーカス情報から、再度ウィンド
ウＩＤ：１０２の中の項目、大阪巡りの書誌ウィンドウ
を開き、ボタン‘関空’にフォーカスを設定した表示と
して、図２（ｄ）と同じ画面表示にする。

【００４２】

【発明の効果】本発明によれば、ユーザのポインティン
グ動作だけでなく、他のユーザ動作やシステム動作を考
慮してフォーカスの設定や履歴管理を行い、ユーザが行
うべきポインティング動作などの入力に関する動作を減
らすことができ、操作負担を軽減することができる。

【００４３】また対話のフォーカスをユーザが明確に把
握できて音声指示を行いやすくなり、ユーザが音声指示
を行う上での操作負担を軽減することができる。

【図面の簡単な説明】

【図１】本発明の構成の一実施の形態を示すブロック図
である。

【図２】本発明のシステムの表示画面図の一実施の形態
を示す図である。

【図３】本発明のユーザ動作判定知識の一実施の形態を
示す図である。

【図４】本発明のシステム動作判定知識の一実施の形態
を示す図である。

【図５】本発明のフォーカスの履歴の一実施の形態を示
す図である。

【符号の説明】

００１ ディスプレイ ００２ 入力手段 ００３ 入力認識手段 ００４ 入力解釈手段 ００５ ユーザ動作判定手段 ００６ 操作実行手段 ００７ フォーカス管理手段 ００８ フォーカス履歴保持手段 ００９ システム動作判定手段 ０１０ 出力制御手段 １０１ 検索要求ウィンドウ １０２ 第一の検索結果ウィンドウ １０３ 書誌事項表示ウィンドウ １０４ 第二の検索結果ウィンドウ １０５ 結果リスト

Claims (2)

【特許請求の範囲】
1. 【請求項１】入力手段を介して入力されるユーザからの
   入力指示を解釈する入力解釈手段と、前記入力解釈手段
   の解釈結果に基づいたシステムの実行を行う操作実行手
   段と、前記操作実行手段の実行結果の出力制御を行う出
   力制御手段と、を少なくとも備え、ユーザの興味対象に
   応じて前記操作実行手段の実行結果のフォーカスの位置
   を設定するフォーカス管理装置において、 前記入力解釈手段の解釈結果を入力とし、前記ユーザか
   らの入力指示によってユーザがどこに興味対象があるか
   を判定するユーザ動作判定手段と、 前記操作実行手段によって実行されるシステム動作の内
   容よって、ユーザがどこに興味対象があるかを判定する
   システム動作判定手段と、 前記ユーザ動作判定手段と前記システム動作判定手段の
   判定結果を入力し、前記判定結果に基づいたフォーカス
   の位置の設定を行うフォーカス管理手段と、 前記出力制御手段は、前記フォーカス管理手段で設定さ
   れたフォーカスの位置に応じた出力を行うことを特徴と
   するフォーカス管理装置。
2. 【請求項２】前記フォーカス管理手段で設定されたフォ
   ーカスに関する履歴を保持するフォーカス履歴保持手段
   を更に備え、 前記システム動作判定手段は、前記フォーカス履歴保持
   手段が保持している該履歴を参照することによって、前
   記興味対象を判定することを特徴とする請求項１に記載
   のフォーカス管理装置。