JP4921374B2 - ユーザ支援装置および困惑状態判定装置 - Google Patents

ユーザ支援装置および困惑状態判定装置 Download PDF

Info

Publication number
JP4921374B2
JP4921374B2 JP2007534933A JP2007534933A JP4921374B2 JP 4921374 B2 JP4921374 B2 JP 4921374B2 JP 2007534933 A JP2007534933 A JP 2007534933A JP 2007534933 A JP2007534933 A JP 2007534933A JP 4921374 B2 JP4921374 B2 JP 4921374B2
Authority
JP
Japan
Prior art keywords
time
user
decision
confusion
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007534933A
Other languages
English (en)
Other versions
JPWO2007116689A1 (ja
Inventor
誠 西崎
剛 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007534933A priority Critical patent/JP4921374B2/ja
Publication of JPWO2007116689A1 publication Critical patent/JPWO2007116689A1/ja
Application granted granted Critical
Publication of JP4921374B2 publication Critical patent/JP4921374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、階層型のメニュー構造をもつ家電機器やＰＣなどのインターフェース技術に関するもので、ユーザが操作に困った困惑状態を検出し、操作の支援を行う技術に関するものである。
従来、ユーザの状態を検出し、操作支援を行う技術としては、「目的の未形成」、「機能選択不可」などのような困惑状態の際に発生する操作パターンを予め利用者状態検出用データとして用意しておき、その操作パターン情報を利用した困惑状態候補の抽出、および困惑状態に応じた操作支援を行う方法が開示されている（特許文献１参照）。図２６は、前記特許文献１に記載された従来の困惑状態を検出し、操作の支援を行う技術を示すものである。
図２６において、無操作判定時間データ２５０５で画面ごとに困惑が発生したことを検出するための停滞時間の閾値を予め定義しておき、その閾値以上の停滞（無操作状態）が起きたときに、利用者状態検出処理２５０３で可能性のある困惑状態の候補を抽出する。利用者状態検出処理２５０３では、利用者状態検出用データ２５０７で定義された困惑に相当する操作パターンを前方一致で検索することで、困惑候補を抽出し、支援機能選択処理２５０４で前記候補内容に応じた支援方法をユーザに提示し選択してもらうことでユーザの困惑状態に応じた支援を実現している。このとき利用者状態検出用データ２５０７では、操作パターンとして、単なる操作系列ではなく、各操作にかかった時間をｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇに区分した情報を用いている。
また従来、一定時間ユーザからの入力がなければ困っているとみなし、メニュー構造の印字を行うかどうかを質問することを特徴とするファクシミリ装置が開示されている（特許文献２参照）。
特開平１０−１５４０５７号公報 特許第２５７６４０７号公報
前記特許文献１の構成での、利用者状態検出処理による状態検出では、ユーザが操作に要した時間を画面ごとに予め決められた閾値に基づいて時間区分情報（ｓｈｏｒｔ、ｎｏｒｍａｌ、ｌｏｎｇ）に分類し、動きパターンとその操作に関する時間区分情報をもとにユーザが困惑状態にあるか否かを判断する。
しかしながら、通常の人間の操作にかかる時間は画面だけに依存するのではなく、ユーザ個人の情報機器に対する慣れ、認知能力の速さ、やる気などの様々な側面によって左右される。そのため、画面ごとに予め決められた閾値に基づく従来の手法では、ユーザの個人差や状況の差に適応して困惑を正確に判断することが困難である。
また、同様に特許文献２においても、操作に要した時間があらかじめ定められた時間を超えた場合に困惑として判断を行っているが、困惑を判断するための適切な時間をあらかじめ固定的に定めることは非常に困難である。
本発明は、このような事情に鑑みてなされたものであり、ユーザへの支援を過不足なく行うべく、ユーザの困惑状態を正確に検出可能なユーザ支援装置を提供することを目的とする。
前記従来の課題を解決するために、本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザに前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備える。
本発明は、このようなユーザ支援装置として実現できるだけでなく、困惑状態判定装置として実現し、ユーザ支援方法として実現し、ユーザ支援を行うためのコンピュータプログラムとして実現し、また、そのコンピュータプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭやＤＶＤ−ＲＡＭなどの記録媒体としても実現できる。
本発明のユーザ支援装置によれば、行うべき操作を決断するための時間である意思決定時間の少なくとも１つが増加するという判定基準に従って、そのユーザが困惑しているか否かを判定するので、あらかじめユーザ共通に固定的に定められた停滞時間の閾値を用いる従来の方法では困難であった、ユーザ個人の情報機器に対する慣れ、認知能力、意欲などの程度にも適応した正確な困惑検出が可能となる。
これにより、初めてその機器を使う人、機器操作をなかなか覚えられない人、たまたま使い方を忘れてしまった場合など、様々なユーザの様々な場合に適応した正確な困惑状態の検出がなされるので、その検出結果に応じてユーザ支援を過不足なく適切に行うユーザ支援装置が実現される。
本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段とを備える。
前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行ってもよい。
前記困惑状態判定手段は、また、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。
前記困惑状態判定手段は、また、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定してもよい。このとき、前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行ってもよい。
特に、前記直前の操作が、複数の選択項目が示されたメニューに留まる操作であった場合には、前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示することが望ましい。
また、本発明のユーザ支援装置は、木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、前記ユーザの困惑状態の複数の種類のそれぞれに対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段と、前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、前記困惑状態の複数の種類のそれぞれに対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定する困惑状態判定手段と、前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行う操作支援処理手段とを備えてもよい。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１におけるユーザ支援装置の機能的な構成を表すブロック図である。
このユーザ支援装置は、ユーザによって行われた一連の操作のそれぞれについて、行うべき操作を決断するための時間である意思決定時間の変動傾向をもとに、とくに意思決定時間が増加するという判定基準に従って、ユーザが困惑状態にあるか否かを判定し、困惑状態にあると判定された場合に操作支援を行う装置であり、入出力部１０１、入出力制御部１０２、機器制御部１０３、操作履歴獲得部１０４、時刻情報出力部１０５、操作履歴格納部１０６、困惑状態判定部１０７、困惑−操作支援対応表格納部１０８、及び操作支援処理部１０９から構成される。
図１において、困惑状態判定部１０７が困惑状態判定手段の一例であり、困惑−操作支援対応表格納部１０８が困惑−操作支援対応表格納手段の一例であり、操作支援処理部１０９、入出力制御部１０２、及び入出力部１０１が操作支援処理手段の一例である。
入出力部１０１は、ユーザとのインターフェースを実現する部であり、リモコンやキーボード、マウス、タッチパネルなどの入力装置を使ってユーザから入力操作を受け付け、操作入力信号１１１として出力し、さらに出力信号１１２によって表される情報をディスプレイ、スピーカーなどを通じてユーザへ提示する。
入出力制御部１０２は、操作入力信号１１１を受け付け、アプリケーションや機器の動作を指定する信号である機器制御信号１１３を出力するとともに、操作情報を表す操作情報信号１１５を出力する。さらに、制御結果信号１１４及び操作支援信号１２２を受け付け、ユーザへ提示される情報を表す出力信号１１２を出力する。
機器制御部１０３は、機器制御信号１１３を受け付けて機器の制御を行なうとともに、機器からの応答内容である制御結果信号１１４を出力する。
時刻情報出力部１０５は、現在時刻を表す時刻情報信号１１９を出力する。
操作履歴獲得部１０４は、操作情報信号１１５および時刻情報信号１１９を参照して、直前の操作からの経過時間を表す停滞時間情報、および前記停滞時間に含まれる、（１）メニューを知覚するための時間（例えば、メニューに含まれる項目間を視線移動するための時間。以下、知覚時間、又は具体的に視線移動時間とも言う）、（２）行うべき操作を決断するための時間（例えば、項目を選択すべきかを判断するための時間。以下、意思決定時間と言う）、（３）決断した操作を実際に行うための時間（例えば、ボタン押下などを行うための時間。以下、操作時間と言う）を表す情報を付与した操作情報である時間情報付き操作情報信号１１６を出力する。また、前記操作情報信号１１６は、操作情報信号１１５の入力があったというトリガー情報である機器操作タイミング通知信号１１８を出力する。
操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納するデータベースである。
困惑状態判定部１０７は、操作履歴格納部１０６から、前記操作履歴情報を表す操作履歴情報信号１１７を取得し、取得された操作履歴情報信号１１７によって表される操作履歴情報のうち、検出対象となる困惑状態が反映されると考えられる部分である操作系列情報を基に困惑状態を判定する。そして、困惑状態と判定された場合には、判定された困惑状態を表す困惑検出信号１２０を出力する。
困惑−操作支援対応表格納部１０８は、困惑状態に対応して操作支援内容が格納されるデータベースである。
操作支援処理部１０９は、困惑検出信号１２０を受け、困惑−操作支援対応情報信号１２１を参照し操作支援内容を決定するとともに、決定された支援内容を表す操作支援信号１２２を出力する。
以上のように構成された困惑検出にもとづくユーザ支援装置の動作を説明する。ここで一例として、ＤＶＤレコーダーやテレビなどの機器に本実施の形態に係るユーザ支援装置が搭載されているとして説明する。
一般に、ＤＶＤやテレビなどの機器のメニューは階層型に構成され、画面に表示されたメニューの項目を順次選択し階層を下っていくことで所望の機能を実現するという方式が採用されている。
このような階層型のメニューを辿るユーザの現在状態を管理するために、例えば入出力制御部１０２は、図２に示すような、搭載される機器におけるメニュー構造を表すツリー型の情報を用いる。
このツリー型の情報の各ノードには画面ＩＤが付与されており、各ノードが各メニューに対応している。例えば、第１階層のトップメニューと書かれたノードは、操作が開始されたときに最初に選択されるノードで、画面ＩＤ：Ａに対応するトップメニュー３０１が画面に出力される。トップメニュー３０１に表示された項目の中から、ユーザが例えば番組表を選択するとする。そうすると、第２階層の「番組表」と書かれたノード（画面ＩＤ：Ｆ）に遷移する。
このように階層型のインターフェースでは、図２に示すようなツリー型の情報を用いて、ユーザがいる画面及び階層が管理される。
より具体的に説明すれば、ユーザが図３に示すリモコン４０１の電源ボタン４０５を押して電源を入れ、メニューボタン４０６を押下すると、まずトップメニュー３０１が表示される。その後、図３に示すリモコン４０１のカーソルキー４０２を使いメニュー内の項目に移動し、決定ボタン４０３を押すことで階層を下り次の画面に遷移することができる。
トップメニュー３０１を表示した後、カーソルキー４０２の下を４回押し番組表と書かれた項目に移動し、決定ボタン４０３を押すと、第２階層の番組表ノード３０４に定義されたメニュー３０２が表示される。また戻るボタン４０４を押すことで階層を一つ上に上がり第１階層のトップメニューノードに定義されたトップメニュー３０１に戻ることもできる。
また、例えば、ユーザが現在放送中のＣＳ放送から番組を視聴したいと考えた場合、同様の操作により「トップメニュー」−「番組表」−「ＣＳ」―「現時刻」−「番組リスト」とメニューを辿って現在放送中のＣＳ番組の一覧を示すメニュー３０３を表示させ、その番組リストから見たい番組を選択することで番組の視聴が可能となる。
このような階層型メニューのもと、図４に示すフローチャートを参照して、本発明である困惑検出にもとづくユーザ支援装置の動作を説明する。
はじめに、ステップＳ２０１で電源が入れられると処理を開始する。
ステップＳ２０２では、入出力部１０１が操作の入力を検出し、操作入力信号１１１を入出力制御部１０２に出力する。
ステップＳ２０４では、入出力制御部１０２は前記操作入力信号１１１が電源のＯＦＦであるかどうかを判断し、電源ＯＦＦであるならばステップＳ２０５に進み、そうでないならステップＳ２０６へ進む。
ステップＳ２０５では、入出力制御部１０２が終了処理を行なう。
ステップＳ２０６では、入出力制御部１０２が、前記操作入力信号１１１がメニュー階層のリーフの選択にあたる機能の決定操作であるかを判断し、機能の決定なら機器制御信号１１３を機器制御部１０３に出力しステップＳ２１６に進み、そうでないならＳ２０７に進む。
ステップＳ２１６では、機器制御部１０３が機能の実行を行なう。
ステップＳ２０７では、入出力制御部１０２が操作履歴獲得部１０４へ操作情報信号１１５を送り、操作履歴獲得部１０４が現在時刻を表す時刻情報信号１１９を取得する。
ステップＳ２０８では、操作履歴獲得部１０４が、操作が２回目以降であるなら時刻情報信号１１９をもとに前回の操作時の時刻からの時間差を停滞時間として測定すると共に、その停滞時間に含まれる知覚時間（具体例として視線移動時間）、意思決定時間、及び操作時間を算出する。
視線移動に係る時間は一項目あたり３０ｍｓと考えられており（参考文献「対話型システムの認知人間工学設計（１９９２年）」小松原明哲、ｐ９１）、画面に表示される項目数によって１つのメニューを知覚するための視線移動時間は予め決定できる。また１回のボタン押下に係る時間は１００〜１２９ｍｓ程度と考えられており（前記参考文献、ｐ９２）、操作時間をメニューごとに一定時間（例えば０．１秒）として見積もることができる。意思決定時間は、前記視線移動時間と操作時間とを停滞時間から引くことにより算出できる。
ここで、視線移動時間は、ＤＶＤや携帯電話の操作メニューにおける項目数は高々５〜１０個程度であること、さらには実際の停滞時間に占める割合が小さいため一定値であるとみなすことも可能である。例えば、平均７個の選択項目が出力されるとし、０．２秒として見積もる事ができる。
ステップＳ２０９で、操作履歴獲得部１０４が、停滞時間、視線移動時間、意思決定時間、操作時間、操作の種類、操作の結果による遷移先の画面ＩＤ、階層情報を、時間情報付き操作情報信号１１６として出力する。操作履歴格納部１０６は、時間情報付き操作情報信号１１６によって表される時間情報付き操作情報の系列を操作履歴情報として格納する。
ここで、図５に操作履歴格納部１０６に格納される操作履歴情報の例を示す。操作履歴情報の各行は、対応する操作に関する時間情報付き操作情報を表す。
操作回数は操作が一連の操作の中で何番目かを表し、画面ＩＤはその操作が階層メニューにおけるどのメニューで行われたかを表し、操作ボタンはその操作でどのボタンが押されたかを表し、階層情報はそのメニューがメニュー階層の何階層目にあるかを表す。停滞時間、視線移動時間、意思決定時間、および操作時間の意味は前述したとおりである。
具体的に情報が格納される様子を示す。現在操作回数３で画面ＩＤがＡの画面をユーザが表示しているとする。また画面ＩＤがＡであるということは階層が１であることから階層情報には１が入る。このメニューを表示したのち１０秒たってから操作メニュー「下」を押したとする。具体的にはステップＳ２０２で下が押されたことが検出される。
その後、ステップＳ２０７で現在時刻が取得され、ステップＳ２０８で直前の操作からの停滞時間（１０秒）、視線移動時間、意思決定時間、操作時間を算出する。ここでは、視線移動に係る時間を選択項目が一律７個表示されるとし０．２秒として近似する。また、操作にかかる時間として１００〜１２９ｍｓを、ここでは一定値の０．１秒と近似する。そして意思決定に係る時間を前記停滞時間から固定値として視線移動にかかる時間と操作にかかる時間を減算することで算出する（１０秒−０．２秒−０．１秒＝９．７秒）。
ステップＳ２０９で停滞時間、視線移動時間、意思決定時間、操作時間、さらに操作の種類「下」を操作回数３の操作ボタンに、操作の結果の遷移先である画面ＩＤのＡと第１階層であることを操作回数４の画面ＩＤおよび階層情報に格納する。
再び図４を参照して、ステップＳ２１０の困惑判定対象操作系列作成処理では、困惑状態判定部１０７において、検出しようとする特定の困惑状態が反映されると考えられる意思決定時間の系列を表す操作系列情報を、操作履歴格納部１０６から取得した操作履歴情報信号１１７をもとに作成する。作成される操作系列情報は、検出しようとする困惑の種類に応じて異なる。困惑の種類に応じて操作履歴情報のどの操作について操作系列情報を作成するかについては、後述する。
続いてステップＳ２１１の困惑判定処理では、困惑状態判定部１０７がステップＳ２１０で作成した操作系列情報をもとに困惑の判定を行なう。困惑の判定方法についても後述する。
ステップＳ２１２で困惑状態であるかどうかで分岐をし、困惑であるなら困惑検出信号１２０を操作支援処理部１０９に出力しＳ２１３に進み、困惑状態でないならＳ２１５に進む。
ステップＳ２１３では、操作支援処理部１０９が困惑−操作支援対応表格納部１０８の情報である困惑−操作支援対応情報信号１２１を基に困惑の種類に応じた操作支援方法を選択する。
ステップＳ２１４では、操作支援処理部１０９が選択された操作支援方法をもとに操作支援が行われる。操作支援を行うために必要となる画面出力などの情報は操作支援信号１２２として入出力制御部１０２に渡されユーザに提示される。具体的な操作支援内容についても後述する。
ステップＳ２１５では、入出力部１０１が次の操作入力を待ち、操作入力が行われたらステップＳ２０４に戻り、処理が繰り返される。
ここで、ステップＳ２１０で行われる困惑判定対象操作系列作成処理の詳細について説明する。
困惑判定対象操作系列作成処理は、ユーザによる操作ごとに毎回実行される。この処理では、直前の操作内容に応じて発生し得る種類の困惑について、その種類の困惑を判定するための操作系列情報が作成される。以下では、困惑状態として、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」の３種類を想定し、それぞれがどのような直前の操作によって考慮され、どのような操作系列情報が作成されるかを説明する。
「機能が見つからない困惑」は図６〜７を使い、「メンタルモデルのずれによる困惑」は図８〜９を使い、「選択候補に対する迷い」は図１０〜１１を使い説明する。
まず「機能が見つからない困惑」について説明する。「機能が見つからない困惑」とは、例えばユーザが「現在放送しているある番組を録画したい」としたときに、その機能がメニュー階層のどこにあるか見つからないときにおこる困惑状態である。
図６を使って、その困惑状態に至るユーザの行動を具体的に説明する。まず、ユーザはトップメニュー３０１を表示し、どの階層の下に録画を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして候補として想定したメニュー項目を選択し階層をさがることになる（図６（１））。しかしながら下った先が録画に関するものでなかった場合、戻るボタンなどを押して階層を戻ることになる（図６（２））。このような選択、「戻る」の操作を始めにユーザが想定した候補がなくなるまで繰り返される（図６（３）→（４）→（５）→（６））。
このとき、始めに選択行為を行う際、すべての項目を選択候補とした中から最適な項目を判断する必要があるため、意思決定にかかる時間が最も長く、そして選択候補を調べるにつれて候補が徐々に少なくなるため、停滞時間が短くなっていく。そして最終的にユーザが始めに想定したどのメニュー項目にも、ユーザの目的とする機能が見つからなかった場合、次の操作を行なう手立てがなくなるために、意思決定の時間が長くなる。
この特徴は、各操作を行うまでの停滞時間、特に行うべき操作を決断するための意思決定時間に現れるので、困惑した場合に意思決定時間が増加するという判定基準に従ってこの「機能が見つからない困惑」を検出することができる。
そこで、本実施の形態では、この「機能が見つからない困惑」の状態が、初めてそのメニューに入った時に生じる意思決定時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる意思決定時間とに反映されると考える。
そして、初めてそのメニューに入った時に生じる停滞時間と、その後、下位の階層のメニューからそのメニューに戻ってきたときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「機能が見つからない困惑」の状態を検出する。
つまり、直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間が増加するという判定基準に従って前記ユーザが「機能が見つからない困惑」の状態にあるか否かを判定する。
困惑判定対象操作系列作成処理では、直前の操作が「戻る」だった場合、初めてその階層に入った時と、その後、下位の階層からその階層に戻ってきたときに生じる意思決定に係る時間を抽出して操作系列情報を作成する。
図７（ｃ）は、図７（ａ）に示す操作履歴情報から作成された「機能が見つからない困惑」の状態を判定するための操作系列情報である。図７（ａ）の操作履歴情報は、現在、画面ＩＤ：Ａで操作回数１６の操作を待っていて、直前の操作が「下」でその操作を行うまでに１５秒かかっていることを示している。このとき「下」を押したときのユーザに困惑があったかを判定したい。
そのためには、その画面に初めて入ったときの意思決定にかかる時間と、その階層に戻ってきたときの意思決定にかかる時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３の画面ＩＤ：Ａに始めて入ったときの操作と、その後、操作回数１０、１５の下位の階層からその階層に戻ってきたときの操作に関する時間情報付き操作情報を抜き出し（図７（ｂ））、ナンバリングをし直す（図７（ｃ））ことで作成できる。
続いて、「メンタルモデルのずれによる困惑」について説明する。「メンタルモデルのずれによる困惑」とは、ユーザがメニューを選択し表示される次画面のメニューがユーザの想定とは異なっていた場合におこる困惑で、その状況の理解に時間がかかるために意思決定にかかる時間が長くなるという特徴がある。具体的に、例えば「日時を指定」というメニュー項目を選んだ場合に日時を指定するメニューがでてくると考えていたのに「ＢＳ」「ＣＳ」のように入力ソースが表示された場合などに起こる困惑で、ユーザにとって想定外のメニューが出てきたことにより次の選択までに時間がかかってしまう。
具体的に「時刻を指定して録画の予約をする」というタスクを想定し、図８を使ってその困惑状態に至るユーザの選択行動を説明する。ユーザは、まず、トップメニュー（画面ＩＤ：Ａ）を表示し、どの階層の下に録画予約を行うための機能があるかを考え、選択すべきメニュー項目の候補を考える。そして、「予約・確認」メニューを選び、画面ＩＤ：Ｅのメニューが表示されたとする。そしてさらに、その下の「日時を指定」というメニューを選んだとする。
ユーザは、この「日時を指定」というメニュー項目を選ぶことで日時を指定する画面が現れると思っていたところ、実際のメニューには「ＢＳ」「ＣＳ」「地上波」という項目が現れ、映像ソースの選択画面が出力される。このとき、ユーザが思っていたことと異なるメニューが出てくることになるため、その状況を理解するのに時間がかかってしまう。そのために次の選択を行うまでの判断に時間を要し、意思決定にかかる時間が増加するという特徴が表れる。この意思決定にかかる時間の増加は、予想と違ったことを反映したものと考えられる。
そこで、本実施の形態では、この「メンタルモデルのずれによる困惑」の状態が、各画面で何らかの選択をして階層を下がっていくときに生じる意思決定時間に反映されると考える。
そして、各画面で何らかの選択をして階層を下がっていくときに生じる停滞時間を測定し、測定された停滞時間から、例えば知覚時間（視線移動時間）と操作時間とを減じるなどしてそれぞれの意思決定時間を算出し、算出された意思決定時間が増加するという判定基準に従って、この「メンタルモデルのずれによる困惑」の状態を検出する。
つまり、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間が増加するという判定基準に従って前記ユーザが「メンタルモデルのずれによる困惑」の状態にあるか否かを判定する。
困惑判定対象操作系列作成処理では、直前の操作で階層を下った場合に、それより前の操作で「戻る」などの処理により階層を上がることなく、連続的に階層を下がっているならば、その階層を下がったときに生じた意思決定時間を抽出して操作系列情報を作成する。
図９（ｃ）は、図９（ａ）に示す操作履歴情報から作成された「メンタルモデルのずれによる困惑」の状態を判定するための操作系列情報である。図９（ａ）の操作履歴情報は次のことを示している。ユーザは操作回数２でメニューを表示しトップメニューである画面ＩＤ：Ａを開き、そのメニューを１０秒かけて理解した後、操作ボタン「下」を押下する。その後、操作回数５で「決定」を押下し画面ＩＤ：Ｅ（予約・確認）を開く。操作回数６で画面ＩＤ：Ｅを理解する時間を要した後、さらに「決定」を押下し画面ＩＤ：Ｐ（日時を指定）を開く。その後、操作回数７の時点で画面ＩＤ：Ｐが想定していたメニューと異なっていたため理解するのに多くの時間を要し、２０秒後に「戻る」ボタンを押下し上の階層へ戻っている。このとき「戻る」を押したときのユーザに困惑があったかを判定したい。
そのためには、階層を下がりその次の操作が行われるまでの意思決定時間を抽出して判定用の操作系列情報を作成すればよい。そのような操作系列情報は、具体的には、操作回数３、６、７の操作に関する時間情報付き操作情報を抽出し（図９（ｂ））、操作系列番号を頭から振りなおすことで作成できる。
またこの際に、意思決定にかかる時間を、各メニューで表示される選択肢の数に応じて正規化する必要がある。なぜなら、項目数が増えればそれだけ判断に時間がかかるためである。具体的には、一項目あたり約２００〜３８０ｍｓの判断時間がデフォルトでかかると考えられている（前記参考文献、Ｐ９１、包摂関係判断時間）。
そこで、項目数の一番少ないメニューに合わせてそれよりも多い項目を含むメニューの意思決定時間から差分項目数×０．４秒を意思決定時間から減算する。ここでは、説明の簡単化のため全てのメニューで同数の項目を含むとする。
続いて、「選択候補に対する迷い」について説明する。選択候補に対する迷いとは、選択する候補に迷った場合、カーソルを動かしながら、どれを選ぼうか探索する行動である。
図１０を使って、「録画」をする場合に「選択候補に対する迷い」に至るユーザの行動を具体的に説明する。ユーザがトップメニュー３０１を開いて（カーソルは「放送中番組」の上にある）、第２階層のどのノードに下るかを考えているとする。
このとき、始めに「Ｇコード」の下に録画があるに違いないと思ってカーソルを進めるものの、「Ｇコード」の上にカーソルが来たときに、やはり「Ｇコード」ではないのではないかという迷いが生じ、しばらく停滞した後に別のメニューである「番組表」を選択したとする。これはやりたいことがＧコードなのかどうかという迷いが発生したことを意味すると考えられ、もし迷いが無い場合は「Ｇコード」を押下するはずであるので、選択候補に対する迷いより選択するという行動の意思決定が遅れることになる。
「選択候補に対する迷い」とは、このように同一階層内で、どの項目を選択すればよいかに迷い、うろうろする現象で、迷うときに停滞が生じることから同一階層内で意思決定にかかる時間が増加するという特徴が表れる。
そこで、本実施の形態では、この「選択候補に対する迷い」の状態が同一階層内のメニュー項目を移動するときに生じる意思決定時間に反映されると考える。
そして、同一階層内でのカーソルの移動操作に注目し意思決定時間が増加する傾向を掴むことで、「選択候補に対する迷い」の状態を検出する。
つまり、直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間が増加するという判定基準に従って前記ユーザが「選択候補に対する迷い」の状態にあるか否かを判定する。
図１１（ｃ）は、図１１（ａ）に示す操作履歴情報から作成された「選択候補に対する迷い」の状態を検出するための操作系列情報である。図１１（ａ）の操作履歴情報のうち同一階層内で動いている操作回数１０〜１３の操作に着目する。操作回数１０の操作は、操作回数９の「戻る」ボタンの押下により下位階層から戻ってきたときに行われる。まずこの画面において、ユーザは画面上に何があるかを理解するために視線を動かし、それぞれの項目に対して選択すべきかの意思決定を行う。そしてひとまず意思決定を行った後、動き出す。しかし、この場合は操作回数１２で、操作回数１０，１１の停滞時間よりも長く停止した後に、ボタン「下」を押下して操作回数１３に移っている。このとき、操作回数１２の時点で困惑が発生していると考えられる。
そこで、困惑判定対象操作系列作成処理では、同一階層内で動く操作に生じた意思決定時間を抽出して、この「選択候補に対する迷い」の状態を判定するための操作系列情報を作成する。そのような操作系列情報は、具体的には、図１１（ａ）の操作履歴情報から、直前の操作が「上」や「下」で同一画面内を動く操作回数１０〜１２の操作に関する時間情報付き操作情報を抜き出し（図１１（ｂ））、ナンバリングをし直す（図１１（ｃ））ことで作成できる。
以上のように、ステップＳ２１０において「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」を判定するための、それぞれ異なる操作系列情報が作成される。
次に、このようにして作成された操作系列情報をもとにした困惑の判定処理について説明する。
ステップＳ２１０で作成された操作系列情報をもとに、Ｓ２１１で困惑の判定が行われる。困惑判定対象操作系列作成処理のところで説明したとおり、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」のケースを判定するための何れの操作系列情報についても、困惑発生時において意思決定時間が増加するという特徴が見られる。そこで、本実施の形態では、前記３種類の困惑の何れについても、操作系列情報によって表される意思決定時間が増加することをもってユーザが困惑状態に陥ったと判定する。
意思決定時間の増加判断は、ユーザによって行われた一連の操作における停滞時間から算出される意思決定時間を基に定められる閾値と、判断対象となる操作における意思決定時間との比較によって判断される。操作系列番号をｎとし、ｎ番目の操作の時に困惑と判断する意思決定時間の閾値をθn、ｎ−１回目の実際の意思決定時間をＡn-1とすると、困惑判定は以下の式１で定義できる。
θn＝Ａn-1，θ1＝２０ （式１）
ここで、θ1は初期値であり、ここでは一例として２０としている。なお、θ1には、初期値として、この値に限らず一般的なユーザが明らかに困惑状態に陥ったときに呈する意思決定時間を設定すればよい。
この判定式を次のように用いて、困惑が検出可能となる。すなわち、ユーザの困惑がない場合、操作系列情報によって示される意思決定時間は増加しない。したがって、困惑がない場合は、直前の意思決定時間を越える意思決定時間が算出されることはない。逆に直前の意思決定時間を超える意思決定時間が算出された場合には、その時点で困惑が発生したと考えることができる。そこで、ｎ番目の操作における困惑判定の閾値を直前の意思決定時間とすることで、閾値により意思決定時間の増加を検出することが可能になる。
具体的に図１２（ａ）に、図７（ｃ）に示した操作系列情報に対するθとＡの値の変化を示す。図７（ｃ）では、予約機能を見つけるために第１階層と第２階層の間を行ったり来たりしながら探している例で、操作回数１５（操作系列番号３）で困惑が発生した例である。上記手法にもとづくと、困惑が発生していないｎ＝１，２の時点ではθn＞Ａnであり困惑と判定されず、困惑が発生したｎ＝３の時点でθ3＜Ａ3となり困惑が生じたと判定されることがわかる。
また、上記判定方法における閾値を
θn＝ｆ（θn-1，Ａn-1），θ1＝２０ （式２）
ここで、ｆを
ｆ（θn-1，Ａn-1）＝（θn-1＋Ａn-1）／２ （式３）
と定義し、過去の複数の履歴を考慮することも効果がある。この定義によれば、θとＡの値の変化は図１２（ｂ）のようになり、閾値θの急激な変化を抑えることができる。これにより、困惑に対応した支援を行うかどうかの判断に対して時間的に猶予をもたせた困惑の検出が可能となる。つまり、人による機器操作において必ず起こる操作時間のばらつきに余裕を持たせることができ過剰に困惑が検出されるという心理的不快要因を軽減した困惑検出方式が可能となる。
また、閾値を
θn＝Ｍｅａｎ（Ａn-t，Ａn-t+1，…，Ａn-1） （式５）
と定義し、ｔ個のサンプルの移動平均を取ることで同様の効果を得ることも可能である。
次に、個人差に適応した困惑の判断について説明する。
図１３に、情報機器の操作に慣れており操作速度が早い人に関する操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる停滞時間が異なるとする。
図７に関する説明と同様にして、図１３（ｃ）の操作系列情報が求まる。このとき（式１）及び（式２）に基づく困惑判定を行なうと、それぞれθnとＡnの変化は図１２（ｃ）及び（ｄ）のようになり、前述の説明と同様に、操作系列番号３の時点で困惑が発生したと検出できる。
比較のため、困惑の検出を、停滞時間を一定の閾値と比較判断するという従来手法を採用して行ったとすると、操作系列番号３の時点で困惑が発生したと検出するには、図１３（ｃ）から明らかなようにθ＝７．７秒とする必要がある。しかし、θを７．７秒とすると、図７（ｃ）に示されるケースにおいて操作系列番号１の時点で誤って困惑が検出されてしまう。
これに対して、本手法による困惑検出では、意思決定時間が増加するという判定基準を用いることで各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いといった個人差に適応して、精度良く困惑の検出が可能である。
続いて、図９に示したメンタルモデルのずれが原因によって生じた困惑に関しても具体例で示す。図９では、画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生する例である。
（式１）に基づく方法を適応すると、θ3＝７．７，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。（式２）に基づく方法でもθ3＝１１．３，Ａ3＝１９．７となり、θ3＜Ａ3により困惑が検出される。
また、機器操作になれており操作速度が早い人を想定した操作系列情報を図１４に示す。同様に画面Ｐにおいてユーザの予測と実際の画面とのずれが生じ操作回数７（操作系列番号３）の時点で困惑が発生したとする。
（式１）に基づく方法では、θ3＝３．２，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出され、（式２）に基づく方法でもθ3＝６．１，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。
比較のため、困惑の検出を従来手法どおりにある一定の閾値で判断するという手法を採用したとすると、図１４より明らかなようにθ＝１０秒とする必要がある。しかし、θを１０秒とすると、図９のケースにおいて操作系列番号１で誤って困惑が検出されてしまう。
これに対して、本発明による意思決定時間の変化に着目した手法によると意思決定に係る時間の増加に着目することで、上記のような問題が起こることなく各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに適応した困惑の検出が可能である。
続いて、図１１に示した選択候補に対する迷いによって生じた困惑に関して具体例で示す。図１１は、同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例である。
（式１）に基づく方法では、θ3＝１．７，Ａ3＝９．７となり、θ3＜Ａ3により困惑が検出される。
また、図１５に操作の早い人を想定した同一階層の中で動く操作回数１０〜１３の間の操作回数１２（操作系列番号３）で困惑が発生している例を示す。この場合においても（式１）に基づく方法では、θ3＝２．７，Ａ3＝１４．７となり、θ3＜Ａ3により困惑が検出される。
以上のように、本実施の形態における困惑状態判定部１０７によれば、一連の操作のうち、過去の１つ以上の操作について測定された停滞時間から意思決定時間に関する閾値を決定し、現在の操作について生じる意思決定時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定するので、「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、「選択候補に対する迷い」すべてのケースに対して、各々のユーザの機器に対する慣れや、認知能力の速さなどの側面によって変化する操作速度の違いに対応可能な困惑の検出が可能である。
なお、ここで、困惑状態判定部１０７は、過去の１つ以上の操作について測定された停滞時間から停滞時間に関する閾値を決定し、現在の操作について生じる停滞時間が前記決定された閾値よりも大きい場合に前記ユーザが困惑状態にあると判定することも有効である。
なぜなら、前述したように、視線移動時間（知覚時間）及び操作時間を各操作において一定であると近似する場合や、視線移動時間及び操作時間が停滞時間に比べて短い場合には、意思決定時間を停滞時間で近似することにより、意思決定時間の増加を停滞時間の増加によって判定できるからである。
続いて、ステップＳ２１３、およびＳ２１４で行なわれる操作支援方法選択処理および操作支援処理の詳細について説明する。
操作支援の内容としては、「機能が見つからない困惑」の場合は機能を探すための誘導を行うことが考えられる。また、「メンタルモデルのずれによる困惑」の場合はメンタルモデルのずれの解消を行うべき機能の説明を行うことが考えられる。また、「選択候補に対する迷い」に対しては、各メニュー項目に対する説明を出すことが考えられる。
このように、困惑の種類に応じて望ましい操作支援の内容が考えられる。そこで、ステップＳ２１３で困惑状態であると判断された場合に、図１６に示す困惑−操作支援対応表格納部１０８をもとに対応する操作支援方法が選択され、対応する支援を決定する。ここで、困惑−操作支援対応表格納部１０８の支援方法欄には、困惑の種類に応じた望ましい操作支援の内容を示す困惑−操作支援対応情報が格納されているものとする。
続いてステップＳ２１４において、操作支援が行なわれる。例えば、「機能が見つからない困惑」の場合に行なわれる操作誘導支援は、困惑−操作支援対応表格納部１０８にその困惑の種類に対応して格納されている支援内容に従って、ユーザにキーワードの入力を促し、目的とする機能を対話的に絞り込むような操作誘導支援が行われる。また情報検索などの技術を利用することも有効である。
また「メンタルモデルのずれによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、機能説明支援が行われる。例えば図８に示したケースの場合に「日時を指定する前に予約を行なう番組のソースを指定してください」などといった機能や操作手順の説明をすることがユーザの困惑を解消することに有効である。
また、「選択候補に対する迷いによる困惑」の場合には、同様に困惑−操作支援対応表格納部１０８を参照して、項目説明支援が行われる。例えば図１０に示したケースの場合に「Ｇコードは番組コードの入力で録画の予約ができます」といった説明をすることでユーザの悩みを解消することができる。
以上説明した構成によれば、ユーザの操作履歴における意思決定時間の時間変化に着目することでユーザの意思決定にかかる時間を基に困惑状態を判定することができ、ユーザの困惑状態を個人差や状況の差に影響をうけることなく的確に検出し、検出された困惑状態に応じた操作支援を行なうことで適切なユーザ支援を可能とする装置を提供できる。
なお、本実施の形態では、入力手段として図３に示す単純なリモコン４０１を想定したが、音声認識装置やマウス、さらにはキーボード、タッチパネルなどを入力装置としても構わない。ユーザが、そのような入力装置を使って、階層型メニューにおける階層を下がったり上がったり、または階層を下っていった結果止まったりといった動きをする場合にも、ここまでの説明と同様にして「機能が見つからない困惑」、「メンタルモデルのずれによる困惑」、及び「選択候補に対する迷い」を検出できることは言うまでもない。
ただし、タッチパネルが受け付ける操作は選択操作のみであり、カーソルの移動という概念はない。つまり、各メニュー内でのカーソルの動きの検出ができないため「選択候補に対する迷い」は検出できない。しかしながら、「機能が見つからない困惑」や「メンタルモデルのずれによる困惑」は、選択するまでの停滞時間からタッチパネルの操作に係る時間（一例として２５８ｍｓ、前記参考文献、Ｐ９２）と視線移動に係る時間を減算した時間を意思決定のためにかかる時間として計ることにより検出可能である。
音声認識やマウスを選択肢の入力のために使った場合も同様に、視線移動に係る時間とそれぞれ発声を始めるまでに係る時間、マウスを動かすまでにかかる反応時間を減算すればよい。
また、意思決定にかかる時間として、ここでは停滞時間から視線移動に係る時間、操作にかかる時間を減算したものとしたが、意思決定に係る時間と比較して、前記視線移動に係る時間および操作にかかる時間は短く、ほぼ固定時間であるため実施例は記載しないが、近似的に停滞時間を意思決定時間とみなし困惑の検出を行うことも有効である。
また、「選択候補に対する迷い」への支援を、サーバ型の放送における番組リスト、音楽配信サービスにおける音楽リストの中から希望の番組や音楽を選択するインターフェースにおいて行うことにより、カーソル操作が停滞しユーザが選択すべきかどうかを悩んでいると判断される番組や音楽に関して説明などの付加情報をユーザに提示することが可能となり、極めて有効な支援をユーザに提供できる。
また、本実施の形態では、ユーザ支援装置がＤＶＤレコーダーやテレビに適用される例を示したが、このユーザ支援装置は、パーソナルコンピュータの操作や、インターネットのポータルサイトで見られるような階層的にリンクが張られたホームページ上で情報を探すときの困惑検出及びユーザ支援にも使用可能である。
さらに、このユーザ支援装置を拡張して、ユーザへの支援情報をサーバ装置からネットワークを介して取得するユーザ支援システムを考えることもできる。ユーザへ提示される操作マニュアルやヘルプメッセージがこの支援情報の一例である。
図１７は、そのようなユーザ支援システムの機能的な構成の一例を示すブロック図である。このユーザ支援システムは、実施の形態１で説明したユーザ支援装置（図１を参照）に、支援情報取得部１７０１、支援情報格納部１７０４、ネットワーク１７０２、及び支援情報ＤＢ１７０３を追加して構成される。
図１７において、点線の内部が、例えばＤＶＤレコーダーやテレビに組み込まれるユーザ支援装置１７００を表す。
困惑状態判定部１０７は、困惑検出信号１２０を、操作支援処理部１０９と共に支援情報取得部１７０１へも出力する。支援情報取得部１７０１は、困惑検出信号１２０によって表される困惑状態に適した支援情報を検索するための検索条件信号１７１１を、ネットワーク１７０２を介して支援情報ＤＢ１７０３へ送信する。支援情報ＤＢ１７０３は、検索された支援情報を表す検索結果信号１７１２を支援情報取得部１７０１へ返送する。
支援情報取得部１７０１は、返送された支援情報と対応する困惑状態とを表す支援情報信号１７１３を支援情報格納部１７０４へ送り、支援情報格納部１７０４は、その支援情報と困惑状態とを対応付けて格納する。
操作支援処理部１０９は、困惑状態判定部１０７から困惑検出信号１２０を受けると、困惑検出信号１２０によって示される困惑状態に対応する支援情報を支援情報格納部１７０４から参照し、入出力制御部１０２及び入出力部１０１を介してユーザに提示する。
ユーザ支援装置１７００が、ＤＶＤレコーダーやテレビといった、装置の規模やコストの制約が比較的厳しい機器に組み込まれることを考えれば、考え得る非常に多くの困惑状態に対応した支援情報をユーザ支援装置１７００の内部に保持することは必ずしも得策ではない。
そこで、このようなユーザ支援システムによって、非常に多くの困惑状態に対応した支援情報を外部のサーバに用意しておき、ネットワークを介して利用すると共に、ユーザが一度陥った困惑状態に対応する支援情報はユーザ支援装置内部に保持し、再び同じ困惑状態が生じた場合に迅速に提示することが望ましい。
なお、このようなユーザ支援システムにおいて、困惑状態の判定を外部のサーバで行ってもよい。その場合、困惑状態判定部１０７はユーザ支援装置１７００から外部のサーバへと移される。ユーザ支援装置１７００は、操作系列情報を外部のサーバへ送るだけで、適切な支援情報をそのサーバから得てユーザに提示することができる。
（実施の形態２）
本発明の困惑検出に基づくユーザビリティー評価に関して、実施の形態２で説明する。
図１８は、実施の形態２における本発明の困惑検出を用いたユーザビリティー評価装置の構成図である。図１の困惑検出に基づくユーザ支援装置と重複する構成については説明を省略する。
困惑箇所判定部１６０４は、操作履歴情報信号１１７をもとに操作系列情報を作成し、それをもとに困惑状態を判定し、どの画面ＩＤでどの種類の困惑が起きたかという結果を困惑箇所検出信号１６０２として出力する機能を有する。ここで、操作系列情報の作成および困惑状態の判定は実施の形態１と同様の方法を使用する。
また、困惑箇所抽出ＤＢ１６０１は困惑箇所判定部１６０４で判定された結果を格納するＤＢで、図１９に示すように各画面ＩＤでどの困惑が何回検出されたかという頻度が格納される。入出力制御部１０２は困惑箇所結果信号１６０３を受け、入出力部１０１に評価結果を出力する機能を有する。
図１８において、困惑箇所判定部１６０４が困惑状態判定手段の一例であり、困惑箇所抽出ＤＢ１６０１が困惑判定結果蓄積手段の一例であり、入出力制御部１０２及び入出力部１０１が困惑判定結果表示手段の一例である。
図２０に示すフローチャートをもとに、本発明の困惑検出を用いたユーザビリティー評価方法の動作を説明する。図４で説明した困惑検出にもとづくユーザ支援方法の説明が重複する部分は省略する。
ステップＳ２１２では、困惑箇所判定部１６０４が困惑を検出するとステップＳ２４０１に進む。
ステップＳ２４０１では、困惑箇所判定部１６０４から出力される困惑箇所の画面ＩＤと困惑の種類を表す困惑箇所検出信号１６０２をもとに、困惑箇所抽出ＤＢ内の対応する困惑の種類および画面ＩＤの頻度を更新する。具体的には頻度に１をプラスする。
ステップＳ２４０２で、入出力制御部１０２により結果表示が選択されたと判断すると、ステップＳ２４０３に移る。
ステップＳ２４０３では、入出力制御部が困惑箇所結果信号１６０３をもとに、各困惑要因に応じて、メニュー階層のどの部分で多く困惑が起こるかを分かるように表示する。例えば図２１に示すように、困惑の種類ごとにメニューツリーを画面に表示し、頻度の最大値などをもとに正規化し色づけを行うなどの処理をすることで、どの部分でどの程度の困惑が発生しているかを一覧できるようにする方法が有効である。また、メニュー階層をすべて表示する画面の大きさがない場合は、困惑箇所のみを強調した表示にする、あるいは表形式で色付けをするなどの方法でもよい。
（実施の形態３）
図２２は、本発明の実施の形態３の困惑検出にもとづくユーザ支援装置の構成図である。本実施の形態では、困惑時に発生する意思決定時間を予め予測することで、停滞時間が予測時間を越えたときに即座に困惑を検出することができ、ユーザ支援を迅速に開始することを可能にする。
図２２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
困惑時停滞時間決定部１９０１は、過去の操作履歴である操作履歴情報信号１１７と、操作が行われたタイミングを表す機器操作タイミング通知信号１１８を受け、次操作までにかかる意思決定の時間がα以上であるなら困惑であるとの判定を行うための意思決定時間の閾値αを決定する。そして、その結果を困惑時停滞時間信号１９０３として困惑判定部１９０２に出力する。
困惑判定部１９０２は、困惑と判断を行う意思決定時間の閾値αを表す困惑時停滞時間信号１９０３を元に、時刻情報信号１１９を参照し停滞時間を算出し困惑が起こっているかどうかを監視し判定を行う機能を有する。
このように構成された本発明である困惑検出にもとづくユーザ支援方法の動作を図２３に示すフローチャートをもとに説明する。実施の形態１の時と同様に図２に示すメニュー階層のインターフェースをもつＤＶＤプレイヤに対して、図３に示す入力装置を用いて操作を行なうとする。図４と同じフローの部分の説明は省略する。また、ユーザは「現在放送している番組を録画したい」として図２４（ａ）に示す操作を行ってきているとして説明する。操作は操作回数１４で「戻る」ボタンが押され、操作回数１５のところで画面ＩＤ：Ｂが表示されている状態で入力を待っているとする。
Ｓ２０９で、現操作の種類および階層情報が格納されたところまでは実施の形態１と同じである。ステップＳ２００１では、困惑時停滞時間決定部１９０１が、以下に示す３つの条件に従い操作系列情報を作成する。実施例１の時の操作系列情報との違いは、過去に入力された系列に対して困惑した結果だったかどうかを判定するのに対して、本実施例の場合、これから入力されるものが困惑であるかどうかを困惑の結果の入力を待たずに判断する点にある。
条件（１） 前操作が「戻る」のように階層をあがる場合、「機能が見つからない困惑」が発生している可能性があるため、実施例１における図７の時と同様に、意思決定にかかる時間が反映された部分系列として、初めてその階層に入った時の操作および下位の階層からその階層に戻ってきたときの操作を操作履歴格納部１０６から抽出し操作系列情報を作成する。
条件（２） 前操作が「決定」で階層を下った場合、「メンタルモデルのずれによる困惑」が発生する可能性がある。通常階層を下ると条件が絞られるために、それより上位の階層にはじめて入ったときの意思決定時間に比べて下位層での意思決定時間は短くなるはずである。そこで、各階層にはじめて入ったときの意思決定時間を抽出し操作系列情報を作成する。このとき、メニューに表示される項目数の数によって、実施例１と同様に項目数の数に応じた意思決定に係る平均的な時間（例えば、最も少ない項目数のメニューより増えた項目数の数×１項目数当たりの判断時間４００ｍｓ、前記参考文献、Ｐ９１）を差し引くなどの意思決定時間の正規化するなどの処理を行う必要がある。ここでは説明のため項目数は同数であるとする。
条件（３） 前操作が「上」や「下」で同一画面内を動いている場合、「選択候補に対する迷いによる困惑」が発生する可能性がある。同一画面内の操作を抽出し操作系列情報を作成する。
ここでは、前操作が「戻る」であるので条件（１）にあたり困惑時停滞時間決定部１９０１で困惑判定を行うための操作系列情報が作成される。図２４にその様子を示す。図２４（ａ）から初めて画面ＩＤ：Ｂに入ったタイミングである操作回数３の操作、および下位の階層（画面Ｉｄ：Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ）から画面ＩＤ：Ｂに戻ってきたタイミングである操作回数１０および１５の操作が抽出される。その後、操作系列情報が図２４（ｃ）のように再構成される。
続いてステップＳ２００２では、現操作（操作回数１５）において、どの程度の操作の停滞が起きたら困惑と判断できるかという意思決定時間の閾値αを算出する。意思決定時間の閾値αは、その閾値を越えたら困惑であるとみなすという意味であるので、実施の形態１で使用したθｎと等価である。そこで、閾値αは（式１）におけるθｎをαとみなすことで算出できる。すなわち、直前の意思決定時間によってαは決定すればよい。ここで、操作系列情報をＢｊすると、操作系列番号ｉの閾値αは
α＝Ｂi-1 （式６）
と表現できる。
具体的には、操作の停滞時間Ｂ1＝９．７秒、Ｂ2＝４．７秒であるので、操作系列番号３における意思決定時間の閾値αは、α＝４．７秒と算出できる。実施の形態１の説明と同様に、図２５に情報機器の操作が比較的早い人の場合の操作系列情報を示す。説明のために全く同じ操作を行なっているが各々の操作を行なうにあたり必要となる意思決定時間が異なるとする。図２４の説明と同様に操作系列情報を求めると図２５（ｃ）のようになる。この場合、意思決定時間の閾値αは、Ｂ2＝２．７であるのでα＝２．７と決定できる。
続いて、ステップＳ２００３では、困惑判定部１９０２が停滞時間を観測し意思決定時間の閾値αを超えたら困惑であると判定しステップＳ２１３に進む。意思決定時間の閾値αが、意思決定時間以下であるならば機器操作タイミング通知信号１１８をもとに困惑判定部１９０２で操作があるかを判断し、操作があればステップＳ２１５に進み次の操作にうつる。一方操作がない場合は、Ｓ２００３に戻り処理を繰り返すことで困惑判定を行う。
残りの処理は実施の形態１と同様であるので省略する。
以上説明した構成により、困惑時に発生する意思決定にかかる時間の遅れを反映した停滞時間を予測することで、困惑が生じたとき、即座に困惑を検出することができ、迅速にユーザ支援を開始するユーザ支援装置を提供することが可能になる。
また実施の形態１と同様に、視線移動にかかる時間と操作にかかる時間が意思決定時間に比べて短いため意思決定時間の代わりに停滞時間を使うことも有効である。
本発明に係るユーザ支援装置は、階層型のメニューを通してユーザから操作を受け付ける装置に利用できる。例えば、ＤＶＤレコーダー、携帯電話、カーナビゲーションシステムなど多くの専用機器や、オペレーションシステムや様々なアプリケーションプログラムが動作するコンピュータ装置に利用できる。さらには、それらの機器のユーザビリティー評価装置として利用することもできる。
図１は、本発明の実施の形態１におけるユーザ支援装置の構成図である。 図２は、階層型メニューの例を示す図である。 図３は、入力装置の例を示す図である。 図４は、実施の形態１におけるユーザ支援装置の処理を示すフローチャートである。 図５は、操作履歴情報の例を示す図である。 図６は、機能が見つからない困惑が生じている操作の例を示す図である。 図７（ａ）（ｂ）（ｃ）は、機能が見つからない困惑を判定するための操作系列情報を示す図である。 図８は、メンタルモデルのずれによる困惑が生じている操作の例を示す図である。 図９（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑を判定するための操作系列情報を示す図である。 図１０は、選択候補に対する迷いが生じている操作の例を示す図である。 図１１（ａ）（ｂ）（ｃ）は、選択候補に対する迷いを判定するための操作系列情報を示す図である。 図１２（ａ）（ｂ）（ｃ）（ｄ）は、困惑判定結果を示す図である。 図１３（ａ）（ｂ）（ｃ）は、機能が見つからない困惑が生じている操作の他の例を示す図である。 図１４（ａ）（ｂ）（ｃ）は、メンタルモデルのずれによる困惑が生じている操作の他の例を示す図である。 図１５（ａ）（ｂ）（ｃ）は、選択候補に対する迷いが生じている操作の他の例を示す図である。 図１６は、困惑−操作支援対応情報の例を示す図である。 図１７は、本発明の実施の形態１におけるユーザ支援システムの構成図である。 図１８は、本発明の実施の形態２におけるユーザビリティー評価装置の構成図である。 図１９は、困惑箇所抽出ＤＢの内容例を示す図である。 図２０は、本実施の形態２におけるユーザビリティー評価装置の処理を示すフローチャートである。 図２１は、ユーザビリティー評価装置の結果出力画面の例を示す図である。 図２２は、本発明の実施の形態３におけるユーザ支援装置の構成図である。 図２３は、実施の形態３におけるユーザ支援装置の処理を示すフローチャートである。 図２４（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の例を示す図である。 図２５（ａ）（ｂ）（ｃ）は、実施の形態３における機能が見つからない困惑を判定するための操作系列情報の他の例を示す図である。 図２６は、従来のユーザ支援装置の構成図である。
符号の説明
１０１ 入出力部
１０２ 入出力制御部
１０３ 機器制御部
１０４ 操作履歴獲得部
１０５ 時刻情報出力部
１０６ 操作履歴格納部
１０７ 困惑状態判定部
１０８ 困惑−操作支援対応表格納部
１０９ 操作支援処理部
１１１ 操作入力信号
１１２ 出力信号
１１３ 機器制御信号
１１４ 制御結果信号
１１５ 操作情報信号
１１６ 時間情報付き操作情報信号
１１７ 操作履歴情報信号
１１８ 機器操作タイミング通知信号
１１９ 時刻情報信号
１２０ 困惑検出信号
１２１ 困惑−操作支援対応情報信号
１２２ 操作支援信号
３０１ トップメニュー
３０２ メニュー
３０３ メニュー
３０４ 番組表ノード
４０１ リモコン
４０２ カーソルキー
４０３ 決定ボタン
４０４ 戻るボタン
４０５ 電源ボタン
４０６ メニューボタン
１６０１ 困惑箇所抽出ＤＢ
１６０２ 困惑箇所検出信号
１６０３ 困惑箇所結果信号
１６０４ 困惑箇所判定部
１７００ ユーザ支援装置
１７０１ 支援情報取得部
１７０２ ネットワーク
１７０３ 支援情報ＤＢ
１７０４ 支援情報格納部
１７１１ 検索条件信号
１７１２ 検索結果信号
１７１３ 支援情報信号
１９０１ 困惑時停滞時間決定部
１９０２ 困惑判定部
１９０３ 困惑時停滞時間信号
２５０３ 利用者状態検出処理
２５０４ 支援機能選択処理
２５０５ 無操作判定時間データ
２５０７ 利用者状態検出用データ

Claims (10)

  1. 木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
    前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と、
    前記困惑状態判定手段によって肯定判定がなされた場合に操作支援を行う操作支援処理手段と
    を備えることを特徴とするユーザ支援装置。
  2. 前記困惑状態判定手段は、前記直前の操作が他のメニューから現在のメニューへ移る操作であった場合、過去に前記現在のメニューへ移るたびに生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
    ことを特徴とする請求項１に記載のユーザ支援装置。
  3. 前記困惑状態判定手段は、前記意思決定時間を、過去に前記現在のメニューへ移るたびに生じる停滞時間で近似することにより、前記判定を行う
    ことを特徴とする請求項２に記載のユーザ支援装置。
  4. 前記困惑状態判定手段は、前記直前の操作が上位のメニューから現在のメニューへ下る操作であった場合、前記現在のメニューに至るまでに下った複数のメニューにおいて生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
    ことを特徴とする請求項１に記載のユーザ支援装置。
  5. 前記困惑状態判定手段は、前記意思決定時間を、前記現在のメニューに至るまでに下った複数のメニューにおいて最初の操作について生じる停滞時間で近似することにより、前記判定を行う
    ことを特徴とする請求項４に記載のユーザ支援装置。
  6. 前記困惑状態判定手段は、前記直前の操作が現在のメニューに留まる操作であった場合、前記現在のメニュー内で過去に行われた複数の操作について生じる意思決定時間の少なくとも１つが増加するという判定基準に従って前記ユーザが困惑状態にあるか否かを判定する
    ことを特徴とする請求項１に記載のユーザ支援装置。
  7. 前記困惑状態判定手段は、前記意思決定時間を、現在のメニュー内で過去に行われた複数の操作について生じる停滞時間で近似することにより、前記判定を行う
    ことを特徴とする請求項６に記載のユーザ支援装置。
  8. 前記現在のメニューには、複数の選択項目が示され、
    前記操作支援処理手段は、前記困惑状態判定手段によって肯定判定がなされた場合に、前記操作支援として前記複数の選択項目それぞれの説明情報を前記ユーザに提示する
    ことを特徴とする請求項６に記載のユーザ支援装置。
  9. 木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
    前記ユーザの困惑状態の複数の種類のそれぞれに対応した支援方法を示す困惑−操作支援情報を格納している困惑−操作支援対応表格納手段と、
    前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、前記困惑状態の複数の種類のそれぞれに対応して、その種類の困惑状態が反映されると考えられる複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザがその種類の困惑状態にあるか否かを判定する困惑状態判定手段と、
    前記困惑状態判定手段によって肯定判定がなされた種類に対応する支援方法を前記困惑−操作支援対応表格納手段から参照し、参照された支援方法に応じた支援を行う操作支援処理手段と
    を備えることを特徴とするユーザ支援装置。
  10. 木構造をとる複数のメニューを辿るユーザを支援するユーザ支援装置であって、
    前記ユーザによる前記複数のメニューを辿る一連の操作のそれぞれを決断するための時間である意思決定時間の中から、直前の操作に依存して複数の意思決定時間を選択し、選択された複数の意思決定時間の少なくとも１つが増加するという判定基準に従って、前記ユーザが困惑状態にあるか否かを判定する困惑状態判定手段と
    を備えることを特徴とする困惑状態判定装置。
JP2007534933A 2006-03-27 2007-03-26 ユーザ支援装置および困惑状態判定装置 Active JP4921374B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007534933A JP4921374B2 (ja) 2006-03-27 2007-03-26 ユーザ支援装置および困惑状態判定装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006086255 2006-03-27
JP2006086255 2006-03-27
PCT/JP2007/056229 WO2007116689A1 (ja) 2006-03-27 2007-03-26 ユーザ支援装置、方法、及びプログラム
JP2007534933A JP4921374B2 (ja) 2006-03-27 2007-03-26 ユーザ支援装置および困惑状態判定装置

Publications (2)

Publication Number Publication Date
JPWO2007116689A1 JPWO2007116689A1 (ja) 2009-08-20
JP4921374B2 true JP4921374B2 (ja) 2012-04-25

Family

ID=38580988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007534933A Active JP4921374B2 (ja) 2006-03-27 2007-03-26 ユーザ支援装置および困惑状態判定装置

Country Status (3)

Country Link
US (1) US8095490B2 (ja)
JP (1) JP4921374B2 (ja)
WO (1) WO2007116689A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2008010625A (es) * 2006-03-01 2009-01-09 Optalert Pty Ltd Supervisor de incapacidad.
US10877778B2 (en) * 2007-12-04 2020-12-29 International Business Machines Corporation Sequence detection and automation for complex portal environments
CN101952812B (zh) * 2008-02-26 2013-05-01 松下电器产业株式会社 操作支援装置以及操作支援方法
JP5008737B2 (ja) * 2010-03-24 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 情報端末および操作支援方法
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US10289736B2 (en) * 2010-06-11 2019-05-14 Ebay Inc. Systems and methods for ranking results based on dwell time
US8667513B1 (en) * 2011-03-29 2014-03-04 Sprint Communications Company L.P. Dormancy timer adjustment in a wireless access node based on wireless device application status
US8935237B2 (en) 2011-09-09 2015-01-13 Facebook, Inc. Presenting search results in hierarchical form
US10289267B2 (en) 2011-09-09 2019-05-14 Facebook, Inc. Platform for third-party supplied calls-to-action
JP5775023B2 (ja) * 2012-05-23 2015-09-09 日本電信電話株式会社 滞留度計算装置およびその動作方法
JP5938384B2 (ja) * 2013-10-31 2016-06-22 京セラドキュメントソリューションズ株式会社 電子機器
JP6256134B2 (ja) * 2014-03-20 2018-01-10 京セラドキュメントソリューションズ株式会社 電子機器及び操作支援プログラム
US20160054906A1 (en) * 2014-08-25 2016-02-25 Fuji Xerox Co., Ltd. Terminal apparatus and analysis system
US10318094B2 (en) * 2015-03-25 2019-06-11 International Business Machines Corporation Assistive technology (AT) responsive to cognitive states
US10359836B2 (en) * 2015-03-25 2019-07-23 International Business Machines Corporation Assistive technology (AT) responsive to cognitive states
KR20170020090A (ko) * 2015-08-13 2017-02-22 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2018128829A (ja) * 2017-02-08 2018-08-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20190018545A1 (en) * 2017-07-13 2019-01-17 International Business Machines Corporation System and method for rapid financial app prototyping
US10991030B2 (en) * 2017-09-22 2021-04-27 International Business Machines Corporation Rendering a list in chronological order
JP1632951S (ja) * 2018-09-27 2019-06-03
US10922105B1 (en) * 2020-03-02 2021-02-16 International Business Machines Corporation Realtime generated assistance video
US20230341229A1 (en) * 2022-04-20 2023-10-26 Ford Global Technologies, Llc Vehicle-based multi-modal trip planning and event coordination
WO2024121933A1 (ja) * 2022-12-06 2024-06-13 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0444113A (ja) * 1990-06-11 1992-02-13 Ricoh Co Ltd 操作マニュアル作成装置
JPH0511953A (ja) * 1991-07-03 1993-01-22 Matsushita Electric Ind Co Ltd 操作ガイダンス表示装置
JP2000227826A (ja) * 1999-02-08 2000-08-15 Fuji Xerox Co Ltd アクティブ・ヘルプ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5230628A (en) 1990-06-11 1993-07-27 Ricoh Company, Ltd. Apparatus for producing operational manual
US5822123A (en) * 1993-09-09 1998-10-13 Davis; Bruce Electronic television program guide schedule system and method with pop-up hints
JP2576407B2 (ja) 1994-06-03 1997-01-29 日本電気株式会社 ファクシミリ装置
US6021403A (en) * 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US5978595A (en) 1996-09-27 1999-11-02 Hitachi, Ltd. Method for supporting user operation
JPH10154057A (ja) 1996-09-27 1998-06-09 Hitachi Ltd 能動的利用者支援方法
JPH11259202A (ja) 1998-03-12 1999-09-24 Honda Motor Co Ltd 習熟度判定手段を有する対話型コンピュータ・システム
JP2003196236A (ja) 2001-12-26 2003-07-11 Seiko Epson Corp 活用支援情報提供装置
JP2005182313A (ja) 2003-12-17 2005-07-07 Nissan Motor Co Ltd 操作メニュー切換装置、車載用ナビゲーション・システムおよび操作メニュー切換え方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0444113A (ja) * 1990-06-11 1992-02-13 Ricoh Co Ltd 操作マニュアル作成装置
JPH0511953A (ja) * 1991-07-03 1993-01-22 Matsushita Electric Ind Co Ltd 操作ガイダンス表示装置
JP2000227826A (ja) * 1999-02-08 2000-08-15 Fuji Xerox Co Ltd アクティブ・ヘルプ装置

Also Published As

Publication number Publication date
US20090327184A1 (en) 2009-12-31
US8095490B2 (en) 2012-01-10
WO2007116689A1 (ja) 2007-10-18
JPWO2007116689A1 (ja) 2009-08-20

Similar Documents

Publication Publication Date Title
JP4921374B2 (ja) ユーザ支援装置および困惑状態判定装置
US8145753B2 (en) Operation supporting device and method for supporting operation
US8134538B2 (en) Touch panel input device and processing execution method
US7865841B2 (en) Input/output device, input/output method, and program
JP4653251B2 (ja) 操作状態判定装置
JP6983118B2 (ja) 対話システムの制御方法、対話システム及びプログラム
US20070150291A1 (en) Information processing apparatus and information processing method
US20140156277A1 (en) Information processing device and content retrieval method
JP5882087B2 (ja) 端末装置、操作キーの表示順変更方法
WO2008059710A1 (fr) Dispositif de support d'opération et procédé de support d'opération
WO2021119150A1 (en) Systems and methods for providing voice command recommendations
US7949959B2 (en) Target estimation device and target estimation method
JPWO2010067618A1 (ja) 操作支援方法、操作支援システム、操作支援装置、及び操作支援プログラム
US20120131460A1 (en) Playlist Creation
JP2006338233A (ja) 状態検知装置及び状態検知方法
JP6228936B2 (ja) 番組録画方法、番組録画装置、目的地設定方法及び目的地設定装置
JP2008009613A (ja) ガイダンス表示装置
US20220350605A1 (en) Information processing apparatus
EP1006419A1 (en) Apparatus, method and program for adjusting automation level
JP5353346B2 (ja) スケジュール管理装置およびスケジュール管理プログラム
JP2009123139A (ja) 検索結果途中分析装置
JP2008269119A (ja) 情報処理装置
JP2011004334A (ja) 情報処理装置、情報処理方法およびプログラム
JP2006178898A (ja) 地点検索装置
JP5129999B2 (ja) 目的推定装置、目的推定方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120202

R150 Certificate of patent or registration of utility model

Ref document number: 4921374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3