JP4653251B2 - 操作状態判定装置 - Google Patents

Description

本発明は、例えば、アプリケーションプログラムを実行するコンピュータ、電化製品又はＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）機器のような多様な機能を有する機器に対する操作状態判定装置に関する。

近年のコンピュータ・アプリケーションプログラム、電化製品又はＡＶ機器の操作は、その多様な機能の実装と共に複雑化している。このため、操作方法が分からないユーザに対する操作支援が重要となっている。目的機能を実現する操作方法が分からないユーザに対して、マニュアルを提供することにより、ユーザ自身がマニュアルから対象機能の操作方法を探すことで解決を図ることも可能である。しかし、マニュアルを用いてユーザが対象機能を探すことはユーザにとっての負担が大きく、時間もかかってしまう。そこで、ユーザが支援を要求した際に、支援を要求するまでに試行錯誤しながら入力した操作履歴を用いて、システムがユーザの目的機能を推定する技術がある。その推定結果を基にした操作支援を行うことで、ユーザにとって負担の少ない操作支援が実現できる。

このように、ユーザの操作履歴を利用してユーザの操作を支援する技術が提案されている。例えば、試行錯誤しながら行われたキー操作入力と関連性の高い機能を検索して、その機能に関する操作説明を提示するヘルプ表示装置が提案されている（例えば、特許文献１参照。）。

このヘルプ表示装置では、ユーザが操作支援要求を行った直前までの操作履歴を利用して、目的機能の推定を行う。これは、ユーザが操作支援要求を行う直前まで目的機能に関する操作を行っているという仮定に基づくものである。

特開平１１−２３１９９８号公報

しかしながら、実際のユーザ行動においては、自信のある操作をはじめに行い、目的機能に到達できない場合、可能性がある程度あるとユーザが考える操作を探索的に行う。それでも目的機能に到達できない場合は、手当たり次第に操作を行い、最終的に自力での実現を諦めて操作支援要求を行うという行動が見受けられる。例えば、メニューを選択して目的の機能を実現する場合、ユーザは、はじめは複数のメニュー項目の中から機能が実現できる可能性が高いと考えるメニュー項目を選択する。しかし、ある程度メニュー項目を選択しても目的機能に到達できない場合、まだ選択していないメニュー項目を手当たり次第に選択する。

前記手当たり次第の操作が行われるまでは、ユーザはまだ行っていない操作に対して目的機能に到達できる可能性を検討し、操作に対して優先順位を付けて、優先順位が高い操作から実行する。しかし、ある程度優先順位が高い操作を行い、それでも目的機能に到達できない場合、ユーザは各操作に対して目的機能に到達できる可能性を検討し、優先順位を付けることが困難になる。このような状態になると、ユーザは各操作に対して目的機能に到達できる可能性を検討することをやめ、手当たり次第に操作を行う。このように手当たり次第に行なう操作では、ユーザは前記可能性検討を行わない。または、目的機能と関係性が低いと考えながら操作を行なう。このため、以下では、手当たり次第に行なう操作のことを無思考操作とも記述する。

このようなユーザの行動に対し、従来のヘルプ表示装置を用いた場合、目的機能に関係の無い操作履歴を利用して目的推定を行ってしまう。このため、目的機能の推定精度が悪くなり、ユーザは正しい操作支援を受けることができないという問題が生じる。

本発明は上記課題を解決するためになされたものであって、ユーザが手当たり次第に操作を行なった後に操作支援要求を行った場合であっても、手当たり次第に行った操作履歴を判別し削除することで推定精度の高い目的機能をユーザに提示することにより、ユーザに対してより適切な操作支援を行うことが可能な操作状態判定装置を提供することを目的とする。

本発明は、目的機能に到達できる可能性の検討を行なわずに行なう無思考操作、又は、目的機能と関連性が低いと考え、手当たり次第に行なう無思考操作においては、ユーザは、思考により最適な操作を選択するのではなく、操作負荷が小さい操作を行うという思想に基づく。

本発明に係る操作状態判定装置は、ユーザが機器に対して選択操作を行なう際の前記ユーザの操作負荷を、前記選択操作と、前記ユーザによる前記機器の機能を実行するために行なう選択操作の履歴に含まれる、前記選択操作よりも前の他の選択操作とを用いて、算出する操作負荷算出部と、前記選択操作について、前記操作負荷算出部で算出された前記ユーザの前記操作負荷が小さいほど、前記選択操作が手当たり次第に行なわれた操作であると判断する操作判定部とを備える。

この構成によると、ユーザの選択操作の履歴から、選択操作毎に操作負荷が算出され、操作負荷が小さい選択操作が無思考操作として判定される。このため、機能推定の精度を下げる要因となる無思考操作を除いて、ユーザが目的とする機能を推定することができる。よって、高精度な目的機能推定が可能となり、ユーザに対してより適切な操作支援を行なうことが可能となる。

なお、本発明は、このような特徴的な処理部を備える操作状態判定装置として実現することができるだけでなく、操作状態判定装置に含まれる特徴的な処理部をステップとする操作状態判定方法として実現することができる。また、操作状態判定方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。

以上のように、本発明による操作状態判定装置によれば、目的推定に利用する操作履歴から、ユーザが目的機能に到達できる可能性を検討せずに行う、または、ユーザが目的機能と関係が低いと考えながら行う無思考操作を削除できる。このため、より高精度な目的推定が可能となり、ユーザに対して適切な操作支援が行うことができる。

図１は、本発明の実施の形態における操作支援装置の構成を示す機能ブロック図である。 図２は、本発明の実施の形態におけるユーザが実行する主な操作を示すフローチャートである。 図３は、本発明の実施の形態における操作支援装置が実行する主な処理を示すフローチャートである。 図４は、本発明の実施の形態における画面情報記憶部に記憶される画面情報のデータ例を示す図である。 図５は、本発明の実施の形態における録画機器の画面例を示す図である。 図６は、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図７は、本発明の実施の形態における機能選択画面のメニュー階層例を示す図である。 図８は、本発明の実施の形態における操作履歴に対応した画面変化を示す図である。 図９Ａは、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図９Ｂは、図９Ａに示す操作履歴を説明するための機能選択画面の一例を示す図である。 図１０は、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図１１は、本発明の実施の形態におけるリモコンのデザインの一例を示す図である。 図１２は、本発明の実施の形態における操作負荷算出部の処理を示すフローチャートである。 図１３は、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図１４は、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図１５は、本発明の実施の形態における無思考操作判定部が実行する処理を示すフローチャートである。 図１６は、本発明の実施の形態における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図１７は、本発明の実施の形態における目的推定対象機能記憶部に記憶される操作履歴データ例を示す図である。 図１８は、本発明の実施の形態における目的推定に利用するデータ例を示す図である。 図１９Ａは、本発明の実施の形態における操作支援において出力される画面例を示す図である。 図１９Ｂは、本発明の実施の形態における操作支援において出力される画面例を示す図である。 図１９Ｃは、本発明の実施の形態における操作支援において出力される画面例を示す図である。 図２０は、本発明の実施の形態における操作支援において出力される画面例を示す図である。 図２１は、本発明の実施の形態の変形例１におけるポインティングデバイスを入力手段とする機器の操作画面の一例を示す図である。 図２２は、本発明の実施の形態の変形例１における操作履歴記憶部に記憶される操作履歴データ例を示す図である。 図２３Ａは、本発明の実施の形態の変形例１における操作負荷を説明するための第１の図である。 図２３Ｂは、本発明の実施の形態の変形例１における操作負荷を説明するための第２の図である。 図２４は、本発明の実施の形態の変形例２におけるユーザの主な操作を示すフローチャートである。 図２５は、本発明の実施の形態の変形例２における操作支援装置の主な処理を示すフローチャートである。 図２６Ａは、本発明の実施の形態の変形例２における操作支援において出力される画面例を示す図である。 図２６Ｂは、本発明の実施の形態の変形例２における操作支援において出力される画面例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

本実施の形態では、リモートコントローラ（以後「リモコン」と記述する。）を用いて録画機器を操作するユーザが目的機能に到達できず、操作支援要求をした際にそれまでのメニュー項目（メニュー画面上に表示されている選択可能な項目）やボタンの選択操作の履歴（以後「選択履歴」と記述する。）からユーザの目的機能を推定し、ユーザに対して操作支援を行う動作について説明する。なお、選択操作には、カーソルの移動などの移動操作は含まれない。

図１は、本発明の実施の形態における操作支援装置の構成を示すブロック図である。

操作支援装置１００は、テレビ番組を録画する録画機器に対するユーザの操作を支援する装置である。

操作支援装置１００は、ユーザ操作入力部１０１と、録画機器操作実行部１０２と、画面情報記憶部１０３と、操作履歴記憶部１０４と、タイマー１０５と、操作負荷算出部１０６とを含む。操作支援装置１００は、さらに、無思考操作判定部１０７と、操作支援部１１２と、出力部１１１とを含む。なお、録画機器は、操作支援装置１００内に備えられていても良いし、操作支援装置１００とは別に備えられていても良い。

図１に示された機能ブロック図において、操作履歴記憶部１０４と、操作負荷算出部１０６と、無思考操作判定部１０７と、操作支援部１１２とが本発明に必須の構成要素である。それ以外の構成要素は、装備されていることが好ましい構成要素である。なぜならば、必須の構成要素が存在することにより、手当たり次第に行った操作履歴を判別し削除するができる。これにより、推定精度の高い目的機能をユーザに提示することにより、ユーザに対してより適切な操作支援を行うことができるからである。

ユーザ操作入力部１０１は、リモコン又はタッチパネルなどにより構成され、ユーザからの録画機器に対する操作入力を受け付ける処理部である。

画面情報記憶部１０３は、録画機器の操作画面の画面情報を含む、各種画面情報を記憶する記憶装置である。録画機器の操作画面の画面情報は、操作入力に対して、録画機器が実行する処理または表示画面を示す情報である。画面情報の具体例については、後述する。

録画機器操作実行部１０２は、ユーザ操作入力部１０１で受け付けられたユーザからの操作入力に基づいて、録画機器の操作を実行する処理部である。その際、録画機器操作実行部１０２は、画面情報記憶部１０３に記憶されている画面情報を参照し、操作入力に対して実行すべき機能または表示すべき画面を特定する。

操作履歴記憶部１０４は、ユーザによる機器の機能を実行するために行う選択操作の履歴を記憶する記憶装置である。つまり、操作履歴記憶部１０４は、ユーザ操作入力部１０１で受け付けられた、録画機器の機能の選択操作を含む操作入力を、入力時の時刻情報及び録画機器の状態と関連づけた操作履歴を記憶する記憶装置である。

タイマー１０５は、現在時刻を取得する処理部である。

操作負荷算出部１０６は、操作履歴記憶部１０４に記憶されている操作履歴を用いて、ユーザの各操作の負荷を算出する処理部である。つまり、操作負荷算出部１０６は、操作履歴記憶部１０４に記憶されている選択操作について、当該選択操作を行なう際のユーザの操作負荷を、当該選択操作と前記履歴に含まれる当該選択操作よりも前の他の選択操作とを用いて、算出する。

無思考操作判定部１０７は、前記各操作の操作負荷に応じて、ユーザの操作が手当たり次第に行なわれた操作（無思考操作）か否かを判定する処理部である。無思考操作判定部１０７は、無思考操作であると判断した操作を、目的推定の対象の操作履歴から削除する。つまり、無思考操作判定部１０７は、操作履歴記憶部１０４に記憶されている選択操作について、操作負荷算出部１０６で算出されたユーザの前記操作負荷が小さいほど、当該選択操作が手当たり次第に行なわれた操作である無思考操作であると判断することにより、当該選択操作が無思考操作であるか否かを判定する。

操作支援部１１２は、無思考操作判定部１０７で無思考操作であると判定された選択操作を除いた選択操作の履歴に基づいて、ユーザに対して操作を支援する処理部である。

操作支援部１１２は、目的機能推定部１０８と、目的推定対象機能記憶部１０９と、操作支援決定部１１０とを含む。

目的推定対象機能記憶部１０９は、目的推定の対象となる機能（以後「目的推定対象機能」と記述する。）に関する情報を記憶している記憶装置である。

目的機能推定部１０８は、ユーザが目的とする機能を推定する処理部である。つまり、目的機能推定部１０８は、無思考操作判定部１０７で無思考操作が削除された操作履歴と、目的推定対象機能記憶部１０９に記憶されている目的推定対象機能に関する情報とを用いて、目的推定の対象となる各機能の順位付けを行う。目的機能推定部１０８は、各機能を、この順位が高い機能ほどユーザの目的とする機能として推定する。

操作支援決定部１１０は、前記各機能の順位付けの結果を基にして、ユーザに対する操作支援方法を決定する処理部である。

出力部１１１は、録画機器操作実行部１０２で実行された録画機器の操作に対する実行結果を表示すると共に、操作支援決定部１１０で決定された操作支援方法を表示する処理部である。出力部１１１は、例えばテレビなどのディスプレイである。なお、前記録画機器の操作に対する実行結果を表示する出力部と、前記決定された操作支援方法を表示する出力部とは別に設けられていてもよい。例えば、通常の録画機器操作の実行結果はテレビから出力するが、ユーザに対する操作支援は携帯電話のディスプレイから出力しても良い。

前記のように構成された操作支援装置１００の動作の一例について説明する。つまり、録画機器を操作するユーザが目的機能に辿り着けず、操作支援要求をするものとする。その際に、それまでのメニュー項目やボタンの選択履歴からユーザの目的機能を推定し、操作支援を行う処理について説明する。図２は、ユーザの操作手順を示すフローチャートである。図３は、操作支援装置１００の処理手順を示すフローチャートである。

はじめに、ユーザが操作支援装置１００を利用する際の基本的な行動について、図２を用いて説明する。

ユーザは、目的機能の達成を目指して操作支援装置１００の操作を行う（Ｓ２０１）。例えば、夜の７時から２時間、番組の予約を行いたいユーザは、録画予約を実行するべく、リモコン上のボタン（以後「リモコンボタン」と記述する。）の操作又は出力部１１１に表示されたメニュー画面でのメニュー項目の選択操作を行う。

ユーザが目的機能を実行するための操作手順を知っている場合、ユーザは困ることなく目的機能を実行できる。また、ユーザが上記操作手順を知らなくとも、ユーザが正しいと思うリモコンボタン又は出力部１１１に表示されるメニュー項目を選択することにより、目的機能を実行できる場合もある。このようにユーザが目的機能を実行できるのは、ユーザが予想する目的機能を実行するための操作手順と、システム開発者が設計した同機能に対する操作手順とが等しい場合である。このように迷うことなくユーザが目的機能を実行できた場合（Ｓ２０２でＹＥＳ）、ユーザは操作支援を受けることなく、操作支援装置１００に目的機能を実行させる。上記のような録画予約を行いたいユーザにとって、「録画時間設定」というラベルのついたリモコンボタン又はメニュー項目がある場合は、ユーザは迷うことなく目的機能に辿り着ける。

しかし、ユーザが予想する目的機能を実行するための操作手順と、システム開発者が設計した同機能に対する操作手順とが異なる場合、以下のような問題がある。例えば、上記のように「録画時間設定」というラベルのリモコンボタン又はメニュー項目が無い場合、ユーザは、様々なメニュー項目の選択を試行する。しかし、目的機能へ到達できず、操作支援装置１００が目的機能を実行できない場合がある。

操作支援装置１００が目的機能を実行できない場合には（Ｓ２０２でＮＯ）、録画機器操作実行部１０２は、ユーザが操作支援装置１００に対して操作支援を要求したか否かを判断する（Ｓ２０３）。ユーザは、目的機能へ自力で到達できないと考える場合には、リモコン上のガイドボタン（例えば、「？ボタン」）を押す等の行為により操作支援を要求する。

操作支援が要求された場合には（Ｓ２０３でＹＥＳ）、ユーザは、操作支援装置１００から操作支援を受ける（Ｓ２０４）。例えば、操作支援装置１００は、ユーザからの支援要求に対してユーザの目的機能の候補リストを表示する。ユーザが目的の機能を選択すると、操作支援装置１００は、目的機能へ到達するために必要なメニュー選択などの情報を出力部１１１に表示する。

操作支援決定部１１０からの操作支援により目的機能への到達方法が分かったユーザは、録画機器操作実行部１０２に目的機能を実行させる（Ｓ２０５）。

一方、目的機能は実行できなかったが、ユーザから操作支援装置１００に対して操作支援の要求が行われなかった場合（Ｓ２０３でＮＯ）、ユーザは目的機能を実行することなく、操作を終える。

次に、操作支援装置１００が実行する処理を、図１の操作支援装置１００の構成を示すブロック図と図３のフローチャートとを中心に説明する。

録画機器操作実行部１０２は、ユーザ操作入力部１０１よりユーザの操作入力を待ち受ける（Ｓ３０１）。

録画機器操作実行部１０２は、ユーザ操作入力部１０１より入力されたユーザの操作入力を操作履歴とし、この操作履歴と、画面情報記憶部１０３に記憶される画面情報と、を関連付けて、操作履歴記憶部１０４に保存する（Ｓ３０２）。

はじめに、画面情報記憶部１０３に記憶される「機能選択」という画面名に関する画面情報の具体的なデータの一例を図４に示す。ここで「画面名」とは、録画機器を操作する際に表示される画面の名前であり、例えば、「機能選択」という画面名は図５に示すようなメニュー画面に対して付与された名称である。

図４に示すように、画面情報は、６つの項目４０１〜４０６を含む情報である。項目４０１は、項目番号を示し、メニュー項目の位置を表す。項目４０２は、項目名を示す。項目４０３は、「上」ボタンを押した際にどの項目番号のメニュー項目へ選択状態が移動するかを示す。同様に、項目４０４は、「下」ボタンを押した際にどの項目番号のメニュー項目へ選択状態が移動するかを示す。具体的には、項目番号「１」の「再生ナビ」という項目名のメニュー項目が選択状態である場合、「上」というボタンを押すと、項目番号「７」に選択状態が移動する。このため、「その他の機能へ」という項目名のメニュー項目が選択状態となる。同様に、項目番号「１」の「再生ナビ」という項目名のメニュー項目が選択状態である場合、「下」というボタンを押すと項目番号「２」の「番組表から予約」という項目名のメニュー項目が選択状態となる。項目４０５以降の各項目は、項目４０３及び項目４０４と同様に、どのリモコンボタンを押すと選択状態がどこに遷移するかを示すものである。ここで、項目４０５以降の各項目には、リモコンボタンを押すことにより他の画面へ選択状態が移動するため、どの画面に移動するのかという情報が記述されている。それに加え、当該各項目には、もし移動先の画面がメニュー画面である場合、どのメニュー項目へ移動するのかという情報が記述されている。本データ例では、「＠」の記号の前に前記移動先の画面名が記述され、「＠」の記号の後に前記移動先の画面における選択状態となるメニュー項目の項目番号が記述されている。具体的には、項目番号「１」の「再生ナビ」という項目名のメニュー項目が選択状態である場合に、リモコン上の「決定」ボタンを押すと、「再生ナビ」という画面名のメニュー画面に移動する。そのメニュー画面において項目番号「１」の項目名のメニュー項目が選択状態となる。

次に、操作履歴記憶部１０４に記憶される操作履歴の具体的なデータの一例を図６に示す。操作履歴は、項目６０１〜６０７を含む。項目６０１〜６０７からなる各レコードが１つの操作を示す。項目６０１は、操作番号を示し、各操作に対して連続的な番号が付与される。この操作番号は機器を起動したときなど、決まったタイミングでリセットされる。項目６０２は、ユーザが行った操作の時刻を示す。項目６０３は、ユーザが行った操作の前に表示されていた画面の画面名を示す。項目６０４は、ユーザが操作する前に選択状態となっているメニュー項目の名称（選択状態項目名）を示す。項目６０５は、ユーザが行った操作を示し、操作時に選択されたリモコンボタンを示す。項目６０６は、項目６０５の操作がどのメニュー階層に対して行われたかを示すものであり、例えば、録画機器の起動状態で録画機器の画面が表示されていない状態を０階層と定義する。０階層からいずれかのリモコンボタンを押して画面を表示させた状態を１階層と定義する。また、１階層で表示されている画面内で定義される操作を行い別の画面を表示させた状態を２階層と定義する。メニュー階層の一例を図７に示す。例えばリモコン上のボタン「機能選択」を押す操作は０階層での操作である。その結果表示された「機能選択」画面で表示されているメニュー項目の一つである「ぴったり予約」を選択する操作は１階層での操作である。その結果表示された「ぴったり予約」画面で表示されているメニュー項目の一つである「録画時間設定」を選択する操作は２階層での操作である。

項目６０７は試行番号を示す。ユーザがメニュー階層を下っていくが、その先に目的の機能が無いと判断して上位の階層に戻って機能の探索をやり直した操作を試行と表現する。項目６０７は、試行単位での区切りを表す番号である。図６の例によると、ユーザは、操作番号「６」までは「番組表」画面で上下左右ボタンを押しながら機能探索をしているが、この画面では目的機能が達成できないと判断して、「機能選択」ボタンを押し、再度、機能探索をやり直している。このため、操作番号「７」からが別の試行であると判断される。

図６の操作番号「１」及び操作番号「２」の操作について、図８を用いて説明する。図６の操作番号「１」の操作履歴は、図８（ａ）に示すように「テレビ表示」画面において、リモコン上の「機能選択」というボタンを押した操作を示す。「テレビ表示」画面には録画機器の画面が表示されていない。このため、表示階層は０階層である。また、テレビには録画機器の操作画面が表示されていない。このため、項目６０４に示される操作前の選択状態項目名は「なし」となる。操作番号「１」の操作でユーザがリモコン上の「機能選択」ボタンを押した結果、図８（ｂ）に示されるような「機能選択」画面（図５の画面）がテレビに表示される。図６の操作番号「２」の操作履歴は、図８（ｂ）に示すように、「機能選択」画面が表示された状態で、ユーザがリモコン上の「下」ボタンを押した操作を示す。「機能選択」ボタンを押した際に表示される「機能選択」画面は、図５に示すように、最も上のメニュー項目が「再生ナビ」であり、その下にメニュー項目「番組表から予約」、「予約確認」等が続くメニュー画面である。「機能選択」ボタンが押されたときは、最も上の項目である「再生ナビ」が選択状態にあり、リモコン上の「下」ボタンを押すことでメニュー画面の選択状態は一つ下の項目である「番組表から予約」に移動する。これが操作番号「２」で行われたユーザの操作である。

図６に示すような操作履歴から、ユーザが選択した項目のみを抽出した、操作履歴を図９Ａに示す。操作履歴は、項目８０１〜８０３を含む。項目８０１は、選択番号を示す。項目８０２は、ユーザが選択した項目を示す。この選択項目は、以下のようにして取得される。つまり、図４に示すような画面情報を利用して、ユーザが画面上の項目を選択しているのか、リモコンボタン上の項目、即ちリモコンボタンに付与されているラベルを選択しているのかが判断される。この判断結果に従って、適切な選択項目が取得される。例えば、メニューが選択可能な画面において、ユーザがリモコンの上下ボタンを選択している場合、これは目的の項目へカーソルを移動するための操作であり、選択項目ではない。目的の項目へカーソルを移動させ、「決定」ボタンが押された場合、録画機器操作実行部１０２は、リモコンボタンのラベルである「決定」ではなく、メニューで選択された項目を選択項目として取得する。より具体的には、図６の項目６０５の操作番号「３」において「決定」ボタンが押された際は、項目６０４で示される選択状態項目である「番組表から予約」を取得する。項目８０３は図６の項目６０７に対応する試行番号である。

図９Ａに示すような形式の操作履歴を図６に示す操作履歴に加えて操作履歴記憶部１０４に記憶してもよい。

再度図３を参照して、録画機器操作実行部１０２は、ユーザ操作入力部１０１より入力された操作入力が、操作支援の要求か否かを判定する（Ｓ３０３）。

操作支援要求で無い場合（Ｓ３０３でＮＯ）、録画機器操作実行部１０２は、前記操作入力が機能の実行操作か否かを判定する（Ｓ３０４）。

前記操作入力が機能の実行操作である場合は（Ｓ３０４でＹＥＳ）、録画機器操作実行部１０２は、録画機器の機能を実行する（Ｓ３１０）。一方、前記操作入力が機能の実行操作で無い場合は（Ｓ３０４でＮＯ）、録画機器操作実行部１０２は、録画機器の動作を実行する（Ｓ３０５）。その後、Ｓ３０１へもどり、ユーザの操作入力の待ち受け状態となる。

ユーザ操作入力部１０１より入力された操作入力が操作支援の要求である場合（Ｓ３０３でＹＥＳ）、操作支援装置１００は、以下に説明する処理を実行することにより、目的機能を実行するために試行錯誤したと考えられる操作履歴を抽出する。また、操作支援装置１００は、この抽出された操作履歴に基づき、ユーザの目的機能の推定を行い、操作支援を行う処理を実施する。ここで、前記試行錯誤したと考えられる操作履歴は以下のようにして抽出される。例えば、操作支援要求の直近で実行された機能に対する操作履歴の中から、試行錯誤したと考えられる操作が検索される。検索された試行錯誤したと考えられる操作から、操作支援の要求がされるまでのすべての操作が、試行錯誤したと考えられる操作履歴として抽出される。

ここで、前記試行錯誤したと考えられる操作履歴は、操作は行ったが実現されていない操作履歴であり、例えば、操作支援要求と直近で実行された機能との間で行われた操作履歴を抽出することにより得られる。

つまり、操作負荷算出部１０６は、操作履歴記憶部１０４に記憶されている操作履歴と、画面情報記憶部１０３に記憶されている画面情報とを用いて、ユーザの操作負荷を算出する（Ｓ３０６）。

本実施の形態での操作対象はリモコンで操作される録画機器であるが、選択行為には、画面上のメニュー項目の選択とリモコンボタン選択とがある。共にリモコンボタンを押す行為であるが、操作対象が異なるため操作負荷の算出方法も異なる。以下では、はじめにリモコンを用いたメニュー項目の選択における操作負荷の算出方法について説明し、その後リモコンボタン選択における操作負荷の算出方法について説明する。

はじめに、リモコンを用いたメニュー項目の選択における操作負荷算出方法について説明する。例えば、図５に示す画面（以後単に「機能選択画面」と記述する。）上で図９Ａおよび図９Ｂに示す操作が行われた際のユーザの操作負荷を算出する方法について述べる。図９Ａは、操作履歴の一例を示す図であり、図９Ｂは、図９Ａに示す操作履歴を説明するための機能選択画面の一例を示す図である。図９Ｂに示す機能選択画面中の数字は、図９Ａに示す操作履歴の選択番号に対応し、選択項目の機能選択画面中での位置を示している。なお、図９Ａに示す操作履歴は、以下のような操作履歴を含む。つまり、ユーザは、機能選択画面上で選択項目を選択した結果、選択項目選択後に表示された画面上には希望する選択項目が無い。このため、ユーザは、「戻る」ボタン等で機能選択画面に戻り、他の選択項目を選択する。図９Ａに示す操作履歴は、このような操作を繰り返した際の操作履歴である。但し、選択番号「５」に示す機能選択ボタンは、機能選択画面の初期状態を表示させるための操作である。

操作負荷算出部１０６は、操作履歴記憶部１０４に記憶されている操作履歴の情報を用いて図１０に示すようなデータの各項目の値を算出し、操作負荷を定量化して操作履歴記憶部１０４に記憶する。

図１０に示すデータは、項目８０１、８０２、９０３〜９０７を含む。項目８０１および８０２は、図９Ａの項目８０１および８０２とそれぞれ同じである。

項目９０３は、画面の初期化操作を示す項目であり、画面が初期化される操作を１で示し、それ以外の操作を０で示す。なお画面が初期化される操作が行われた場合、通常では選択状態にある選択項目は、画面上で一番上に位置する選択肢である場合が多い。

項目９０４は、前回の選択項目が選択状態である状態から次の選択番号で示される選択項目が選択される行為（以後「選択項目移動行為」と記述する。）の間にリモコンボタンが押された回数である。なお、リモコンボタンが押された回数の中には、選択項目を選択するために使用される「決定」ボタンが押された回数は含まれない。例えば選択番号「１」の「機能選択」ボタンが押されたとき、表示されるのは図５に示す画面であり、選択状態にある項目は「再生ナビ」である。この状態から選択番号「２」の「番組表から予約」を選ぶには、「下」ボタンを１回押す必要があるので、操作番号「２」の項目９０４は１となる。同様に選択番号「３」では選択番号「２」の「番組表から予約」から９回リモコンボタンを押すことで「ぴったり録画」に到達していることを示している。

ここでは、リモコンボタンが押された回数の中には「決定」ボタンが押された回数は含まれないものとしたが、「決定」ボタンを押された回数を含むものとしてもよい。

なお、リモコンボタンをメニュー画面の選択状態にある項目の移動といった操作ではなく、リモコンボタンを選択項目として選択している場合は他と区別する必要がある。このため、このような場合には、項目９０４の値を−１とする。リモコンボタンを選択項目として選択している場合とは、例えば機能選択画面を表示するために「機能選択」ボタンを押す場合である。また、コンテンツを再生させるための「再生」ボタンを押す場合である。

項目９０５は、選択項目移動行為の間に押されたリモコンボタンの種類数である。例えば、リモコン上の「下」ボタンのみで選択項目移動行為を行った場合、項目９０５で示されるボタン種類数は１である。また、選択項目移動行為の間にユーザが迷い、「上」「下」ボタンを押して選択状態にある項目が上下した場合などは、ボタン種類数は２となる。例えば、選択番号「２」の「番組表から予約」から選択番号「３」の「ぴったり録画」へは「下」ボタンを６回押下することで移動可能である。しかし、ユーザが選択の際に迷い、「上」ボタンを一度押して選択項目の移動方向を一度変えたため、選択項目移動行為に必要な押下数は８となる。

項目９０６は、前回の選択項目移動行為において最後に押したボタンの種類と、今回の選択項目移動行為の最初に押したボタンとの間に変化があるかどうかを示す。変化があった場合には、項目９０６の値を１とし、変化が無かった場合には、項目９０６の値を０とする。これは、例えば１回ボタン押すという行為においても、先の操作で「下」を押し、続いて「下」を押すのと、先の操作で「下」を押し、続いて「上」を押すのでは操作負荷は後者の方が大きいとする考え方に基づく。なお、ここでのボタンには「決定」ボタンは含まれない。

項目９０７は、項目９０４から項目９０６の情報を利用して操作負荷を算出した結果である。本例では単純に全ての項目（項目９０４から項目９０６）の値の加算により操作負荷を定量化しているが、重み付けを行う等の処理を行ってもよい。なお、上述の項目９０４のようにリモコンボタンをメニュー画面の操作ではなく、選択項目として選択している場合は他と区別するため−１とする。

次に、図１１に示すリモコンでリモコンボタンに対する選択操作が行われた際のユーザの操作負荷算出方法について、図１２に示すフローチャートを用いて説明する。なお、リモコンの操作におけるユーザの操作負荷は、上記メニュー画面上での操作における操作負荷とは異なり、操作負荷が大きいか否かの２値で表現する。

操作負荷算出部１０６は、図６に示すような操作履歴から、ユーザがリモコンボタンを選択項目として押下した操作を抽出し、図１３に示すようなリモコン操作用操作履歴を作成する（Ｓ１１０１）。操作履歴は、項目１２０１および１２０２を含む。項目１２０１は選択番号を示す。項目１２０２は、選択項目を示す。項目１２０２は、リモコンボタンに付与されているラベルを選択項目とする。操作負荷算出部１０６は、画面情報とリモコンボタンの種類とから、行われている操作が画面操作であるか否かを判定する。画面操作であると判定した場合には、選択番号「２」や「４」のように、その操作履歴をまとめて「メニュー操作」として記録する。より具体的には、機能選択画面において「上」「下」「左」「右」「決定」「戻る」などのボタンが押された場合、操作負荷算出部１０６は、その操作がメニュー操作であると判断する。

操作負荷算出部１０６は、前記リモコン操作用操作履歴に含まれる各選択項目について、連続してリモコンボタンを選択項目として押下した操作における選択項目か否かを判定する（Ｓ１１０２）。より具体的には、判定対象となる選択項目の前後の選択項目のどちらかが「メニュー操作」や「操作支援要求」ではない場合、判定対象である選択項目は連続したリモコンボタンの押下であると判断する。例えば、図１３に示すリモコン操作用操作履歴の場合、選択番号「５」から選択番号「８」までが連続したリモコンボタンの押下であると判定する。

判定対象となる選択項目が、連続してリモコンボタンを選択項目として押下した操作における選択項目でないと判定されると（Ｓ１１０２でＮＯ）、操作負荷算出部１０６は、その選択項目の操作負荷が大きいと判定する（Ｓ１１０５）。一方、判定対象となる選択項目が、連続してリモコンボタンを選択項目として押下した操作における選択項目であると判定されると（Ｓ１１０２でＹＥＳ）、Ｓ１１０３に移る。

操作負荷算出部１０６は、判定対象である選択項目がリモコン上で同一グループのボタンを連続的に押下した操作における選択項目か否かの判定を行う（Ｓ１１０３）。より具体的には、操作負荷算出部１０６は、判定対象となる選択項目が、その選択項目の前後の選択項目のどちらかと同一グループのボタンであるか否かを判定する。ここで、同一グループのボタンは、開発者が予め決定しても良いし、ボタンの数、形状、色、配置を利用して自動的に決定しても良い。例えば、一定距離以内に、３つ以上の同一形状のボタンが含まれる場合に、それらのボタンを同一グループであると定義してもよい。このような定義の場合、図１１のリモコンにおいては、例えば、「再生ナビ」ボタン、「番組表」ボタン、「機能選択」ボタンが同一グループであると判定される。また、「青」ボタン、「赤」ボタン、「緑」ボタン、「黄」ボタンが同一グループであると判定される。さらに、「停止」ボタン、「一時停止」ボタン、「再生」ボタンなどが、同一グループであると判定される。

本ステップの判定により、例えば図１３に示すリモコン操作用操作履歴の場合、操作番号「６」から操作番号「８」の操作が同一グループのボタンの連続押下における選択項目であると判定される。ここで、判定対象である選択項目が同一グループのボタンの連続押下における選択項目でないと判定されると（Ｓ１１０３でＮＯ）、操作負荷算出部１０６は、当該選択項目の操作負荷が大きいと判定する（Ｓ１１０５）。一方、判定対象である選択項目が同一グループのボタンの連続押下における選択項目であると判定されると（Ｓ１１０３でＹＥＳ）、操作負荷算出部１０６は、当該選択項目の操作負荷が小さいと判定する（Ｓ１１０４）。

図１４に、本処理により図１３に示すリモコン操作用操作履歴に対して操作負荷を判定した結果を示す。項目１３０３が操作負荷であり、操作負荷が大きいと判定された操作には１が付与され、操作負荷が小さいと判定された操作には０が付与される。また、ユーザがリモコンのガイドボタンを押下して操作支援要求を行った操作については、他と区別するために−１が付与される。

再度図３を参照して、無思考操作判定部１０７は、操作負荷算出処理（Ｓ３０６）で算出された各操作に対する操作負荷を用いて、操作履歴を分類する（Ｓ３０７）。分類の目的は、前述のように、目的推定に利用する操作履歴から、ユーザが目的機能に到達できる可能性を検討せずに行う、または、ユーザが目的機能と関係が低いと考えながら行う無思考操作を削除するためである。このため、無思考操作判定部１０７は、操作履歴が無思考操作か否かの分類を行う。

無思考操作判定部１０７による、リモコンを用いたメニュー項目の選択における操作履歴の分類処理（Ｓ３０７）のフローチャートを図１５に示す。

無思考操作判定部１０７は、操作負荷算出処理（Ｓ３０６）において算出された、例えば、図１０に示すデータを取得する（Ｓ１４０１）。

無思考操作判定部１０７は、図６に示した操作履歴を用いて、図１０に示す前記取得したデータに含まれる押下数および操作負荷を修正する（Ｓ１４０２）。具体的には、目的推定の対象とする操作履歴内で一定回数以上選択経験のある選択項目を無視して、選択項目間の移動行為に必要な押下数を算出する。例えば、図１０において、選択番号「６」の「再生ナビ」から選択番号「７」の「予約確認」への移動には、２回の押下が必要である。しかし、図６より、「再生ナビ」と「予約確認」との間にある「番組表から予約」は、既に図１０の選択番号「２」において選択されている項目である。そこで、「番組表から予約」を無視して「再生ナビ」から「予約確認」への移動に必要な押下数を算出する。また、この押下数の修正に応じて操作負荷も修正を行う。これは、既に選択した項目は、再度選択する可能性が低いため、既に選択した項目を無視するためである。

図１６に図１０のデータに対して上記修正を反映した結果を追加したデータの一例を示す。図１６に示すデータは、図１０に示すデータに、さらに、項目１５０８および項目１５０９が追加されたものである。項目１５０８は、項目９０４に示される押下数を修正した後の押下数を示す。項目１５０９は、項目９０７に示される操作負荷を修正した後の操作負荷を示す。

無思考操作判定部１０７は、このように操作負荷を修正した各操作に対して、以下に示す処理を行い、無思考操作か否かの判定を行う。

つまり、無思考操作判定部１０７は、上記修正を反映した操作負荷の各々を閾値と比較する（Ｓ１４０３）。判定対象の操作の操作負荷が閾値より大きい場合（Ｓ１４０３でＮＯ）、無思考操作判定部１０７は、その操作が思考を有する操作であって、無思考操作でないと判定する（Ｓ１４０６）。

一方、判定対象の操作の操作負荷が閾値よりも小さい場合（Ｓ１４０３でＹＥＳ）、Ｓ１４０４へ進む。無思考操作判定部１０７は、判定対象の操作の前後の操作における操作負荷の値を取得し、閾値以下の操作が、前後のどちらかにあるかを調べる（Ｓ１４０４）。これは操作負荷が閾値以下の操作が２回以上続いているか否かを判定していることになる。操作負荷が閾値以下の操作が２回以上続いていない場合（Ｓ１４０４でＮＯ）、無思考操作判定部１０７は、判定対象の操作が思考を有する操作であって無思考操作でないと判定する（Ｓ１４０６）。操作負荷が閾値以下の操作が２回以上続いている場合には（Ｓ１４０１でＹＥＳ）、Ｓ１４０５へ進む。

なお、Ｓ１４０４の処理は操作毎に行うのではなくてもよい。つまり、全ての操作に対して操作負荷が閾値以下か否かを判定するようにしてもよい。無思考操作判定部１０７は、その結果を用いて閾値以下の操作が２回以上連続している操作を抽出し、２回以上連続している操作履歴に対してＳ１４０５の処理を行っても良い。また、Ｓ１４０４での判定に用いた連続回数は２回としたが、それ以外の回数でも良い。例えば、判定に用いる連続回数を５回とすると、操作負荷が閾値以下の操作が４回続いたとしてもＳ１４０６へ進み、無思考操作でないと判定する。

無思考操作判定部１０７は、Ｓ１４０４の処理より抽出された、操作負荷が閾値以下で連続した操作系列が、同一グループ内の選択系列か否かの判定を行う（Ｓ１４０５）。

ここで、同一グループ内の選択系列とは、メニュー項目に含まれる単語の共通度合い、類似性またはレイアウトなどにより決定される類似したメニュー項目の集合である。例えば、図５の機能選択画面において、「放送設定」と「初期設定」とには共に「設定」という単語が含まれているので（メニュー項目に含まれる単語間の意味的類似度が大きいので）、同一グループであるとしても良い。また、レイアウト上、「予約する」に分類される「番組表から予約」「予約確認」「番組表の検索」および「Ｇコード入力」を同一グループとしても良い。また、メニューの先頭位置、またはフォントの種類、大きさ若しくは色などの情報を利用してグループに分類してもよい。例えば、横方向の位置が等しいメニュー項目を同一グループとしたり、フォントのサイズまたは色が等しいメニュー項目を同一グループとしたりしてもよい。

無思考操作判定部１０７は、このように定義されたメニュー項目のグループとＳ１４０４の処理により抽出された操作系列とを比較する。無思考操作判定部１０７は、この比較結果に従い、前記操作系列が１つのグループの中に含まれるか否かを判定する（Ｓ１４０５）。前記操作系列が１つのグループ内に含まれる場合（Ｓ１４０５でＹＥＳ）、無思考操作判定部１０７は、判定対象の操作が無思考操作でないと判定する（Ｓ１４０６）。一方、前記操作系列が１つのグループ内に含まれない場合（Ｓ１４０５でＮＯ）、すなわちグループ間を跨る操作が行われている場合、無思考操作判定部１０７は、判定対象の操作が無思考操作であると判定する（Ｓ１４０７）。

なお、メニューの構成上、類似したメニュー項目が近くにあれば、無思考操作でない場合でも、操作負荷が小さい連続的な操作が行われると考えられる。このため、このように類似したメニュー項目間で操作負荷が小さい連続した操作が行なわれている場合には、無思考操作ではないと判断する必要がある。Ｓ１４０５の判定は、操作負荷が小さい連続的な操作が行われたとき、その操作は無思考操作であるという基本的な考えに、前述のような考えを加えたものである。さらに、上記処理では操作負荷が小さい連続的な操作がグループを跨って行われた場合は無思考操作であるという判定も行っている。

この考えを基にした別の判定方法として、選択履歴における各選択項目の類似性を基に、操作が無思考操作か否かの判定を行う方法が考えられる。具体的には、Ｓ１４０３で操作負荷が閾値以下ではなく無思考操作でないと判定された選択履歴と、Ｓ１４０４で抽出された操作系列の各選択項目との意味的類似度を、閾値と比較する。類似度が閾値以上となる際の選択項目を無思考操作でないと判定する。より具体的には、前記無思考操作でないと判定された選択履歴の選択項目に含まれる単語を抽出する（抽出された単語の集合を単語集合１とする）。同様にＳ１４０４の処理により抽出された各操作履歴の選択項目に含まれる単語を抽出する（抽出された単語の集合を単語集合２とする）。そして、例えばマニュアルのようなテキストコーパスから索引語・文書行列を作成する。また、各単語をベクトル表現し（非特許文献：北他：情報検索アルゴリズム，共立出版，ｐｐ６０−６３）、前記単語集合１と前記単語集合２に含まれる単語ベクトルを加算する。このことで、各単語集合に対応したベクトルを作成し、両ベクトルを比較することにより前記意味的類似度を算出する。

上記の処理を行うことにより、図１６に示す操作履歴データにおいて、Ｓ１４０３での閾値を２とした場合、選択番号「６」から選択番号「９」までの操作が無思考操作であると判定される。

なお、リモコンボタンに対する選択操作が行われた際の操作履歴における各操作の操作負担は、既に２値に分かれている。このため、Ｓ３０６で分けた分類をそのまま利用し、操作負荷が小さいと判定された操作を無思考操作であると判定する。例えば図１４の操作履歴データの場合、選択番号「６」から選択番号「８」までを無思考操作であると判定する。

再度図３を参照して、目的機能推定部１０８は、操作履歴記憶部１０４に記憶された無思考操作を除いた選択履歴を用いて、目的推定対象機能記憶部１０９に記憶されている各機能に対して順位付けを行う。これにより、目的機能の推定を行う（Ｓ３０８）。

図１７に目的推定対象機能記憶部１０９に記憶されている目的推定対象機能に関するデータの具体例を示す。当該データは、項目１６０１〜１６０３を含む。項目１６０１は、各機能の機能番号を示す。項目１６０２は、各機能の機能表現を示し、当該機能表現は、マニュアルの目次で示されているように機能を短い言葉で表現した文書である。項目１６０３は、マニュアルにおいて各機能を説明するために利用されている単語を示す。この項目１６０３における単語は、マニュアルのテキスト文書を形態素解析したものである。例えば、名詞や動詞、副詞などの特定の品詞である。

目的機能推定部１０８は、無思考操作判定部１０７で分類された操作履歴の中から、目的推定に利用する無思考操作ではない操作履歴を抽出する。目的機能推定部１０８は、さらに各選択単語で利用されている単語を抽出する。抽出方法は上記と同様に形態素解析により行う。

図１８に、図１６に示す操作履歴から目的推定に利用する選択項目を抽出し、抽出された選択項目に含まれる利用単語を抽出したデータの一例を示す。当該データは、項目１７０１〜１７０３を含む。項目１７０１および１７０２は、図９Ａに示した操作履歴の項目８０１および８０２に対応する。項目１７０３は、項目１７０２に示した選択綱目で利用されている単語を示す。なお、図１６に示す操作履歴における選択番号「５」の「機能選択」は画面初期化操作であり、その後に続く操作が無思考操作であったため、この選択項目は、目的推定には利用されない。

目的機能推定部１０８は、目的推定対象機能記憶部１０９に記憶される全ての機能と前記抽出した目的推定に利用される選択項目との類似度を算出し、各機能に対して順位付けを行う。各機能とユーザが選択した選択項目との類似度は、前記機能を説明するために利用されている単語と、選択項目で利用されている利用単語との類似度から算出される。最も簡単には、共通の単語数をカウントし、共通の単語数が多いほど類似しているとして類似度を算出する方法である。その他に、各機能を文書集合として、文書集合から索引語・文書行列を作成することで各機能をベクトル表現する。また、選択項目を検索質問ベクトルとして、ベクトル表現する。ベクトル表現された機能と選択項目との類似度を算出する方法であってもよい。

なお、前記類似度が大きいほど、ユーザの目的機能である可能性が高いと推定し、以後この類似度を推定スコアと記述する。

操作支援決定部１１０は、目的機能推定部１０８で順位付けされた機能を利用して操作支援方法を決定し、出力部１１１に出力する（Ｓ３０９）。出力部１１１は、録画機器の操作画面が出力されるテレビなどの端末と同一でも良いし、例えば携帯電話など、録画機器の操作画面が出力される端末とは別の端末でも良い。

図１９Ａ〜図１９Ｃに操作支援画面の一例を示す。まず、操作支援決定部１１０は、機能を推定スコアの高い順に並べる。操作支援決定部１１０は、並べられた各機能の機能表現（図１７のデータの項目１６０２に記述されている機能表現）を、図１９Ａのように、出力部１１１に表示させる。なお、図１９Ａでは、ユーザにとって操作支援装置１００がどのような基準で推定結果を求めたかが理解しやすいように、ユーザの入力履歴と関連の強い単語を強調して表示している。

次に、ユーザが自分の目的機能であると思われる項目を選択すると、図１９Ｂのように、その機能に関するマニュアルが表示される。なお、機能を選択した際に表示される情報は、マニュアルの関連ページに限られない。例えば、操作支援用に予め作成した画面や、動画を表示するようにしてもよいし、機能が実行可能な録画機器の画面に遷移させるようにしてもよい。

また、図１９Ｃのように、目的推定に利用した操作の数と、利用しなかった操作の数とを、操作支援の前に表示しても良い。このとき、利用しない操作の数の大きさに応じて表示するか否かを決定しても良い。例えば、目的推定に利用しない操作（無思考操作）の数が閾値より多い場合、図１９Ｃのような提示を行うことで、次回からのユーザの困惑時間を短くする効果が期待できる。

上記のように操作負荷を算出し、その結果を用いて目的機能の推定に利用する操作履歴の抽出を行わなかった場合の操作支援画面の一例を図２０に示す。前記操作履歴の抽出を行わなかった場合、図１６のデータの全ての選択項目を利用して目的機能の推定が行われる。このため、無思考操作で選択された「再生」や「ダビング」に関する機能が上位に推定され、結果として、ユーザが目的とする機能である録画予約に関する機能が下位に推定される。ユーザの目的機能が下位に推定されると、ユーザはその機能を探すためにより多くの機能を見て目的の機能を探さなければならなくなり、ユーザの負担が大きくなってしまう。

再度図３を参照して、録画機器操作実行部１０２は、操作支援の結果に基づきユーザにより指示された、録画機器の目的機能を実行する（Ｓ３１０）。

以上説明したように、本実施の形態に係る操作支援装置は、目的機能推定に利用する操作履歴から、目的機能推定の精度を下げる要因となる無思考操作を削除できる。この無思考操作は、ユーザが目的機能に到達できる可能性を検討せずに行う操作、または、ユーザが目的機能と関係が低いと考えながら行う操作である。このため、本実施の形態に係る操作支援装置によると、ユーザが目的機能と関係が高いと考えながら行う操作のみを用いて目的機能推定が可能となる。よって、より高精度な目的機能推定が可能となり、ユーザに対して適切な操作支援が可能となる。

（変形例１）
上記実施の形態において、リモコンで操作する録画機器を操作対象として説明を行ったが、入力デバイスがタッチパネルなどのポインティングデバイスである機器に対しても、本発明は適用可能である。ポインティングデバイスを入力とする機器に対しては、操作履歴記憶部１０４に記憶される項目と、操作負荷算出部１０６で行う操作負荷の算出方法とが上記実施の形態と異なる。本変形例では、上記実施の形態との差異であるポインティングデバイスを入力とする機器特有の処理のみを説明する。

図２１に、ポインティングデバイスを入力手段とする機器の操作画面の一例を示す。アイコン「ｉｃｏｎ１」からアイコン「ｉｃｏｎ１２」及びアイコン「ｉｃｏｎＡ」からアイコン「ｉｃｏｎＤ」はユーザが選択可能なアイコンを示す。ユーザがいずれかのアイコンを選択することにより、各アイコンに対応した画面が表示される。

図２２に、操作履歴記憶部１０４に記憶される選択履歴データの一例を示す。本操作履歴データは、以下のような操作履歴を含む。つまり、ユーザは、図２１に示す画面のアイコンを選択する。しかし、その結果表示された画面上に適切な情報がないとユーザが判断し、「戻る」等の操作により、再び図２１に示す画面を表示させ、別のアイコンを選択する。このような操作を繰り返した際の操作履歴である。

図２２に示す操作履歴は、項目２１０１〜２１０６を含む。項目２１０１は、アイコンの選択毎に番号が振られる選択番号を示す。項目２１０２は、選択されたアイコンの名称を示す。項目２１０３は、選択されたアイコンの座標を示し、２次元のベクトルで表現される。項目２１０４は、前回選択されたアイコンから、対象とする次に選択されたアイコンまでの移動に必要な移動距離である。具体的には、アイコン「ｉｃｏｎ８」を選択した選択番号「２」の操作における移動距離は、前回選択されたアイコン「ｉｃｏｎ１」と、今回選択されたアイコン「ｉｃｏｎ８」との間の距離である。当該距離は、例えばアイコンの中心座標間の距離である。

項目２１０５は、移動操作ベクトルを示す。移動操作ベクトルは、対象とする選択されたアイコンの座標から、一つ前に選択されたアイコンの座標を引くことにより算出される。移動操作ベクトルは、ユーザがポインタを移動させる軌跡を示しており、ユーザのポインタとしては、マウス、指またはペンなどが考えられる。項目２１０６は、コサイン尺度を示す。コサイン尺度とは、対象とする選択されたアイコンの移動操作ベクトルと、一つ前に選択されたアイコンの移動操作ベクトルとのなす角度のコサインの値である。例えば、アイコン「ｉｃｏｎ７」に対応するコサイン尺度は、一つ前に選択されたアイコン「ｉｃｏｎ８」の移動操作ベクトルと、アイコン「ｉｃｏｎ７」の移動操作ベクトルとのなす角度のコサインの値である。

操作負荷算出部１０６は、図２２に示すような操作履歴データのうち、項目２１０４で示される移動距離と項目２１０６で示されるコサイン尺度とを用いて、操作負荷を算出する。より具体的には、操作負荷算出部１０６は、移動距離をα倍した値とコサイン尺度をβ倍した値とを足し合わせることにより、操作負荷を算出する（α、βは共に正の実数）。これは、ポインタの移動距離が長いほど、ユーザの負担が大きくなるという考えに基づくものである。また、先の操作に必要としたポインタの移動と今回の操作に必要としたポインタ移動とのなす角度が大きいほどユーザの負担が大きくなるという考えに基づくものである。例えば、図２３Ａ（ａ）に示すポインタの移動距離よりも、図２３Ａ（ｂ）に示すポインタの移動距離のほうが長い。このため、図２３Ａ（ｂ）に示すポインタの移動のほうが、図２３Ａ（ａ）に示すポインタの移動に比べて、相対的に、操作負荷が大きくなる。また、図２３Ｂ（ａ）に示すポインタの移動方向の変化と、図２３Ｂ（ｂ）に示すポインタの移動方向の変化とを比較すると、後者のほうが移動方向の変化が大きい。このため、図２３Ｂ（ｂ）に示すポインタの移動のほうが、図２３Ｂ（ａ）に示すポインタの移動に比べて、相対的に、操作負荷が大きくなる。ただし、アイコンの位置によっては、ポインタの移動方向を変更しなければならない場合がある。例えば、図２３Ｂ（ｃ）のように、「選択２」で選択したアイコンの右隣にアイコンが無い場合には、次のアイコンを選択するためにはポインタの移動方向を変更せざるを得ない。このような場合には、移動方向の変化が大きいが、操作負荷は小さいと判断するようにしてもよい。例えば、図２３Ｂ（ａ）の場合と操作負荷の大きさを同じにしてもよい。

このようにして、無思考操作判定部１０７において、操作負荷が算出される。上記実施の形態と同様に、図１５のＳ１４０３において、操作負荷が予め指定した閾値と比較され、操作の連続回数が算出され、当該操作が同一グループ内の選択か否かが判定される。このことにより、当該操作が無思考操作か否かが判定される。

なお、Ｓ１４０５の処理のために必要なアイコンのグルーピングは、上記実施の形態と同様に、アイコンに記述されている単語や、アイコンのレイアウト情報を基に行われる。

その他の処理は、上記実施の形態と同様であるので、その説明は繰り返さない。

このように、ポインタの移動距離と、ポインタの移動軌跡のなす角度とが用いられる。これにより、ポインティングデバイスを入力デバイスとする機器に対しても、リモコンを入力デバイスとする機器の場合と同様に、無思考操作を削除することが可能となる。このため、より精度の高い目的推定が可能となり、ユーザに適した操作支援が可能となる。

（変形例２）
上記実施の形態において、目的機能の推定を用いたユーザへの操作支援は、ユーザの操作支援要求に基づいて行われた。しかし、ユーザが無思考操作を開始したことを操作支援装置が検出し、早いタイミングでユーザへ操作支援を行っても良い。

操作支援装置が操作支援を行う場合のユーザの操作手順を図２４に示し、操作支援装置の処理手順を図２５に示す。以下では、それぞれの処理について、図２及び図３との違いを中心に説明する。なお、操作負荷の算出方法や無思考操作の抽出方法は上記実施の形態と同様であるため、その説明は繰り返さない。

ユーザは、図２４に示すように、目的機能の実行ができない場合に（Ｓ２０２でＮＯ）、操作支援装置から操作支援の提案がされる（Ｓ２２０３）。操作支援装置１００からの操作支援の提案を受理することにより（Ｓ２２０４でＹＥＳ）、ユーザは、操作支援装置１００から操作支援を受ける（Ｓ２０４）。ユーザは、操作支援に基づいて、目的とする機能を実行する（Ｓ２０５）。

操作支援装置１００は、図２５に示すように、ユーザの入力を受け付けるたびに操作負荷の算出を行い（Ｓ３０６）、無思考操作の検出を行う（Ｓ２４０４）。対象の操作が無思考操作でないと判定されると（Ｓ２４０４でＮＯ）、操作支援装置１００は、通常の機器操作の動作を実行する（Ｓ３０４、Ｓ３０５、Ｓ３１０）。対象の操作が無思考操作であると判定されると（Ｓ２４０４でＹＥＳ）、無思考操作を除いた操作履歴を用いて、目的機能の推定を行い（Ｓ３０８）、ユーザに対して操作支援を提案する（Ｓ２４０８）。

図２６Ａおよび図２６Ｂに操作支援提案時の画面の一例を示す。図２６Ａは、リモコン上のガイドボタンを押すように促すメッセージを表示する画面の一例であり、図２６Ｂは推定された機能のタイトルなどを表示する画面の一例である。図２６Ｂのように一つの機能を提示して、１回の操作で表示機能の情報についての操作支援を行えると、ユーザにとって負担の少ない操作支援となる。しかし、提示された機能が、ユーザの目的とする機能ではない場合、逆にユーザの負担が増えてしまう。

そこで、目的機能の推定結果に対する信頼度を算出し、いずれの機能を表示するかを決定したり、表示する機能の数を制御したりしても良い。ここで、信頼度は、目的機能の推定に利用した選択項目の数、選択項目に含まれる単語の数、前記単語のマニュアル上での出現頻度などを用いて算出してもよい。また、目的機能の推定処理で算出した各機能と操作系列との類似度の大きさ又は類似度の分布を用いて算出しても良い。

図２６Ａまたは図２６Ｂのような操作支援の提案情報が提示されているにも関わらず、ユーザが操作を続けたり、キャンセルボタン等により操作支援提示の表示を消したりする操作が行われた場合がある（Ｓ２４０９でＮＯ）。このような場合には、出力部１１１の画面上に表示されている操作支援の提示情報を消去する（Ｓ２４１０）。

このように、ユーザが入力する操作に対して、その都度、操作負荷を算出して、無思考操作か否かを判定することで、無思考操作になってすぐに操作支援の提案が可能となる。このことにより、ユーザが目的機能に到達できる可能性を検討せずに行う、または、ユーザが目的機能と関係が低いと考えながら行う無思考操作を減らすことができる。このため、ユーザの負担を減らした操作支援が可能となる。

以上のように、上記実施の形態によると、本発明は、ユーザの操作履歴を用いてユーザの目的を推定する選択型のインタフェースを持つ機器一般に適用できる。このため、本発明は、上記実施の形態で説明した録画機器だけでなく、携帯電話、カーナビゲーションシステム、又は音楽・動画プレイヤーなど、様々な機器での利用が可能であり、その利用可能性は非常に大きい。

以上、本発明の実施の形態に係る操作支援装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、操作支援装置は、録画機器に対するユーザの操作を支援したが、操作支援対象の機器は録画機器に限定されるものではなく、ユーザにより操作が行なわれる機器であれば他の機器でもよい。例えば、映像を再生する映像再生機器、または音声を再生する音声再生機器などであってもよい。

また、上記の操作支援装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭ又はハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、操作支援装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の操作支援装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の操作支援装置を構成する構成要素の一部又は全部は、操作支援装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体に記録したものとしてもよい。例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭに記録したものとしてもよい。また、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。また、上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、例えば、コンピュータ・アプリケーション、電化製品、又はＡＶ機器のような多様な機能を有する機器に対して、ユーザの操作履歴からユーザの目的機能を推定し、その結果を利用してユーザの操作を支援する操作支援装置等に適用可能である。

１００ 操作支援装置
１０１ ユーザ操作入力部
１０２ 録画機器操作実行部
１０３ 画面情報記憶部
１０４ 操作履歴記憶部
１０５ タイマー
１０６ 操作負荷算出部
１０７ 無思考操作判定部
１０８ 目的機能推定部
１０９ 目的推定対象機能記憶部
１１０ 操作支援決定部
１１１ 出力部
１１２ 操作支援部

Claims (2)

1. ユーザが機器に対して、機能を実行するために選択する選択操作を行なう際の前記ユーザの操作負荷を、(１)前記機器に対する前記ユーザによる操作の履歴に含まれる操作数、または、(２)前記選択操作と、前記選択操作を行うまでの前記ユーザによる前記機器に対する操作の履歴に含まれる、前記選択操作よりも前の他の選択操作との操作種類の違い、を用いて、算出する操作負荷算出部と、
   前記選択操作について、前記操作負荷算出部で算出された前記ユーザの前記操作負荷により示される値が所定値を満たしているかどうかに基づき、前記選択操作が手当たり次第に行なわれた操作かどうかを判断する操作判定部と
   を備える操作状態判定装置。
2. コンピュータに、
   ユーザが機器に対して、機能を実行するために選択する選択操作を行なう際の前記ユーザの操作負荷を、(１)前記機器に対する前記ユーザによる操作の履歴に含まれる操作数、または、(２)前記選択操作と、前記選択操作を行うまでの前記ユーザによる前記機器に対する操作の履歴に含まれる、前記選択操作よりも前の他の選択操作との操作種類の違い、を用いて、算出させ、
   前記選択操作について、前記操作負荷算出部で算出された前記ユーザの前記操作負荷により示される値が所定値を満たしているかどうかに基づき、前記選択操作が手当たり次第に行なわれた操作かどうかを判断させる
   プログラム。

Images