JP5169902B2 - 操作支援システム、操作支援方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、操作支援システム、操作支援方法、プログラム及び記録媒体に関し、特に、メニュー選択によって操作を行う機器においてユーザの意図を推定する技術に関するものである。

近年、情報技術の発達によって機器は多様な機能を備えるようになってきており、一方でユーザがこのような多機能化した機器をうまく操作できないという問題が発生している。このような問題に対して、ユーザが操作に迷っている状況でユーザが何をしたいと考えているか、すなわちユーザの意図を推定しその結果に基づいてユーザを支援する技術の開発が進められている。

例えば特許文献１では、事前にマニュアルからＬＳＡ（Latent Semantic Analysis）により意味空間を生成しておき、ユーザが選択したメニューに含まれる単語群と各機能のマニュアル上の説明に含まれる単語群の近さを前述の意味空間で測定し、最も近い機能を現在ユーザが実現したい意図であると推定してその候補を選択肢としてユーザに提示する技術が開示されている。

特開２００７−３１６８０３号公報

特許文献１で開示されている技術では、ユーザが選択したメニューに含まれる単語群との意味的な近さを用いてユーザが探している機能を推定している。また、特許文献１の技術は、意味的な近さについて、マニュアルなどのテキストコーパスから事前に作成された尺度を利用している。しかし、ユーザは、必ずしもマニュアルなどのテキストコーパスから作成された意味空間での距離が小さいメニューを選択するとは限らない。その典型例として、ユーザは、過去の成功体験をもとにメニューを探索する場合がある。つまり、ユーザは、過去の成功体験をもとにメニューを探索するときには、メニューに含まれる単語と目的とする機能との意味的な近さにかかわらず、以前自分が成功したたどり方でメニューを探索する傾向がある。

例えば、ハードディスクレコーダが図１に示すようなメニュー構造を有しており、ユーザは事前にＤＶ入力表示を行った経験があるとする。ここで、ユーザが「外部入力表示」（例えばビデオ信号の入力を表示する機能）を行いたいという意図を持ったとき、ユーザは「外部入力表示」との言語的な近さから以前自分が行ったことがある「ＤＶ入力表示」を連想し、以前行った操作である「編集ナビ」や「ダビング」のメニューをたどるパスを採用する。このような場合、実際にユーザが選択したメニューである「編集ナビ」や「ダビング」とユーザが意図している機能である「外部入力表示」は、マニュアルから構成した意味空間では近くならないため、ユーザの行為（「編集ナビ」や「ダビング」を選択するという行為）からはユーザの意図である「外部入力表示（ビデオ信号の入力の表示）」の推定を行うことができない。

このように、ユーザが自分の過去の経験に基づいて操作を行う場合、特許文献１のような、マニュアルなどのテキストコーパスから事前に作成された尺度のみで距離を測る方法では、精度良くユーザの意図を推定することができない。

そこで、本発明は、上述した事情に鑑み、メニュー選択方式でユーザが操作を行うシステムにおいて、選択したメニューに意図と関連する情報がない場合でも、そのメニューを選んだ段階でユーザの意図を推定してユーザの操作を支援することを目的とする。

本発明の一側面の操作支援システムは、ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、ユーザの直近の操作履歴と類似している過去の操作履歴を操作履歴データベースから抽出する類似履歴抽出部と、類似履歴抽出部で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出部と、操作特徴量抽出部で抽出された操作特徴量と機能特徴量データベースに保持された機能特徴量の類似度を計算し、類似度に基づいてユーザの意図する機能を出力する類似度計算部と、を有する。

本発明の一側面の操作支援方法は、ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、を用い、ユーザの直近の操作履歴と類似している過去の操作履歴を操作履歴データベースから抽出する類似履歴抽出ステップと、類似履歴抽出ステップで抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出ステップと、操作特徴量抽出ステップで抽出された操作特徴量と機能特徴量データベースに保持された機能特徴量の類似度を計算し、該類似度に基づいてユーザの意図する機能を求める類似度計算ステップと、を有する。

本発明の一側面のプログラムは、ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、を用い、コンピュータに、ユーザの直近の操作履歴と類似している過去の操作履歴を操作履歴データベースから抽出する類似履歴抽出処理と、類似履歴抽出処理で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出処理と、操作特徴量抽出処理で抽出された操作特徴量と機能特徴量データベースに保持された機能特徴量の類似度を計算し、該類似度に基づいてユーザの意図する機能を求める類似度計算処理と、を実行させる。

本発明の一側面の記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、メニュー選択方式でユーザが操作を行うシステムにおいて、選択したメニューに意図と関連する情報がない場合でも、そのメニューを選んだ段階でユーザの意図を推定してユーザの操作を支援することが可能となる。

関連する技術（特許文献１の技術）の問題点を説明するための図である。 本発明に係る操作支援システムの動作概要を説明するための図である。 本発明の実施形態に係る操作支援システムの構成を示すブロック図である。 本発明の第１実施形態に係る操作支援システムの構成を示すブロック図である。 本発明の第１実施形態に係る操作支援システムが行う処理の流れを示すフローチャートである。 本発明の第１実施形態に係る操作支援システムが行う処理の流れを示すフローチャートである。 本発明の第１実施形態に係る操作支援システムが行う処理の流れを示すフローチャートである。 本発明の第３実施形態に係る操作支援システムの構成を示すブロック図である。 本発明の第３実施形態において操作履歴を複数の操作系列に分割する例を説明するための図である。 本発明の第３実施形態に係る操作支援システムが行う処理の流れを示すフローチャートである。

本発明における第１の操作支援システムは、ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、ユーザの直近の操作履歴と類似している過去の操作履歴を操作履歴データベースから抽出する類似履歴抽出部と、類似履歴抽出部で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出部と、操作特徴量と機能特徴量の類似度を計算する類似度計算部と、を有して構成され、直近の操作履歴から類似度計算部での類似度が高い機能をユーザの意図として求める。

第１の操作支援システムでは、ユーザが操作を開始してからの操作に対して、それと類似している過去の操作履歴を操作履歴データベースから抽出する。そして、その操作履歴においてユーザが実行している機能や、それに至る操作で選択しているメニューに含まれている単語を用いて、機能との類似度を測定することでユーザが探索している機能を推定する。

ユーザが起動方法を知らない機能の実行を、メニュー選択を通じて機器へ指示する状況を考える。ここでユーザが自身の経験に基づいてメニュー選択を行う場合、まず所望の機能に近い機能を思い浮かべ、その機能の周辺に所望の機能を実行するためのメニューがあるのではないかと予想して、その近い機能を呼び出すメニュー操作から開始することが多い。このような状況では、ユーザが近いと想像した機能を呼び出す階層メニュー操作の途中段階のメニューは、ユーザが現在実行したいと思っている機能と関係がない語で構成されていることがあり、このような状況で意図の推定のために適切な単語が選択できずに意図の推定がうまくいかないのが問題であった。

そこで第１の操作支援システムでは、ユーザがあるメニュー操作を行った場合に、ユーザの過去の履歴に基づいて、ユーザが選択したメニュー構造の下位にあるメニューの中でユーザが過去に実行したことがある機能を特定する。そして、その機能を呼び出すためのメニューに含まれている情報（例えば単語など）と各機能との類似度を算出することでユーザが実行しようとしている機能を推定する（図２参照）。このようにすることで、選択したメニューの中にユーザが意図する機能に関連する情報（例えば単語など）が含まれていない場合でも、そのような情報（例えば単語など）を抽出することができ、意図推定の精度を向上させることができる。また、その操作特徴量としては様々なものを用いることができる。例えば、ユーザが迷っている状況で自分がやりたいと意図している機能に関連する単語を含むメニューを頻繁に選ぶという性質に着目して、メニューに出現する単語の出現頻度を用いることで、よりユーザの意図の推定を精度良く行うこともできる。

本発明における第２の操作支援システムは、上記第１の操作支援システムの操作特徴量抽出部において、操作特徴量抽出部で、メニューがユーザに提示されてから選択されるまでの時間が長い操作を重視して操作特徴量を算出する。

第２の操作支援システムでは、類似履歴抽出部で抽出された操作履歴から操作を特徴付ける操作特徴量抽出部で、ユーザのそれまでのメニュー選択に要した時間などの操作速度に応じて操作特徴量を算出する。

ユーザが操作のためにメニューを選択する状況を考える。ユーザは次にする操作がわからない場合は、メニューに表示されている語を読んでもっともらしいと判断するメニューを選択する行為を行っていることが多く、ユーザが選択したメニューに関連する単語が含まれていることが多い。このような場合には、特許文献１で開示された技術、すなわち、ユーザが既に選択したメニューに含まれている単語と機器が提供する機能の類似度を測定する方法が有効である。一方、過去に操作経験を持ち階層メニューの下位の機能をユーザが知っている場合は、上位のメニューは必ずしも所望の機能を関連する単語が含んでいないことがあり、このような場合には第１の操作支援システムの手法を用いるのが有効である。そこで、これらの両方のケースでうまく動作するために、どちらの状況であるのかを認識して処理を切り替える手法を取るのが第２の操作支援システムである。

第２の操作支援システムでは、どちらの状況であるのかを認識するために、操作の速度を利用する。操作の速度が早い場合には、ユーザが慣れた操作であることが多いことから、メニューを探索しているのではなく目指す操作があるとし、第１の操作支援システムの手法を用いてユーザの意図を推定する。そうでない場合、つまり操作の速度が遅い場合には、迷いつつメニューを選択している状況であると判断し、特許文献２の方法を用いるなどする。このようにすることで、各状況に応じて意図の推定に用いる単語をより正しく選択することができ、意図推定の精度を向上させることができる。

本発明における第３の操作支援システムは、第１又は第２の操作支援システムにおいて、類似履歴抽出部が、分析対象の操作履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に該開始メニューが選択される直前の選択までで分割する選択系列分割部と、選択系列分割部で生成された選択系列ごとに類似している操作履歴を、操作履歴データベースに格納されている履歴から抽出する分割系列類似履歴抽出部と、を有し、類似度計算部が、選択系列分割部で生成された選択系列ごとに機能との類似度を算出する。

第３の操作支援システムでは、分析対象の操作履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割し、以後その分割した操作履歴ごとに操作履歴データベースとの照合を行う。

ユーザが所望の操作ができずに迷っている状況での操作は、いくつもの操作を試行錯誤的に呼び出す状況となる。このような状況では、試行錯誤の仕方はその時々によって異なるので、同じ意図をユーザが持っていたとしても操作系列がその都度大きく変わることとなる。また、そのような操作系列と似た操作は、過去にはあまり発生しないことが多く、操作履歴データベースに蓄積されていない。したがって、このような場合、分析対象の操作系列と似た操作履歴を操作履歴データベースから見付けられない状況となる。

そこで、第３の操作支援システムでは、操作系列を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割し、以後その分割した操作履歴ごとに操作履歴データベースとの照合を行う。開始メニューからその次の開始メニューまでの間は、操作の開始から１回の操作試行までというまとまった単位となることが多い。このようにすることで、操作履歴データベースから似た操作履歴を抽出することが可能となる。

本発明における第４の操作支援システムは、第１から第３のいずれかの操作支援システムにおいて、類似履歴抽出部が、操作履歴データベースに格納されている履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に該開始メニューが選択される直前の選択までで分割する操作履歴系列分割部をさらに備え、分析対象の履歴と類似している操作履歴系列分割部で分割された各操作系列を抽出する。

第４の操作支援システムでは、操作履歴データベースに格納されている履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割し、以後その分割した操作履歴ごとに分析対象の操作履歴との照合を行う。つまり、操作履歴データベースに格納されている履歴を、開始メニューが選択される直前の選択までの区切りで分割するため、開始メニューからその次の開始メニューまでの間は、操作の開始から一回の機能実行までというまとまった単位となる。

したがって、第４の操作支援システムでは、ユーザの分析対象の直近の操作系列がまだ機能実行まで達していない操作系列の場合、ユーザがその先で何を過去に実行していたかを知るためには、この単位で履歴操作系列を抽出して、分析対象の直近操作系列の先で過去にユーザが実行した機能に関する情報を抽出することができる。

続いて、本発明の実施形態について図面を参照して詳細に説明する。

［第１実施形態］
（構成の説明）
図３は、本発明の実施形態に係る操作支援システムの構成を示すブロック図である。なお、図３に示した構成は後述する第２実施形態及び第３実施形態にも共通する。第１実施形態の操作支援システムは、図３に示すように、ユーザの過去の操作履歴を記録する操作履歴データベース１０１と、ユーザの直近の操作履歴１００と類似している過去の操作履歴を操作履歴データベース１０１から抽出する類似履歴抽出部１０２と、類似履歴抽出部１０２で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出部１０３と、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベース１０４と、操作特徴量抽出部１０３で求められた操作特徴量と機能特徴量データベース１０４で保持された機能特徴量の類似度を計算する類似度計算部１０５と、を有して構成される。

操作履歴データベース１０１は、ユーザの過去の操作履歴を記録する。ここで記録される操作履歴とは、ユーザがどのメニューをどのような順序で選択したのかの情報や、それぞれのメニューでユーザに提示される単語・文章の情報である。さらに、それぞれの選択を実行した時刻、メニュー探索の結果機能を呼び出したかどうかの情報などを操作履歴に付加してもよい。

類似履歴抽出部１０２は、ユーザの直近の操作履歴１００と類似している過去の操作履歴を操作履歴データベース１０１から抽出する。具体的には、それまでの操作列（選択したメニューの列）がＡであるとすると、Ａを含む操作列を操作履歴データベース１０１から抽出する。このとき抽出する履歴は複数であっても構わない。また、Ａと完全に部分一致する履歴がない場合でも、操作列の近さを測定して、近い操作列を含む履歴を抽出するようにしてもよい。操作列の近さを測定する方法として、例えば、操作要素の脱落やノイズの挿入を考慮してマッチングを行う方法として、近似文字列照合で用いられている手法などを用いてもよい。またこのとき、Ａの後の操作を含む操作列Ｃ（Ｃは操作列Ａの後に操作列Ｂがある操作列）を求め、これを類似履歴抽出部１０２の出力としてもよい。操作列Ｃの決め方としては、操作列Ａと操作列Ａの最後の操作以後Ｎ番目の操作までの操作列をＣとする方法（Ｎは定数）や、操作列Ａと録画や印刷などといった機器がユーザにサービスを提供する機能が完了するまでの操作列をＣとする方法や、操作列Ａとあらかじめ決めておいた操作（例えば「トップメニューに戻る」などの操作）が行われるまでの区間をＣとする方法などがある。

操作特徴量抽出部１０３は、類似履歴抽出部１０２で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する。操作特徴量としては、操作列を特徴付ける情報として、操作メニューでユーザに提示される単語であるとか、操作の順序など、様々な情報が利用できる。一例として、操作メニューでユーザに提示される単語を用いる場合を説明する。この場合の構成を図４に示す。具体的には、操作特徴量抽出部１０３は、類似履歴抽出部１０２で抽出された操作履歴から分析に用いる単語を抽出する単語選択部１０３１と、単語群を特徴づける特徴量である選択メニュー特徴量を算出する単語特徴抽出部１０３２と、を有する。

単語選択部１０３１は、類似履歴抽出部１０２で抽出された操作履歴から分析に用いる単語を抽出する。具体的には、類似履歴抽出部１０２で抽出された操作履歴群を｛Ｈｉ｝（ｉ＝１，・・・，Ｎ）とし、Ｈｉに含まれる操作列（ユーザが選択したメニュー）を｛Ｓｉｊ｝（ｊ＝１，・・・，Ｎｉ）とする。このとき、単語選択部１０３１ではＳｉｊに含まれる単語群Ｗｉｊとすると、
∪ ( ∪ Ｗｉｊ)
ｉ＝１，・・・，Ｎ
ｊ＝１，・・・，Ｎｉ
を求める。メニューからの単語の抽出は、ユーザに提示されるボタンやメニュー画面にあるメニューの上に表示されている文や語をそのまま用いてもよいし、それらの文や語に形態素解析を施すことで得られた単語を用いてもよい。あるいは、あらかじめ決められた特定の単語群のリストと照合してそのリストに存在する語のみを抽出してもよい。

単語特徴抽出部１０３２は、単語群を特徴づける特徴量である選択メニュー特徴量を算出するものである。具体的には、図４に示すように、例えば単語特徴抽出部１０３２が、単語選択部１０３１で選択された単語の頻度などを表わした単語ベクトルを生成する単語ベクトル生成部０１３２１と、単語ベクトルを事前に設計された意味空間に射影する意味ベクトル変換部０１３２２と、を有する構成例が挙げられる。

単語ベクトル生成部１０３２１は、選択された単語の頻度などを表わした単語ベクトルを生成する。具体的には、単語選択部１０３１で選択された単語ごとに全ての単語群Ｗｉｊにおいて出現した回数を要素とするベクトルを構成する。このほか、あらかじめ決められた特定の単語群に属する単語ごとに出現回数を測定してベクトルを構成してもよい。

意味ベクトル変換部１０３２２は、単語ベクトルを事前に設計された意味空間に射影する。具体的には、特許文献１で開示されているように、事前にマニュアルの各機能に該当する部分の説明を行っている箇所に存在する単語群から単語ベクトルを構成し、ＬＳＡにより意味空間を構成する方法などがある。この方法の場合、意味ベクトル変換部１０３２２は、単語ベクトル生成部１０３２１で変換行列を用いて生成された単語ベクトルを、ＬＳＡによって構成された意味空間へ射影する。

機能特徴量データベース１０４は、機器が持つ機能ごとにその機能を特徴付ける機能特徴量を保持する。機能特徴量としては、機能に関連する文書コーパスに含まれる単語の統計的性質を用いたり、機能のメニュー構造を利用したりすることができる。一例として、機能に関連する文書コーパスに含まれる単語を利用する方法について説明する。この場合、機能特徴量データベース１０４は、機器が持つ機能ごとにその機能と関連する単語群から得られた特徴量である機能特徴量を保持する意味特徴データベース１０４１を有して構成される。この方法は、特許文献１で開示されているように、事前にマニュアルの各機能に該当する部分の説明を行っている箇所に存在する単語群から単語ベクトルを構成し、意味空間へ射影したものを保持するものである。これ以外の機能の意味を表わす特徴量を保存する方法でもよい。

類似度計算部１０５は、操作特徴量と機能特徴量の類似度を計算する機能を持つ。類似度の比較方法としては、様々な方法を用いることができる。例えば、意味ベクトル変換部１０３２２で生成された意味ベクトルと意味ベクトルデータベース１０４１に格納されている意味ベクトルとを照合し、両ベクトルの類似度を計算する方法を用いてもよい。具体的には、ベクトルのなす角の余弦やベクトルの差の大きさなどを用いて類似を評価する方法がある。

（動作の説明）
次に図５に示すフローチャートを参照しながら第１実施形態における処理手順を説明する。まず、類似履歴抽出部１０２は、分析対象の操作履歴Ａと同じ操作列を含む履歴群｛Ｈｉ｝（ｉ＝１，・・・，Ｎ）を操作履歴データベース１０１から抽出する（ステップＳ１００１）。次に、操作特徴量抽出部１０３は、類似履歴抽出部１０２で抽出された操作履歴群｛Ｈｉ｝（ｉ＝１，・・・，Ｎ）から操作特徴量を抽出する（ステップＳ１００２）。次に、類似度計算部１０５は、操作特徴量抽出部１０３で生成された操作特徴量と機能特徴量データベース１０４に格納されている機能ごとに定義された機能特徴量との類似度を計算する。そして、類似度が高い順に機能のリストを作成して出力する（ステップＳ１００３）。

操作特徴抽出部１０３を図４の単語選択部１０３１、単語ベクトル生成部１０３２１、単語ベクトル意味変換部１０３２２で構成し、機能特徴データベース１０４を意味ベクトルデータベース１０４１で構成した場合、図５のＳ１００２の処理は図６に示す処理になり、図５のＳ１００３の処理は図７に示す処理となる。

はじめに、図５のＳ１００２の処理を具体化した図６について説明する。まず、単語選択部１０３１は、類似履歴抽出部１０２で抽出された操作履歴群から｛Ｈｉ｝（ｉ＝１，・・・，Ｎ）から分析に用いる単語を抽出する（ステップＳ１００２０１）。次に、単語ベクトル生成部１０３２１は、単語選択部１０３１で選択された単語群から単語群の特徴を表す単語ベクトルを生成する（ステップＳ１００２０２）。次に、意味ベクトル変換部１０３２２は、単語ベクトル生成部１０３２１で生成された単語ベクトルを、事前に設計された意味空間に射影し、それを操作特徴量とする（ステップＳ１００２０３）。

次に、図５のＳ１００３の処理を具体化した図７について説明する。類似度計算部１０５は、意味ベクトル変換部１０３２２で生成された意味ベクトルと意味ベクトルデータベース１０４１に格納されている機能ごとに定義された意味ベクトルとを照合し、各機能との類似度をそれぞれ計算する（ステップＳ１００３０１）。

第１実施形態の操作支援システムでは、上記のように構成することにより、ユーザの意図を精度よく推定することができる。

また、第１実施形態は、上記の構成に加えて、類似度計算部１０５で算出された類似度が高い機能をユーザに提示する提示手段を付加することも可能である。例えば、類似度が高い機能について画面に提示することでユーザに気付きを与えたり、類似度が高い機能をその機能を選択するボタンを表示してユーザが容易に入力できるようにするなどの方法に適用できる。また類似度が高い機能のみを音声で案内したり、音声認識の対象とする辞書にそれらの機能名を登録することで、機能を音声で指定する場面での音声認識性能を高める方法などがある。

［第２実施形態］
（構成の説明）
第２実施形態は、第１実施形態において、操作履歴データベース１０１が、ユーザの過去の操作履歴として、ユーザがどのメニューをどのような順序で選択したのかとそれぞれのメニューでユーザに提示される単語・文章の情報に加えて、さらにそれぞれの選択を実行した時刻、メニュー探索の結果機能を呼び出したかどうかの情報を付加して記憶し、操作特徴量抽出部１０３が、メニューがユーザに提示されてから選択されるまでの時間が長い操作を重視して操作特徴量を算出する。

また、第２実施形態では、操作特徴量抽出部１０３が、ＧＵＩ画面やリモコンのボタンなどがユーザに示されてからユーザが操作を行ってある選択を行うまでにかかる時間を計測する。例えばＧＵＩ画面などはユーザの操作や機器側の制御によりその画面が変わることがある。この場合は、画面が変わってからユーザが次の操作をするまでの時間を計測する。このように測定した時間が長い操作を行ったときに選択した対象（ボタンなど）に記載され、ユーザに提示されている情報を重視して操作特徴量を算出する。

このような操作特徴量の計算の仕方を、図４に示した第１実施形態の構成による方法の場合について説明する。単語選択部１０３１は、分析対象の操作履歴に関するユーザの操作速度に着目し、メニューがユーザに提示されてから選択されるまでの時間が長いメニューに含まれる単語を重視して選択する。どのように重視するかは、例えば選択されるまでの時間が長いメニューに含まれる単語のみを選択する方法を用いてもよいし、時間に応じた重みをつけて単語特徴抽出部へ渡し、単語特徴抽出部内でその重みに応じ操作特徴量を算出してもよい。

（動作の説明）
第２実施形態における動作は、図５に示した第１実施形態の処理フローにおいて、Ｓ１００３のステップで、メニューがユーザに提示されてから選択されるまでの時間が長いメニューに含まれる単語を重視して選択を行う。また、図４に示した第１実施形態の構成による方法の場合には、図６のＳ１００２０１に示したステップで、メニューがユーザに提示されてから選択されるまでの時間が長いメニューに含まれる単語から選択を行うことで実現される。

また、第２実施形態は、上記の構成に加えて、類似度計算部１０５で算出された類似度が高い機能をユーザに提示する提示手段を付加することも可能である。例えば、類似度が高い機能について画面に提示することでユーザに気付きを与えたり、類似度が高い機能をその機能を選択するボタンを表示してユーザが容易に入力できるようにするなどの方法に適用できる。また類似度が高い機能のみを音声で案内したり、音声認識の対象とする辞書にそれらの機能名を登録することで、機能を音声で指定する場面での音声認識性能を高める方法などがある。

［第３実施形態］
（構成の説明）
図８は、本発明の第３実施形態の操作支援システムの構成を示すブロック図である。図８に示すように、第３実施形態では、類似履歴抽出部２０２が、分析対象の操作履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割する選択系列分割部２０２１と、操作履歴データベース１０１に格納されている履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割する操作履歴系列分割部２０２３と、選択系列分割部２０２１で生成された選択系列ごとに類似している、操作履歴系列分割部２０２３で分割された各操作系列を抽出する分割系列類似履歴抽出部２０２２と、を有する。

選択系列分割部２０２１は、分析対象の操作履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に開始メニューが選択される直前の選択までで分割する。開始メニューは、メニュー構造を分析することで設計者が事前に与えたものでもよい。機器のメニュー構造は、上位のメニューに様々な機能をカテゴリ分けしたサブメニューへのリンクがあることが多い。例えば携帯電話のメニューの場合は、携帯電話のメニューボタンを押すと各種設定・カメラ・ツール・テレビなどの大きな機能カテゴリを表わすメニューが表示され、その各メニューの下位に写真を撮影するなどのそれぞれの具体的な機能を実現するためのメニューが配置されている構造を採用することが多い。このような場合、多くのユーザは、メニューボタンを押すと現れるメニューからサブメニューをたどって機能を実行しようとするが、サブメニューをたどっても所望の機能にたどり着けない場合、メニューボタンを押すと現れるメニューへ戻って操作をやり直す。また次回新たな機能を実行しようとする場合にもそのメニューから操作を開始することが多い。このように、一旦メニュー構造を決めると、ユーザが機能を開始するメニューが特定されることが多い。第３実施形態では、このようなメニューを開始メニューとして特定することで、分析対象の操作履歴を複数の操作系列に分割する。図９に、トップメニューを開始メニューとし、操作履歴を操作系列１〜３の３つの操作系列に分割する例を示した。

操作履歴系列分割部２０２３は、操作履歴データベース１０１に格納されている履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までで分割する。分割の仕方は図９で示した選択系列分割部２０２１と同様に行う。

分割系列類似履歴抽出部２０２２は、選択系列分割部２０２１で生成された選択系列ごとに類似している操作履歴を、操作履歴系列分割部２０２３で操作系列に分割され操作履歴データベース１０１に格納されている操作履歴から抽出する。そして、分割系列類似履歴抽出部２０２２は、操作系列ごとに抽出した類似する履歴群を操作特徴量抽出部１０３へ送る。

（動作の説明）
次に図１０に示すフローチャートを参照しながら第３実施形態における処理手順を説明する。まず、選択系列分割部２０２１は、分析対象の操作履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に該開始メニューが選択される直前の選択までで分割する（ステップＳ２００１）。次に、操作履歴系列分割部２０２３は、操作履歴データベース１０１に格納されている履歴を、ユーザが操作を開始するときにまず選択するメニューである開始メニューが選択されるところから、次に該開始メニューが選択される直前の選択までで分割する（ステップＳ２００２）。次に、分割系列類似履歴抽出部２０２２は、選択系列分割部２０２１で生成された選択系列ごとに類似している、操作履歴系列分割部２０２３で分割された各操作系列を抽出する（ステップＳ２００３）。次に、操作特徴量抽出部１０３は、類似履歴抽出部２０２で抽出された操作履歴群を受け取り、該操作履歴群｛Ｈｉ｝（ｉ＝１，・・・，Ｎ）から操作特徴量を抽出する（ステップＳ２００４）。そして、類似度計算部１０５は、操作特徴量抽出部１０４で生成された操作特徴量と機能特徴量データベース１０４に格納されている機能ごとに定義された機能特徴量との類似度を計算し、類似度が高い順に機能のリストを作成して出力する（ステップＳ２００５）。

また、第３実施形態は、上記の構成に加えて、類似度計算部１０５で算出された類似度が高い機能をユーザに提示する提示手段を付加することも可能である。例えば、類似度が高い機能について画面に提示することでユーザに気付きを与えたり、類似度が高い機能をその機能を選択するボタンを表示してユーザが容易に入力できるようにするなどの方法に適用できる。また類似度が高い機能のみを音声で案内したり、音声認識の対象とする辞書にそれらの機能名を登録することで、機能を音声で指定する場面での音声認識性能を高める方法などがある。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。すなわち、本発明は、メニュー選択方式のインタフェースを備える機器やシステム、例えば携帯電話、パソコン上のアプリケーションソフトウエア、カーナビゲーション、ＤＶＤレコーダ、ハードディスクレコーダ、テレビ、ゲーム機、それ以外の情報家電などに適用可能である。

また、本実施形態における操作支援システムで実行されるプログラムは、先に述べた各部（類似履歴抽出部１０２（２０２）、操作特徴量抽出部１０３、類似度計算部１０５など）に相当する機能を実行する手段を含むモジュール構成となっており、実際のハードウエアを用いて具体的手段を実現する。すなわち、コンピュータ（ＣＰＵ）が所定の記録媒体からプログラムを読み出して実行することにより各手段が主記憶装置上にロードされて生成される。

本実施形態におけるクライアントＰＣで実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。

また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ＲＯＭ等にあらかじめ組み込んで提供するように構成してもよい。

この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。

１００ 直近の操作履歴
１０１ 操作履歴データベース
１０２，２０２ 類似履歴抽出部
１０３ 操作特徴量抽出部
１０４ 機能特徴量データベース
１０５ 類似度計算部
１０３１ 単語選択部
１０３２ 単語特徴抽出部
１０４１ 意味ベクトルデータベース
２０２１ 選択系列分割部
２０２２ 分割系列類似履歴抽出部
２０２３ 操作履歴系列分割部
１０３２１ 単語ベクトル生成部
１０３２２ 意味ベクトル変換部

Claims (12)

1. ユーザの過去の操作履歴を記憶する操作履歴データベースと、
   機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、
   ユーザの直近の操作履歴と類似している過去の操作履歴を前記操作履歴データベースから抽出する類似履歴抽出部と、
   前記類似履歴抽出部で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出部と、
   前記操作特徴量抽出部で抽出された操作特徴量と前記機能特徴量データベースに保持された機能特徴量の類似度を計算し、前記類似度に基づいてユーザの意図する機能を求める類似度計算部と、
   を有することを特徴とする操作支援システム。
2. 前記操作特徴量抽出部は、
   前記類似履歴抽出部で抽出された操作履歴から単語を抽出する単語選択部と、
   前記単語選択部で抽出された単語を特徴づける特徴量である選択メニュー特徴量を算出する単語特徴抽出部と、
   を有することを特徴とする請求項１に記載の操作支援システム。
3. 前記操作特徴量抽出部は、
   前記類似履歴抽出部で抽出された操作履歴から抽出された単語の出現頻度を表す単語ベクトルを生成する単語ベクトル生成部と、
   前記単語ベクトル生成部で生成された単語ベクトルを所定の意味空間に射影し、操作特徴量として出力する意味ベクトル変換部と、
   を有することを特徴とする請求項１又は２に記載の操作支援システム。
4. 前記機能特徴量データベースは、機能ごとにその機能と関連する単語群から得られた特徴量である機能特徴量を保持する意味特徴データベースを有することを特徴とする請求項１から３のいずれか１項に記載の操作支援システム。
5. 前記操作特徴量抽出部は、メニューがユーザに提示されてから選択されるまでの時間が長い操作を重視して操作特徴量を算出することを特徴とする請求項１から４のいずれか１項に記載の操作支援システム。
6. 前記操作特徴量抽出部は、前記類似履歴抽出部で抽出された操作履歴から、メニューがユーザに提示されてから選択されるまでの時間が長い操作に含まれる単語のみを抽出する単語選択部を有することを特徴とする請求項１から５のいずれか１項に記載の操作支援システム。
7. 前記類似履歴抽出部は、
   ユーザの直近の操作履歴を、ユーザが操作を開始するときに最初に選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までの区切りで分割する選択系列分割部と、
   前記操作履歴データベースから、前記選択系列分割部で生成された選択系列ごとにユーザの直近の操作履歴に類似している操作履歴を抽出する分割系列類似履歴抽出部と、
   を有し、
   前記類似度計算部は、前記選択系列分割部で生成された選択系列ごとに機能との類似度を算出することを特徴とする請求項１から６のいずれか１項に記載の操作支援システム。
8. 前記類似履歴抽出部は、
   前記操作履歴データベースに格納されている操作履歴を、ユーザが操作を開始するときに最初に選択するメニューである開始メニューが選択されるところから、次に前記開始メニューが選択される直前の選択までの区切りで分割する操作履歴系列分割部と、
   前記操作履歴系列分割部で操作系列に分割された操作履歴を格納する前記操作履歴データベースから、前記操作系列ごとにユーザの直近の操作履歴に類似している操作履歴を抽出する分割系列類似履歴抽出部と、
   を有し、
   前記類似度計算部は、前記操作履歴系列分割部で生成された選択系列ごとに機能との類似度を算出することを特徴とする請求項１から７のいずれか１項に記載の操作支援システム。
9. 前記類似度計算部で算出された類似度に基づいて求められたユーザの意図する機能をユーザに対して提示する提示手段を有することを特徴とする請求項１から８のいずれか１項に記載の操作支援システム。
10. ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、を用い、
    ユーザの直近の操作履歴と類似している過去の操作履歴を前記操作履歴データベースから抽出する類似履歴抽出ステップと、
    前記類似履歴抽出ステップで抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出ステップと、
    前記操作特徴量抽出ステップで抽出された操作特徴量と前記機能特徴量データベースに保持された機能特徴量の類似度を計算し、前記類似度に基づいてユーザの意図する機能を求める類似度計算ステップと、
    を有することを特徴とする操作支援方法。
11. ユーザの過去の操作履歴を記憶する操作履歴データベースと、機能ごとにその機能を特徴付ける機能特徴量を保持する機能特徴量データベースと、を用い、
    コンピュータに、
    ユーザの直近の操作履歴と類似している過去の操作履歴を前記操作履歴データベースから抽出する類似履歴抽出処理と、
    前記類似履歴抽出処理で抽出された操作履歴に含まれる操作を特徴付ける操作特徴量を算出する操作特徴量抽出処理と、
    前記操作特徴量抽出処理で抽出された操作特徴量と前記機能特徴量データベースに保持された機能特徴量の類似度を計算し、前記類似度に基づいてユーザの意図する機能を求める類似度計算処理と、
    を実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記録しコンピュータ読み取り可能なことを特徴とする記録媒体。

Images