JP5793463B2 - 情報選択装置、方法及びプログラム - Google Patents

Description

この発明は、例えば表示画面に表示されたメニューやボタン、ハイパーリンク等の選択候補となる表示項目情報をリモートコントローラを使用して選択する機能を備えた情報選択装置、方法及びプログラムに関する。

近年、パーソナル・コンピュータにとどまらずテレビジョン装置やゲーム機器の中には、ブラウザ機能を備えることでインターネット上のウェブサイトを閲覧することができる端末が増えている。ウェブサイトを閲覧する際には、ブラウザ機能によりウェブページ情報を受信して表示し、ユーザがこのウェブページの画面に表示されるメニューやボタン、ハイパーリンク等の選択候補となる表示項目の情報を選択操作することで、所望の情報を閲覧するようになっている。

上記端末のうちパーソナル・コンピュータは机上に設置されるため、マウス等のポインティングデバイスを利用してメニュー、ボタン或いはハイパーリンクを選択操作することは可能である。しかし、テレビジョン装置やゲーム機器はユーザから離れた場所に設置されるため、表示画面に表示されたメニューやボタン、ハイパーリンクの選択操作手段にマウス等のポインティングデバイスは馴染まない。

そこで、以下のような情報選択技術が提案されている。すなわち、テレビジョン装置では操作手段として一般にリモートコントローラが使用されることに着目し、ウェブページのメニューやボタン、ハイパーリンク等の選択候補となる表示項目にリモートコントローラの例えば方向キーを割り当て、この割り当てた方向キー表す記号を上記表示項目に重ねて表示する。そして、所望の表示項目を選択する際に、ユーザが当該選択対象の表示項目に表示された方向キーの記号に従いリモートコントローラの方向キーを操作すると、当該操作された方向キーに対応付けられた表示項目を選択対象として認識する（例えば特許文献１を参照。）。

特開２０１０−２６６９５８号公報

ところが、特許文献１に記載された技術では、ウェブページのメニュー、ボタン或いはハイパーリンク等の選択候補となる表示項目に対し方向キーを表す記号が重ねて表示される。このため、記号によりメニュー、ボタン或いはハイパーリンクの全部又は一部が隠されて表示項目を判読し難くなる。そこで、リモートコントローラの操作により記号の表示／非表示を切り替えることができるようにしたり、いわゆる吹き出しを用いて表示項目に重ならない位置に記号を表示することにより、メニュー、ボタン或いはハイパーリンクが記号により隠れないようにすることも考えられている。しかし、記号の表示／非表示を切り替えるものでは、表示項目を選択するための本来の操作以外に余分な操作が必要になり、これにより操作性の低下を招く。また、吹き出し表示を利用するものでは、メニュー、ボタン或いはハイパーリンク等の表示項目自体は判読できても、その周辺に他の表示情報があった場合にこれらの表示情報の判読を困難にするおそれがある。

この発明は上記事情に着目してなされたもので、その目的とするところは、表示モードの切替えや吹き出しを用いることなく選択候補となる表示項目情報を常に明確に表示できるようにして視認性を高め、これにより少ない操作で正確かつ迅速に表示項目情報を選択可能にした情報選択装置、方法及びプログラムを提供することにある。

上記目的を達成するためにこの発明の一観点は、各々が少なくとも１個の表現要素により表される複数の表示項目情報を含む表示データを表示部に表示させ、ジェスチャー入力部においてユーザが入力したジェスチャーの入力軌跡をもとに上記表示項目情報を選択する情報選択装置、方法及びプログラムにあって、先ず上記表示された表示項目情報ごとに、その表現要素から固有の特徴的形状を含む部位を抽出してこの抽出された部位をジェスチャーの基本軌跡を示す情報として設定し、この設定されたジェスチャーの基本軌跡を示す情報を上記抽出元の表示項目情報と関連付けて対応テーブルに記憶する。次に、上記表現要素の上記抽出された部位に、当該部位がジェスチャーの基本軌跡を示す部位であることをユーザに提示するマーク情報を付与し表示させる。そして、上記ジェスチャー入力部から、上記ユーザが入力したジェスチャーの入力軌跡を表す情報を受信し、この受信されたジェスチャーの入力軌跡を表す情報を上記対応テーブルに記憶されたジェスチャーの基本軌跡を表す情報と照合して、予め決められた範囲内で一致する基本軌跡を表す情報を検出し、この検出された基本軌跡を表す情報に関連付けられた表示項目情報を上記ユーザのジェスチャーにより選択された情報として認識するようにしたものである。

上記ジェスチャーの基本軌跡を示す情報を設定する手段又は方法としては、次の２つが考えられる。
第１の手段又は方法は、ジェスチャーの基本軌跡を示す情報を設定する際に、上記表示された表示項目情報をその表現要素の数に応じてソートし、表現要素の数が少ない表示項目情報から優先的にジェスチャーの基本軌跡を示す情報を設定するものである。

第２の手段又は方法は、上記表示された表示項目情報を、当該表示項目情報を表す表現要素に対応するジェスチャーの基本軌跡の候補数に応じてソートし、ジェスチャーの基本軌跡の候補数の最も少ない表示項目情報に対し優先的にジェスチャーの基本軌跡を示す情報を設定し、上記設定された基本軌跡を他の表現要素に対応するジェスチャーの基本軌跡の候補から除外する処理を、すべての表示項目情報に対しジェスチャーの基本軌跡の設定が終了するまで繰り返すものである。

したがって、この発明の一観点によれば、メニューやボタン、ハイパーリンク等の選択候補となる表示項目情報の表現要素から固有の特徴的形状を含む部位が抽出され、この部位がジェスチャーの基本軌跡を示す情報として記憶されると共に、当該部位がジェスチャーの基本軌跡を示す部位であることを示すマーク情報が上記部位に付与された状態で表示される。このため、表示項目情報の表現要素が備える特徴的形状がそのまま当該表示項目情報を選択するためのジェスチャーの基本軌跡として使用されることになるため、表示項目情報にはこのジェスチャーの基本軌跡を示す部位にマーキングするだけで済むことになる。この結果、表示項目情報とは異なる記号等を別途定義して表示項目情報に重ねて表示する必要はなくなり、これにより記号により表示項目情報の全部又は一部が隠されて判読し難くなるといった不具合は防止される。しかも、記号の表示／非表示を切り替える必要もないので、その分余分な操作が減って表示項目情報の選択操作性を高めることが可能となる。また、吹き出し表示も使用せずに済むので、表示項目情報の周辺領域に表示されている表示情報が隠されて判読不能となる不具合も防止される。

すなわちこの発明の一観点によれば、表示モードの切替えや吹き出しを用いることなく選択候補となる表示項目情報を常に明確に表示できるようになり、これにより少ない操作で正確かつ迅速に表示項目情報を選択可能にした情報選択装置、方法及びプログラムを提供することができる。

この発明に係る情報選択装置の第１の実施形態であるテレビジョン装置を備えたシステムの概略構成図。 この発明に係る情報選択装置の第１の実施形態であるテレビジョン装置の機能構成を示すブロック図。 図２に示したテレビジョン装置の相互排他的ジェスチャー付与部によるジェスチャー設定処理の手順と処理内容を示すフローチャート。 図２に示したテレビジョン装置の表現要素／ジェスチャー候補対応テーブルに記憶された、表現要素とジェスチャー候補との対応関係の一例を示す図。 図２に示したテレビジョン装置のジェスチャー／ジェスチャー付表現要素対応テーブルに記憶された、ジェスチャー情報とジェスチャー入力支援情報が付与された表現要素との対応関係の一例を示す図。 ジェスチャー入力支援情報が付与される前の表示情報の一例を示す図。 ジェスチャー入力支援情報が付与された表示情報の一例を示す図。 この発明に係る情報選択装置の第２の実施形態であるテレビジョン装置の機能構成を示すブロック図。 図８に示したテレビジョン装置のソート部兼相互排他的ジェスチャー設定部によるジェスチャーの基本軌跡の設定処理手順と処理内容を示すフローチャート。 ジェスチャーの基本軌跡の候補の一例を示す図。 図９に示したソート部兼相互排他的ジェスチャー設定部によるジェスチャーの基本軌跡の設定処理の一例を示す図。

以下、図面を参照してこの発明に係わる幾つかの実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明に係る情報選択装置を含むシステムの第１の実施形態を示す概略構成図である。このシステムは、情報選択装置としてのテレビジョン装置１と、リモートコントローラ（リモコン）２と、通信用の変復調装置（モデム）３とを備える。

リモコン２は、図１に示すようにタッチパッドからなる入力部（タブレット式入力部）２１を有し、この入力部２１においてユーザが筆記入力した操作情報、つまりジェスチャー入力した操作情報の入力軌跡データを、赤外線或いは無線を用いてテレビジョン装置１へ送信する。

モデム３は、図示しない通信ネットワークを介してウェブサイトとの間で通信を行う通信装置である。通信ネットワークはインターネットとこのインターネットにアクセスするためのアクセス網とからなり、アクセス網としては例えばＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷｉＭＡＸ（登録商標）、ＣＡＴＶ網（Cable Television Network）、公衆有線網等が用いられる。なお、モデムの代わりにターミナルアダプタやルータ等のネットワーク接続機器を用いることも可能である。

さて、テレビジョン装置１は以下のように構成される。図２はその機能構成を示すブロック図である。
すなわち、テレビジョン装置１は、この発明の実施形態を実施する上で必要な機能として、通信部１１と、表示部１２と、ジェスチャー入力処理部１３と、ブラウザ部１４とを備えている。

ブラウザ部１４は、ウェブページのＨＴＭＬ（Hyper Text Markup Language）データを通信部１１を介して受信すると、この受信されたＨＴＭＬデータを解釈して表示用画像を生成し表示部１２に表示させる機能と、上記受信されたＨＴＭＬデータに含まれるポインタをジェスチャー入力処理部１３のリンク抽出部１３４に通知する機能を有する。またブラウザ部１４は、上記リンクを含む表示用画面が表示されている状態で、ジェスチャー入力処理部１３の入力判定部１３９から上記リンクの選択情報が通知された場合に、当該選択情報に応じて通信部１１から上記モデム３を介してウェブサイトにアクセスすることにより上記選択されたリンクに対応付けられた閲覧データを取得し、この閲覧データを表示部１２に表示させる機能を有する。

通信部１１は、上記ブラウザ部１４の制御の下で上記モデム３を介してウェブサイトとの間で通信を行い、これによりウェブサイトからウェブページのＨＴＭＬデータを受信する。表示部１２は、例えば液晶又はプラズマを用いた表示器からなり、図示しないテレビジョンチューナにより受信されたテレビジョン画像に加え、ブラウザ部１４によりウェブサイトから取得されたウェブデータを表示する。

ジェスチャー入力処理部１３は、表現要素／ジェスチャー候補対応テーブル１３１と、リンク／ジェスチャー記憶部１３２と、ジェスチャー／ジェスチャー付表現要素対応テーブル１３３とを備え、さらにリンク抽出部１３４と、リンク表現要素分解部１３５と、リンクソート部１３６と、相互排他的ジェスチャー設定部１３７と、ジェスチャー付表現要素表示制御部１３８と、入力判定部１３９を備えている。

このうち、リンク抽出部１３４、リンク表現要素分解部１３５、リンクソート部１３６、相互排他的ジェスチャー設定部１３７、ジェスチャー付表現要素表示制御部１３８及び入力判定部１３９は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

表現要素／ジェスチャー候補対応テーブル１３１は、選択候補となるハイパーリンクを表す代表的な表現要素（例えば先頭文字）に関連付けて、当該表現要素に設定可能なジェスチャーの基本軌跡候補を記憶するために用いられる。
リンク／ジェスチャー記憶部１３２は、後述する相互排他的ジェスチャー設定部１３７により表示中のハイパーリンクに対し設定されたジェスチャーの基本軌跡を表す情報を、当該リンクを表す情報に対応付けて記憶するために用いられる。

ジェスチャー／ジェスチャー付表現要素対応テーブル１３３は、上記表現要素／ジェスチャー候補対応テーブル１３１に記憶されたジェスチャーの基本軌跡候補と、このジェスチャーの基本軌跡候補のジェスチャー入力を支援するためのジェスチャー付表現要素を表す情報を、相互に関連付けて記憶するために用いられる。

リンク抽出部１３４は、上記ブラウザ部１４からＨＴＭＬデータに含まれる複数のポインタを受け取った場合に、この複数のポインタからリンク要素のポインタの集合を抽出する。そして、この抽出されたポインタの集合をリンク表現要素分解部１３５に通知する処理を行う。

リンク表現要素分解部１３５は、上記リンク抽出部１３４からリンク要素のポインタの集合を受け取った場合に、このリンク要素のポインタからそれぞれ表現要素列を抽出して、これらを複数の表現要素に分解する処理を行う。例えば、表現要素列がテキストデータからなりこのテキストデータがアルファベットを表している場合には、上記表現要素列を一文字ずつに分解する処理を行う。

リンクソート部１３６は、上記リンク表現要素分解部１３５により表現要素ごとに分解されたリンク要素のポインタの集合を、当該ポインタを構成する表現要素の数が少ない順にソートする処理を行う。
相互排他的ジェスチャー設定部１３７は、上記リンクソート部１３６によりソートされたリンク要素のポインタ集合に対し、表現要素が少ないポインタから順に、上記表現要素／ジェスチャー候補対応テーブル１３１に記憶された候補情報をもとに当該ポインタに対し固有のジェスチャー基本軌跡を設定する。そして、この設定したジェスチャーの基本軌跡を表す情報を、設定相手のリンクを表す情報に関連付けてリンク／ジェスチャー記憶部１３２に記憶させる処理を行う。

ジェスチャー付表現要素表示制御部１３８は、上記相互排他的ジェスチャー設定部１３７により設定されたジェスチャーの基本軌跡をユーザに提示するために、ジェスチャー／ジェスチャー付表現要素対応テーブル１３３から該当するジェスチャー付表現要素を読み出す。そして、表示部１２に表示中の表現要素を、上記読み出されたジェスチャー付表現要素に変更させるべく、当該ジェスチャー付表現要素をブラウザ部１４へ出力する処理を行う。

入力判定部１３９は、リモコン２の入力部２１においてユーザがジェスチャーで入力した操作情報の入力軌跡データをリモコン２から受信し、この受信した入力軌跡データをリンク／ジェスチャー記憶部１３２に記憶されたジェスチャーの基本軌跡データと照合する。そして、上記入力軌跡データと予め設定した範囲内で一致する基本軌跡データを検出し、この検出された基本軌跡データと関連付けられているリンク情報を読み出して、このリンク情報を上記ブラウザ部１４に与える処理を行う。

（動作）
次に、以上のように構成されたテレビジョン装置１によるリンク選択処理動作を説明する。
（１）ジェスチャーの基本軌跡候補の事前登録
装置の使用に先立ち、例えば装置の製造者はジェスチャーによる選択候補となり得るハイパーリンクの代表的な表現要素（例えば先頭の文字）をリストアップする。そして、これらの表現要素ごとに、当該表現要素の特徴的形状を抽出してこの抽出した特徴的形状をジェスチャーの基本軌跡の候補とし、上記表現要素に関連付けて表現要素／ジェスチャー候補対応テーブル１３１に記憶させる。図４にその記憶結果の一例を示す。同図に示すように個々の表現要素に対し可能な限り複数のジェスチャーの基本軌跡候補が設定され、記憶される。

またそれと共に装置の製造者は、上記表現要素／ジェスチャー候補対応テーブル１３１に記憶されたジェスチャーの基本軌跡候補の各々について、当該ジェスチャーの基本軌跡を含む部位にマークを付与したジェスチャー付表現要素を作成する。そして、この作成されたジェスチャー付表現要素を、上記ジェスチャーの基本軌跡候補に関連付けてジェスチャー／ジェスチャー付表現要素対応テーブル１３３に記憶させる。図５はその記憶データの一例を示すものである。

（２）表示されたハイパーリンクに対するジェスチャーの基本軌跡の設定
テレビジョン装置１が起動され、ユーザがウェブページの表示操作を行ったとする。そうするとブラウザ部１４の制御の下で、ウェブページのＨＴＭＬ（Hyper Text Markup Language）データが通信部１１を介して受信され、この受信されたＨＴＭＬデータが解釈されてその表示用画像が表示部１２に表示される。図６はこの表示されたウェブページ表示画像の一例を示すもので、図中の下線が付与された文字列にハイパーリンクが設定されたポインタを示している。またブラウザ部１４は、上記受信されたＨＴＭＬデータに含まれるポインタを、ジェスチャー入力処理部１３のリンク抽出部１３４に通知する。

上記ブラウザ部１４からＨＴＭＬデータに含まれる複数のポインタが通知されると、リンク抽出部１３４ではこの複数のポインタの中からリンク要素のポインタの集合が抽出される。そして、この抽出されたリンク要素のポインタの集合は、リンク表現要素分解部１３５に通知される。

リンク表現要素分解部１３５では、上記通知されたリンク要素のポインタの集合からそれぞれ表現要素列を抽出し、これらの表現要素列をそれぞれ複数の表現要素に分解する処理が行われる。例えば、表現要素列がテキストデータからなりこのテキストデータがアルファベットを表している場合には、上記表現要素列は一文字ずつに分解される。具体的には、各文字を一文字ずつＨＴＭＬの<span>タグで囲む。なお、<span>タグは内部的に情報を区切るだけのＨＴＭＬのタグであり、この<span>タグにより文字を囲んでも文字の表示には影響を与えない。このように文字ごとに分解されたリンク要素のポインタの集合、つまり文字ごとに<span>タグが付与されたリンク要素のポインタの集合は、リンクソート部１３６に通知される。

リンクソート部１３６では、上記リンク表現要素分解部１３５から通知された分解後（<span>タグ付与後）のリンク要素のポインタの集合を、当該ポインタを構成する表現要素の数が少ない順にソートする処理が行われる。例えば、図６に例示したウェブページ内のリンク要素の一部である“Autos”、“Dating”、“Finance”、“Games”、“Health”、“Mail”、“Messenger”を例にとると、これらはすべてアルファベットからなるので、単純に文字数が少ないものから“Mail”、“Autos”、“Games”、“Dating”、“Health”、“Finance”、“Messenger”の順にソートされる。このソートされたリンク要素のポインタの集合は、相互排他的ジェスチャー付与部１３７に渡される。

相互排他的ジェスチャー付与部１３７では、表現要素／ジェスチャー候補対応テーブル１３１に予め記憶されたジェスチャーの基本軌跡候補を参照して、上記リンクソート部１３６から渡されたソート後のリンク要素のポインタの集合に対し、個々のポインタをユーザがジェスチャー入力により選択するときのジェスチャーの基本軌跡を設定する処理が行われる。この処理は、上記ソート後の文字数の少ないリンクから順に、その表現要素列のできる限り先頭に近い表現要素に対しジェスチャーの基本軌跡を設定することにより行われる。

図３は、このジェスチャーの基本軌跡の設定処理手順と処理内容を示すフローチャートである。相互排他的ジェスチャー付与部１３７は、先ずステップＳ１において変数ｉを０に初期化し、ステップＳ２により変数ｉをリンク要素の数（link数）と比較する。この比較の結果、変数ｉがリンク要素の数（link数）より少なければ、まだジェスチャー基本軌跡を設定していないリンク要素が残っていると判断し、続いてステップＳ３により変数ｊを０に初期化して、この変数ｊをステップＳ４により上記ｉ番目のリンク要素link[i]の表現要素（elem）数と比較する。

この比較の結果、変数ｊが上記ｉ番目のリンク要素link[i]の表現要素（elem）数より少なければ、続いてステップＳ５により変数ｋを０に初期化し、図４に示した表現要素／ジェスチャー候補対応テーブル１３１を参照して、変数ｋが上記ｉ番目のリンク要素link[i]のｊ番目の表現要素（elem）に対応したジェスチャーの基本軌跡候補数より多いか少ないかをステップＳ６で判定する。この判定の結果、多ければステップＳ７で変数ｊをインクリメントしてステップＳ４に戻り、上記ステップＳ４〜Ｓ５の処理を繰り返す。

これに対し、変数ｋが上記ｉ番目のリンク要素link[i]のｊ番目の表現要素（elem）に対応したジェスチャーの基本軌跡候補数より少なければ、上記ｉ番目のリンク要素link[i]のｊ番目の表現要素（elem）に対応したｋ番目のジェスチャーの基本軌跡候補を表現要素／ジェスチャー候補対応テーブル１３１から読み出す。そして、この読み出されたｋ番目のジェスチャーの基本軌跡候補が、リンク／ジェスチャー記憶部１３２に既に記憶されているか否かを、ステップＳ８により判定する。この判定の結果既に記憶されていれば、ステップＳ９で変数ｋをインクリメントしたのちステップＳ６に戻り、上記ステップＳ６からステップＳ８を繰り返す。

一方、上記ｋ番目のジェスチャーの基本軌跡候補が、リンク／ジェスチャー記憶部１３２にまだ記憶されていなければ、上記ｉ番目のリンク要素link[i]のhref属性（URLが格納されている）と、上記ｋ番目のジェスチャーの基本軌跡候補とのセットを、リンク／ジェスチャー記憶部１３２にステップＳ１０により記憶させる。

相互排他的ジェスチャー付与部１３７は、以上のステップＳ２〜ステップＳ１０の処理を、変数ｉがリンク要素の最大数に達するまで、すべてのリンク要素（link）に対して繰り返し実施する。そして、すべてのリンク要素に対するジェスチャーの基本軌跡の設定及び記憶処理が終了すると、このすべてのリンク要素について、ジェスチャーの基本軌跡が設定された表現要素のポインタとそれに対応するｋ番目のジェスチャーの基本軌跡候補のポインタとのセットを、ジェスチャー付表現要素表示制御部１３８に通知する。

ジェスチャー付表現要素表示制御部１３８は、上記相互排他的ジェスチャー付与部１３７からすべてのリンク要素についてのジェスチャー基本軌跡の設定情報が通知されると、この通知されたジェスチャー基本軌跡能の設定情報に基づいて、ジェスチャー／ジェスチャー付表現要素対応テーブル１３３から対応するジェスチャー付表現要素を読み出す。具体的には、各々のリンク要素のジェスチャーが付与された表現要素のポインタを参照して、実際の表現要素のＨＴＭＬデータ、つまり<span>タグで囲んだＨＴＭＬデータを、ジェスチャー付き表現要素に対応したＨＴＭＬデータに書き換える。そして、この書き換えられたジェスチャー付表現要素の情報をブラウザ部１４に渡す。

ブラウザ部１４は、それまで表示されていた各リンク要素のポインタをそれぞれ上記ジェスチャー付表現要素を含むポインタに置換して表示させる。図７は、上記図６に示したリンク要素のポインタを、ジェスチャー付表現要素を含むリンク要素のポインタに置換した後のウェブページの表示例を示す。

（３）ジェスチャー入力判定処理
上記ジェスチャー付表現要素を含むリンク要素のポインタが表示された状態で、ユーザは選択対象のリンク要素に表示されたジェスチャー付表現要素に従い、リモートコントローラ２におけるタッチパッド形の入力部２１においてジェスチャー入力を行う。ここで、ジェスチャーの入力ルールとして、基本的に時計回りか上から下方向へジェスチャー入力し、それができない場合にだけ反時計回りにジェスチャー入力するというルールがあり、ユーザはこのルールを知っているものとする。

例えば、図６に示した表示画面において、“Autos”というリンクを選択する場合には、ジェスチャー入力として右上にスライド操作を行ったのち右下にスライド操作を行う。“Mail”というリンクを選択する場合には、真上にスライド操作を行ったのち右下にスライド操作を行う。“Messenger”の場合には、右下にスライド操作を行ったのち右上にスライド操作を行う。図６に示した表示画像の例では“Fate of loud cell …”というリンクを選択するときのみ、反時計回りに“ｃ”をなぞるようにジェスチャー入力を行う。

テレビジョン装置１は、入力判定部１３９において、上記リモートコントローラ２から送られたジェスチャーの入力軌跡を表す情報を、リンク／ジェスチャー記憶部１３２に記憶されたジェスチャーの基本軌跡を表す情報と順次照合する。そして、予め設定した誤差の範囲内で一致するジェスチャーの基本軌跡を表す情報が見つかると、このジェスチャーの基本軌跡を表す情報に関連付けられているリンク要素のポインタの情報、つまり対応するリンクのhref属性（URLが格納されている）をリンク／ジェスチャー記憶部１３２から読み出す。そして、この読み出されたリンク要素のポインタの情報をブラウザ部１４へ出力する。

ブラウザ部１４は、上記渡されたリンク要素のポインタの情報、つまりURLが格納されているhref属性に応じて、通信部１１からモデム３を介してウェブサイトにアクセスし、これにより上記ユーザのジェスチャー入力により選択されたリンク要素に対応付けられた閲覧データを受信して、この閲覧データを表示部１２に表示させる。

（第１の実施形態の作用効果）
以上詳述したようにこの第１の実施形態では、表示部１２にリンク要素のポインタを含むウェブページが表示された状態で、先ずこの表示されたリンク要素のポインタごとに、表現要素／ジェスチャー候補対応テーブル１３１を参照して当該ポインタの表現要素の特徴的形状を含む部位をジェスチャーの基本軌跡を示す情報として設定し、この設定されたジェスチャーの基本軌跡を示す情報を上記リンク要素のポインタと関連付けてリンク／ジェスチャー記憶部１３２に記憶する。またそれと共に、上記設定されたジェスチャーの基本軌跡を表す情報をもとに、ジェスチャー／ジェスチャー付表現要素対応テーブル１３３からジェスチャー付表現要素を読み出し表示させるようにしている。

そして、この状態でリモートコントローラ２のタブレット形入力部２１において、ユーザが選択対象のリンクに対し設定されたジェスチャーの基本軌跡に従いジェスチャー入力操作を行うと、この入力されたジェスチャーの入力軌跡を表す情報を受信して、上記リンク／ジェスチャー記憶部１３２に記憶されたジェスチャーの基本軌跡を表す情報と照合する。そして、予め決められた誤差の範囲内で一致する基本軌跡を表す情報が検出された場合に、この検出された基本軌跡を表す情報に関連付けられたリンク要素のポインタを読み出し、この情報をもとにウェブサイトに対しアクセスして閲覧データをダウンロードし表示部１２に表示するようにしている。

したがってこの第１の実施形態によれば、リンク要素のポインタの表現要素が有する特徴的形状が、そのまま当該リンク要素のポインタを選択するためのジェスチャーの基本軌跡として設定される。このため、リンク要素のポインタにジェスチャーの基本軌跡を表示する際には、表現要素の当該基本軌跡を示す部位にマーキングするだけで済むことになる。この結果、リンク要素のポインタとは異なる記号やタグを別途生成してリンク要素のポインタに重ねて表示する必要はなくなり、これにより記号やタグによりリンク要素のポインタの全部又は一部が隠されて判読し難くなるといった不具合は防止される。しかも、記号やタグの表示／非表示を切り替える必要もないので、その分余分な操作が減って表示項目情報の選択操作性を高めることができる。また、吹き出し表示も使用せずに済むので、リンク要素のポインタの周辺領域に表示されている表示情報が隠されて判読不能となるといった不具合も防止される。

また、表現要素の数が少ないポインタは表現要素の数が多いポインタに比べ特徴的形状の数が少ないため、固有のジェスチャー基本軌跡を設定し難い。しかしながらこの実施形態では、リンク要素のポインタの集合を当該ポインタを構成する表現要素の数が少ない順にソートし、このソートされた順にポインタに対しジェスチャーの固有の基本軌跡を設定する処理を行うようにしている。したがって、表現要素が少ないリンク要素のポインタに対し優先的にジェスチャーの基本軌跡を設定することが可能となる。

［第２の実施形態］
第１の実施形態では、ジェスチャーが割り当てられないリンク要素が出現してしまうことを防ぐため、リンク要素のポインタの集合を当該ポインタを構成する表現要素の数（文字数）が少ない順に予めソートして、文字数の少ないものから優先的にジェスチャーを割り当てる処理を行った。

しかし、必ずしもリンクを構成する表現要素数が少ないほど、可能なジェスチャー候補が少なくなるとは限らない。なぜなら、リンクの表現要素（文字）によって対応するジェスチャー候補の数が異なる場合が考えられるからである。したがって、実際にはリンク要素ごとにジェスチャー基本軌跡の候補を列挙し、その数に従いソートした方が処理を最適化できる。また、図３に示したリンク要素にジェスチャー基本軌跡を付与する処理（ステップＳ１〜Ｓ１１）を繰り返す最中に、ソートした結果が実質的にジェスチャー基本軌跡の候補数が少ない順ではなくなる可能性もある。

そこで、第２の実施形態では、ジェスチャー候補の設定対象となるリンク要素をジェスチャー基本軌跡の候補数が少ない順にソートしてジェスチャー基本軌跡を設定する。また、１つのリンク要素に対しジェスチャー基本軌跡を設定する毎に、他のリンク要素に対応するジェスチャー基本軌跡の候補から上記設定済の候補を削除し、この設定済の候補を削除した後のリンク要素をそのジェスチャー基本軌跡の候補数が少ない順にソートし直してジェスチャー基本軌跡を設定する。

図８は、この第２の実施形態に係るテレビジョン装置の構成を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

リンク表現要素分解部１３５は、リンク抽出部１３４から通知されたリンク要素のポインタの集合からそれぞれ表現要素列を抽出し、この抽出された表現要素列をそれぞれ複数の表現要素に分解する処理を行う。この処理は第１の実施形態と同じであるが、<span>タグが付与されたリンク要素のポインタの集合は、ジェスチャー候補設定部１４１に通知される。

ジェスチャー候補設定部１４１は、上記リンク表現要素分解部１３５から通知された分解後のリンク要素のポインタごとに、表現要素／ジェスチャー候補対応テーブル１３１を参照して、リンク要素の表現要素列に含まれる表現要素に対応するジェスチャー基本軌跡の候補をすべて抽出する処理を行う。図１０に、「Ａ」、「Ｖ」、「Ｄ」、「ＶＡ」というリンク要素が存在したときにそれぞれに対応するジェスチャー基本軌跡の候補をすべて抽出した例を示す。ジェスチャー基本軌跡の候補の抽出が終了するとジェスチャー候補設定部１４１は、リンク要素のポインタとそれに対応するすべてのジェスチャー基本軌跡の候補とのセットの集合をソート部兼相互排他的ジェスチャー設定部１４２に通知する。

ソート部兼ジェスチャー設定部１４２は、上記ジェスチャー候補設定部１４１から通知されたリンク要素のポインタの集合に対し、そのジェスチャー基本軌跡の候補の中から個々のポインタをユーザがジェスチャー入力により選択するときのジェスチャーの基本軌跡を選択し設定する処理を行う。

次に、上記ソート部兼ジェスチャー設定部１４２によるジェスチャー基本軌跡選択設定動作を説明する。図９はその処理手順と処理内容を示すフローチャートである。
ソート部兼ジェスチャー設定部１４２は、先ずステップＳ２１でジェスチャーの基本軌跡が設定されていないリンク要素の有無を判定する。この判定の結果、まだ設定されていないリンク要素があれば、ジェスチャー候補設定部１４１から通知されたリンク要素のポインタの集合をジェスチャー基本軌跡候補の数が少ない順にソートする（ステップＳ２２）。図１１（ａ）にそのソート後のリンク要素の一例を示す。

次にステップＳ２３において、上記ソートされたリンク要素のポインタの集合の中でジェスチャー基本軌跡候補の数がもっとも少ないリンク要素を選び、このリンク要素に対応するジェスチャーの基本軌跡を設定する。例えば、上記した図１１（ａ）の例では、ジェスチャー基本軌跡候補の数がもっとも少ないリンク要素としてリンク要素「Ａ」を選択する。そして、このリンク要素「Ａ」に対応するジェスチャー基本軌跡の候補の中から例えば「右上向き」の基本軌跡を選択し、この選択した基本軌跡を「Ａ」に対応するジェスチャーの基本軌跡として設定する。

続いてステップＳ２４において、上記リンク要素「Ａ」に設定したジェスチャーの基本軌跡を、残りのリンク要素に対応するジェスチャー基本軌跡の候補から削除する。例えば、図１１の例では、リンク要素「Ａ」に対し「右上向き」の基本軌跡を設定したので、他のリンク要素「Ｖ」、「Ｄ」、「ＶＡ」のうち「Ｖ」、「ＶＡ」に対応するジェスチャーの基本軌跡の候補から上記「右上向き」の基本軌跡を削除する。

次にステップＳ２１に戻り、ジェスチャーの基本軌跡が未設定のリンク要素が残っているか否かを判定する。そして残っていれば、ステップＳ２２において、当該残っているリンク要素を上記削除処理後のジェスチャー基本軌跡の候補数が少ない順にソートし直す。続いてステップＳ２３において、このソート処理の結果ジェスチャー基本軌跡の候補数が最も少ないリンク要素を選択して、このリンク要素に対応するジェスチャーの基本軌跡を設定する。例えば、上記した図１１の例では、リンク要素は図１１（ｂ）に示すように「Ｖ」、「Ｄ」、「ＶＡ」の順にソートし直されるから、このソート後のジェスチャー基本軌跡の候補数がもっとも少ないリンク要素としてリンク要素「Ｄ」を選択する。そして、このリンク要素「Ｖ」に対応するジェスチャー基本軌跡の候補の中から例えば「Ｖ字」の基本軌跡を選択し、この選択した基本軌跡を「Ｖ」に対応するジェスチャーの基本軌跡として設定する。

そしてステップＳ２４において、上記リンク要素「Ｖ」に設定したジェスチャーの基本軌跡を、残りのリンク要素に対応するジェスチャー基本軌跡の候補から削除する。例えば、図１１の例では、リンク要素「Ｖ」に対し「Ｖ字」の基本軌跡を設定したので、他のリンク要素「Ｄ」、「ＶＡ」のうち「ＶＡ」に対応するジェスチャー基本軌跡の候補から上記「Ｖ字」の基本軌跡を削除する。

以後同様に、ステップＳ２１〜Ｓ２４の処理を繰り返し実行し、全てのリンク要素「ＶＡ」、「Ｄ」に対し順次ジェスチャーの基本軌跡を設定する。図１１（ｃ），（ｄ）にその処理内容を示す。

以上述べたように第２の実施形態では、ジェスチャー候補の設定対象となるリンク要素をジェスチャー基本軌跡の候補数が少ない順にソートしてジェスチャー基本軌跡を設定している。また、１つのリンク要素に対しジェスチャー基本軌跡を設定する毎に、他のリンク要素に対応するジェスチャー基本軌跡の候補から上記設定済の候補を削除し、この設定済の候補を削除した後のリンク要素をそのジェスチャー基本軌跡の候補数が少ない順にソートし直してジェスチャー基本軌跡を設定するようにしている。

したがって、リンクの表現要素（文字）によって対応するジェスチャー基本軌跡の候補数が異なる場合であっても、また１つのリンク要素にジェスチャー基本軌跡を付与する処理を繰り返す最中に、ソートした結果が実質的にジェスチャー基本軌跡の候補数が少ない順ではなくなっても、常にジェスチャー基本軌跡の候補数が少ない順にジェスチャー基本軌跡を設定することができる。

［他の実施形態］
なお、この発明は上記一実施形態に限定されるものではない。例えば、前記一実施形態ではウェブページに含まれるハイパーリンクを選択操作の対象とする場合を例にとって説明した。しかし、メニューやボタンを選択操作の対象とする場合にもこの発明を適用可能である。また、表現要素はアルファベット文字に限らず、カナ文字や記号、図形であってもよく、これらのカナ文字や記号、図形から固有の特徴的な形状を抽出してこの形状に基づいてジェスチャーの基本軌跡を設定するようにしてもよい。

さらに、情報選択装置としてはテレビジョン装置に限らず、ゲーム機器や電子掲示板等を適用することができる。また、ジェスチャーの入力手段としては、リモートコントローラのタブレット式入力部を用いる以外に、ユーザの腕や指の動きをカメラにより撮像し、その撮像画像をもとにジェスチャーの入力軌跡を認識するものであってもよい。
その他、ジェスチャー入力処理部の構成やその処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…テレビジョン装置、２…リモートコントローラ（リモコン）、３…モデム、１１…通信部、１２…表示部、１３…ジェスチャー入力処理部、１４…ブラウザ部、１３１…表現要素／ジェスチャー候補対応テーブル、１３２…リンク／ジェスチャー記憶部、１３３…ジェスチャー／ジェスチャー付表現要素対応テーブル、１３４…リンク抽出部、１３５…リンク表現要素分解部、１３６…リンクソート部、１３７…相互排他的ジェスチャー設定部、１３８…ジェスチャー付表現要素表示制御部、１３９…入力判定部、１４１…ジェスチャー候補設定部、１４２…ソート部兼相互排他的ジェスチャー設定部。

Claims (7)

1. 各々が少なくとも１個の表現要素により表される複数の表示項目情報を含む表示データを表示部に表示させ、ジェスチャー入力部においてユーザが入力したジェスチャーの入力軌跡をもとに前記表示項目情報を選択する情報選択装置であって、
   前記表示された表示項目情報ごとに、その表現要素から固有の特徴的形状を含む部位を抽出してこの抽出された部位をジェスチャーの基本軌跡の候補を示す情報として設定し、この設定されたジェスチャーの基本軌跡の候補を示す情報を前記抽出元の表示項目情報と関連付けて対応テーブルに記憶するジェスチャー設定手段と、
   前記表現要素の前記抽出された部位に、当該部位がジェスチャーの基本軌跡を示す部位であることをユーザに提示するマーク情報を付与し表示させるマーク付与手段と、
   前記ジェスチャー入力部から、前記ユーザが入力したジェスチャーの入力軌跡を表す情報を受信するジェスチャー受信手段と、
   前記受信されたジェスチャーの入力軌跡を表す情報を、前記対応テーブルに記憶されたジェスチャーの基本軌跡の候補を表す情報と照合して、予め決められた範囲内で一致する基本軌跡を表す情報を検出し、この検出された基本軌跡を表す情報に関連付けられた表示項目情報を前記ユーザのジェスチャーにより選択された情報として認識する認識手段と
   を具備することを特徴とする情報選択装置。
2. 前記ジェスチャー設定手段は、前記表示された表示項目情報を当該表示項目情報を表す表現要素の数に応じてソートし、表現要素の数が少ない表示項目情報から優先的にジェスチャーの基本軌跡を示す情報を設定することを特徴とする請求項１記載の情報選択装置。
3. 前記ジェスチャー設定手段は、
   前記表示された表示項目情報を、当該表示項目情報を表す表現要素に対応するジェスチャーの基本軌跡の候補数に応じてソートする第１の手段と、
   前記ジェスチャーの基本軌跡の候補数の最も少ない表示項目情報に対し優先的にジェスチャーの基本軌跡を示す情報を設定する第２の手段と、
   前記設定された基本軌跡を、他の表現要素に対応するジェスチャーの基本軌跡の候補から除外する第３の手段と
   を備え、
   前記第１、第２及び第３の手段による処理を、すべての表示項目情報に対しジェスチャーの基本軌跡の設定が終了するまで繰り返すことを特徴とする請求項１記載の情報選択装置。
4. 各々が少なくとも１個の表現要素により表される複数の表示項目情報を含む表示データを表示部に表示させ、ジェスチャー入力部においてユーザが入力したジェスチャーの入力軌跡をもとに前記表示項目情報を選択する情報選択方法であって、
   前記表示された表示項目情報ごとに、その表現要素から固有の特徴的形状を含む部位を抽出してこの抽出された部位をジェスチャーの基本軌跡の候補を示す情報として設定し、この設定されたジェスチャーの基本軌跡の候補を示す情報を前記抽出元の表示項目情報と関連付けて対応テーブルに記憶する第１の過程と、
   前記表現要素の前記抽出された部位に、当該部位がジェスチャーの基本軌跡を示す部位であることをユーザに提示するマーク情報を付与し表示させる第２の過程と、
   前記ジェスチャー入力部から、前記ユーザが入力したジェスチャーの入力軌跡を表す情報を受信する第３の過程と、
   前記受信されたジェスチャーの入力軌跡を表す情報を、前記対応テーブルに記憶されたジェスチャーの基本軌跡の候補を表す情報と照合して、予め決められた範囲内で一致する基本軌跡を表す情報を検出し、この検出された基本軌跡を表す情報に関連付けられた表示項目情報を前記ユーザのジェスチャーにより選択された情報として認識する第４の過程と
   を具備することを特徴とする情報選択方法。
5. 前記第１の過程は、前記表示された表示項目情報を当該表示項目情報を表す表現要素の数に応じてソートし、表現要素の数が少ない表示項目情報から優先的にジェスチャーの基本軌跡を示す情報を設定することを特徴とする請求項４記載の情報選択方法。
6. 前記第１の過程は、前記表示された表示項目情報を、当該表示項目情報を表す表現要素に対応するジェスチャーの基本軌跡の候補数に応じてソートし、ジェスチャーの基本軌跡の候補数の最も少ない表示項目情報に対し優先的にジェスチャーの基本軌跡を示す情報を設定し、前記設定された基本軌跡を他の表現要素に対応するジェスチャーの基本軌跡の候補から除外する処理を、すべての表示項目情報に対しジェスチャーの基本軌跡の設定が終了するまで繰り返すことを特徴とする請求項４記載の情報選択方法。
7. 請求項１乃至３のいずれかに記載の情報選択装置が具備する手段が備える機能を、前記情報選択装置が備えるコンピュータに実行させるプログラム。

Images