JP5460679B2 - 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 - Google Patents

Description

本発明は、画像表示を伴う情報処理を行う情報処理装置、および当該装置で用いられる情報処理方法、コンテンツファイルのデータ構造に関する。

近年、携帯ゲーム機、携帯電話、ＰＤＡ（Personal Data Asistance）、タブレット端末など、携帯を想定した情報機器が普及している。このような機器はサイズ上の制約や携帯した際の利便性などの観点からその入力手段が制約される。結果として、これらの機器に特化した入力手段や機能が独自の発達を遂げてきた。

その一端として近年では、ディスプレイにタッチパネルを搭載することにより表示と入力を同じ領域で行える装置が一般的になってきた。タッチパネルを導入すると、アイコンなどの対象物の選択や移動、ウェブページや文書の表示画面の拡大縮小、スクロール、ページめくりなどを、２次元平面にありながらあたかも現物があるかのように行うことができ、直感的な操作が可能となる。

タッチパネルを入力手段として用いるか否かに関わらず、アプリケーションプログラムを起動させたり、表示対象を選択したりするために、ＧＵＩ(Graphical User Interface）を表示させることが一般的となっている。操作性や視認性の観点から、個々のＧＵＩのサイズを縮小していくことにも限界があるため、画面サイズが小さくなるほど、また一度に表示するＧＵＩの数が増えるほど、ＧＵＩ同士の間隔が狭まる傾向が生じる。これにより、タッチパネルへの指による操作時には特に、ユーザの意図しないＧＵＩを選択してしまうなどの誤操作を生みやすくなっていた。また装置に表示するコンテンツの作成者にとっては、各ＧＵＩのヒット判定領域の配分を表示環境などに応じて調整する必要が生じていた。

本発明はこのような課題に鑑みてなされたものであり、その目的はＧＵＩの選択に係る操作性を、装置などの環境によらず維持することのできる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得する入力情報取得部と、表示画像を構成する平面において、指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、ＧＵＩごとに設定されたヒット判定領域との位置関係に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出する操作内容特定部と、選出したＧＵＩに対応する処理を実行する情報処理部と、を備えたことを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置において、ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得するステップと、表示画像を構成する平面において、指示点の位置に基づき決定した位置に仮想的な指示点を配置し、当該仮想的な指示点を含む複数の指示点の位置と、前記ＧＵＩごとに設定されたヒット判定領域との位置関係に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出するステップと、選出したＧＵＩに対応する情報処理を実行するステップと、を含むことを特徴とする。

本発明のさらに別の態様はコンテンツファイルのデータ構造に関する。このコンテンツファイルのデータ構造は、情報処理装置において実行するコンテンツのプログラムと、当該情報処理装置においてコンテンツの実行中に表示されるＧＵＩ（Graphical User Interface）を含む表示画像を構成する平面において、ユーザが示した指示点の位置に基づき発生させる仮想的な指示点の配置規則を設定した接触点生成規則設定ファイルであって、情報処理装置が、コンテンツの実行中に参照することにより配置した仮想的な指示点を含む複数の指示点の位置と、ＧＵＩごとに設定されたヒット判定領域との位置関係に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出して当該ＧＵＩに対応する処理を実行するための接触点生成規則設定ファイルと、を対応づけたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ＧＵＩを含むコンテンツ画像作成の容易さと選択入力の操作性を両立できる。

本実施の形態における情報処理装置の外観例を示す図である。 本実施の形態における情報処理装置の構成を詳細に示す図である。 本実施の形態における情報処理装置がＧＵＩの選択入力を受け付ける処理手順を示すフローチャートである。 本実施の形態において操作内容特定部がタッチ操作に応じて行う処理の例を説明するための図である。 本実施の形態において接触点が形成するＶ字形状の傾きを決定する一手法について説明するための図である。 本実施の形態において仮想的な接触点を生成するために接触点生成規則設定ファイルに記述されたデータ例を示す図である。 本実施の形態において仮想的な接触点を生成させる規則の別の例を示す図である。 本実施の形態において操作内容特定部が、ヒットした複数のＧＵＩから１つを選出する際の処理手順を示すフローチャートである。

図１は本実施の形態における情報処理装置の外観例を示している。情報処理装置１０は携帯電話、ＰＤＡ、携帯ゲーム機、タブレット端末など、表示機能とその他の情報処理機能を一体的に備えた装置のいずれでもよい。あるいは図１で示した情報処理装置１０の外観を有する装置を表示および入力のための装置とし、その他の情報処理機能は当該装置と接続した別の筐体に設けるようにしてもよい。情報処理装置１０は機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。

情報処理装置１０は、ディスプレイ１４が本体前面に配置され、その上面をタッチパネル１２が覆う構成を有する。ディスプレイ１４の背面にはＣＰＵ、グラフィックプロセッサ、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている（図示せず）。ディスプレイ１４は液晶ディスプレイ、ＥＬ（Electronic Luminescence）ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。

タッチパネル１２は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現し、指７やタッチペンなどによる接触点を検知する。情報処理装置１０はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線ＬＡＮの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。ディスプレイ１４には、メニュー画面、アイコン配列などユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、静止画表示画面などを情報処理装置１０の機能に応じて表示する。

図２は情報処理装置１０の構成を詳細に示している。情報処理装置１０は上述したタッチパネル１２、ディスプレイ１４のほか、指の位置など必要な情報を取得するセンサ１５、コンテンツのプログラムや各種データを記憶したコンテンツファイル記憶部１６、タッチパネル１２からの入力信号受信、画像データのディスプレイ１４への出力を制御する入出力制御部２０、タッチパネルからの入力信号を操作内容の情報に変換する操作内容特定部２２、操作内容に応じてコンテンツを処理するコンテンツ処理部２４、および表示画像を生成する表示画像生成部３０を含む。

図２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

センサ１５は情報処理装置１０の背面に搭載したタッチパネル、ディスプレイ１４に搭載しディスプレイ１４上面に存在する指などの物の影や像を画像として取得するセンサ、内部に搭載しディスプレイ１４の傾きを取得する加速度センサやジャイロセンサなどのいずれかでよい。センサ１５は後述するように、処理の精度を向上させるための補助的な情報を取得するために設けるものであり、場合によっては設けなくてもよい。

入出力制御部２０は既存の方法で、タッチパネル１２、ディスプレイ１４、センサ１５と接続し、データの入出力を制御する。タッチパネル１２から受信する入力信号は、タッチパネル１２上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などを表す。タッチパネル１２における接触点の検知手法はその方式によって異なるためここでは言及しない。タッチパネル１２への接触操作は指以外の体の部位やタッチペンのような道具によって行われてもよいが、以後、指に代表させて説明する。入出力制御部２０はまた、センサ１５が取得したデータを受信したり、ディスプレイ１４に表示画像のビデオ信号を出力したりする。

コンテンツファイル記憶部１６は、ユーザによるタッチパネル操作などに応じ、コンテンツ表示に係る情報処理を行うのに必要な各種データを格納する。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真、地図、ウェブページ、それらを統括するメニュー画面など、電子的な処理により表現が可能な対象であればその種類やデータの格納経路は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。

例えばコンテンツがゲームであれば、コンテンツファイル記憶部１６はそのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。またコンテンツ表示や処理に必要なＧＵＩ(Graphical User Interface）の画像データやＧＵＩ配置情報も記憶する。コンテンツファイル記憶部１６は、ハードディスクドライブでもよいし、メモリカード、ＲＯＭディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。

操作内容特定部２２は、タッチパネル１２からの入力信号を入出力制御部２０から取得し、当該信号に含まれる接触点の座標に基づき、ユーザが意図した操作内容を特定する。例えばタッチパネル１２の一点に接触し、当該接触点を移動させる操作がなされたときは、それを画面スクロール操作とみなす。また表示画像中にＧＵＩを表示している場合は、接触点とＧＵＩとの位置関係に基づき選択対象のＧＵＩを特定し、当該ＧＵＩに対応する操作内容を特定する。そして特定した操作内容、および接触点の移動経路など処理に必要な情報をコンテンツ処理部２４に通知する。

ここで、選択入力のためにユーザが選択対象のＧＵＩへ触れる操作を「タッチ操作」と呼ぶ。「タッチ操作」は一般的には、タッチパネル１２のうちＧＵＩに対応する領域（以後、「ヒット判定領域」と呼ぶ）内に触れることを意味する。一方、本実施の形態では、実際の接触点の近傍に所定の規則で１つ以上の仮想的な接触点を発生させ、各ＧＵＩのヒット判定領域に含まれる接触点の数などに応じて選択対象のＧＵＩを特定する。

そのため以後の説明では、接触点が直接、ヒット判定領域内になくても、タッチ操作の対象たるＧＵＩが画面内に存在し、当該画面内に一カ所の接触が発生したときを広義の「タッチ操作」とする。なお「タッチ操作」と認定する規則は様々考えられ、この例に限定する主旨ではない。また「ＧＵＩ」は、タッチ操作によって指示することにより次の情報処理が決定づけられる対象であればその形態は限定されない。例えば、操作ボタンを模したＧＵＩや、各メニュー項目を表す矩形、アイコンなどのほか、画面内に描画した仮想世界に存在するオブジェクトなどでもよい。

選択対象のＧＵＩを特定するため、操作内容特定部２２は、接触点に基づき仮想的な接触点を発生させる規則を設定した接触点生成規則設定ファイル２６と、選択対象のＧＵＩを選出する規則を設定したＧＵＩ選出規則設定ファイル２８とを、内部のメモリなどに記憶する。これらの設定ファイルは装置製造時に準備してもよいし、コンテンツファイル記憶部１６が記憶するコンテンツファイルとともに提供されたものを読み出してもよい。

コンテンツ処理部２４は操作内容特定部２２から通知された情報などに基づき、コンテンツファイル記憶部１６が記憶するプログラムや画像データなどを用いてコンテンツ表示に必要な処理を行う。このとき、必要に応じて所定のＧＵＩを所定位置に配置する。具体的な処理手順はコンテンツの内容によって既存の技術を適用できる。表示画像生成部３０は、コンテンツ処理部２４からの要求に従い、コンテンツファイル記憶部１６から必要な画像データを読み出すなどして出力すべき画像のデータを生成し、入出力制御部２０に出力する。生成した画像は入出力制御部２０内のフレームバッファに格納され、入出力制御部２０が適当なタイミングでディスプレイ１４に出力することにより表示される。

図３は情報処理装置１０がＧＵＩの選択入力を受け付ける処理手順を示すフローチャートである。まずユーザが、ディスプレイ１４に表示されたメニュー画面からコンテンツを選択するなどして表示を開始する指示をタッチパネル１２を介して入力すると（Ｓ１０）、コンテンツ処理部２４および表示画像生成部３０は、コンテンツファイル記憶部１６から必要なデータを読み出し、コンテンツの画像や必要なＧＵＩの画像をディスプレイ１４に表示させる（Ｓ１２）。

この状態で、ユーザがタッチパネル１２に接触するのを待機する（Ｓ１４のＮ）。このとき、ユーザの操作と独立に進捗可能なコンテンツに係る処理および表示更新が適宜行われていてよい。接触がなされたら、操作内容特定部２２はそれを検知する（Ｓ１４のＹ）。そして当該接触が、画面スクロールや画像の拡大、縮小操作など、タッチ操作と異なる場合（Ｓ１６のＮ）、操作内容特定部２２は当該操作に対応づけられた操作内容を特定し、接触点の経路など処理に必要な情報とともにコンテンツ処理部２４に通知することにより、コンテンツ処理部２４が適宜処理する（Ｓ２４）。

タッチ操作がなされた場合（Ｓ１６のＹ）、操作内容特定部２２は、接触点の位置と接触点生成規則設定ファイル２６に設定された規則に基づき、画面内に仮想的な接触点を発生させる（Ｓ１８）。接触点生成規則設定ファイル２６には、発生させる仮想的な接触点の数、分布形状、分布領域のサイズなどが記載されている。そして実際の接触点か仮想的な接触点かに関わらず、ＧＵＩごとに設定されたヒット判定領域内にある接触点を抽出する。

以後、接触点がいずれかのヒット判定領域に内在する状態を、対応するＧＵＩに「ヒットした」と表現し、各ＧＵＩのヒット判定領域内にある接触点の数を、当該ＧＵＩの「ヒット点数」と呼ぶ。接触点が唯一のＧＵＩのヒット判定領域内にある場合、すなわち１つのＧＵＩのみがヒットした場合（Ｓ２０のＮ）、当該ＧＵＩを選択対象として選出し、それに対応づけられた操作内容をコンテンツ処理部２４に通知することにより、コンテンツ処理部２４が適宜処理する（Ｓ２４）。

一方、複数のＧＵＩがヒットした場合（Ｓ２０のＹ）、操作内容特定部２２は、ＧＵＩ選出規則設定ファイル２８に従い、一つのＧＵＩを選択対象として選出する（Ｓ２２）。ＧＵＩ選出規則設定ファイル２８には、ヒット点数、優先度、ヒット点数と優先度とを重み付け加算した得点など、ＧＵＩを選出するためのパラメータの定義や、当該パラメータから一つのＧＵＩを選出する規則が記載されている。

そして選出したＧＵＩを選択対象として、それに対応づけられた操作内容をコンテンツ処理部２４に通知することにより、コンテンツ処理部２４が適宜処理する（Ｓ２４）。ユーザがコンテンツの表示を終了する指示入力を行わない間は（Ｓ２６のＮ）、Ｓ１４からＳ２４の処理を繰り返し、表示を終了する指示入力がなされたら処理を終了する（Ｓ２６のＹ）。

図４は操作内容特定部２２がタッチ操作に応じて行う処理の例を説明するための図である。まずディスプレイ１４の画面４０には一例として、選択肢たる３つのＧＵＩ、すなわち第１ＧＵＩ４２ａ、第２ＧＵＩ４２ｂ、第３ＧＵＩ４２ｃが表示されているとする。各ＧＵＩのヒット判定領域は、当該ＧＵＩの図形内部の領域とする。この状態でユーザが接触点４４に対しタッチ操作を行うと、操作内容特定部２２は、例えば４つの仮想的な接触点４６ａ、４６ｂ、４６ｃ、４６ｄを画面内に生成する。同図の場合、仮想的な接触点４６ａ、４６ｂ、４６ｃ、４６ｄを、実際の接触点４４を頂点としたＶ字形状に分布させている。なお接触点４４や仮想的な接触点４６ａ、４６ｂ、４６ｃ、４６ｄを示す丸印は、画面を構成する平面上の位置を示しており、画像として表示されるものではない。

このように発生させた仮想的な接触点を含む合計５つの接触点のうち、１つの接触点４６ｄが第２ＧＵＩ４２ｂのヒット判定領域内に、２つの接触点４６ａ、４６ｂが第３ＧＵＩ４２ｃのヒット判定領域内にある。すなわち第２ＧＵＩ４２ｂと第３ＧＵＩ４２ｃがヒットしており、第２ＧＵＩ４２ｂのヒット点数は「１」、第３ＧＵＩ４２ｃのヒット点数は「２」となる。ヒット点数が最大のＧＵＩを選出する、という規則がＧＵＩ選出規則設定ファイル２８に規定されている場合、操作内容特定部２２は第３ＧＵＩ４２ｃを選択対象として選出する。

同図の例で、仮想的な接触点を、実際の接触点を頂点とするＶ字形状に分布させたのは次の理由による。すなわちユーザが画面４０の下方向から手を伸ばしてタッチ操作を行う場合、その指先は画面上側を向くことが多い。この指先で画面４０を見ながらタッチ操作を行うとき、選択対象のＧＵＩの図形の中心より下、場合によってはＧＵＩの下端近傍に接触することが多い、という一般的な傾向がある。この傾向を利用し、このような指の向きが想定される装置では、実際の接触点より画面上側に仮想的な接触点を分布させる。

さらに、右手の指で操作する場合はＧＵＩの右下を、左手の指で操作する場合はＧＵＩの左下をタッチする傾向となる。つまり、右手で操作する場合は実際の接触点より左上に、左手で操作する場合は実際の接触点より右上に、選択対象のＧＵＩが存在する確率が高い。したがって接触点をＶ字形状に分布させると、操作する手が左右のどちらであっても選択対象のＧＵＩを精度よく選出できる。この性質を一般化すると、接触点の周囲の領域のうち指の頂点側に仮想的な接触点を分布させることが望ましい、ということになる。

図５は、図４で示した接触点が形成するＶ字形状の傾きを、上記性質を利用して決定する一手法について説明するための図である。この例は、情報処理装置１０を左右から把持し、画面の上に出した親指および人差し指でタッチパネル１２を操作することを想定したものである。同図右側には情報処理装置１０を把持するユーザの右手５０の様子を示している。親指に着目すると、一般的には親指の付け根が画面４８右端の下部に位置する（例えば同図の位置５２）。その位置を中心として指の方向や到達距離を調整することにより、親指によるタッチ操作がなされる。

したがって親指の可動範囲は、付け根の位置５２を中心とした扇形に近い領域となる（同図の領域５４）。付け根の位置５２をあらかじめ定義しておけば、親指の向きは、当該位置５２を始点として実際の接触点５６を終点とするベクトル５８によって表される。上述のとおり選択対象のＧＵＩは、指の頂点近傍にある確率が高いため、接触点５６の周囲の領域のうち、指の頂点の方向、すなわちベクトル５８の延長線６０を中心に仮想的な接触点を分布させることにより、精度よくＧＵＩを選出できる。

同図の例では、延長線６０に対し線対称のＶ字形状に分布させている。人差し指や左手で操作する場合も同様に付け根の位置を始点として定義することにより、指の頂点近傍に接触点を分布させることができる。領域５４のような各手指の可動範囲などから、画面内の区画と、その内部に接触する手指とをあらかじめ対応づけておき、接触された区画に応じて付け根の位置を切り替えれば、どの指で操作しても同様の精度でＧＵＩを選出できる。なお付け根の位置５２は、装置の形状や画面の構成などから想定値を導出してもよいし、装置において付け根の位置５２に印をつけることによりユーザが把持する位置を調整してもよい。

図６は、図５に示した仮想的な接触点を生成するために接触点生成規則設定ファイル２６に記述されたデータ例を示している。接触点生成規則設定ファイル２６は形状欄７２、サイズ欄７４、個数欄７６、および始点欄７８を含む。形状欄７２には接触点の分布形状を記載する。図５の例では「Ｖ字」である。サイズ欄７４には、分布形状を基準方向で表したときの縦および横のサイズを記載する。同図の場合、傾きのないＶ字に対し縦を５ｍｍ、横を５ｍｍとしている。

個数欄７６には、仮想的な接触点の生成数を記載する。図５の例では「４」である。また始点欄７８には、操作する指の付け根の位置を表す情報、例えばスクリーン座標系における座標「（Ｘ１，Ｙ１）」などを記載する。なおサイズや位置の設定単位や表現方法はこれに限定されない。複数の手や指での操作が想定される場合は、同様のデータをそれぞれに準備する。さらに付け根の位置を切り替えるための画面内の区画のいずれかを設定する欄を設けてもよい。

図５、６で示した例のほか、仮想的な接触点の分布を装置や画面構成などに応じて最適化することにより、様々な環境に対しＧＵＩの選出精度を維持することができる。最適な分布を決定づける要因として、情報処理装置を把持するか机などに置くか、画面の傾き、把持した手で操作するか否か、把持する手の状態、把持位置など、およそ装置の外観から決まるものと、ＧＵＩの配置、画面を縦に見るか横に見るかなどコンテンツによって決まるものがある。

例えばテーブルの天板にディスプレイとタッチパネルを搭載し、ユーザが真上から画面をのぞき込むような場合、タッチ操作を行う指先は、ディスプレイにほぼ垂直な下向きとなることが一般的である。このときは画面の平面上では、接触点の周囲の領域において選択対象のＧＵＩが存在する確率に偏りがないと考えられるため、実際の接触点の周囲に仮想的な接触点を円状かつ均等に分布させてもよい。この場合、図６における始点欄７８は必要なくなる。また上記の要因によっては、分布形状をＶ字の代わりにＹ字としたり、実際の接触点を通る直線や曲線などとしてもよい。

いずれにしろ上記要因によって決定する位置関係の傾向を踏まえ、高い精度で選択対象のＧＵＩを選出できるような分布を決定することが望ましい。決定に際しては、上述のように、指の頂点側にＧＵＩがある可能性が高い、といった想定に基づきベクトルなどを用いて算出するようにしてもよいし、実際に各条件でタッチ操作を行う実験を繰り返し最適な分布を統計的に導出してもよい。また、初回の装置操作時や、初回のコンテンツ実行時などに、ユーザにテスト画像へのタッチ操作を促すことでキャリブレーションを行い、ユーザごとの操作の傾向や指の長さ、利き手などを踏まえてさらに最適化してもよい。決定した分布によって、接触点生成規則設定ファイル２６のデータ構造を適宜変化させてよい。

さらに、センサ１５によって実際に操作する手指に係る情報が別に得られる場合、操作内容特定部２２は当該情報に基づき接触点生成規則設定ファイル２６における設定を適応的に更新してもよい。例えば情報処理装置１０の背面に別のタッチパネルが搭載され、装置を背面で支える中指の位置を取得できる場合は、中指の位置から一般的な手の大きさなどに基づき想定できる親指および人差し指の付け根の位置を導出し、接触点生成規則設定ファイル２６の始点欄７８を随時更新する。

また情報処理装置１０の内部に加速度センサやジャイロセンサを搭載することにより画面の傾きを取得できる場合は、画面の傾きによって接触点生成規則設定ファイル２６の形状欄７２を随時更新する。例えば画面が上向きになったときは上述の原理に従い、形状欄７２の設定を「Ｖ字」から「円状」にする。この場合、画面の傾きと最適な分布形状とを別のファイルに対応づけておく。さらにディスプレイ１４に、指の影や像を取得できるカメラやセンサを設け、操作する指が２次元画像として取得できる場合は、ベクトル計算をせずに指先の向きが判明するため、始点欄７８は必要なくなる。この場合、ベクトルの代わりに指先の向きを用いればその後の処理は上述と同様である。

図７は仮想的な接触点を生成させる規則の別の例を示している。同図において接触点の分布形状がＶ字である点は図５と同様である。一方、同図の例では、接触点と画面８０の枠との関係によってＶ字の向きやサイズを決定している。例えば接触点が画面８０の右下にある場合、指先の向きがどのようであろうと、画面８０の下端近傍や右端近傍にＧＵＩがなければ、その方向に仮想的な接触点を生成するのは効率的でない。

この場合、Ｖ字分布８２に示すように、接触点から左上方向の所定の角度を中心に仮想的な接触点を分布させる。このとき、ＧＵＩが画面端には存在しないなどＧＵＩの配置によっては、Ｖ字の開きを小さくするなどしてもよい。接触点が画面８０の左下にある場合も同様に、接触点から右上方向の所定の角度を中心に仮想的な接触点を分布させる（Ｖ字分布８４）。また画面８０の上端付近にＧＵＩがあり、その下部近傍に実際の接触点がある場合、仮想的な接触点が画面８０内に収まるようにＶ字の開きを大きくし、縦方向のサイズを小さくする（Ｖ字分布８６）。同様に、画面の端やＧＵＩの配置と接触点との位置関係によって、指先の向きより優先すべき規則がある場合は、そのような規則も装置やコンテンツに応じて決定し、接触点生成規則設定ファイル２６に適宜設定する。

図８は図３のＳ２２において、操作内容特定部２２が、ヒットした複数のＧＵＩから１つを選出する際の処理手順を示すフローチャートである。なおこの処理手順はＧＵＩ選出規則設定ファイル２８において設定できる様々な規則の一例である。まずヒットした複数のＧＵＩを対象に、ヒット点数判定を行う（Ｓ３０）。具体的には、当該複数のＧＵＩごとにヒット点数、すなわち対応するヒット判定領域に内在する接触点の数を取得して、それらを比較する。いずれか１つのＧＵＩのヒット点数が他より高かったら（Ｓ３２のＮ）、当該ＧＵＩを選択対象のＧＵＩとして選出する（Ｓ４０）。

なおＳ３０のヒット点数判定処理に際し、各接触点に所定の規則で重み付けを行ってもよい。例えばユーザによる実際の接触点のみに所定の係数を乗算して仮想的な接触点の１個分（＝１点）より点数を高くする。あるいは実際の接触点からの距離が増加するほど小さくなる係数を全ての接触点に乗算し、距離に応じて接触点の重みを変化させる。これにより実際の接触点を重要視したうえでＧＵＩを選出できる。

一方、最高ヒット点数で同点のＧＵＩが複数あったら（Ｓ３２のＹ）、当該ＧＵＩを対象に優先度判定を行う（Ｓ３４）。なお仮想的な接触点の生成数によっては、所定のしきい値以下の点数差であれば「同点」とみなすようにしてもよい。優先度判定を行う場合、各ＧＵＩにはあらかじめ優先度を示す数値を設定しておく。例えば優先度を５段階に分け、ＧＵＩの内容などにより１から５までの数値を設定する。ファイルやデータの削除可否を確認するために「削除する」、「キャンセルする」なる２つのボタンのＧＵＩを並べて表示する場合、「削除する」ボタンより「キャンセルする」ボタンの優先度を高く設定することにより、誤操作によるデータ削除を防止できる。

そして対象のＧＵＩの優先度を比較し、いずれか１つのＧＵＩの優先度が他より高かったら（Ｓ３６のＮ）、当該ＧＵＩを選択対象のＧＵＩとして選出する（Ｓ４０）。一方、最高優先度で同点のＧＵＩが複数あったら（Ｓ３６のＹ）、当該ＧＵＩを対象に処理順判定を行う（Ｓ３８）。これはＧＵＩを表示させるプログラム上の処理順を比較するものであり、最も早く処理されるＧＵＩを選択対象のＧＵＩとして選出する（Ｓ４０）。このような処理手順により、少なくともいずれかの段階で１つのＧＵＩが選出される。なおコンテンツの内容などに応じ、優先度判定とヒット点数判定の順序を逆にするなどしてもよい。いずれの場合も、ＧＵＩ選出規則設定ファイル２８に設定しておく。

以上述べた本実施の形態によれば、画面に表示させたＧＵＩへの選択入力を行う際、タッチ操作時の接触点に基づき仮想的な接触点を発生させ、各ＧＵＩのヒット判定領域に内在する接触点の有無や個数などによって選択対象のＧＵＩを推定して選出する。ＧＵＩへのタッチ操作を受け付ける従来技術では、ユーザがＧＵＩの図形から多少外れた位置に接触しても反応するように、ＧＵＩの図形の周囲のマージン領域を加えてヒット判定領域としていた。しかし多数のＧＵＩを表示させたり表示スペースが小さかったりしてＧＵＩが密集すると、ヒット判定領域を重ならせない工夫や、重なった領域へ接触したときの特別な処理が必要となる。

ＧＵＩの密集の度合いは、コンテンツの画面構成やディスプレイの面積などにも依存するため、共通で利用できるＧＵＩの部品であっても、コンテンツの作成時に様々な状況に応じてヒット判定領域を定義しなおす必要があり、作成者にとって負担となる。本実施の形態では、仮想的な接触点を発生させることにより、ＧＵＩから一定距離、離れた位置に接触しても、近傍のＧＵＩがヒットしやすい。そのためマージン領域を含めず、ＧＵＩの図形と同じサイズでヒット判定領域を設定してもよくなる。結果として上記のようなヒット判定領域に係る調整作業が必要なくなり、コンテンツ作成者の負担が軽減される。

また装置の形状や想定される持ち方など装置起因の条件や、ＧＵＩの配置や画面構成などコンテンツ起因の条件によって、生成する仮想的な接触点の個数、分布形状、分布領域のサイズを決定する。これにより選択対象のＧＵＩを高い精度で特定することができ、ヒット判定領域からわずかに外れた接触により応答が得られなかったり、別のＧＵＩへの選択入力とされてしまったり、といった不具合の発生を抑えることができる。結果として、コンテンツ作成の容易さとタッチ操作の操作性を両立できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施の形態はタッチパネルに対するタッチ操作をきっかけとして対象となるＧＵＩを特定したが、タッチパネル以外の入力手段であっても同様の処理を適用できる。例えば上述のように、指や指示棒の影を撮影するセンサなどをディスプレイに搭載した場合、それが指し示す位置を、本実施の形態における接触点の代わりに利用してもよい。さらに、プロジェクタを用いて壁や床などに画像を投影し、カメラや各種センサで画像の前に存在するユーザの影や像を取得することにより、ユーザの手や足の位置に応じた画像変化を演出するシステムへの応用も考えられる。この場合、ユーザの手先や足先として認識される位置の近傍に仮想的な指示点を発生させ、本実施の形態と同様に判定を行うことにより、変化を与える部分を特定する。手先や足先を点で認識する場合、そのわずかなずれで意図する変化が得られないことが考えられるが、仮想的な指示点を発生させることにより、当該ずれを吸収し、精度のよい処理を実現できる。

また本実施の形態は、接触点がＧＵＩの図形から多少外れていても、選択対象のＧＵＩを精度よく特定する。この特徴を利用し、特定したＧＵＩが実際の接触点から離れているとき、ＧＵＩの図形自体が指に吸い付くように移動する演出を加えてもよい。例えばタッチ操作によって選択したＧＵＩをドラッグ操作によって画面内の別の位置へ移動させる場合、終始ＧＵＩが指についた状態でドラッグできるため、より自然な操作感が得られる。この場合、既存の技術により、選出したＧＵＩの中心が実際の接触点に移動するようなアニメーションを表示すればよい。

１０ 情報処理装置、 １２ タッチパネル、 １４ ディスプレイ、 １５ センサ、 １６ コンテンツファイル記憶部、 ２０ 入出力制御部、 ２２ 操作内容特定部、 ２４ コンテンツ処理部、 ２６ 接触点生成規則設定ファイル、 ２８ ＧＵＩ選出規則設定ファイル、 ３０ 表示画像生成部。

Claims (13)

1. ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得する入力情報取得部と、
   表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に、複数の仮想的な指示点を線状に配列させ、前記ＧＵＩごとに設定されたヒット判定領域に含まれる、前記仮想的な指示点を含む指示点の数に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出する操作内容特定部と、
   選出したＧＵＩに対応する処理を実行する情報処理部と、
   を備えたことを特徴とする情報処理装置。
2. 前記操作内容特定部は、前記指示点の位置によって、前記仮想的な指示点の配列がなす形または傾きの少なくともいずれかを変化させることを特徴とする請求項１に記載の情報処理装置。
3. 前記入力情報取得部は、前記表示画像を表示したディスプレイ上に搭載したタッチパネルへのユーザの指の接触点を前記指示点として取得し、
   前記操作内容特定部は、前記接触点の周囲の領域のうち、指先の頂点側の領域に前記仮想的な指示点を配列させることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記操作内容特定部は、装置または表示画像に対応づけて準備された規則に従った位置に、前記仮想的な指示点を配列させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記操作内容特定部は、前記指示点を頂点とするＶ字形状に、前記仮想的な指示点を分布させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
6. 前記入力情報取得部は、前記情報処理装置を把持する手の指による前記タッチパネルへの接触点を取得し、
   前記操作内容特定部は、当該指の付け根の位置から前記接触点までのベクトルの方向を前記指先の頂点の方向として、当該方向を中心に前記仮想的な指示点を分布させることを特徴とする請求項３に記載の情報処理装置。
7. 前記情報処理装置を背面から支持する指の位置を検出する背面タッチパネルをさらに備え、
   前記操作内容特定部は、前記背面タッチパネルが検出した位置に基づき、前記指の付け根の位置を特定することを特徴とする請求項６に記載の情報処理装置。
8. 前記ディスプレイの傾きを取得するセンサをさらに備え、
   前記操作内容特定部は、前記ディスプレイの傾きに応じて前記仮想的な指示点を分布させる形状を変化させることを特徴とする請求項３に記載の情報処理装置。
9. 前記ディスプレイ上の指の像を画像として取得するセンサをさらに備え、
   前記操作内容特定部は、前記指の像に基づき前記指先の頂点の方向を特定し、当該方向を中心に前記仮想的な指示点を分布させることを特徴とする請求項３に記載の情報処理装置。
10. 情報処理装置において、ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得するステップと、
    表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に、複数の仮想的な指示点を線状に配列させ、前記ＧＵＩごとに設定されたヒット判定領域に含まれる、前記仮想的な指示点を含む指示点の数に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出するステップと、
    選出したＧＵＩに対応する情報処理を実行するステップと、
    を含むことを特徴とする情報処理方法。
11. ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得する機能と、
    表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に、複数の仮想的な指示点を線状に配列させ、前記ＧＵＩごとに設定されたヒット判定領域に含まれる、前記仮想的な指示点を含む指示点の数に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出する機能と、
    選出したＧＵＩに対応する情報処理を実行する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
12. ＧＵＩ（Graphical User Interface）を含む表示画像に対し、ユーザが示した指示点の位置を取得する機能と、
    表示画像を構成する平面において、前記指示点の位置に基づき決定した位置に、複数の仮想的な指示点を線状に配列させ、前記ＧＵＩごとに設定されたヒット判定領域に含まれる、前記仮想的な指示点を含む指示点の数に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出する機能と、
    選出したＧＵＩに対応する情報処理を実行する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする記録媒体。
13. 情報処理装置において実行するコンテンツのプログラムと、
    当該情報処理装置においてコンテンツの実行中に表示されるＧＵＩ（Graphical User Interface）を含む表示画像を構成する平面において、ユーザが示した指示点の位置に基づき線状に配列させる、複数の仮想的な指示点の配列規則を設定した接触点生成規則設定ファイルであって、前記情報処理装置が、コンテンツの実行中に参照することにより発生させた前記仮想的な指示点を含む指示点のうち、前記ＧＵＩごとに設定されたヒット判定領域に含まれる指示点の数に基づきＧＵＩの比較を行うことにより、一のＧＵＩを選出して当該ＧＵＩに対応する処理を実行するための接触点生成規則設定ファイルと、
    を対応づけたことを特徴とするコンテンツファイルのデータ構造。

Images