WO2013021878A1

WO2013021878A1 - 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体

Info

Publication number: WO2013021878A1
Application number: PCT/JP2012/069537
Authority: WO
Inventors: 正義神原
Original assignee: シャープ株式会社
Priority date: 2011-08-11
Filing date: 2012-08-01
Publication date: 2013-02-14
Also published as: JP5107453B1; JP2013041332A

Abstract

　入力部および表示部を備えた情報処理装置において、優れた操作性を実現する。　本発明のタブレット端末（１００）は、表示部（１２）の画面の位置を指し示す指示体が移動した軌跡を取得する接触情報生成部（２１）と、軌跡領域を特定し、軌跡領域に少なくとも一部が重なるオブジェクトを特定し、オブジェクトにおける、軌跡領域が占める割合に応じて、オブジェクト自体およびオブジェクトの一部のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定部（２２）と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部（４２）を参照して、選択されたオブジェクトに対応付けられた関連項目を抽出する関連項目抽出部（２３）と、抽出された関連項目のアイコンを表示部（１２）に表示する操作画面処理部（２４）とを備えていることを特徴としている。

Description

情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体

　本発明は、入力部および表示部を備える情報処理装置のユーザインターフェース技術に関するものである。

　近年、スマートフォン、タブレットＰＣなどの、いわゆるタブレット端末が急速に普及している。タブレット端末は、平板状の外形を有しており、表示部および入力部としてのタッチパネルを備えている。このタッチパネルに表示されたオブジェクトを、指やペン等でタッチすることにより、ユーザは、タブレット端末本体への各種操作を行うことができる。

　タブレット端末は、タッチパネルによってユーザの画面上での様々な接触動作を判別することができ、その接触動作に合わせたオブジェクト表示を行うことができる。例えば、接触動作には、画面に表示されたオブジェクトを、指（ペン）でタップする（軽くたたく）、フリックする（はじく、はらう）、ピンチする（指でつまむ）、ドラッグするなどの様々な動作がある。タブレット端末は、そうしたさまざまな接触動作を判別し、判別結果に応じて、オブジェクトの選択／移動、リストのスクロール、画像などの拡大／縮小を行う。タブレット端末は、上述のようにタッチパネルによってより直感的な操作を実現し、多くの人から支持されている。

　例えば、特許文献１には、タッチパネル式の表示部を備えた携帯通信端末が開示されている。特許文献１の携帯通信端末では、オブジェクト（ＵＲＬ、メールアドレス、文字列、画像など）を、指（ペン）でなぞるようにタッチしたり、囲むようにタッチしたりすることによって選択できるようになっている。そして、そのような動作で、オブジェクトが選択された場合には、携帯通信端末は、選択されたオブジェクトからキーワードを抽出して関連サイトへアクセスする。

　また、特許文献２には、タッチパネルディスプレイを備えた携帯機器が開示されている。特許文献２の携帯機器は、タッチパネルディスプレイにスルー画像（カメラに映った画像等）を表示し、囲むようにタッチして選択されたスルー画像内の特定対象を検出して、該特定対象の縮小画像をレリーズボタンとしてタッチパネルディスプレイの端部に表示することができる。そして、上記特定対象の縮小画像がタッチされると、携帯機器において、その特定対象に焦点を合わせて、撮影が実施される。

特開２０１０－２１８３２２号公報（２０１０年９月３０日公開）特開２０１０－１８２０２３号公報（２０１０年８月１９日公開）

　しかしながら、上述した従来の技術では、ユーザによって、タッチパネルに表示された１または複数の選択対象物（オブジェクト）が何らかのジェスチャによって選択されたとき、オブジェクトそのものが選択されているのか、そのオブジェクトの一部が選択されているのかを判別することができない。このため、ユーザが真に選択したいと望んでいる内容を正確に特定できず、操作性が低下するという問題がある。

　より具体的には、特許文献１には、『バンドの画像』がタッチされると、携帯通信端末が『バンド』の情報サイトに接続するように動作することが記載されている。しかしながら、携帯通信端末は、画像そのものがタッチされたことを検出することができても、画像内に写っている何がタッチされたのかを検出することができない。したがって、ユーザは、例えば、上記『バンドの画像』に写っている特定のバンドメンバーに興味があって、その特定のバンドメンバーを部分的にタッチしたとしても、その特定のバンドメンバーの情報サイトにアクセスすることができない。

　あるいは、特許文献２には、ユーザのタッチ操作によって、ライブビュー画像中の特定の被写体が検出されることが記載されている。しかしながら、特許文献２の携帯機器においては、ライブビュー画像中の特定の被写体を選択することが前提である。すなわち、特許文献２に記載の技術は、ユーザの上記タッチ操作が、ライブビュー画像そのものを選択しているのか、画像の一部（特定の被写体）を選択しているのかを判別する技術ではない。

　上述の操作性の問題は、携帯性に優れた小型のタブレット端末のみならず、タッチパネル式の表示部兼入力部を備えた、あらゆるサイズの情報処理装置（例えば、大型のタッチパネルを備えた電子黒板など）、ならびに、タッチパネルに限定されずあらゆる形態の表示部および入力部を備えた情報処理装置においても、共通して生じる問題である。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現することにある。

　本発明の情報処理装置は、上記課題を解決するために、表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴としている。

　上記構成によれば、オブジェクト特定手段は、まず、上記軌跡に基づいて軌跡領域を特定し、該軌跡領域少なくとも一部が重なるオブジェクトを特定し、次に、そのオブジェクトそのものが選択されたのか、そのオブジェクトの一部が部分的に選択されたのかを判定する。そして、オブジェクト特定手段は、オブジェクトそのものが選択されたと判定した場合には、先に特定したオブジェクトそれ自体を、また、オブジェクトの一部が選択されたと判定した場合には、その部分的に選択されたオブジェクトの一部分を、ユーザによって選択されたオブジェクトとして特定する。

　オブジェクトそれ自体、および、オブジェクトの一部、のいずれか一方が、ユーザによって選択されたオブジェクトとして特定されるので、関連項目抽出手段は、その特定されたオブジェクトに対応する関連項目を抽出する。

　操作画面処理手段は、抽出された関連項目の各アイコンを表示部に表示する。

　これにより、本発明の情報処理装置は、オブジェクトを選択するためのユーザの１つの動作（例えば、指示体を移動させる動作）に対して、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、本発明の情報処理装置は、上記オブジェクトについて、それ自体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。

　具体的には、オブジェクト特定手段は、受け付けた指示体の移動の軌跡によって特定される軌跡領域の、特定されたオブジェクトの領域（オブジェクト領域）において占める割合に基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。そして、操作画面処理手段は、オブジェクト自体が選択された場合の最終結果物（アイコン）、および、オブジェクトの一部が選択された場合の最終結果物（アイコン）のうちのいずれかを、上記の判定結果に応じて、出力する。

　このように、本発明の情報処理装置は、オブジェクトを選択するためのユーザの動作（指示体を移動させる動作）を受け付けるとき、オブジェクトを１つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずとも、１つのオブジェクトを表す１つの画像を提示し、それをユーザに選択させるだけで、上述の２種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像（操作画面）と、オブジェクトの一部を選択するための画像（操作画面）とを、意図に合わせて別々に表示させる必要がなくなる。よって、本発明の情報処理装置は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。

　なおかつ、オブジェクト特定手段は、軌跡領域の大きさ（具体的には、オブジェクトの領域における軌跡領域が重なる割合）に基づいて、２種類の選択動作の判別を行っている。つまり、本発明の情報処理装置は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作とに対して、それぞれ異なる種類のジェスチャを割り当てなくても、１つの同じ種類のジェスチャを割り当てているだけである。

　例えば、オブジェクト自体を選択する動作も、オブジェクトを部分的に選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。

　これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という１種類の動作に対しては、１種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。

　そして、上述のとおり、２種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って選択動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に選択動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、情報処理装置が選択されたと認識する範囲とを対応させることができるため、上述のような選択動作はユーザにとって自然であり、直感的に理解されやすい動作となっている。

　したがって、本発明の情報処理装置は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な選択動作を行わせることが可能なユーザインターフェースを実現することができる。

　以上のことから、本発明の情報処理装置は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な選択動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。

　本発明の情報処理装置では、上記オブジェクトは画像データであり、上記オブジェクト特定手段は、特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定してもよい。

　上記構成によれば、画像データそのものがユーザによって選択された場合には、オブジェクト特定手段は、特定した画像データそのものを、選択されたオブジェクトとして特定し、画像データの中の一部の領域（すなわち、部分画像）が選択された場合には、オブジェクト特定手段は、上記部分画像が示す内容を、選択されたオブジェクトとして特定する。

　これにより、ユーザは、画像データ自体に対して関連項目（アイコン）を呼び出したい場合と、画像データに含まれている一部の内容に対して関連項目（アイコン）を呼び出したい場合とで、１種類のジェスチャについて選択範囲を使い分けるだけで、容易に、意図する最終結果物（アイコンが配置された操作画面）を得ることが可能となる。

　さらに、本発明の情報処理装置では、上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、上記オブジェクト特定手段は、上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定してもよい。

　上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各マッチング情報とを照合し、マッチしたマッチング情報に基づいて、上記部分画像に示されている内容が何であるのかを特定することができる。

　さらに、本発明の情報処理装置では、上記マッチング情報は人物の顔画像であり、上記オブジェクト特定手段は、人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定してもよい。

　上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各顔画像とを照合し、マッチした顔画像に基づいて、上記部分画像に示されている人物を特定することができる。

　あるいは、本発明の情報処理装置では、上記マッチング情報は文字の特徴量であり、上記オブジェクト特定手段は、文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定してもよい。

　上記構成によれば、オブジェクト特定手段は、部分画像と、マッチング情報記憶部に記憶されている各文字の特徴量とを照合し、マッチした文字の特徴量に基づいて、上記部分画像に示されている文字（または文字が複数の場合には文字列）を認識し、これを選択されたオブジェクトとして特定することができる。

　あるいは、本発明の情報処理装置では、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。

　上記構成によれば、オブジェクト特定手段は、オブジェクト全体に大方重なるように選択動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか選択動作が重なっていない場合には、オブジェクトの一部が選択されたと判断することができる。オブジェクト自体を選択する意図がある場合に、オブジェクト全体に大方重なるように選択動作を実施すること、および、オブジェクトの一部を選択する意図がある場合に、その一部分だけに選択動作を実施することは、ユーザにとって、理解し易い自然な動作である。

　結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。

　さらに、本発明の情報処理装置では、上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、上記オブジェクト特定手段は、特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、上記ジェスチャ判定手段によって判定された回数が、１回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定してもよい。

　上記構成によれば、本発明の情報処理装置は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを２回以上繰り返すことによって、特に興味がある一部分を選択するということは、ユーザにとって自然に理解できることである。

　以上のことから、本発明の情報処理装置は、簡易な動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、入力部および表示部を備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。

　本発明の情報処理装置において、当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得してもよい。

　上記構成によれば、ユーザがオブジェクトを選択するために行う接触動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、タッチパネルを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。

　あるいは、本発明の情報処理装置において、当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、上記軌跡取得手段は、上記カーソルの移動の軌跡を取得してもよい。

　上記構成によれば、ユーザが、入力部を操作して、オブジェクトを選択するために行う入力動作と、その動作に応じて得られる結果物との関連性を高めることが可能となり、ユーザの直感に反しない自然な流れで操作画面を提供することができる。結果として、表示部と入力部とを備えた情報処理装置において、優れた操作性を実現することが可能になるという効果を奏する。

　本発明の操作画面表示方法は、上記課題を解決するために、情報処理装置における操作画面表示方法であって、上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴としている。

　なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　したがって、入力部および表示部を備えた情報処理装置において、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、優れた操作性を実現するという効果を奏する。

本発明の一実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。本発明の一実施形態におけるタブレット端末のハードウェア構成を示すブロック図である。本発明の一実施形態におけるタブレット端末の外観を示す平面図である。タブレット端末をユーザが把持および操作するときの様子を説明する図であり、（ａ）は、タブレット端末が片手で把持され、その手で操作される様子を説明する図であり、（ｂ）は、タブレット端末が一方の手で把持され、もう一方の手で操作される様子を説明する図である。タブレット端末のオブジェクト特定部の動作を説明する図であり、（ａ）は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った様子を示す図であり、（ｂ）は、（ａ）に示す接触動作に伴って、接触情報生成部が生成した接触情報の一例を示す図であり、（ｃ）は、接触が検知されたｔ０～ｔｎの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。（ａ）は、タブレット端末の部分選択判定部が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、（ｂ）は、部分選択判定部が、オブジェクト領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。（ａ）は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図であり、（ｂ）は、（ａ）に示す接触動作に伴って、接触情報生成部が生成した接触情報の他の例を示す図であり、（ｃ）は、接触が検知されたｔ０～ｔｎの期間に表示部に表示された映像フレームのマップ情報の一例を示す図である。タブレット端末の部分オブジェクト特定部の動作を説明する図である。タブレット端末の関連情報記憶部に記憶される関連情報の一例を示す図である。タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。タブレット端末のアイコン記憶部に記憶されるアイコン画像の具体例を示す図である。タブレット端末の操作画面処理部の処理内容を説明する図であり、（ａ）は、操作画面処理部によるオブジェクトの表示処理の一例を説明する図であり、（ｂ）は、操作画面処理部による関連項目のアイコン配置の一例を示す図である。タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の具体例を示す図である。タブレット端末の操作画面処理部によって実行された操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。タブレット端末による操作画面表示処理の流れを示すフローチャートである。ユーザが目的のオブジェクトそれ自体を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図１６に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。タブレット端末の関連情報記憶部に記憶される関連情報の他の例を示す図である。図１８に示す接触動作に応じて、操作画面処理部によって生成された操作画面の具体例を示す図である。（ａ）は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図であり、（ｂ）は、（ａ）に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。本発明の他の実施形態におけるタブレット端末の要部構成を示す機能ブロック図である。（ａ）は、ユーザが目的のオブジェクトの一部を選択するためにオブジェクトを「繰返し囲う」という接触動作を行ったことを示す図であり、（ｂ）は、（ａ）に示す接触動作に伴って取得された軌跡によって特定される軌跡領域とオブジェクト領域との重なり具合を示す図である。本発明の他の実施形態におけるタブレット端末による操作画面表示処理の流れを示すフローチャートである。

　≪実施形態１≫
　本発明の実施形態について、図１～図２０に基づいて説明すると以下の通りである。

　以下で説明する実施形態では、一例として、本発明の情報処理装置を、タブレット端末に適用した場合について説明する。本実施形態では、一例として、上記タブレット端末は、片手で操作することが可能な、小型で携帯性に優れたスマートフォンなどで実現される。

　しかし、本発明の情報処理装置は、上記の例に限定されず、あらゆるサイズの情報処理装置（例えば、大型のタッチパネルを備えた電子黒板など）に、本発明の情報処理装置を適用してもよい。

　〔タブレット端末のハードウェア構成〕
　図２は、本実施形態におけるタブレット端末１００のハードウェア構成を示すブロック図である。タブレット端末１００は、図２に示すとおり、少なくとも、制御部１０、入力部１１、表示部１２および記憶部１９を備えている。さらに、タブレット端末１００は、本来備わっている機能を実現するために、操作部１３、外部インターフェース１４、通信部１５、無線通信部１６、音声出力部１７、音声入力部１８を備えていてもよい。

　また、タブレット端末１００がスマートフォンなどの多機能携帯通信端末である場合には、ここでは省略したが、タブレット端末１００は、通話処理部、撮影を行う撮像部（レンズ・撮像素子など）、放送受像部（チューナ・復調部など）、ＧＰＳ、および、センサ（加速度センサ、傾きセンサなど）他、スマートフォンが標準的に備えている各種部品を備えていてもよい。

　入力部１１は、ユーザがタブレット端末１００を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部１１は、指示体（表示部１２の画面位置を指示するもの、ここでは、例えば、指またはペンなど）の接触を受け付けるタッチ面と、指示体とタッチ面との間の接触／非接触（接近／非接近）、および、その接触（接近）位置を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触／非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。

　表示部１２は、タブレット端末１００が情報処理するオブジェクト（アイコンなどのあらゆる表示対象物）、および、処理の結果物を表示したり、ユーザがタブレット端末１００を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。表示部１２は、例えば、ＬＣＤ（液晶ディスプレイ）などの表示装置で実現される。

　本実施形態では、入力部１１と表示部１２とは一体に成形されており、これらがタッチパネルを構成している。したがって、このような実施形態では、ユーザが画面位置を指示するために動かす（操作する）対象、すなわち、操作体（ここでは、指またはペンなど）は、同時に、表示部１２の画面上の位置を指示する指示体でもある。

　例えば、本発明のタブレット端末１００のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ＩＴＯ（Indium Tin Oxide）などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体（ユーザの指またはペン等）が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部１０は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。

　以下では、「接触を検知する」、「接触動作」、「接触位置」などというときの「接触」という用語は、指示体とタッチ面とが完全に接する（接している）状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する（接近している）状態も含んでいる。

　操作部１３は、ユーザがタブレット端末１００に指示信号を直接入力するためのものである。例えば、操作部１３は、ボタン、スイッチ、キー、ジョグダイアルなどの適宜の入力機構で実現される。例えば、操作部１３は、タブレット端末１００の電源のオン／オフを行うスイッチである。

　外部インターフェース１４は、外部の装置をタブレット端末１００に接続するためのインターフェースである。外部インターフェース１４は、例えば、これに限定されないが、外付けの記録媒体（メモリカードなど）を挿し込むためのソケット、ＨＤＭＩ（High Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子などで実現される。タブレット端末１００の制御部１０は、外部インターフェース１４を介して、外部の装置とデータの送受信を行うことができる。

　通信部１５は、通信網を介して外部の装置と通信を行うものである。通信部１５は、通信網を介して、各種通信端末に接続し、タブレット端末１００と通信端末との間でのデータの送受信を実現する。さらに、タブレット端末１００が、スマートフォンなどの携帯通信端末である場合には、通信部１５は、携帯電話回線網を介して、音声通話データ、電子メールデータなどを、他の装置との間で送受信する。

　無線通信部１６は、無線で外部の装置と通信を行うものである。無線通信部１６は、特に限定されないが、ＩｒＤＡ、ＩｒＳＳなどの赤外線通信、Ｂｌｕｅｔｏｏｔｈ通信、ＷｉＦｉ通信、非接触型ＩＣカードのいずれかの無線通信手段を実現するものであってもよいし、これらの手段を複数実現するものであってもよい。タブレット端末１００の制御部１０は、無線通信部１６を介して、タブレット端末１００の周辺にある機器と通信し、それらの機器とデータの送受信を行うことができる。

　音声出力部１７は、タブレット端末１００が処理した音声データを、音声として出力するものであり、スピーカ、ヘッドフォン端子およびヘッドフォン等により実現される。

　音声入力部１８は、タブレット端末１００外部で発生した音声の入力を受け付けるものであり、マイク等により実現される。

　記憶部１９は、タブレット端末１００の制御部１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）制御部１０が、タブレット端末１００が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、（５）制御部１０が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の（１）～（４）のデータは、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）などの不揮発性記憶装置に記憶される。例えば、上記の（５）のデータは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット端末１００の使用目的、利便性、コスト、物理的な制約などから適宜決定される。

　制御部１０は、タブレット端末１００が備える各部を統括制御するものである。制御部１０は、例えば、ＣＰＵ（central processing unit）などで実現され、タブレット端末１００が備える機能は、制御部１０としてのＣＰＵが、ＲＯＭなどに記憶されているプログラムを、ＲＡＭなどに読み出して実行することで実現される。制御部１０が実現する各種機能（特に、本発明の操作画面表示機能）については、別図を参照しながら後述する。

　〔タブレット端末の外観〕
　図３は、タブレット端末１００の外観を示す平面図である。図３に示すとおり、タブレット端末１００は、タッチパネルとしての入力部１１および表示部１２を備えているものである。また、タブレット端末１００には、これらは必須の構成ではないが、操作部１３、外部インターフェース１４、無線通信部１６、音声出力部１７、音声入力部１８などが備えられている。例えば、無線通信部１６が、赤外線通信手段で実現されている場合、タブレット端末１００の側面には、無線通信部１６として赤外線送受光部が設けられる。

　図４は、タブレット端末１００をユーザが把持および操作するときの様子を説明する図である。より詳細には、図４の（ａ）は、タブレット端末１００が片手で把持され、その手で操作される様子を説明する図であり、図４の（ｂ）は、タブレット端末１００が一方の手で把持され、もう一方の手で操作される様子を説明する図である。

　本実施形態では、タブレット端末１００は、片手で把持可能な手のひらサイズの情報処理装置であり、図４の（ａ）に示すように、片手でタブレット端末１００を把持したまま、その手の親指で入力部１１のタッチ面を操作できるものである。そして、タブレット端末１００は、例えば、親指が届かない位置に操作対象となるアイコンが存在する場合、フリック動作で、親指近辺にアイコンを引き寄せて、親指でアイコンを囲ったり、タップしたりすることにより、アイコンの選択を行うことができるものである。

　また、図４の（ｂ）に示すように、ユーザは、一方の手でタブレット端末１００を把持し、もう一方の手の指で入力部１１のタッチ面を操作してもよい。あるいは、図示しないが、タブレット端末１００を横長にして、その両脇を両手で把持し、両手の親指で入力部１１のタッチ面を操作してもよい。

　〔タブレット端末の機能〕
　次に、タブレット端末１００の機能構成について説明する。図１は、本実施形態におけるタブレット端末１００の要部構成を示す機能ブロック図である。

　図１に示すとおり、本実施形態にかかるタブレット端末１００の制御部１０は、本発明の操作画面表示機能を実現するための機能ブロックとして、少なくとも、接触情報生成部２１、オブジェクト特定部２２、関連項目抽出部２３、および、操作画面処理部２４を備えている。そして、より詳細には、オブジェクト特定部２２は、部分選択判定部３４および部分オブジェクト特定部３５を備えている。

　上述した制御部１０の各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された不揮発性記憶装置に記憶されているプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。

　また、記憶部１９は、制御部１０の上記の各部が操作画面表示機能を実行する際に、データの読み出しまたは書き込みを行うための記憶部として、具体的には、フレームマップ記憶部４１、関連情報記憶部４２、アイコン記憶部４３、および、マッチング情報記憶部４６で構成されている。

　接触情報生成部２１は、入力部１１のタッチセンサから出力される信号を処理して、接触情報を生成するものである。接触情報とは、指示体（例えば指）の接触位置の座標位置を示す接触座標情報を少なくとも含んでいる。これにより、制御部１０の各部は、上記接触情報から上記指示体の移動の軌跡を得ることができる。本実施形態では、さらに、上記軌跡を構成する各点に対して、接触が起こった時間を示す接触時間情報（指示体の移動時間を示す移動時間情報）が必要に応じて対応付けられていてもよい。

　接触情報は、オブジェクト特定部２２が即時利用可能なように図示しない記憶部（キャッシュなど）に一時的に記憶されてもよい。あるいは、タブレット端末１００は、さらに、記憶部１９において図示しない接触情報記憶部を備え、接触情報記憶部が、接触情報生成部２１によって生成された接触情報を記憶しておいてもよい。

　上記接触情報記憶部を不揮発性記憶装置で実現するか否か、すなわち、この接触情報を不揮発的に記憶するか否かは、操作画面処理部２４が実行する操作画面表示機能の目的、想定利用環境、あるいは、タブレット端末１００自体の使用目的、利便性、コスト、物理的な制約などから適宜決定される。

　接触情報生成部２１が接触情報を生成する手順について、より詳細には、入力部１１のタッチセンサが、タッチ面と指示体（本実施形態では、指）との接触を検知してから、その非接触を検知するまでの間、接触情報生成部２１は、タッチセンサから出力される信号を取得する。この信号には、「接触」を検知した旨と、その接触位置を示す情報とが含まれており、接触情報生成部２１は、この信号に基づいて、接触位置を座標で示す接触座標情報を生成する。

　なお、接触情報生成部２１は、接触が検知されてからそれが非接触となるまでの間の時間を測定し、接触時間情報を接触座標情報に対応付けてもよい。接触情報生成部２１は、タブレット端末１００に搭載される時計部が保持する絶対的な時刻情報を取得して利用してもよいが、接触情報生成部２１は、接触が検知されてから計時を開始し、相対的な接触時間情報を得てもよい。例えば、接触情報生成部２１は、接触が最初に検知された時点（ｔ０）を０．００秒として経過時刻を計測し、接触が最後に検知された時点（ｔｎ）まで、上記計測を継続させて、接触位置に対応する相対的な接触時間情報を取得すればよい。いずれにしても、接触情報生成部２１は、得られた接触時間情報を接触座標情報に対応付けて接触情報を生成する。

　本実施形態では、生成された接触情報は、オブジェクト特定部２２に供給され、オブジェクト特定部２２によって利用される。

　接触情報生成部２１は、接触動作が終了した位置の座標情報を取得しておき、この情報を含めて接触情報を生成してもよい。さらに、接触情報生成部２１は、接触動作が開始された位置の座標情報も取得してもよい。さらに、接触情報生成部２１は、接触動作の開始および終了位置のそれぞれに対して、接触時間情報を対応付けてもよい。上記のデータ構造を有する接触情報により、制御部１０の各部は、軌跡の始点または終点の位置などを認識することができる。

　オブジェクト特定部２２は、ユーザの接触動作によって選択されたオブジェクトを特定するものである。オブジェクト特定部２２は、接触情報生成部２１によって生成された接触情報と、その接触が起こっている間に表示部１２に表示されていた映像フレームのマップ情報とを対比する。これにより、オブジェクト特定部２２は、接触動作によって選択されたオブジェクトを、表示部１２に表示中のオブジェクトの中から特定することができる。

　フレームマップ記憶部４１は、接触時の表示部１２に出力されていた映像フレームのマップ情報を記憶するものである。マップ情報は、タッチパネルに表示されている映像フレームのレイアウト示す情報である。具体的には、マップ情報は、表示されている各オブジェクトについて、それらを個々に識別する情報と、各オブジェクトの形状、大きさ、および、表示位置の情報を含む。つまり、マップ情報は、各オブジェクトをタッチパネルの座標系に対応させてプロットしたものである。

　さらに、本実施形態では、ユーザが意図してオブジェクトを部分的に選択したときに、オブジェクト特定部２２は、オブジェクトが部分的に選択されたと判定することが可能である。そして、この場合、オブジェクト特定部２２は、その選択された部分を、サブ要素として特定することができる。以下では、オブジェクトの一部を部分的に表す場合、すなわち、上記サブ要素のことを部分オブジェクトと称する。

　本実施形態では、オブジェクト特定部２２は、部分選択判定部３４および部分オブジェクト特定部３５を含む構成である。

　部分選択判定部３４は、ユーザの接触動作によって、オブジェクト全体が指定されたのか、あるいは、そのオブジェクトの一部が部分的に指定されたのかを判定するものである。

　本実施形態では、部分選択判定部３４は、指の移動の軌跡によって特定される領域と、特定されたオブジェクトの領域とを比較する。なお、オブジェクト特定部２２は、上記軌跡領域を、接触情報生成部２１によって生成された接触情報から取得された軌跡に基づいて決定する。オブジェクト特定部２２が軌跡領域を特定する方法は特に限定されないが、例えば、軌跡そのものが軌跡領域として特定されてもよいし、軌跡によって囲われる内側の領域が軌跡領域として特定されてもよいし、軌跡の外接矩形が軌跡領域として特定されてもよい。上記オブジェクトの領域は、オブジェクト特定部２２が特定したオブジェクトの領域を、上記マップ情報から取得することによって決定される。

　続いて、部分選択判定部３４は、オブジェクトの領域における、軌跡の領域と重なる面積の割合が、所定閾値未満の場合に、オブジェクトが部分的に選択されたと判定する。すなわち、部分選択判定部３４は、オブジェクト全体に大方重なるように接触動作が起こった場合には、オブジェクトそのものが選択されたと判断し、オブジェクトの一部にしか接触動作が重なっていない場合には、オブジェクトの一部が選択されたと判断する。上記閾値は、ユーザのオブジェクトを選択する接触動作の種類（「囲う」なのか、タップなのか、など）、タブレット端末１００のタッチパネルの面積、タッチパネルに表示されるオブジェクトの平均的な大きさなどに応じて適宜定めればよい。

　本実施形態では、具体例として、オブジェクトを選択する接触動作は、「囲う」接触動作と定められており、上記閾値が「８０％」と定められているものとし、以下、オブジェクト特定部２２の動作を説明する。しかし、上記は、一例に過ぎず、本発明のタブレット端末１００を限定する意図はない。

　図５～図８は、オブジェクト特定部２２の動作を説明する図である。

　より詳細には、図５の（ａ）は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。図５の（ｂ）は、同図の（ａ）に示す接触動作に伴って、接触情報生成部２１が生成した接触情報の一例を示す図である。図５の（ｃ）は、接触が検知されたｔ０～ｔｎの期間に表示部１２に表示された映像フレームのマップ情報の一例を示す図である。

　図５の（ａ）に示すとおり、ユーザが、タブレット端末１００のタッチパネルに表示されているオブジェクト８０（ここでは、写真）のうちの１つを「囲う」という接触動作を実行したとする。接触動作は、例えば、接触点が同図の破線の位置を通過するようにｔ０～ｔｎの期間に実行されたとする。

　オブジェクト特定部２２は、接触情報生成部２１から、図５の（ｂ）に示すような接触情報を取得する。本実施形態では、接触情報の座標系は、タブレット端末１００のタッチパネルの座標系に対応し、パネルの最左上端を原点とするものである。図５の（ｂ）において、ユーザの「囲う」接触動作の軌跡のうち、始点をｔ０、終点をｔｎとして示しているが、その間の各点にも接触時間情報が関連付けられていてもよい。あるいは、本実施形態では、接触時間情報は上記接触情報に含まれていなくてもよい。

　オブジェクト特定部２２は、フレームマップ記憶部４１から、図５の（ｃ）に示されるマップ情報（すなわち、ｔ０～ｔｎの期間において表示部１２に表示された映像フレームのレイアウト）を取得する。そして、オブジェクト特定部２２は、上記接触情報と上記マップ情報とを対比して、接触情報から得られたユーザの指の軌跡によって囲われる領域内または該領域の外接矩形内に全部あるいはほぼ重なるオブジェクト８０を選択されたオブジェクトであるとして特定する。図５に示す例では、オブジェクト特定部２２は、図５の（ｃ）の「写真１」を選択されたオブジェクトとして特定する。

　なお、図５の（ａ）～（ｃ）は、一例として、ユーザがオブジェクトを選択するための接触動作が「囲う」である場合のオブジェクトの特定方法を示しているが、本発明のタブレット端末１００の構成は上記に限定されない。例えば、ユーザは、所望のオブジェクトを指すときに、オブジェクトにチェックマーク（レ点または×印など）を入れるような「チェックする」という接触動作で選択してもよいし、オブジェクトを斜め上から斜め下に払うような「フリックする」という接触動作で選択してもよい。タブレット端末１００は、上述のような線状の軌跡を、範囲を指定する情報として扱う。したがって、タブレット端末１００においては、接触動作が生じた場所を「面」で捉えることが可能な、上述のいずれの線状の接触動作を「オブジェクトを選択するための動作」に割り当ててもよい。オブジェクト特定部２２は、割り当てられた接触動作に応じて適切に、ユーザが指し示すオブジェクトを特定できる構成である。

　例えば、オブジェクトを選択するための接触動作が、レ点で「チェックする」という接触動作であると定められている場合、オブジェクト特定部２２は、レ点の軌跡の外接矩形を軌跡領域として決定し、この軌跡領域と重なるオブジェクトを、選択されたオブジェクトとして特定することができる。

　オブジェクト特定部２２は、特定したオブジェクトの情報を、部分選択判定部３４に引き渡す。次に、部分選択判定部３４は、特定されたオブジェクトそのものが選択されたのか、そのオブジェクトの一部のみが選択されたのか判定する。

　図６の（ａ）は、部分選択判定部３４が、軌跡領域と特定されたオブジェクトの領域とを比較する動作を説明する図であり、図６の（ｂ）は、部分選択判定部３４が、オブジェクトの領域における、軌跡領域と重なる面積の割合を求める動作を説明する図である。

　まず、部分選択判定部３４は、図６の（ａ）に示すとおり、接触情報から得られた軌跡によって特定される軌跡領域６１と、特定されたオブジェクト８０（ここでは、写真１）が配置されている領域（オブジェクト領域６２）とを比較する。そして、部分選択判定部３４は、図６の（ｂ）に示すとおり、オブジェクト領域６２と軌跡領域６１とが重なる領域（重畳領域６３）を特定する。なお、図５の（ｂ）および（ｃ）に示すとおり、軌跡が、それ自身で交わらなかったり、また、始点と終点とが一致しなかったりして、閉じられた領域を特定できないような場合には、オブジェクト特定部２２は、例えば、図６の（ａ）に示すとおり、軌跡の始点および終点を結ぶ線（例えば、直線など）を補って、軌跡領域６１を特定してもよい。一方、オブジェクト特定部２２は、軌跡が閉曲線の場合、その軌跡によって囲われる領域内を軌跡領域として特定すればよい。

　あるいは、オブジェクト特定部２２は、軌跡が閉曲線であってもそうでなくとも上記線状の軌跡の外接矩形内を軌跡領域として特定してもよい。オブジェクト特定部２２は、軌跡に基づいて、上記の例に限定されない所定の規則に基づいて、軌跡領域を特定することができる。

　最後に、部分選択判定部３４は、オブジェクト領域６２における、重畳領域６３の面積の割合を求める。ここでは、例えば、部分選択判定部３４は、「９４％」と算出したとする。部分選択判定部３４は、求めた割合「９４％」を、所定の閾値（ここでは、「８０％」）と比較する。そして、部分選択判定部３４は、求めた割合が、閾値以上であることから、図５の（ａ）に示される接触動作によって、オブジェクトそのものが選択されたと判定する。部分選択判定部３４は、この判定結果をオブジェクト特定部２２に返す。

　オブジェクト特定部２２は、部分選択判定部３４によってオブジェクトそのものが選択されたと判定された場合には、自身が特定したオブジェクトの情報（ここでは、「写真１」）を、関連項目抽出部２３に供給する。

　図７の（ａ）は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行った他の例を示す図である。図７の（ｂ）は、同図の（ａ）に示す接触動作に伴って、接触情報生成部２１が生成した接触情報の他の例を示す図である。図７の（ｃ）は、接触が検知されたｔ０～ｔｎの期間に表示部１２に表示された映像フレームのマップ情報の一例を示す図である。

　図７の（ａ）に示すとおり、ユーザが、タブレット端末１００のタッチパネルに表示されているオブジェクト８０（ここでは、写真）のうちの１つを「囲う」という接触動作を実行したとする。ここでは、ユーザは、写真の中の人物に注目して、この人物を選択することを意図して接触動作を行っている。接触動作は、例えば、接触点が同図の破線の位置を通過するようにｔ０～ｔｎの期間に実行されたとする。

　図５に示す例と同様に、接触情報生成部２１は、ユーザの指の移動の軌跡を含む接触情報を生成する（図７の（ｂ））。そして、オブジェクト特定部２２は、図７の（ｃ）に示すとおり、得られた軌跡によって特定される軌跡領域と、マップ情報とを比較することにより、軌跡領域が重なるオブジェクト８０（ここでは、写真１）を、ユーザが選択したオブジェクトとして特定する。

　続いて、部分選択判定部３４は、図６に示す例と同様に、上記軌跡によって特定された軌跡領域（図７の（ｃ）の斜線の領域）と、オブジェクト特定部２２によって特定されたオブジェクト領域（図７の（ｃ）の写真１の領域）とを比較する。図７の（ｃ）に示す例では、部分選択判定部３４は、オブジェクト領域における、軌跡領域と重なる重畳領域の面積の割合を「２０％」と算出したとする。部分選択判定部３４は、求めた割合「２０％」を、所定の閾値（ここでは、「８０％」）と比較する。そして、部分選択判定部３４は、求めた割合が、閾値未満であることから、図７の（ａ）に示される接触動作によって、オブジェクト８０が部分的に選択されたと判定する。部分選択判定部３４は、この判定結果をオブジェクト特定部２２に返す。

　部分選択判定部３４によってオブジェクトが部分的に選択されたと判定された場合には、次に、オブジェクト特定部２２は、ユーザによって選択された部分オブジェクトを特定する処理を部分オブジェクト特定部３５に実行させる。

　図８は、部分オブジェクト特定部３５の動作を説明する図である。より詳細には、図８の（ａ）は、ユーザが選択したオブジェクトとして特定された写真１の最左上端を原点とする座標系を示す図であり、図８の（ｂ）は、部分オブジェクト特定部３５が、同図の（ａ）に示す座標系に、上記軌跡によって特定される軌跡領域をプロットし、重畳領域を特定する動作を説明する図であり、図８の（ｃ）は、部分オブジェクト特定部３５が、同図の（ｂ）に示す軌跡領域と、特定された写真１の画像データとに基づいて、部分オブジェクトを特定する動作を説明する図である。

　まず、部分オブジェクト特定部３５は、特定されたオブジェクト８０（ここでは写真１）のオブジェクト領域の座標系を生成する。図８の（ａ）に示す例では、部分オブジェクト特定部３５は、オブジェクト領域の最左上端を原点とする座標系を生成する。次に、部分オブジェクト特定部３５は、図８の（ｂ）に示すとおり、上記軌跡によって特定された軌跡領域を上記座標系にプロットし、重畳領域６４を特定する。図８の（ｂ）に示す例では、軌跡領域はオブジェクト領域に完全に包含されるため、部分オブジェクト特定部３５は、軌跡領域を、そのまま重畳領域６４として特定した。しかし、この例に限定されず、軌跡領域は、オブジェクト領域の外の領域を含むことも想定される。この場合は、軌跡領域のうち、オブジェクト領域を重なる領域のみが重畳領域６４として特定される。

　次に、部分オブジェクト特定部３５は、記憶部１９の図示しない画像記憶部から、オブジェクト８０としての写真１の画像データを読み出す。部分オブジェクト特定部３５は、取得した写真１の画像データに重畳領域６４をプロットし、画像データの重畳領域６４の部分（部分画像）が何を表しているのかを特定する。すなわち、部分オブジェクトを特定する。

　具体的には、選択されたオブジェクト（全体）が、写真などの画像データである場合、部分オブジェクト特定部３５は、画像処理技術により、重畳領域６４（部分画像）に写っている内容を特定する。ここで、画像処理技術とは、公知のマッチング技術であり、比較対象の部分画像から得られる特徴量と、既知のモデル画像の特徴量とを照合し、その一致率に基づいて、上記部分画像と上記既知のモデル画像の情報とを紐付けて、部分画像の内容を特定する技術である。例えば、顔検出、人物判定などに応用される技術である。また、光学式文字認識（ＯＣＲ；optical character recognition）の技術も、この画像処理技術に含まれる。

　図１に示すとおり、タブレット端末１００の記憶部１９は、マッチング情報記憶部４６を備えている。マッチング情報記憶部４６は、マッチング情報を記憶するものである。マッチング情報とは、部分画像の内容を特定するために、部分画像と照合するための既知のモデル画像または特徴量である。

　本実施形態では、マッチング情報記憶部４６は、少なくとも、顔認識を実現するために、マッチング情報として、既知の人物の顔画像を記憶している。顔画像には、人物を識別するための識別情報が関連付けられているので、タブレット端末１００において、どの顔画像がどの人物のものであるのかが把握されるようになっている。例えば、マッチング情報記憶部４６は、電話帳データベースを保持していてもよい。電話帳データベースは、人物ごとに、人物名、顔画像、電話番号、住所、メールアドレスなどを対応付けたデータ構造を有している。

　図８の（ｃ）に示す例では、写真１の重畳領域６４には、人物が含まれている。部分オブジェクト特定部３５は、写真１の重畳領域６４の画像を、マッチング情報記憶部４６に記憶されている、既知の人物の顔画像のそれぞれと照合することにより、重畳領域６４に含まれている人物を特定することができる。例えば、部分オブジェクト特定部３５は、人物識別情報「Ａさん」に関連付けられている顔画像と、重畳領域６４の画像とを照合した結果、所定以上の高い一致率が得られた場合には、両者が「一致している」と判断し、写真１の重畳領域６４は、「Ａさん」の画像であると特定する。

　すなわち、部分オブジェクト特定部３５は、図７の（ａ）に示す接触動作によって選択されたオブジェクトは、オブジェクト「写真１」の部分オブジェクト「Ａさん」であると特定する。

　部分オブジェクト特定部３５は、特定した部分オブジェクトの情報をオブジェクト特定部２２に返す。

　オブジェクト特定部２２は、選択されたのがオブジェクト全体である場合には、自身が特定したオブジェクト（ここでは、写真１）の情報を、選択されたのがオブジェクトの一部である場合には、部分オブジェクト特定部３５によって特定された部分オブジェクト（ここでは、Ａさん）の情報を、関連項目抽出部２３に供給する。

　関連項目抽出部２３は、オブジェクト特定部２２によって特定されたオブジェクト、すなわち、ユーザによって選択されたオブジェクトに関連する関連項目を抽出するものである。オブジェクトが選択されたときに、その選択されたオブジェクトに関連性が深い項目が、関連項目抽出部２３によって抽出されることになっている。関連項目抽出部２３は、オブジェクト特定部２２によって特定されたのが、オブジェクトの一部の部分オブジェクトである場合には、ユーザによって選択された部分オブジェクトに関連する関連項目を抽出する。しかし、関連項目抽出部２３は、オブジェクトと部分オブジェクトとの間にある帰属関係を意識する必要はなく、オブジェクト特定部２２から供給された情報が、オブジェクトそれ自体であっても、部分オブジェクトであっても、それらを、並列的に異なる「オブジェクト」として扱えばよい。すなわち、以下の関連項目抽出部２３に係る説明において、「オブジェクト」について説明されていることは、「部分オブジェクト」についても当てはまるし、その逆も同様である。

　関連情報記憶部４２は、オブジェクトと項目との関連性を示す関連情報を記憶するものである。図９および図１０は、関連情報記憶部４２に記憶される関連情報の一例を示す図である。より詳細には、図９に示す関連情報は、オブジェクトそれ自体と関連項目との対応関係を示し、図１０に示す関連情報は、部分オブジェクトと関連項目との対応関係を示している。しかし、上述したとおり、関連項目抽出部２３は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部４２は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図９に示すテーブルと、図１０に示すテーブルとは、１つのテーブルとして構成されていてもよい。

　関連情報は、図９および図１０に示すとおり、「オブジェクト」（または「部分オブジェクト」）ごとに、少なくとも「関連項目」が対応付けられた情報である。関連情報は、この対応付けによって、オブジェクトと項目との関連性を示している。

　例えば、図９に示すとおり、オブジェクトが「写真」などのデータである場合、写真に対しては、「表示する」、「編集する」、「メールに添付して送信する」、「周辺機器（テレビなど）に転送する」、「印刷する」などの動作が実行されることが想定される。そこで、「動作対象」であるオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。

　あるいは、図９に示すとおり、オブジェクトが「写真」などのデータである場合、その写真を特定の人に送ることが想定される。そこで、動作対象であるオブジェクトに対して動作が実行されるときの「動作相手」の関係にあたる項目が関連項目として関連付けられていてもよい。

　あるいは、図９に示すとおり、オブジェクトが複数の写真またはその他のデータを含む「アルバム」または「フォルダ」である場合、そのオブジェクトに含まれる写真またはデータをユーザは所望していると考えられる。このように、オブジェクトの下位層に属する項目が関連項目として関連付けられていてもよい。

　あるいは、図１０に示すとおり、オブジェクト（または部分オブジェクト）が「Ａさん」などの人物を示す情報である場合、Ａさんという人物に対しては、「Ａさんにメールを送信する」、「Ａさんに電話をする」など、「人物」のオブジェクトに対して実行される「動作」の関係にあたる項目がオブジェクトの関連項目として関連付けられていてもよい。

　あるいは、図１０に示すとおり、Ａさんという人物に対しては、「Ａさんの登録情報を表示する」、「Ａさんの登録情報を編集する」、「Ａさんからのメールボックスを表示する」など、「人物」に関連付けられた情報に対して何らかの処理を実行することを定義する項目が、「人物」のオブジェクトの関連項目として抽出されてもよい。

　あるいは、図１０に示すとおり、「Ａに関連付けられた写真」など、「人物」に関連付けられた情報そのものが、「人物」のオブジェクトの関連項目として関連付けられていてもよい。

　関連項目抽出部２３は、オブジェクト特定部２２によってオブジェクトが特定されると、関連情報記憶部４２に記憶されている関連情報（図９および図１０）を参照し、特定されたオブジェクトに関連付けられている項目を関連項目として抽出する。上記構成によれば、写真全体が選択された場合と、写真の中の人物が選択された場合とで、異なる関連項目が抽出される。

　例えば、図５の（ａ）～（ｃ）に示すとおり、オブジェクト特定部２２が、選択されたオブジェクトは「写真１」そのものであると特定したとする。この場合、「写真１」はオブジェクトとしては「写真」に分類されるので、関連項目抽出部２３は、図９に示すとおり、関連情報の中から、オブジェクト「写真」に関連付けられている関連項目群６０を抽出する。

　一方、例えば、図７の（ａ）～（ｃ）および図８の（ａ）～（ｃ）に示すとおり、オブジェクト特定部２２の部分オブジェクト特定部３５が、選択されたオブジェクトは、写真１の中の「Ａさん」という人物であると特定したとする。関連項目抽出部２３は、図１０に示すとおり、関連情報の中から、オブジェクト「Ａさん」に関連付けられている関連項目群６５を抽出する。

　関連項目抽出部２３によって抽出された関連項目の情報は、操作画面処理部２４に供給される。そして、抽出された関連項目は、先に選択されたオブジェクト（または部分オブジェクト）に関連のある項目として、選択可能に（例えば、アイコンで）表示される。

　この構成には限定されないが、本実施形態では、図９および図１０に示すとおり、さらに「関連項目」ごとに、アイコンが割り当てられていてもよい。例えば、図９のオブジェクト「写真」に関連付けられた、関連項目「テレビで表示する（テレビに転送する）」には、アイコン「１：テレビ」が関連付けられている。アイコン「１：テレビ」は、例えば、テレビのイラストなどが描かれたアイコンであって、「写真をテレビに送って表示させること」を想起させる絵柄であることが好ましい。

　また、例えば、図１０のオブジェクト「Ａさん」に関連付けられた関連項目「Ａさんの登録情報を表示する」には、アイコン「１５：アバター」が関連付けられている。アイコン「１５：アバター」は、その人物をイラストで表したアイコンであって、その人物を想起させる絵柄（似顔絵など）であり、人物ごとにあらかじめ用意されている。つまり、オブジェクト「Ａさん」が選択された場合には、関連項目「Ａさんの登録情報を表示する」という動作を象徴する、Ａさんの「１５：アバター」が表示されることになる。

　その他の関連項目についても、その関連項目の内容を想起させる相応しい絵柄のアイコンがそれぞれ割り当てられている。

　このような関連情報に基づいて、関連項目抽出部２３は、抽出した関連項目のそれぞれに対応するアイコン（あるいは、アイコンの識別情報）を、操作画面処理部２４に供給してもよい。これにより操作画面処理部２４は、関連項目抽出部２３によって指定されたアイコンを表示するべく処理を進めることができる。

　なお、本実施形態では、関連情報は、関連項目のそれぞれについて、その関連項目の性質あるいは分類などを示す情報、すなわち、「属性」を保持していてもよい。本実施形態の関連情報は、関連項目の属性の例として、図９に示す「条件」の情報を含んでいてもよい。関連項目の属性「条件」とは、その関連項目のアイコンを表示する条件を示す情報である。属性「条件」に示されている「あれば」という情報は、その関連項目が、「情報を表示する」という動作を意味するものである場合、その情報が存在すれば、アイコン表示を行い、その情報がなければアイコン表示を行わないことを規定するものである。

　具体的には、例えば、図９のオブジェクト「写真」について、関連項目群６０のうち、関連項目「写真の付属情報を表示する」には、「条件」＝「あれば」が関連付けられている。この関連項目は、写真の付属情報が実際に存在する場合だけ、アイコン表示されるのに対し、関連項目群６０の残りの関連項目は、常にアイコン表示される。

　また、例えば、図１０のオブジェクト「Ａさん」について、関連項目群６５のうち、関連項目「Ａさんに関連付けられた写真」には、「条件」＝「あれば（３枚まで）」が関連付けられている。この関連項目は、Ａさんに関連する写真が存在する場合だけ、その写真のサムネイルがアイコン表示される。そして、Ａさんに関連する写真が３枚以上存在する場合でも、アイコン表示されるのは、写真３枚分までに制限されている。このように枚数を制限すれば、表示領域が制限された比較的小型のタブレット端末１００において、膨大な数の関連項目が表示しきれない状態に陥るという不都合を回避することができる。

　なお、関連項目の属性は上記に限定されず、関連情報は、関連項目の性質あるいは分類などを示す情報であれば、あらゆる種類の属性を保持していてもよい。関連項目の属性は、操作画面処理部２４およびその各部によって必要に応じて読み出される。

　操作画面処理部２４は、オブジェクト、および、選択されたオブジェクトに関連する関連項目（のアイコン）を、ユーザに選択可能に表示するための操作画面を生成する処理（操作画面生成処理）を行うものである。

　図１１は、アイコン記憶部４３に記憶されるアイコン画像の具体例を示す図である。図１１に示すとおり、本実施形態では、各アイコン画像は、アイコン識別情報によって識別可能となっている。例えば、「１：テレビ」のアイコン識別情報には、テレビが描かれたアイコン画像が関連付けられている。また、図示していないが、よく通話する知人など、個人情報（上記の登録情報）を表すアイコンとして、その人の似顔絵やアバターの画像が用いられてもよい。

　操作画面処理部２４は、関連項目抽出部２３によって抽出された関連項目に割り当てられたアイコン画像を、アイコン記憶部４３から読み出して、これらが適切な位置および適切なタイミングで表示されるように操作画面を生成し、図示しない表示制御部を介して、表示部１２に出力する。

　具体的には、本実施形態では、操作画面処理部２４は、接触動作「囲う」によって選択されたオブジェクトに関連する関連項目のアイコンを、その選択されたオブジェクトの周囲に表示させる機能を有していることが好ましいが、この機能は本発明のタブレット端末１００において必須の機能ではない。

　図１２は、操作画面処理部２４の処理内容を説明する図である。より詳細には、図１２の（ａ）は、操作画面処理部２４によって実行された、オブジェクトの表示処理の一例を説明する図であり、図１２の（ｂ）は、操作画面処理部２４によって実行された、関連項目のアイコン配置の一例を示す図である。

　本実施形態では、操作画面処理部２４は、まず、図１２の（ａ）に示すとおり、先の「囲う」の接触動作によって選択されたオブジェクト８０を、中央に配置しなおす。次に、図１２の（ｂ）に示すとおり、操作画面処理部２４は、抽出された関連項目の各アイコンをオブジェクト８０の周囲に環形状によって均等に配置する。図１２の（ｂ）は、関連項目が８個抽出された場合に、操作画面処理部２４が、楕円の環の輪郭線に沿って、８個のアイコンを均等に配置した例を示している。ここで、アイコンの配置位置を示す基準の「環」の形状について、これを楕円としたことは単なる一例であって、本発明の環の形状を限定する意図は無い。また、「環」とは、必ずしも曲線からなる形状を意味しない。例えば、操作画面処理部２４は、環の形状を、円形、正方形、長方形、その他多角形で定義してもよいし、複雑な形状、いびつな形状、幾何学的でない形状であっても、内と外とを分離するような輪郭線を有している図形が環として定義される。また、「環」は、必ずしも閉曲線を意味しない。環の輪郭線の始点と終点が完全に一致しない場合であっても、内と外とを大方分離するような輪郭線を有している図形が環として定義されてもよい。操作画面処理部２４は、そのようにして定義されたあらゆる形状の環の輪郭線上にアイコンを配置する。

　なお、図１２の（ｂ）に示す、環の輪郭線を示す破線は、タブレット端末１００が内部に情報として保持している環の形状であって、実際には、表示部１２に表示されなくてもよい。これより以降に示す各図における環の輪郭線を示す破線も同様、実際には、表示部１２に表示されなくてもよい。

　なお、アイコンを配置する順番は、本実施形態では特に限定されないが、例えば、関連項目抽出部２３によって抽出された順に、オブジェクト８０の真上から時計回りに配置することなどが考えられる。

　図１３は、操作画面処理部２４が実行した操作画面生成処理の結果、得られた操作画面の具体例を示す図である。図１３に示す例は、図５と同様に、オブジェクト８０（オブジェクト「写真１」）が囲われたことに対して得られた操作画面の具体例である。

　関連項目抽出部２３は、図９に示す関連情報を参照し、写真のオブジェクトに関連付けられたアイコン識別情報、すなわち、「１：テレビ」、「２：プリンタ」、「３：メール」、「４：写真表示」、「５：情報表示」、「６：パレット」、「７：ゴミ箱」、および、「８：メモリカード」を抽出する。

　操作画面処理部２４は、関連項目抽出部２３によって抽出されたアイコン識別情報に基づいて、図１１に示すとおり、アイコン記憶部４３から、対応するアイコン画像を読み出す。そして、選択されたオブジェクト８０を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。

　なお、上述の説明では、操作画面処理部２４が、オブジェクト８０を中央に配置する処理を行う構成としたが、これは必須の構成ではない。しかし、本実施形態では、操作画面処理部２４は、オブジェクト８０の関連項目のアイコンを、オブジェクト８０の周囲に配置するため、周囲にアイコンを配置するためのスペースをできるだけ広く均等に確保するという観点から、オブジェクト８０を中央に配置することが好ましい。

　図１４は、操作画面処理部２４が実行した操作画面生成処理の結果、得られた操作画面の他の具体例を示す図である。図１４に示す例は、図７と同様に、オブジェクト８０の一部（「写真１」に写っている「Ａさん」）が囲われたことに対して得られた操作画面の具体例である。

　関連項目抽出部２３は、図１０に示す関連情報を参照し、「Ａさん」という人物のオブジェクトに関連付けられたアイコン識別情報、すなわち、「３：メール」、「１７：電話」、「１５：（Ａさんの）アバター」、「１９：鉛筆」、および、「２０：ポスト」を抽出する。さらに、Ａさんに関連付けられた写真が、例えば、２枚存在する（つまり、図示しない画像記憶部にＡさんの写真が２枚記憶されている）場合には、関連項目抽出部２３は、その２枚の写真のサムネイルを特定するためのアイコン識別情報「１６：（１枚目の写真の）サムネイル」および「１６：（２枚目の写真の）サムネイル」を抽出する。

　操作画面処理部２４は、関連項目抽出部２３によって抽出されたアイコン識別情報に基づいて、図１１に示すアイコン記憶部４３から、対応するアイコン画像を読み出す。なお、写真のサムネイルが、上記画像記憶部に記憶されている場合には、操作画面処理部２４は、サムネイルについては、上記画像記憶部から読み出す。そして、選択されたオブジェクト８０を中央に配置するとともに、その周囲に読み出したアイコン画像を配置する。

　なお、本実施形態では、操作画面処理部２４は、環の中央に、かならず、選択されたオブジェクト８０（ここでは、写真１）を配置する構成であってもよい。しかし、このような構成に限定されず、操作画面処理部２４は、部分オブジェクト特定部３５によって部分オブジェクトが特定された場合には、オブジェクトの中の選択された部分だけを拡大した部分オブジェクト８０’を中央に配置する構成であってもよい。例えば、操作画面処理部２４は、図８の（ｃ）に示す重畳領域６４または重畳領域６４の外接矩形の領域に含まれる写真１の一部の領域をトリミングおよび拡大して、オブジェクト８０（写真１）そのものの代わりに、部分オブジェクト８０’として中央に配置してもよい。

　上述のようにして操作画面処理部２４によって操作画面が生成された結果、図１４に示すとおり、部分オブジェクト８０’の周囲に、時計回りに、「３：メール」、「１７：電話」、「１５：（Ａさんの）アバター」、「１９：鉛筆」、「１６：（１枚目の写真の）サムネイル」、「１６：（２枚目の写真の）サムネイル」、および、「２０：ポスト」のアイコン画像が表示部１２に表示される。

　本発明のタブレット端末１００によれば、ユーザが接触動作によって、写真全体を囲った場合と写真の一部を囲った場合とで、異なる最終結果物（図１３に示す操作画面および図１４に示す操作画面）を、ユーザに提供することができる。

　〔操作画面表示フロー〕
　次に、タブレット端末１００が操作画面表示機能を実行したときの処理の流れについて説明する。図１５は、タブレット端末１００による操作画面表示処理の流れを示すフローチャートである。

　入力部１１によって、タッチパネルのタッチ面に指示体（ユーザの指など）が接触したことが検知されると（Ｓ１０１においてＹＥＳ）、接触情報生成部２１は、そのとき（ｔ＝ｔ０）から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する（Ｓ１０２）。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される（Ｓ１０３においてＮＯ）。入力部１１において、接触が非検知になると（Ｓ１０３においてＹＥＳ）、接触情報生成部２１は、ｔ＝ｔ０からこのとき（ｔ＝ｔｎ）までの間取得した接触座標情報を少なくとも含む接触情報を生成する（Ｓ１０４）。上記接触情報には、必要に応じて接触時間情報が含まれていてもよい。オブジェクトを選択する接触動作が×印を「チェックする」などである場合、すなわち、１つの接触動作において、極めて短い時間、一時的に、非接触が生じるような場合には、短い時間に一時的に接触が検知されなくても接触動作は終わっていないとして追尾が継続されるように接触情報生成部２１を構成すればよい。

　オブジェクト特定部２２は、Ｓ１０４において生成された接触情報（例えば、図５の（ｂ）または図７の（ｂ））と、フレームマップ記憶部４１に記憶されているマップ情報（例えば、図５の（ｃ）または図７の（ｃ））とを比較して、ユーザが接触した軌跡が存在する領域に重なるオブジェクトを選択されたオブジェクトとして特定する（Ｓ１０５）。図５の（ｃ）または図７の（ｃ）に示す例では、「写真１」というオブジェクト８０を特定する。

　続いて、部分選択判定部３４は、選択されたのが、Ｓ１０５において特定されたオブジェクトそれ自体であるのか、該オブジェクトの一部であるのかを判定する。具体的には、部分選択判定部３４は、Ｓ１０４にて取得された軌跡によって特定された軌跡領域（例えば、図６の（ａ）の軌跡領域６１）と、Ｓ１０５にて特定されたオブジェクト８０のオブジェクト領域（例えば、図６の（ａ）のオブジェクト領域６２）とを比較して、両方の領域が重なる重畳領域（例えば、図６の（ｂ）の重畳領域６３）を特定する。

　部分選択判定部３４は、オブジェクト領域において、軌跡領域と重なる重畳領域の割合が所定閾値（例えば、８０％など）以上である場合には（Ｓ１０６においてＹＥＳ）、Ｓ１０５にて特定されたオブジェクトそのものが選択されたと判定する（Ｓ１０７）。そして、オブジェクト特定部２２は、Ｓ１０５にて特定されたオブジェクトの情報を関連項目抽出部２３に供給する。

　一方、部分選択判定部３４は、オブジェクト領域において、上記重畳領域の割合が所定閾値未満である場合には（Ｓ１０６においてＮＯ）、オブジェクト全体ではなく、その一部が部分的に選択されたと判定する（Ｓ１０８）。

　この場合、続いて、部分オブジェクト特定部３５が、選択された部分オブジェクトを特定する（Ｓ１０９）。具体的には、部分オブジェクト特定部３５は、Ｓ１０５において特定されたオブジェクトと軌跡領域とが重なる重畳領域（例えば、図８の（ｂ）、（ｃ）の重畳領域６４）を取得する。そして、上記オブジェクト（写真１）の画像データを読み出して、この画像データの上記重畳領域の部分を、マッチング情報記憶部４６に記憶されている既知のモデルと照合する。部分オブジェクト特定部３５は、照合の結果、一致したモデルの情報を、上記画像データの上記重畳領域の部分に紐付けることにより、上記部分が何であるのかを特定する。すなわち、部分オブジェクトを特定する。部分オブジェクト特定部３５は、この結果をオブジェクト特定部２２に返し、オブジェクト特定部２２は、Ｓ１０９にて特定された部分オブジェクトの情報を関連項目抽出部２３に供給する。

　関連項目抽出部２３は、Ｓ１０５において特定されたオブジェクト（またはＳ１０９において特定された部分オブジェクト）に基づいて、関連情報記憶部４２の関連情報（例えば、図９および図１０）を参照して、特定されたオブジェクトの関連項目を抽出する（Ｓ１１０）。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。

　操作画面処理部２４は、Ｓ１１０において抽出された関連項目のアイコン画像を、アイコン記憶部４３（例えば、図１１）から取得する。そして、取得したアイコン画像を、Ｓ１０５において特定されたオブジェクトの周囲に配置して操作画面を生成する（Ｓ１１１）。例えば、Ｓ１０１～Ｓ１０４において得られた軌跡が、接触動作「囲う」を指している場合には、操作画面処理部２４は、上記オブジェクトを中央に配置して、その周囲に各アイコンを環形状に配置することが好ましい（図１２の（ａ）および（ｂ））。

　以上のようにして生成された操作画面の映像信号は、表示部１２に出力される。図１３または図１４に示すように、上記操作画面は、タブレット端末１００の表示部１２に表示される。本実施形態のタブレット端末１００によれば、オブジェクトが写真であって、ユーザが写真を大きく囲ったことにより、写真そのものが選択されたと判定された場合には、図１３に示すように、オブジェクト「写真」に関連する関連項目のアイコンがオブジェクトの周囲に配置される。一方、ユーザが写真の中の関心がある部分を小さく囲ったことにより、写真の中の一部が選択されたと判定された場合には、部分的に選択されたものつまり部分オブジェクトが何であるのかが、まず特定される。そして、部分オブジェクトが「Ａさん」という人物である場合、図１４に示すように、部分オブジェクト「Ａさん」に関連する関連項目のアイコンがオブジェクト（または、部分オブジェクト）の周囲に配置される。

　本発明の上記構成および方法によれば、オブジェクトを選択するためのユーザの１つの接触動作に対して、タブレット端末１００は、選択されたオブジェクトに関連する関連項目のアイコンを選択可能に表示するという最終結果物を出力することができる。さらに、タブレット端末１００は、上記オブジェクトについて、それ全体が選択されたのか、その一部が選択されたのかを判別し、その判別結果に応じて、異なる最終結果物を出力することができる。

　具体的には、タブレット端末１００は、オブジェクトを表示部１２に選択可能に表示し、ユーザによって実行された、上記オブジェクトを選択するための接触動作を受け付ける。タブレット端末１００は、受け付けた接触動作の移動の軌跡によって特定される軌跡領域の大きさに基づいて、上記オブジェクト自体が選択されたのか、上記オブジェクトの一部が選択されたのかを判定する。

　そして、タブレット端末１００は、オブジェクト自体が選択された場合の最終結果物、および、オブジェクトの一部が選択された場合の最終結果物のうちのいずれかを、上記の判定結果に応じて、出力する。

　このように、タブレット端末１００は、オブジェクトを選択するためのユーザの接触動作を受け付けるとき、オブジェクトを１つ提示するだけで、そのオブジェクトそのものを選択することも、そのオブジェクトを部分的に選択することも、両方可能なように、該オブジェクトを表示部１２に表示することができる。つまり、オブジェクト選択用の画像と、部分オブジェクト選択用の画像とを別々に提示せずに、１つのオブジェクトを表す１つの画像を提示し、それをユーザに選択させるだけで、上述の２種類の選択を判別して受け付けることができる。このため、ユーザは、オブジェクト自体を選択するための画像（操作画面）と、オブジェクトの一部を選択するための画像（操作画面）とを、意図に合わせて別々に表示させて選択する必要がなくなる。よって、タブレット端末１００は、ユーザに対して、シンプルで分かり易い操作画面を提示することができる。

　なおかつ、タブレット端末１００は、軌跡領域の大きさに基づいて、２種類の選択動作の判別を行っている。つまり、タブレット端末１００は、オブジェクト自体を選択するための動作と、オブジェクトの一部を選択するための動作の２つの動作に対して、それぞれ異なる種類のジェスチャを割り当てなくても、１つの同じ種類のジェスチャを割り当てるだけで済む。例えば、オブジェクト自体を選択する動作も、部分オブジェクトを選択する動作も、「円で囲う」というジェスチャで統一されたり、「×印でチェックする」というジェスチャで統一されたり、「レ点でチェックする」というジェスチャで統一されたりしているという具合である。これにより、ユーザは、オブジェクト自体を選択するための動作と、オブジェクトを部分的に選択するための動作とのそれぞれに対して、異なるジェスチャを学習する必要がない。また、選択する対象が全部であれ、一部であれ、「何かを選択する」という１種類の動作に対しては、１種類のジェスチャが割り当てられていることがユーザにとって自然であり、直感的に理解されやすい。

　さらに、２種類の選択動作の判別は、軌跡領域の大きさに基づいて実行される。すなわち、オブジェクト全体に亘って接触動作が実行されれば、オブジェクトそのものが選択されたと判別され、オブジェクト上で局所的に接触動作が実行されれば、オブジェクトの一部が選択されたと判別される。このように、ユーザが関心を持っている範囲と、接触動作が実行される範囲とを対応させることができるため、ユーザにとって自然であり、直感的に理解されやすい。

　したがって、タブレット端末１００は、ユーザに対して、煩雑な操作を要求することなく、ユーザの直感に反しない自然な接触動作を行わせることが可能なユーザインターフェースを実現することができる。

　以上のことから、タブレット端末１００は、オブジェクトを選択可能に表示するとともに、オブジェクトを部分的に選択することも可能にすることによって、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末１００において、優れた操作性を実現することが可能になるという効果を奏する。

　（変形例－オブジェクトが地図データである場合）
　上述の説明では、オブジェクトが写真（画像データ）である場合を例に挙げて、タブレット端末１００の動作を明らかにした。次に、オブジェクトが地図データ（画像データ）である場合を例に挙げて、タブレット端末１００の動作を説明する。なお、本変形例において、本発明のタブレット端末１００が扱う上記地図データは、画像データそのものであってもよいし、地図上の場所ごとに関連付けられた様々な付加情報を含んだ、画像データと付加データとの複合データであってもよい。

　図１６は、ユーザが目的のオブジェクトを選択するためにオブジェクトを「囲う」という接触動作を行ったことを示す図である。より詳細には、ユーザが、オブジェクト「地図データ」それ自体を「囲う」という接触動作を実施した様子を示す図である。

　ユーザは、オブジェクト「地図データ」（ここでは、なんば周辺の地図）それ自体に対して、何らかの処理を実行したいと希望する場合には、図１６に示すとおり、地図データ９３の全体を囲う接触動作を行う。

　オブジェクト特定部２２は、図１６に示す接触動作の軌跡に基づいて、なんば周辺の地図データ９３が選択されたと判断する。そして、図１６に示すケースでは、部分選択判定部３４は、実施形態１で説明した手順と同様に、地図データ９３のほとんどの領域（例えば、８０％以上）が囲われていることから、上記接触動作によって、地図データ９３自体が囲われたと判定する。

　この場合、関連項目抽出部２３は、関連情報記憶部４２に記憶されている関連情報（例えば、図９）を参照し、オブジェクト「地図データ」に関連付けられている関連項目群６７を抽出する。

　操作画面処理部２４は、関連項目抽出部２３によって抽出された関連項目群６７のアイコン画像をそれぞれアイコン記憶部４３から読み出し、これを、先に選択されたオブジェクト、地図データ９３の周囲に環状に配置し、操作画面を生成する。操作画面処理部２４によって生成された操作画面は、タブレット端末１００の表示部１２に表示される。

　図１７は、図１６に示す接触動作に応じて、操作画面処理部２４によって生成された操作画面の具体例を示す図である。

　図９に示すとおり、地図データ９３に関連する関連項目のアイコンとしては、「１：テレビ」、「２：プリンタ」、「３：メール」、「１３：Ｗｅｂブラウザアプリ」、および、「８：メモリカード」のアイコンが取得される。そして、図１７に示すとおり、これらのアイコンが選択された地図データ９３の周囲に環状に表示される。

　図１８は、ユーザが、オブジェクト「地図データ」の中の部分オブジェクト「文字列」（ここでは、『なんば』の文字）を「囲う」という接触動作を実施した様子を示す図である。

　図１６に示した例とは反対に、ユーザが、オブジェクトである地図データ９３に示される内容の一部（ここでは、「なんば」という地名）に関心があって、この「なんば」という地名をキーワードとして何らかの処理を実行したいと希望する場合には、図１８に示すとおり、地図データ９３のうちの、「なんば」という文字列の部分を局所的に囲う接触動作を行う。

　オブジェクト特定部２２は、図１８に示す接触動作の軌跡に基づいて、なんば周辺の地図データ９３が選択されたと判断する。そして、図１８に示すケースでは、部分選択判定部３４は、実施形態１で説明した手順と同様に、地図データ９３の一部の領域（例えば、８０％未満）が局所的に囲われていることから、上記接触動作によって、地図データ９３が部分的に囲われたと判定する。

　この場合、部分オブジェクト特定部３５は、マッチング情報記憶部４６を参照し、マッチング情報記憶部４６に記憶されている既知のモデルの特徴量と、地図データ９３の中の囲われた領域の特徴量とを比較して、囲われた領域が何であるのかを特定する。本変形例では、マッチング情報記憶部４６には、マッチング情報として、文字ごとの特徴量が予め格納されており、部分オブジェクト特定部３５は、公知の文字認識の機能を実行して、囲われた領域の文字列を認識することができる。図１８に示す例では、部分オブジェクト特定部３５は、文字列「なんば」を認識する。そして、このようにして地図データから認識した文字列、すなわち、「住所・地名文字列（なんば）」を、選択された部分オブジェクトとして特定する。

　なお、上述したように、タブレット端末１００が扱う地図データが画像データだけではなく、場所ごとに付加データ（例えば、地名データなど）が埋め込まれた複合データである場合には、部分オブジェクト特定部３５は、特徴量の比較を行わずとも、軌跡に基づいて選択された領域に対応する場所を特定し、その場所に埋め込まれている地名データを読み出して、文字列「なんば」を認識してもよい。

　本変形例では、図９に示す関連情報に加えて、図１９に示す関連情報が、関連情報記憶部４２に記憶されている。図１９に示すとおり、部分オブジェクト「住所・地名文字列（○○○）」に対応づけて、５つの関連項目（関連項目群６８）が関連付けられている。

　なお、実施形態１と同様に、関連項目抽出部２３は、オブジェクトそれ自体と、部分オブジェクトとを、並列的に、別個のオブジェクトとして扱うので、関連情報記憶部４２は、オブジェクトと部分オブジェクトとに分けて関連情報を保持していなくてもよい。つまり、図９に示すテーブルと、図１０に示すテーブルと、図１９に示すテーブルとは、１つのテーブルとして構成されていてもよい。

　図１８に示すケースでは、関連項目抽出部２３は、関連情報記憶部４２に記憶されている関連情報（例えば、図９および図１９）を参照し、部分オブジェクト「住所・地名文字列」に関連付けられている関連項目群６８を抽出する。

　操作画面処理部２４は、関連項目抽出部２３によって抽出された関連項目群６８のアイコン画像をそれぞれアイコン記憶部４３から読み出し、これを、先に選択された地図データ９３の周囲に環状に配置し、操作画面を生成する。操作画面処理部２４によって生成された操作画面は、タブレット端末１００の表示部１２に表示される。

　図２０は、図１８に示す接触動作に応じて、操作画面処理部２４によって生成された操作画面の具体例を示す図である。

　図１９に示すとおり、地図データ９３の一部である地名文字列に関連する関連項目のアイコンとしては、「２１：郵便マーク」、「１３：Ｗｅｂブラウザアプリ」および「２２：電車」が、操作画面処理部２４によって、少なくとも取得される。そして、「なんば」付近で撮影されたとして、認識された地名「なんば」と関連付けられた写真が、画像記憶部に記憶されていれば、操作画面処理部２４は、上限４枚まで、その写真の「１６：サムネイル」を取得する。さらに、「なんば」付近に住んでいるとして、認識された地名「なんば」を含む住所情報が登録された人物が予め電話帳データベースに登録されていれば、操作画面処理部２４は、その人物の「１５：アバター」を取得する。

　そして、図２０に示すとおり、これらの取得されたアイコンが、選択されたオブジェクトの周囲に環状に表示される。なお、操作画面処理部２４は、中央に配置するオブジェクトを、加工されていない地図データ９３としてもよいが、図２０に示すとおり、地図データ９３から局所的に囲われた部分をトリミングして、部分オブジェクト、具体的には、部分地図データ９３’を生成し、これを中央に配置してもよい。

　なお、図１９に示す、部分オブジェクトの「○○○」の部分には、住所・地名文字列が認識された後に、操作画面処理部２４によって、実際に認識された住所・地名文字列が埋め込まれる。ここでは、「なんば」の文字列が認識されたので、操作画面処理部２４は、例えば、アイコン「２１：郵便マーク」を、関連項目「なんばの郵便番号を表示する」と紐付けて操作画面に配置する。これにより、ユーザによって、次に、アイコン「２１：郵便マーク」が選択された場合には、タブレット端末１００は、「なんばの郵便番号を表示する」という動作を行うべきであると理解することができる。

　また、例えば、図２０に示すアイコン９４は、関連項目「なんば付近で撮影した写真」に紐付けられた、該当する写真のサムネイルを示す。アイコン９５は、関連項目「なんば周辺に住む友達の登録情報を表示する」に紐付けられた、該当する人物のアバターを示す。アイコン９６は、関連項目「なんばの最寄り駅情報を表示する」に紐付けられた、該当するアプリのアイコン（電車の画像）を示す。

　上記構成によれば、タブレット端末１００は、地図データ全体が囲われたときには、地図データを１つの画像データとして取り扱うような動作を関連項目として抽出し、アイコン表示する一方、地図データの一部（住所・地名など）が囲われたときには、その地図データの中身が指している場所に関する関連項目を抽出し、アイコン表示することができる。

　≪実施形態２≫
　本発明の情報処理装置に関する他の実施形態について、図２１～図２４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、実施形態１と重複する内容については説明を省略する。

　上述の実施形態１では、タブレット端末１００は、オブジェクト全体のオブジェクト領域と、囲う接触動作によって定義される軌跡領域とが重なる重畳領域を特定し、オブジェクト領域における重畳領域が所定範囲（閾値）以上か否かによって、上記オブジェクトそのものが選択されたのか、オブジェクトの一部が選択されたのかを判定する構成であった。

　しかしながら、例えば、オブジェクトの大部分の領域を特定の部分オブジェクトが占めているようなオブジェクトが選択可能に表示部１２に表示された場合、以下の不都合が生じる場合がある。すなわち、部分オブジェクトがオブジェクトの大部分を占めている場合には、オブジェクト全体が囲われたときの重畳領域の面積と、部分オブジェクトが囲われたときの面積とは大差がない。そのため、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを、重畳領域の面積だけに基づいて、常に正確に判定することが難しくなる。

　より具体的には、例えば、図２１の（ａ）に示すような、写真の大部分の領域を特定の被写体（人物）が占めているような写真が選択可能に表示部１２に表示されたとする。ここで、ユーザは、その写真に写っている人物に関心があって、図２１の（ａ）に示す破線のとおりにその人物を選択するための接触動作を行ったとする。

　この場合、オブジェクト特定部２２の部分選択判定部３４は、図２１の（ｂ）に示すとおり、オブジェクト領域６２と、重畳領域６４とを特定することになる。そして、実施形態１で説明した手順に従えば、部分選択判定部３４は、オブジェクト領域６２において重畳領域６４が８０％以上を占めていることから、上記接触動作が、オブジェクト全体を選択したものであると判定してしまう。結果として、ユーザの意図とは異なる判定がなされるという不都合が生じる。

　本実施形態では、このような不都合を解消するために、タブレット端末１００の部分選択判定部３４が、同種の接触動作について、それが生じた範囲を参照するだけでなく、同種の接触動作が行われた繰返し回数を参照することにより、上記の判定を、ユーザの意図どおりにより正確に判定する構成である。

　〔タブレット端末の機能〕
　図２２は、本実施形態におけるタブレット端末１００の要部構成を示す機能ブロック図である。

　本実施形態にかかるタブレット端末１００は、実施形態１のタブレット端末１００（図１）と比較して、さらに、制御部１０が、機能ブロックとして、ジェスチャ判定部２５を備えている構成である。

　ジェスチャ判定部２５は、入力部１１に対して行われた接触動作について、それが何のジェスチャであるのかを判定するものである。本実施形態では、特に、ジェスチャ判定部２５は、同種のジェスチャについて、それが何回繰り返されたのか、その繰返し回数を判定するものである。

　より具体的には、ジェスチャ判定部２５は、接触情報生成部２１によって生成された接触情報（軌跡）に基づいて、接触動作「囲う」が何回繰り返されたのかを判定する。例えば、指示体（指）が、あるオブジェクトの周囲を２周した場合、軌跡領域がほぼ一緒の２重の円の軌跡が得られる。この場合、ジェスチャ判定部２５は、接触動作「囲う」が２回繰り返されたと判定する。

　本実施形態では、一例として、ジェスチャ判定部２５は、指示体がオブジェクトの周囲を何周しても、一律「２周以上」と判定して、「１周」と判別する構成とするが、これに限定されず、ジェスチャ判定部２５は、指示体が回った回数に応じて、「ｎ周」と判定する構成であってもよい。

　ジェスチャ判定部２５は、判定結果、すなわち、検出された接触動作が、「１周囲う」であったのか「２周以上囲う」であったのかを示す情報、または、「何周囲う」であったかを示す情報（以下では、「繰返し回数情報」と称する）を生成し、これをオブジェクト特定部２２に供給する。

　なお、入力部１１に対して行われる接触動作（ジェスチャ）が「囲う」以外にも様々な種類が想定されている場合には、タブレット端末１００は、「囲う」のジェスチャなのか、あるいは、別のどの種類のジェスチャなのかを判別する必要がある。そこで、ジェスチャ判定部２５は、「囲う」以外の他の種類のジェスチャを判定することができるものであってもよい。例えば、ジェスチャ判定部２５は、「タップ」、「フリック」、「ピンチ」、「ドラッグ」、「囲う」などのジェスチャを判別することができる。

　以上のジェスチャを判別するアルゴリズムは、公知の技術を適宜採用することができる。

　本実施形態では、部分選択判定部３４は、選択された領域の面積に加えて、さらに、ジェスチャ判定部２５から供給された繰返し回数情報にしたがって、オブジェクト全体が選択されたのか、オブジェクトの一部が選択されたのかを判定する。

　具体的には、まず、実施形態１と同様に、部分選択判定部３４は、特定されたオブジェクトのオブジェクト領域と、指示体の移動の軌跡によって特定される軌跡領域とが重なる重畳領域を求める。そして、部分選択判定部３４は、オブジェクト領域において重畳領域が占める割合が所定閾値（例えば、８０％）未満の場合には、部分オブジェクトが選択されたと判定する。この場合は、実施形態１と同様に、部分オブジェクト特定部３５によって部分オブジェクトが特定される。

　一方、上記重畳領域の割合が所定閾値（例えば、８０％）以上の場合には、本実施形態では、部分選択判定部３４は、オブジェクト全体が選択されたとただちに判定しない。次に、部分選択判定部３４は、ジェスチャ判定部２５から供給された繰返し回数情報に基づいて、オブジェクト自体が選択されたのか、部分オブジェクトが選択されたのか判定する。

　すなわち、繰返し回数情報が「１周囲う」を示している場合、部分選択判定部３４は、ユーザの接触動作によってオブジェクト全体が囲われたと判定する。反対に、繰返し回数情報が、「２周以上囲う」を示している場合、部分選択判定部３４は、上記接触動作によってオブジェクトが部分的に囲われたと判定する。また、この場合は、実施形態１と同様に、部分オブジェクト特定部３５によって部分オブジェクトが特定される。

　上記構成によれば、上述した不都合を解消することができる。すなわち、部分選択判定部３４は、オブジェクト領域の大部分が囲われた場合でも、その接触動作が、同種のジェスチャを複数回繰り返すような動作である場合には、部分オブジェクトが選択されたと判定することができる。

　したがって、例えば、図２１の（ａ）に示す、写真の大部分の領域を特定の被写体（例えば、人物；Ａさん）が占めているような写真において、ユーザが、写真そのものではなく、写真に写っている人物（Ａさん）を選択したいという意図を持っている場合、ユーザは、そのことを強調する感覚で、自分を選択する動作を複数回繰り返せばよい。例えば、図２３の（ａ）に示すとおり、「囲う」を繰り返して、写真に写っている人物を二重に囲えばよい。ジェスチャ判定部２５は、このユーザの接触動作を、図２３の（ａ）に示す軌跡（破線）に基づいて、「２周以上囲う」であると判定する。

　ここで、実施形態１では、重畳領域６４の面積に基づいて、部分選択判定部３４は、オブジェクト全体が選択されたと判定するところを、本実施形態では、部分選択判定部３４は、繰返し回数情報（ここでは、「２周以上囲う」）に基づいて、重畳領域６４が局所的に選択されたと判定することができる。なお、二重の軌跡である場合、部分選択判定部３４は、例えば、図２３の（ｂ）に示すとおり、二重の軌跡の最も外側の線によって囲われる領域を軌跡領域６１と特定し、重畳領域６４を特定してもよい。図２３の（ａ）および（ｂ）の例では、軌跡領域６１はそのまま重畳領域６４となる。

　そして、部分オブジェクト特定部３５が、重畳領域６４の中身に基づいて部分オブジェクトを特定する。すなわち、上記接触動作によって選択された部分オブジェクトは、人物のオブジェクト「Ａさん」であると特定する。

　これにより、操作画面処理部２４は、ユーザの意図どおりに、オブジェクト「Ａさん」に関連する関連項目のアイコンを配置した操作画面を生成し、表示部１２に表示することができる。

　このとおり、タブレット端末１００は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、写真の中の一部に特に関心がある場合には、特にその一部に興味があるということを示すように、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、オブジェクトの大部分であるが、そのオブジェクトの一部だけを選択する場合に、元々オブジェクトを選択するために割り当てられたジェスチャ（例えば、「囲う」）を２回以上繰り返すということは、ユーザに特別な学習を強いることなく、ユーザにとって自然に理解できる操作方法であると言える。

　以上のことから、本実施形態のタブレット端末１００は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末１００において、優れた操作性を実現することが可能になるという効果を奏する。

　〔操作画面表示フロー〕
　図２４は、本実施形態におけるタブレット端末１００による操作画面表示処理の流れを示すフローチャートである。

　入力部１１によって、タッチパネルのタッチ面に指示体（ユーザの指など）が接触したことが検知されると（Ｓ２０１においてＹＥＳ）、接触情報生成部２１は、そのとき（ｔ＝ｔ０）から、指の接触位置を示す接触座標情報の取得を開始し、これを経時的に取得する（Ｓ２０２）。この接触位置の追尾は、タッチ面と指との間の接触が検知されなくなるまで継続される（Ｓ２０３においてＮＯ）。入力部１１において、接触が非検知になると（Ｓ２０３においてＹＥＳ）、接触情報生成部２１は、ｔ＝ｔ０からこのとき（ｔ＝ｔｎ）までの間取得した軌跡を少なくとも含む接触情報を生成する（Ｓ２０４）。

　ここで、ジェスチャ判定部２５が、接触情報に基づいてこの接触動作のジェスチャを判定してもよい。例えば、ジェスチャ判定部２５は、判定したジェスチャが「囲う」でなければ、判定したそれ以外のジェスチャに応じた処理の実行を、制御部１０の各部に指示してもよい。この場合、その各部によって、判定されたジェスチャに応じた処理が実行されることになる。

　ジェスチャ判定部２５は、上記軌跡に基づいて、接触動作が同じ「囲う」であっても、さらに詳細に、「１周囲う」であるのか、「２周以上囲う」であるのかを判定する（Ｓ２０５）。一方、オブジェクト特定部２２は、上記軌跡と、フレームマップ記憶部４１に記憶されているマップ情報（例えば、図５の（ｃ）または図７の（ｃ））とを比較して、ユーザによって囲われた領域に重なるオブジェクトを選択されたオブジェクトとして特定する（Ｓ２０６）。図７の（ｃ）に示す例では、「写真１」というオブジェクト８０を特定する。なお、Ｓ２０５およびＳ２０６の各ステップは、いずれの順番で実行されてもよいし、並列的に実行されてもよい。

　続いて、オブジェクト特定部２２の部分選択判定部３４は、Ｓ２０６で特定されたオブジェクトのオブジェクト領域と、上記軌跡によって特定された軌跡領域とが重なる重畳領域を特定する。そして、部分選択判定部３４は、オブジェクト領域における、重畳領域の割合が、所定閾値（例えば、８０％）以上か、未満かを判定する（Ｓ２０７）。

　ここで、重畳領域の割合が所定閾値未満である場合（Ｓ２０７においてＹＥＳ）、部分選択判定部３４は、上記オブジェクト（例えば、写真１）は、部分的に選択されたと判定する（Ｓ２０８）。

　一方、上記重畳領域の割合が所定閾値以上である場合（Ｓ２０７においてＮＯ）、続いて、部分選択判定部３４は、Ｓ２０５におけるジェスチャ判定部２５の判定結果を参照する。判定結果、すなわち、繰返し回数情報が、「１周囲う」を示す場合には（Ｓ２１０においてＮＯ）、部分選択判定部３４は、上記オブジェクトそれ自体が選択されたと判定する（Ｓ２１１）。一方、繰返し回数情報が、「２周以上囲う」を示す場合には（Ｓ２１０においてＹＥＳ）、部分選択判定部３４は、上記オブジェクトは、部分的に選択されたと判定する（Ｓ２０８）。

　Ｓ２０８において、部分オブジェクトが選択されたと判定された場合には、続いて、部分オブジェクト特定部３５が、上記接触動作によって囲われた部分オブジェクトを特定し（Ｓ２０９）、特定した情報を関連項目抽出部２３に供給する。なお、Ｓ２１１において、オブジェクト自体が選択されたと判定された場合には、Ｓ２０６にて特定されたオブジェクト自体の情報が関連項目抽出部２３に供給される。

　関連項目抽出部２３は、Ｓ２０６またはＳ２０９において特定されたオブジェクト（部分オブジェクトも含む）に基づいて、関連情報記憶部４２の関連情報（例えば、図９、図１０および図１９など）を参照して、特定されたオブジェクトの関連項目を抽出する（Ｓ２１２）。あるいは、関連項目に割り当てられているアイコンの識別情報を抽出してもよい。

　操作画面処理部２４は、Ｓ２１２において抽出された関連項目のアイコン画像を、アイコン記憶部４３（例えば、図１１）から取得し、これらのアイコンを表示するための操作画面の生成する（Ｓ２１３）。例えば、操作画面処理部２４は、Ｓ２０６またはＳ２０９において特定されたオブジェクトを中央に配置し、上記オブジェクトの周囲に配置された環の輪郭線上に、取得したアイコン画像を配置して操作画面を生成する。以上のようにして生成された操作画面の映像信号は、表示部１２に出力され、ユーザが上記操作画面を目視できるようになる。

　本発明の上記方法によれば、タブレット端末１００は、ユーザの同種のジェスチャの繰返し回数に基づいて、より正確に、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判定することができる。そして、ユーザは、その一部に興味があるということを示したい場合には、同種のジェスチャを繰り返すだけでよい。同じ動きを繰り返すという動作は、その部分をより強調しているという意味合いと自然に結びつく動作である。したがって、元々オブジェクトを選択するために割り当てられたジェスチャを２回以上繰り返すということは、ユーザにとって自然に理解できる操作方法である。

　以上のことから、本発明のタブレット端末１００は、簡易な接触動作且つ少ない動作数でありながら、ユーザの直感に反しない自然な流れで、より正確に、ユーザが所望する最終結果物を表示させることができる。結果として、タッチパネルを備えたタブレット端末１００において、優れた操作性を実現することが可能になるという効果を奏する。

　（変形例－部分オブジェクトの占有面積を考慮する）
　あるいは、本発明のタブレット端末１００を以下のように構成してもよい。まず、タブレット端末１００の部分オブジェクト特定部３５は、先に、オブジェクト全体を分析して、当該オブジェクトに含まれる部分オブジェクトを特定し、部分オブジェクト領域をマップ情報上に定義する。そして、部分選択判定部３４は、軌跡によって特定される軌跡領域（例えば、図６の（ａ）の斜線の領域など）における、上記部分オブジェクト領域の占める割合を求める。ここで、部分オブジェクト領域が占める割合が、所定閾値％（例えば、８０％）以上であるときは、部分選択判定部３４は、その軌跡によって選択されたのは、オブジェクト全体ではなく、そのオブジェクトに含まれている、当該部分オブジェクトであると判定することができる。

　≪表示部と入力部とを別体で備える情報処理装置への適用≫
　本発明の情報処理装置としてのタブレット端末１００の構成、すなわち、指示体の移動の軌跡に基づいて、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかに応じて、異なるアイコン群を配置して表示する構成について、これを、入力部１１と表示部１２とが別体として備わっている情報処理装置に適用してもよい。例えば、入力部１１がマウスなどの入力装置で構成されており、表示部１２が、ＬＣＤなどの表示装置で構成されている情報処理装置が考えられる。ここでは、表示部１２に表示されているカーソルが、表示部１２の画面上の位置を指示するものである。そして、ユーザがマウスを操作して入力動作を実施することによりカーソルが移動する。したがって、このような実施形態では、マウスが操作体であり、カーソルが指示体であって、操作体の移動に伴って表示部１２に表示されている指示体が移動する。ユーザが、マウスを操作して表示部１２の画面上のカーソルを動かすことによりオブジェクトを選択すると、情報処理装置は、内部であらかじめ保持しているカーソルの位置を上記マウスの動きと連動させて、そのカーソル（指示体）の移動の軌跡を保持する。そして、その軌跡によって特定される軌跡領域とオブジェクト領域との重畳領域を特定し、オブジェクトにおける重畳領域の占める割合を求める。これにより、情報処理装置は、オブジェクト全体が選択されたのか、部分オブジェクトが選択されたのかを判断し、その判断結果に応じて適切な関連項目を抽出し、そのアイコンを表示することができる。

　なお、表示部１２と別体で構成される入力部１１としては、上記のマウス以外にも、例えば、キーボード、ジョイスティック、ディジタイザ、タブレットとスタイラスペンなどの各種入力装置を採用することができる。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　なお、本発明の情報処理装置および操作画面表示方法は、以下のようにも表現され得る。

　タッチパネルを備えた情報処理装置において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得手段と、上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、上記関連項目抽出手段によって抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。

　タッチパネルを備えた情報処理装置における操作画面表示方法において、上記タッチパネル上を移動した指示体の移動の軌跡を取得する軌跡取得ステップと、上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記タッチパネルに表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。

　〔ソフトウェアによる実現例〕
　最後に、タブレット端末１００の各ブロック、特に、接触情報生成部２１、オブジェクト特定部２２、関連項目抽出部２３、操作画面処理部２４、ジェスチャ判定部２５、部分選択判定部３４、および、部分オブジェクト特定部３５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

　すなわち、タブレット端末１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット端末１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タブレット端末１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、タブレット端末１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明は、入力部および表示部を備える情報処理装置に広く適用することが可能である。例えば、これには限定されないが、入力部および表示部を備える、デジタルテレビ、パーソナルコンピュータ、スマートフォン、タブレットＰＣ、ノートパソコン、携帯電話、ＰＤＡ（Personal Digital Assistant）、電子書籍リーダ、電子辞書、携帯用・家庭用ゲーム機、電子黒板などに好適に用いることができる。さらに、タッチパネルを備える情報処理装置に本発明を適用すれば、より一層優れた操作性を実現することができる。

１０　制御部
１１　入力部（タッチパネル）
１２　表示部（タッチパネル）
１３　操作部
１４　外部インターフェース
１５　通信部
１６　無線通信部
１７　音声出力部
１８　音声入力部
１９　記憶部
２１　接触情報生成部（軌跡取得手段／接触動作取得手段）
２２　オブジェクト特定部（オブジェクト特定手段）
２３　関連項目抽出部（関連項目抽出手段）
２４　操作画面処理部（操作画面処理手段）
２５　ジェスチャ判定部（ジェスチャ判定手段）
３４　部分選択判定部（部分選択判定手段）
３５　部分オブジェクト特定部（部分オブジェクト特定手段）
４１　フレームマップ記憶部
４２　関連情報記憶部
４３　アイコン記憶部
４６　マッチング情報記憶部
１００　タブレット端末（情報処理装置）

Claims

　表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得手段と、
　上記軌跡取得手段によって取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定手段と、
　オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定手段によって特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出手段と、
　上記関連項目抽出手段によって抽出された関連項目のアイコンを上記表示部に表示する操作画面処理手段とを備えていることを特徴とする情報処理装置。
　上記オブジェクトは画像データであり、
　上記オブジェクト特定手段は、
　特定した上記画像データ自体、および、上記画像データのうち上記軌跡領域と重なる部分画像が示す内容、のいずれかを、選択されたオブジェクトとして特定することを特徴とする請求項１に記載の情報処理装置。
　上記部分画像と照合するためのマッチング情報を記憶するマッチング情報記憶部を備え、
　上記オブジェクト特定手段は、
　上記部分画像と、上記マッチング情報とを照合することにより、上記部分画像が示す内容を特定することを特徴とする請求項２に記載の情報処理装置。
　上記マッチング情報は人物の顔画像であり、
　上記オブジェクト特定手段は、
　人物の顔を含む部分画像と、上記顔画像とを照合することにより、上記部分画像に映っている人物を、選択されたオブジェクトとして特定することを特徴とする請求項３に記載の情報処理装置。
　上記マッチング情報は文字の特徴量であり、
　上記オブジェクト特定手段は、
　文字または文字列を含む部分画像と、上記文字の特徴量とを照合することにより、上記部分画像に含まれる文字または文字列を、選択されたオブジェクトとして特定することを特徴とする請求項３に記載の情報処理装置。
　上記オブジェクト特定手段は、
　特定した上記オブジェクトにおける、上記軌跡領域が占める割合が、閾値以上である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、上記閾値未満である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項１から５までのいずれか１項に記載の情報処理装置。
　上記軌跡取得手段によって取得された軌跡に基づいて、同種のジェスチャが繰り返された回数を判定するジェスチャ判定手段を備え、
　上記オブジェクト特定手段は、
　特定した上記オブジェクトにおける、上記軌跡領域が占める割合が閾値以上である場合であって、
　上記ジェスチャ判定手段によって判定された回数が、１回である場合に、上記オブジェクト自体を、選択されたオブジェクトとして特定し、複数回である場合に、上記オブジェクトの一部を、選択されたオブジェクトとして特定することを特徴とする請求項６に記載の情報処理装置。
　当該情報処理装置が備える入力部および上記表示部はタッチパネルを構成するものであり、
　上記軌跡取得手段は、上記タッチパネル上を移動した上記指示体の移動の軌跡を取得することを特徴とする請求項１から７までのいずれか１項に記載の情報処理装置。
　当該情報処理装置が備える入力部は、上記表示部に表示される、上記指示体としてのカーソルを移動させる指示を当該情報処理装置に入力するものであり、
　上記軌跡取得手段は、上記カーソルの移動の軌跡を取得することを特徴とする請求項１から７までのいずれか１項に記載の情報処理装置。
　情報処理装置における操作画面表示方法であって、
　上記情報処理装置が備える表示部の画面の位置を指し示す指示体が移動した軌跡を取得する軌跡取得ステップと、
　上記軌跡取得ステップにて取得された軌跡に基づいて軌跡領域を特定し、該軌跡領域に少なくとも一部が重なるオブジェクトを特定し、特定した上記オブジェクトにおける、上記軌跡領域が占める割合に応じて、特定した上記オブジェクト自体、および、上記軌跡領域に重なる該オブジェクトの一部、のいずれかを、選択されたオブジェクトとして特定するオブジェクト特定ステップと、
　オブジェクトと該オブジェクトに関連する項目とを対応付けて記憶する関連情報記憶部を参照して、上記オブジェクト特定ステップにて特定された上記選択されたオブジェクトに対応付けられた項目を関連項目として抽出する関連項目抽出ステップと、
　上記関連項目抽出ステップにて抽出された関連項目のアイコンを上記表示部に表示する操作画面処理ステップとを含むことを特徴とする操作画面表示方法。
　コンピュータを、請求項１から９までのいずれか１項に記載の情報処理装置の各手段として機能させるための制御プログラム。
　請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。