以下、本発明の実施の形態について、図面を用いて説明する。
(本発明の第1の実施の形態)
図1は、本発明の第1の実施の形態に係る画像表示装置の側面図である。図2は、本発明の第1の実施の形態に係る画像表示装置の斜視図である。図1に示すように、本実施形態としての画像表示装置1は、表面11と、スクリーン12と、投影面13と、筐体14と、筐体14内に設置されたプロジェクタ15およびCCD(Charge Coupled Device)カメラ16(撮像部)と、プロジェクタ15(投影部)、CCDカメラ16、および入力機器17(操作入力部)が接続された情報処理装置100とから構成されている。
スクリーン12は、拡散処理が施されている透過性のあるスクリーンである。プロジェクタ15は、スクリーン12に向けて設置されており、スクリーン12にプロジェクタ15からの画像が投影されるようになっている。CCDカメラ16は、スクリーン12を撮影し続けるようになっている。情報処理装置100には、プロジェクタ15およびCCDカメラ16が接続されており、CCDカメラ16からの入力画像と、プロジェクタ15への出力画像を処理するようになっている。表面11は、デスクとして使用するためのある程度の強度を持った透明な部材からなる。入力機器17は、マウスなどのポインティングデバイスなどによって構成される。
図2に示すように、本実施形態の画像表示装置1は、矩形の平面部(表面11)を有し、デスク状の表示部(スクリーン12)と、情報処理装置100とを備えている。表示部(スクリーン12)は矩形の平面部(表面11)の中央部分に、筐体14の内部から投影された画像が表示されるようになっている。
また、図1に示すように画像表示装置1は、スクリーン12とスクリーン12を支える筐体14と、筐体14内に設けられ、投影面13に画像を投影するプロジェクタ15と、筐体14内のスクリーン12の裏面側全体が視野角となる位置に配置され、スクリーン12を裏面側から撮影するCCDカメラ16とを備えている。筐体14内に配置されたCCDカメラ16と情報処理装置100とはコードによって接続され、筐体14内に配置されたプロジェクタ15と情報処理装置100とは光学的に結合されている。
スクリーン12は、2重構造をなし、スクリーン12の裏面側には投影画像が投影される投影面13が設けられ、投影面13と表面11とは密着させて一体化されている。例えば、情報処理装置100が起動した時、投影面13には、情報処理装置100にインストールされたオペレーティングシステムのディスクトップ画像と共に、マウスなどの操作に応じて移動するポインタ(例えば矢印型のポインタ)等が投影される。ユーザは投影面13に投影されている投影画像をスクリーン12の表面側から見ることで、スクリーン12上に「表示」されているように感じることができる。また、利用者が情報処理装置100を操作することにより、プロジェクタ15から投影面13に投影される投影画像が変化することで、スクリーン12に「表示」される内容が随時変化していく。
表面11及び投影面13はともに透明であるが、投影面13の表面11と密着する側の表面には微細な凹凸が設けられており、投影面13に画像が投影されると、その光はわずかに拡散して透過するので、表面11が設けられたスクリーン12の表面側からは色々な角度からその投影された画像を視認することができるようになっている。ここで、表面11には傷がつきにくいように、透明保護シートを被覆するようにしても良いし、透明な塗料などによりコーティングするようにしても良い。
情報処理装置100は、CCDカメラ16で撮影され得られた画像に応じて、プロジェクタ15からスクリーン12の裏面側に投影される投影画像を操作するようにすることができる。なお、情報処理装置100は、本実施形態の画像表示装置1に専用に作成されたものであっても良いし、パーソナルコンピュータに所定のソフトウェアがインストールされたもので構成しても良い。また、情報処理装置100は、筐体14内に配置しても良い。
プロジェクタ15は、図示しない反射ミラーやビームスプリッタなどの光学系によって情報処理装置100の図示しないディスプレイと結合され、情報処理装置100で生成された画像をスクリーン12の投影面13に投影することができるようになっている。
CCDカメラ16は、例えばUSB(Universal Serial Bus)インタフェースを介して情報処理装置100にコードで接続され、スクリーン12の表面側、即ち、表面11に載置された物体や、表面11に描画された図形や表面11に映った影などを、スクリーン12の裏面側、即ち投影面13側から所定の時間間隔で撮影し、撮像データを得ることができるようになっている。撮影された画像に対応する画像データは、情報処理装置100に供給されるようになっている。
また、図2では、ユーザMが、画像表示装置1の前に着席するなどして画像表示装置1を使用する形態を示している。例えば、片手で持つことが可能な大きさの物体にサーキュラバーコードが貼付されており、ユーザMが手で持った物体をスクリーン12の表面11上に置くか接近させることで、画像表示装置1は、サーキュラバーコードを読取って物体に関する処理を行うようになっている。
物体は、ビルディングのミニチュア、コピー機のミニチュア、木のミニチュア、カメラなどの小型機器、または用紙などであり、スクリーン12の表面11上に置くか接近させることが可能でバーコードなどの物体を識別可能な画像が付着できるものであれば、如何なるものでも良い。
図12では、物体に貼付されたサーキュラバーコードを表している。物体は、写真用紙50、ミニチュアのプリンタ30、ミニチュアの複合機20、ミニチュアの木40、カメラ60などとして示している。これらの物体の底面などに、図12に示すようなサーキュラバーコード画像が貼付されている。また、写真用紙50では、その裏面にサーキュラバーコード画像が貼付されている。
また、サーキュラバーコードについて説明する。サーキュラバーコード301は、所定点を中心に1次元のバーコードを円形に配置したバーコードである。1次元バーコードは、縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード301のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。サーキュラバーコード301は、バーコードの開始点301sと終了点301eの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。
図3は、本発明の第1の実施の形態に係る画像表示装置の装置構成図を示す。画像表示装置1は、上述したようにプロジェクタ15、CCDカメラ16、入力機器17、および情報処理装置100によって構成されている。情報処理装置100は、CPU(Central Processing Unit)などの処理装置101、主にアプリケーションや短期的に必要なデータがロードされているRAM(Random Access Memory)などの主記憶装置102、および長期的に記憶が必要なデータが記憶されているHDD(Hard Disk Drive)などの補助記憶装置103(記憶部)によって構成されている。
図4は、本発明の第1の実施の形態に係る情報処理装置の機能的な構成を示す図であり、点線で囲っている部分は、本発明の第1の実施の形態に係る情報処理装置の機能的な構成を示しており、画像抽出部110、物体認識部120、属性情報取得部130、投影画像生成部140、処理選択受付部150、処理実行部160、および登録部170によって構成されている。これらの部材は、CPUなどの処理装置101によって実行されるプログラムのモジュールなどである。
画像抽出部110は、例えば、CCDカメラから出力された画像を2値化し、スクリーン12上に載置された物体のサーキュラバーコード画像や人の指などの影など、特定の画像の部分を抽出するようになっている。画像抽出部110が抽出する画像は、特にサーキュラバーコード画像や人の指などの影に限定することはないが、本発明の実施の形態では、サーキュラバーコード画像または指の影を例にとって説明する。また、画像抽出部110は、特定の画像を抽出しやすいようにCCDカメラから出力された画像に対して加工を施すようにしている。
物体認識部120は、画像抽出部110によって抽出された物体の画像から識別情報を取得するようになっている。識別情報は、例えば、物体に一意に割り当てられたIDである。例えば、物体認識部120は、画像抽出部110によって抽出された画像がサーキュラバーコード画像であれば、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取ったバーの配列のパタンから物体のIDを特定するようになっている。パタンは、バーが所定位置にある場合には1、無い場合には0として特定され、バイナリで表現される。
なお、サーキュラバーコード画像を読取る具体的な実施例としては、特許文献1:特開2007−011276号公報に記載されており、特に特許文献1の図38〜図42に関する説明に記載されている。物体認識部120は、このような実施例でサーキュラバーコード画像を読取るようにしてもよい。
属性情報取得部130は、物体認識部120によって取得したIDと対応する属性情報を取得するようになっている。例えば、属性情報取得部130は、補助記憶装置103に記憶されている属性情報テーブルを参照して物体のIDから属性情報を取得するようになっている。属性情報テーブルは、物体のIDと、アプリケーション情報などを含む属性情報とを対応付けたものである。アプリケーション情報は、例えば、アプリケーションを識別する名前やIDである。
ここで、属性情報テーブルの一例を図6に示す。属性情報テーブルは、IDおよび読取った配列のパタンと、物体の属性が記述された属性ファイルおよびアプリケーション名とを対応させた情報である。なお、登録部170は、属性情報テーブルを生成および属性情報テーブルの内容を追加削除したり、属性ファイルを生成および属性ファイルの内容を追加削除したりするものである。
投影画像生成部140(起動画像表示部)は、属性情報取得部130によって取得されたアプリケーション名に対応した起動画像をスクリーン12の裏面側の投影面13にプロジェクタ15を介して投影させるようになっている。起動画像は、ユーザによって選択されるアプリケーションを起動するための画像である。スクリーン12上に表示させたイメージを図13に示す。図13では、スクリーン12上にミニチュアの複合機20があり、その周辺に4つの起動画像19が投影されている様子が表されている。4つの起動画像19は、アプリケーション毎に対応したものであり、それぞれ起動画像19aから起動画像19dとして区別している。
処理選択受付部150は、マウスなどのポインティングデバイスからなる入力機器17によってポインティングされたスクリーン12内の位置が、起動画像の領域にあるか否かを判定し、ユーザMがどのアプリケーションを選択しているのかを特定するようになっている。
処理実行部160は、処理選択受付部150によって選択されたアプリケーションを実行するようになっている。例えば、処理実行部160は、アプリケーション名が処理選択受付部150から出力され、補助記憶装置103に記憶されている処理情報テーブルを参照して、アプリケーション名からアプリケーションのパスを取得してアプリケーションを実行するようになっている。なお、パスは、アプリケーションの実行ファイルの所在を表すものである。
処理情報テーブルは、アプリケーション情報とアプリケーションの実行ファイルの所在を表すパスとが対応付けられている情報である。ここで、処理情報テーブルの一例を図7に示す。図7に示した処理情報テーブルは、アプリケーション名とアプリケーションのパスとを対応させた情報である。
以上のように構成された本発明の第1の実施の形態に係る情報処理装置の処理について説明する。図5は、本発明の第1の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の実施の形態に係る情報処理装置が実行するプログラムは、CD−ROMなどの記録媒体に格納されていてもよい。
まず、CCDカメラ16は、スクリーン12上のものを撮影した画像を画像抽出部110に出力する(ステップS1)。なお、CCDカメラ16がスクリーン12上のものを撮影するタイミングは、特定の時間間隔(例えば1秒間で7.5フレーム程度)である。画像抽出部110は、CCDカメラ16から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する(ステップS2)。
物体認識部120は、画像抽出部110によって抽出された画像がサーキュラバーコードであるか認識する(ステップS3)。ここで、ユーザMがスクリーン12上にサーキュラバーコード画像が付着された物体を置いた状況などで、物体認識部120が画像を認識した結果(ステップS4)、物体認識部120は、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のIDを特定し、処理がステップS5に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップS1に進む。
属性情報取得部130は、図6に示した属性情報テーブルを参照して、物体のIDから物体の属性情報を取得する(ステップS5)。例えば、物体のIDが「1」であった場合には、MFP.xmlの属性ファイル、およびID「1」の物体に対応するアプリケーション名であるカタログ表示アプリ、レイアウトシミュレーション、環境シミュレーション、および説明書表示アプリが物体のID「1」の属性情報として取得される。
投影画像生成部140は、属性情報取得部130によって取得されたアプリケーション名毎に対応する起動画像を生成し(ステップS6)、起動画像を投影面13にプロジェクタ15を介して投影させる(ステップS7)。例えば、投影面13の全面に投影される画像は、特定の時間間隔(例えば1秒間で7.5フレーム程度)毎に更新されて投影されており、起動画像は、投影面13の全面の画像の更新時とともに投影される。
例えば、IDが「1」である物体がミニチュアの複合機20、IDが「2」である物体がミニチュアのプリンタ30、IDが「11」である物体がミニチュアの木40、IDが「33」である物体が写真用紙50、IDが「55」である物体がカメラ60であったとする。
ミニチュアの複合機20が情報処理装置100で認識された場合、ステップS7では、図13に示すようにスクリーン12上に、アプリケーション名に対応した4つの起動画像19が投影される。
ミニチュアのプリンタ30が情報処理装置100で認識された場合、ステップS7では、図14に示すようにスクリーン12上に、アプリケーション名に対応した3つの起動画像19が投影される。
ミニチュアの木40が情報処理装置100で認識された場合、ステップS7では、図15に示すようにスクリーン12上に、アプリケーション名に対応した1つの起動画像19が投影される。
写真用紙50が情報処理装置100で認識された場合、ステップS7では、図16に示すようにスクリーン12上に、アプリケーション名に対応した5つの起動画像19が投影される。なお、写真用紙50の内容である画像データ(図6のPhoto.jpg)は、情報処理装置100内の補助記憶装置103にあって、この画像データが処理される。
カメラ60が情報処理装置100で認識された場合、ステップS7では、図17に示すようにスクリーン12上に表示されるように、アプリケーション名に対応した5つの起動画像19が投影される。
ステップS7以降では、ユーザがマウスなどの入力機器17を操作してスクリーン上のポインタをスクリーン12上の起動画像19の何れかの上に置き、クリックするなどの動作が期待される。
次に、ユーザMが入力機器17を操作してクリックしているのか否か判定する(ステップS8)。クリックしていない場合、処理がステップS1に進む。クリックされている場合、処理選択受付部150は、クリックされたスクリーン12上のポインタの位置が起動画像19の領域内にあるか否かを判定する(ステップS9)。
ポインタの位置が起動画像19の領域内にある場合、処理選択受付部150は、1つ以上の起動画像19のうちポインタの位置がある起動画像19を特定することで、ユーザMがどのアプリケーションを選択しているのかを特定する(ステップS10)。処理実行部160は、図7に示した処理情報テーブルを参照することで、処理選択受付部150が特定したアプリケーション名からアプリケーションのパスを取得する(ステップS11)。
処理実行部160は、取得されたパスからアプリケーションを実行する(ステップS12)。ステップS12では、処理実行部160は、ステップS5で属性情報取得部130によって取得された物体のIDに対応する属性ファイルに基づいてアプリケーションを実行する。
以下に、属性ファイルについて説明する。例えば、属性ファイルは、次に示すようにXML形式で情報が記述された電子ファイルである。図6に示したように物体のIDが「1」である場合は、対応する属性ファイルは、「MFP.xml」である。「MFP.xml」の内容を図8に示す。1行目は、xmlの定義を示す文である。2行目以下、<common>タグに囲まれている情報は共通情報を示し、<maker>タグに囲まれている情報は製造メーカを、<model>タグに囲まれている情報は機種を示している。<spec>タグに囲まれている情報は仕様を示し、<width>タグに囲まれている情報は機器の幅をmmで示し、<depth>タグで囲まれている情報は機器の奥行きをmmで示し、<power>タグで囲まれている情報は機器の消費電力をWで示している。
図8では、<maker>は「Ricoh」であり、<model>は「Imagio Neo C455it」であり、<width>は「1285mm」であり、<depth>は「816mm」であり、<power>は「1500W」であることを示している。
図6に示したように物体のIDが「2」である場合は、対応する属性ファイルは、「Printer.xml」である。「Printer.xml」の内容を図9に示す。タグの内容はMFP.xmlとほぼ同様であるが、<power>タグが記載されていない。
図6に示したように物体のIDが「11」である場合は、対応する属性ファイルは、「Tree.xml」である。「Tree.xml」の内容を図10に示す。MFP.xmlとの差異を示すと、<maker> <width> <depth> <power>タグが無くなり、<spring> <summer> <autumn> <winter>タグがある。各タグは、それぞれ春、夏、秋、冬の季節を示し、数値はそれぞれの季節におけるCO2の吸収量(mg/dm^2/day)を示している。
図6に示したように物体のIDが「55」である場合は、対応する属性ファイルは、「Camera.xml」である。「Camera.xml」の内容を図11に示す。「Camera.xml」には<serial_number> <firmware> <Photo>タグがある。これらタグは、<serial_number>はカメラ60のシリアルナンバーを示し、<firmware>はカメラ60のファームウェアのバージョンを示し、<Photo>はカメラ60で撮影された写真の保存フォルダを示す。
例えば、図13に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19aの領域内にあり、カタログ表示アプリが選択されている場合、ステップS12において、物体のID「1」に対応するMFP.xmlの属性ファイルに基づいて、カタログ表示アプリが処理実行部160によって起動される。このとき、MFP.xmlの<model>タグに基づいて、該当するカタログが提示される。
また、図13に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19bの領域内にあり、レイアウトシミュレーションが選択された場合、ステップS12において、物体のID「1」に対応するMFP.xmlの属性ファイルに基づいて、レイアウトシミュレーションアプリが処理実行部160によって起動される。このとき、MFP.xmlの<width>および<depth>タグに基づいて、複合機のレイアウトが表示される。
また、図13に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19cの領域内にあり、環境シミュレーションが選択された場合、ステップS12において、物体のID「1」に対応するMFP.xmlの属性ファイルに基づいて、環境シミュレーションが処理実行部160によって起動される。このとき、MFP.xmlの<power>タグに基づいて、電力使用量からCO2の排出量が計算される。
また、図13に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19dの領域内にあり、説明書表示アプリが選択された場合、ステップS12において、物体のID「1」に対応するMFP.xmlの属性ファイルに基づいて、説明書表示アプリが処理実行部160によって起動される。このとき、MFP.xmlの<model>タグに基づいて、該当する説明書が提示される。
図14に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19の何れかの領域内にあり、カタログ表示アプリ、レイアウトシミュレーション、説明書表示アプリの何れかが選択された場合、ステップS12において、物体のID「1」に対応するPrinter.xmlの属性ファイルに基づいて、処理実行部160によって起動される。
図15に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19の領域内にあり、環境シミュレーションが選択された場合、ステップS12において、物体のID「11」に対応するTree.xmlの属性ファイルに基づいて、環境シミュレーションが処理実行部160によって起動される。このとき、Tree.xmlの季節に関するタグに基づいて、該当する季節のCO2の吸収量が計算される。
図16に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19の何れかの領域内にあり、スライドショーアプリ、プリントアウト、編集アプリ、ブログに投稿、類似画像検索の何れかが選択された場合、ステップS12において、物体のID「33」に対応するPhoto.jpgの画像ファイルに基づいて、処理実行部160によって起動される。
図17に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19eの領域内にあり、スライドショーアプリが選択された場合、ステップS12において、物体のID「55」に対応するCamera.xmlの属性ファイルに基づいて、スライドショーアプリが処理実行部160によって起動される。このとき、Camera.xmlの<Photo>タグに示される保存フォルダに格納されている画像ファイルに基づいて、写真がスライドショーされる。
また、図17に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像19kの領域内にあり、ファームウェアアップデートアプリが選択された場合、ステップS12において、物体のID「55」に対応するCamera.xmlの属性ファイルに基づいて、ファームウェアアップデートアプリが起動される。このとき、Camera.xmlの<firmware>タグに基づいてファームウェアのバージョンが調べられ、新しいバージョンのファームウェアが提供されている場合に、その情報が提示される。
ステップS12でアプリケーションが実行された後は、スクリーン12上にアプリケーション固有のウィンドや画像が表示され、ステップS7で投影された起動画像は消滅する。
なお、図6に示した属性情報テーブルについては、物体のIDと属性ファイルとが1対1に対応するように表現されていたが、物体のIDが複数の属性ファイルに対応付けられていてもよい。図18では、IDの33をもつ物体が2つの属性ファイルに対応させたときの属性情報テーブルの例を示している。
ここで、属性情報テーブルおよび処理情報テーブルに対して情報を登録するプログラムの一例を示すフローチャートを図19に示す。
本処理の前では、物体のID、および、IDに対応する物体がフィジカルオブジェクトかドキュメントであるかが予め登録されている。フィジカルオブジェクトとは、ミニチュアの複合機20、プリンタ30、木40などである。ドキュメントとは、写真用紙50などであって、写真用紙50の内容である画像データが情報処理装置100にあるものである。
まず、サーキュラバーコードが付着された物体をユーザMが手で持ったスクリーン12の表面11上に置くことで、ステップS1〜S4で説明したようにサーキュラバーコードが識別され、登録部170は、識別された物体のIDから物体がフィジカルオブジェクトかドキュメントかを判定する(ステップS21)。なお、情報処理装置100にサーキュラバーコードを識別させる必要はなく、ユーザMがキーボードなどの入力機器を使用して物体のIDを入力してもよい。
物体がフィジカルオブジェクトである場合、登録部170は、物体のIDに対応する属性ファイルの有無を判定する(ステップS22)。属性ファイルがある場合には、登録部170は、物体のIDに対応する属性ファイルを開く(ステップS23)。属性ファイルが無い場合には、登録部170は、物体のIDに対応する属性ファイルを生成し、生成した属性ファイルを開く(ステップS24)。
登録部170は、物体のIDに対応する属性情報をユーザMに入力してもらい、入力された属性情報を、開いた属性ファイルに追加する(ステップS25)。
次に、登録部170は、物体のIDが属性情報テーブルに登録されているか否か判定する(ステップS26)。物体のIDが属性情報テーブルに既に登録されている場合、登録部170は、物体のIDに対応させる新規のアプリケーション名を属性情報テーブルに追加する(ステップS27)。物体のIDが属性情報テーブルに登録されていない場合、登録部170は、物体のID、パタン、属性ファイル、ユーザMに入力してもらったアプリケーション名を属性情報テーブルに登録する(ステップS28)。
次に、登録部170は、物体のIDに対応するアプリケーション名が処理情報テーブルにあるか否か判定する(ステップS29)。アプリケーション名が処理情報テーブルにある場合、処理は終了し、アプリケーション名が処理情報テーブルに無い場合、ユーザMに入力してもらったパス名を、アプリケーション名と対応付けて処理情報テーブルに追加する(ステップS30)。
属性情報テーブルおよび処理情報テーブルの登録方法は、上述したフローチャートでない方法でもよく、サーキュラバーコードが付着された物体をユーザMが手で持ったスクリーン12上に置かずに、GUIを介して属性情報テーブルおよび処理情報テーブルに対する情報が登録されてもよい。
以上説明したように、本発明の第1の実施の形態に係る情報処理装置は、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、TUIを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。
また、本発明の第1の実施の形態に係る情報処理装置は、物体に対応した属性ファイルに基づいて起動画像に対応するアプリケーションを起動するため、アプリケーションの起動と共に物体の属性に応じたスクリーンの表示や物体に係る情報をユーザに提供することができる。
(本発明の第2の実施の形態)
図20は、本発明の第2の実施の形態に係る情報処理装置の機能的な構成を示す図である。本発明の第2の実施の形態では、物体に対応した属性ファイルに対応するアプリケーションを起動させる際に、入力機器17を必要としない構成を示している。本発明の第2の実施の形態に係る情報処理装置を構成する構成要素のうち、本発明の第1の実施の形態に係る情報処理装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。
なお、図19に一例として示した属性情報テーブルおよび処理情報テーブルに対して情報を登録する際には、入力機器17を情報処理装置が備える構成としてもよい。
点線で囲っている部分は、本発明の第2の実施の形態に係る情報処理装置の機能的な構成を示しており、画像抽出部110、物体認識部220、属性情報取得部130、投影画像生成部140、処理選択受付部250、処理実行部160、および登録部170によって構成されている。
物体認識部220は、本発明の第1の実施の形態で説明した物体認識部120と同様の機能に加えて、画像抽出部110で抽出された画像が、ユーザMの指の影であれば、物体認識部120は、スクリーン12内のどの位置に指の影があるのかを特定するようになっている。
なお、指の影がスクリーン内のどの位置に指の影があるのかを特定する具体的な実施例としては、特開2005−078291号公報および特開2005−148555号公報に記載されており、物体認識部220は、このような実施例で指の影を認識するようにしてもよい。
処理選択受付部250は、物体認識部120によって認識されたスクリーン12内の指の影の位置が、起動画像の領域にあるか否かを判定し、ユーザMがどのアプリケーションを選択しているのかを特定するようになっている。
以上のように構成された本発明の第2の実施の形態に係る情報処理装置の処理について説明する。図21は、本発明の第2の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の第1の実施の形態で説明したステップと同じステップには、同じ符号を付している。
まず、初期化処理として情報処理装置100の状態が物体属性読取モードに設定される(ステップS41)。次に、CCDカメラ16は、スクリーン12上のものを撮影した画像を画像抽出部110に出力する(ステップS1)。画像抽出部110は、CCDカメラ16から出力された画像から、物体に付着されたサーキュラバーコード画像や人の指などの影など、特定の画像の部分を抽出する(ステップS2)。
物体認識部220は、情報処理装置100の状態が物体属性読取モードか否かを判定し(ステップS42)、物体属性読取モードであった場合、物体認識部220は、画像抽出部110によって抽出された画像がサーキュラバーコード画像であると仮定して物体認識を行う(ステップS43)。
ここで、ユーザMがスクリーン12上にサーキュラバーコード画像が付着された物体を置いた状況などで、物体認識部220が画像を認識した結果(ステップS4)、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のIDを特定し、処理がステップS5に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップS1に進む。
属性情報取得部130は、図6に示した属性情報テーブルを参照して、物体のIDから物体の属性情報を取得する(ステップS5)。このとき、情報処理装置100の状態が起動画像選択モードに設定される(ステップS44)。
次に、投影画像生成部140は、属性情報取得部130によって取得されたアプリケーション名毎に対応する起動画像を生成し(ステップS6)、起動画像をスクリーン12上に表示させるため、投影面13にプロジェクタ15を介して投影させる(ステップS7)。
ステップS7以降では、図13〜図17などで示した起動画像19が投影された後、ユーザMがスクリーン12上の起動画像19の何れかに指を接触させるもしくは近づけるなどの動作が期待される。
一方、ステップS42で、起動画像選択モードであった場合、物体認識部220は、画像抽出部110によって抽出された画像が指の影であると仮定して物体認識を行う(ステップS45)。
ここで、ステップS42で、ユーザMが、スクリーン12上に指を置いた状況などで、物体認識部220が画像を認識した結果(ステップS46)、スクリーン12内に指の影があるのかを特定した場合、処理がステップS9に進む。また、画像が指の影でないその他のものである場合、処理がステップS1に進む。
処理選択受付部250は、指の影が起動画像19の領域内にあるか否かを判定し(ステップS9)、指の影が起動画像19の領域内にある場合、1つ以上の起動画像19のうち指の影がある起動画像19を特定することで、ユーザMがどのアプリケーションを選択しているのかを特定する(ステップS10)。処理実行部160は、図7に示した処理情報テーブルを参照することで、処理選択受付部250が特定したアプリケーション名からアプリケーションのパスを取得する(ステップS11)。
処理実行部160は、取得されたパスからアプリケーションを実行する(ステップS12)。ステップS12では、処理実行部160は、ステップS5で属性情報取得部130によって取得された物体のIDに対応する属性ファイルに基づいてアプリケーションを実行する。
ステップS12でアプリケーションが実行された後は、情報処理装置100の状態が物体属性読取モードに設定される(ステップS47)。また、アプリケーションが実行された後は、スクリーン12上にアプリケーション固有のウィンドや画像が表示され、ステップS7で投影された起動画像は消滅する。
以上説明したように、本発明の第2の実施の形態に係る情報処理装置は、物体に対応した属性ファイルに対応するアプリケーションを起動させる際に、マウスなどの入力機器を用いずに起動画像が選択できるため、さらに操作性を向上させることができる。
(本発明の第3の実施の形態)
本発明の第3の実施の形態は、複数の物体(サーキュラバーコードが貼付された物体)に関する情報を認識する場合の形態である。
図22は、本発明の第3の実施の形態に係る情報処理装置の機能的な構成を示す図である。本発明の第3の実施の形態に係る情報処理装置の構成は、本発明の第1の実施の形態に係る情報処理装置100の構成と同様であり、本発明の第3の実施の形態に係る情報処理装置を構成する構成要素のうち、本発明の第1の実施の形態に係る情報処理装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。以下では、2つの物体に関する情報を認識した場合を例にとって説明する。
関連識別情報検索部380は、物体認識部120によって取得した識別情報が2つあったとき、取得した2つの識別情報からそれぞれ関連する識別情報(ID)を属性情報から検索するようになっている。ここで、本発明の第3の実施の形態に係る属性情報テーブルを図23に示す。
図23の属性情報テーブルでは、関連IDが属性情報のIDに対応付いており、関連IDは、属性情報のIDのうち何れかである。関連IDは、アプリケーション名毎に対応するものであり、物体と物体とが相互にアプリケーションで実行可能な場合には、関連IDがアプリケーション名に対応付くが、相互にアプリケーションで実行不可能な場合には、関連IDがアプリケーション名に対応付かない。
例えば、関連識別情報検索部380は、物体認識部120によって取得したIDが「1」および「33」を図23の属性情報テーブルから検索した場合、属性情報からID「1」に対応付く関連IDが「33」であるため、物体認識部120によって取得したIDが「1」および「33」が関連性をもつことを判断できる。
表示処理部390は、関連識別情報検索部380によって検索された識別情報(ID)があったとき、検索された識別情報(ID)から求まる起動画像である関連起動画像が認識可能なように処理を行うようになっている。
投影画像生成部340(起動画像表示部)は、属性情報取得部130によって取得されたアプリケーション名に対応した起動画像や関連起動画像をスクリーン12の裏面側の投影面13にプロジェクタ15を介して投影させると共に、表示処理部390の処理に従って起動画像をスクリーン12上に表示させるようになっている。
図24は、本発明の第3の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。ここでは、ユーザMがスクリーン12上にサーキュラバーコード画像が付着された複数の物体を置いた状況での処理について説明する。なお、ステップS8からステップS12までの処理については、本発明の第1の実施の形態に係る処理とものと同じである。
まず、CCDカメラ16は、スクリーン12上のものを撮影した画像を画像抽出部110に出力する(ステップS51)。なお、CCDカメラ16がスクリーン12上のものを撮影するタイミングは、特定の時間間隔(例えば1秒間で7.5フレーム程度)である。画像抽出部110は、CCDカメラ16から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する(ステップS52)。
物体認識部120は、画像抽出部110によって抽出された画像がサーキュラバーコードであるか認識する(ステップS53)。ここで、物体認識部120が複数の画像を認識した結果(ステップS54)、物体認識部120は、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のIDを特定し、処理がステップS55に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップS51に進む。
物体認識部120によって特定された複数の物体のIDは、主記憶装置102などに保存される(ステップS55)。結点Aに続く処理は、図25以降に示すフローチャートで説明し、これらのフローチャートにある結点Bから続く処理でステップS8〜S12が実行される。
また、物体のIDと共に、スクリーン12上に置かれてある物体の位置に関する位置情報もまた、物体のIDと対応付けて保存されるようにしてもよい。なお、位置情報は、スクリーン12上の面をX軸およびY軸からなる平面とすれば、X軸およびY軸の位置(x、y)で表現される。
図25は、図26に示すようにスクリーン12上に置かれてある物体の位置の間に互いに関連する起動画像を表示するためのフローチャートである。
図25に示すように、関連識別情報検索部380は、保存された2つのIDからそれぞれ関連IDを図23の属性情報テーブルから検索し、保存されたIDに対応した関連IDがあれば、ステップS61に進み、保存されたIDに対応した関連IDがなければ、処理がステップS66に進む(ステップS60)。ここで、関連IDがあった場合、以降のフローチャートの説明では、図23の属性情報テーブルの「関連ID」および「アプリケーション名」の項目において、アプリケーション名と対応しない関連IDを自IDとし、アプリケーション名と対応する関連IDを関連IDとする。
関連識別情報検索部380によって検索された結果、保存されたIDに対応した関連IDがあった場合、表示処理部390は、自IDの物体のスクリーン12上の位置(以下、自IDの位置という。)と関連IDの物体のスクリーン12上の位置(以下、関連IDの位置という。)を取得する(ステップS61)。次に、属性情報取得部130は、図23に示した属性情報テーブルを参照して、自IDおよび関連IDの属性情報を取得する(ステップS62)。
次に、表示処理部390は、自IDの位置(x、y)と関連IDの位置(x、y)との間の位置(例えば、自IDおよび関連IDの位置を結ぶ線分の中間地点の位置)を演算する(ステップS63)。投影画像生成部340は、ステップS62で取得された属性情報の関連IDに対応するアプリケーション名に対応する関連起動画像を生成し(ステップS64)、演算されたスクリーン12上の位置に関連起動画像を投影面13にプロジェクタ15を介して投影させる(ステップS65)。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、ステップS61からステップS65を含む処理が実行された場合の関連起動画像がスクリーン12上に表示されたイメージを図26に示す。図26の例では、写真用紙50の自ID「33」およびIDカード80の関連ID「78」の位置を結ぶ線分の中間地点の位置と最も近くで、関連起動画像19lおよび関連起動画像19mが互いに重ならない位置に表示される。また、図26の例では、関連起動画像が1つだけの場合は、写真用紙50の自ID「33」およびIDカード80の関連ID「78」の位置を結ぶ線分の中間地点の位置に関連起動画像が表示される。
例えば、関連起動画像19m(ファイル送信)のアプリケーションが実行されたとき、写真用紙50に対応した電子ファイル(図6に示すPhoto.jpg)が、IDカード80のメールアドレスに送信されるなど、2つの物体に関連した処理が実行される。このように、2つの物体を利用してユーザが望むアプリケーションのアイコンを候補として表示し、アイコンを選択させることで、直接的な操作のユーザビリティや操作性を向上させることができる。
関連起動画像19lに示しているアクセス権の付与とは、ファイルのアクセス権を有するIDの関係を示した図27のデータベースに対し、特定のIDにアクセス権を与えることである。また、図26に示した状況であれば、ID「33」に対応する属性ファイルのPhoto.jpg(図6参照)にID「78」アクセス権を与える状況となる。
また、図28(A)に示すように、IDカード70だけがスクリーン12上に配置されている場合、「ファイル一覧表示アプリ」アプリケーションの起動画面が表示され(この起動画面は図示してない)、表示された起動画面を選択することにより、IDカード70(ID=77)にアクセス権のあるファイル一覧10が図27のデータベースに従って表示される。IDカード70にアクセス権のあるファイル一覧10を図28(B)に示す。
また、図29(A)に示すように、IDカード80だけがスクリーン12上に配置されている場合、「ファイル一覧表示アプリ」の起動画面が表示され(この起動画面は図示してない)、表示された起動画面を選択することにより、IDカード80(ID=78)にアクセス権のあるファイル一覧10が図27のデータベースに従って表示される。IDカード80にアクセス権のあるファイル一覧10を図29(B)に示す。
また、図30(A)に示すように、IDカード70およびIDカード80がスクリーン12上に配置されている場合、IDカード70の位置とIDカード80の位置とを結ぶ線分の中間地点の位置に、生成された「特定ファイル一覧アプリ」(この起動画面は図示してない)がスクリーンに表示され、表示された起動画面を選択することにより、IDカード70(ID=77)とIDカード80(ID=78)共にアクセス権のあるファイル一覧10が図27のデータベースに従って表示される。IDカード70およびIDカード80共にアクセス権のあるファイル一覧10を図30(B)に示す。
一方、図25に示すように、関連識別情報検索部380によって検索された結果、保存されたIDに対応した関連IDがない場合、表示処理部390は、各物体のスクリーン12上の位置(以下、IDの位置という。)を取得する(ステップS66)。次に、属性情報取得部130は、図23に示した属性情報テーブルを参照して、各IDの属性情報を取得する(ステップS67)。
表示処理部390は、起動画像の表示位置を決めるため、アプリケーション名に対応するIDの起動画像に対応する、IDの位置の周囲の位置(例えば、IDの位置を中心とする円周上の等間隔の位置)を演算する(ステップS68)。投影画像生成部340は、ステップS67で取得された属性情報のIDに対応するアプリケーション名に対応する起動画像を生成し(ステップS69)、演算されたスクリーン12上の位置に起動画像を投影面13にプロジェクタ15を介して投影させる(ステップS65)。
なお、ミニチュアのプリンタ30、ミニチュアの木40の物体をスクリーン12上に置いたときに、ステップS66からステップS69を含む処理が実行された場合の起動画像がスクリーン12上に表示されたイメージを図31に示す。図31の例では、ミニチュアのプリンタ30のID「2」およびミニチュアの木40のID「11」のそれぞれの位置の周囲の位置にそれぞれの起動画像19が表示される。
図32は、図33に示すように関連IDが検索されたときに関連起動画像の色を変えて表示するためのフローチャートである。図25で説明したものと同じ処理には同じ符号を付して説明を省略する。
図32に示すように、ステップS61で、関連識別情報検索部380によって検索された結果、保存されたIDに対応した関連IDがあった場合、表示処理部390は、自IDの位置と関連IDを取得した後、属性情報取得部130は、図23に示した属性情報テーブルを参照して、自IDおよび関連IDの属性情報を取得する(ステップS71)。
表示処理部390は、起動画像の表示位置を決めるため、ステップS71で取得したアプリケーション名に対応する自IDの起動画像に対応した自IDの周囲の位置(例えば、IDの位置を中心とする円周上の等間隔の位置)を演算すると共に、関連IDの起動画像に対応した関連IDの周囲の位置(例えば、IDの位置を中心とする円周上の等間隔の位置)を演算する(ステップS72)。さらに、表示処理部390は、自IDの起動画像に対応した自IDの周囲の位置のうち、関連起動画像の位置を決定する(ステップS73)。関連起動画像の位置は、例えば、関連IDの位置に最も近い位置などが選択される。
投影画像生成部340は、ステップS71で取得された属性情報の関連IDおよび自IDに対応するアプリケーション名に対応する関連起動画像および起動画像を生成し(ステップS74)、関連起動画像に対して起動画像の色と異なる色を付ける(ステップS75)。投影画像生成部340は、演算されたスクリーン12上の位置に関連起動画像および起動画像を投影面13にプロジェクタ15を介して投影させる(ステップS76)。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、ステップS71からステップS76を含む処理が実行された場合の関連起動画像がスクリーン12上に表示されたイメージを図33に示す。図33の例では、写真用紙50の自ID「33」の関連起動画像19lおよび関連起動画像19mが、起動画像の色と異なる色になって表示されている。
図34は、図35に示すように、関連IDが検索されたときに関連起動画像の位置を、スクリーン下部に表示するためのフローチャートである。図25で説明したものと同じ処理には同じ符号を付している。
表示処理部390は、各物体のスクリーン12上の位置(各IDの位置)を取得する(ステップS66)。次に、属性情報取得部130は、図23に示した属性情報テーブルを参照して、各IDの属性情報を取得する(ステップS67)。表示処理部390は、起動画像の表示位置を決めるため、アプリケーション名に対応するIDの起動画像に対応する、IDの位置の周囲の位置(例えば、IDの位置を中心とする円周上の等間隔の位置)を演算する(ステップS68)。投影画像生成部340は、ステップS67で取得された属性情報のIDに対応するアプリケーション名に対応する起動画像を生成する(ステップS69)。
次に、関連識別情報検索部380は、保存された2つのIDからそれぞれ関連IDを図23の属性情報テーブルから検索し、保存されたIDに対応した関連IDがあれば、ステップS80に進み、保存されたIDに対応した関連IDがなければ、処理がステップS76に進む(ステップS60)。
表示処理部390は、自IDの周囲の位置のうち関連起動画像の位置(スクリーン下部)を演算し(ステップS80)、投影画像生成部340は、演算されたスクリーン12上の位置に関連起動画像および起動画像を投影面13にプロジェクタ15を介して投影させる(ステップS76)。なお、ステップS80において、関連起動画像の位置は、スクリーン12の下部に限らず、スクリーン12の端や隅など関連起動画像の存在が判るような位置であればよい。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、ステップS71からステップS76を含む処理が実行された場合の関連起動画像がスクリーン12上に表示されたイメージを図35に示す。図35の例では、写真用紙50の自ID「33」の関連起動画像19lおよび関連起動画像19mが、スクリーン12の下部に位置して表示されている。
図36は、図37に示すように起動画像とスクリーンに置かれた物体とを線で結んで表示するためのフローチャートである。なお、図32で説明したものと同じ処理には同じ符号を付して説明を省略する。
ステップS74で、投影画像生成部340は、ステップS71で取得された属性情報の関連IDに対応するアプリケーション名に対応する関連起動画像および起動画像を生成した後、表示処理部390は、各IDの位置と起動画像に対応したそのIDの周囲の位置とを結ぶ結線情報を生成するが、起動画像に関連起動画像が含まれる場合、自IDとその起動画像に対応したIDの周囲の位置とを結ぶ結線情報を生成し、さらに、関連IDの位置とその起動画像に対応したIDの周囲の位置とを結ぶ結線情報を生成すると共に、自IDおよび関連IDの位置と関連起動画像の位置とを結ぶ結線情報を生成する(ステップS81)。
投影画像生成部340は、演算されたスクリーン12上の位置に関連起動画像および起動画像を投影面13にプロジェクタ15を介して投影させると共に、ステップS81で生成された結線情報に基づいて線を描画する(ステップS82)。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、ステップS81、ステップS82を含む処理が実行された場合の起動画像とスクリーンに置かれた物体とを線で結んで表示されたイメージを図37に示す。図37の例では、関連起動画像19lおよび関連起動画像19mが、写真用紙50およびIDカード80と線で結ばれている。その他の起動画像19は、写真用紙50およびIDカード80の何れかと線で結ばれている。
図38は、図39に示すようにスクリーンに置かれた物体を囲む円枠と起動画像を表示するためのフローチャートである。なお、図32および図36で説明したものと同じ処理には同じ符号を付してそれぞれの説明を省略する。
ステップS61で、関連識別情報検索部380によって検索された結果、保存されたIDに対応した関連IDがあった場合、表示処理部390は、自IDの位置と関連IDを取得した後、自IDの位置を中心とした円枠の位置を演算し、関連IDの位置を中心とした円枠の位置を演算する(ステップS91)。
ステップS71で、属性情報取得部130は、図23に示した属性情報テーブルを参照して、自IDおよび関連IDの属性情報を取得した後、表示処理部390は、ステップS71で取得したアプリケーション名に対応する自IDの起動画像に対応した自IDの周囲の位置(例えば、図39の円枠91内に収まるようIDの位置を中心とする円周上の等間隔の位置)を演算すると共に、関連IDの起動画像に対応した関連IDの周囲の位置(例えば、図39の円枠92内に収まるようIDの位置を中心とする円周上の等間隔の位置)を演算する(ステップS92)。
表示処理部390は、それぞれの円枠の重なる部分に関連起動画像の位置が存在するよう演算すると共に、重ならない部分に起動画像の位置が存在するよう演算する(ステップS93)。ステップS74で、投影画像生成部340は、ステップS71で取得された属性情報の関連IDおよび自IDに対応するアプリケーション名に対応する関連起動画像および起動画像を生成し、演算されたスクリーン12上の位置に関連起動画像、起動画像、円枠、および円枠を投影面13にプロジェクタ15を介して投影させる(ステップS94)。
一方、ステップS66で、表示処理部390は、各物体のスクリーン12上の位置(各IDの位置)を取得した後、それぞれのIDの位置を中心とした円枠の位置を演算する(ステップS95)。ステップS71で、属性情報取得部130は、図23に示した属性情報テーブルを参照して、各IDの属性情報を取得した後、表示処理部390は、ステップS67で取得したアプリケーション名に対応する各IDの起動画像に対応したIDの周囲の位置(例えば、円枠内に収まるようIDの位置を中心とする円周上の等間隔の位置)を演算すると共に、他のIDの起動画像に対応した他のIDの周囲の位置(例えば、円枠内に収まるよう他のIDの位置を中心とする円周上の等間隔の位置)を演算する(ステップS96)。
投影画像生成部340は、ステップS67で取得された属性情報のIDに対応するアプリケーション名に対応する起動画像を生成し(ステップS69)、演算されたスクリーン12上の位置に関連起動画像、起動画像、および円枠を投影面13にプロジェクタ15を介して投影させる(ステップS94)。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、ステップS91〜ステップS94を含む処理が実行された場合、写真用紙50の位置を中心とした円枠91、IDカード80の位置を中心とした円枠92が表示されたイメージを図39に示す。図39の例では、円枠91および円枠92の重なる部分に関連起動画像19lおよび関連起動画像19mが表示されており、重ならない部分にそれぞれの起動画像が表示されている。図39の例では、物体の位置を中心とした円枠を表示するようにしているが、円の枠という形は限定されず、物体が収まる枠であればよい。
図40は、図41および図42に示すようにスクリーンに置かれた物体を囲む円枠と起動画像とを表示するためのフローチャートである。なお、図32で説明したものと同じ処理には同じ符号を付してそれぞれの説明を省略する。
ステップS92で、表示処理部390は、ステップS71で取得したアプリケーション名に対応する自IDの起動画像に対応した自IDの周囲の位置を演算すると共に、関連IDの起動画像に対応した関連IDの周囲の位置を演算した後、自ID、関連IDそれぞれの円枠に互いに重なる部分があるか否か判定する(ステップS97)。
重なる部分がある場合、表示処理部390は、重なる部分に関連起動画像の位置を演算する(ステップS98)。投影画像生成部340は、ステップS71で取得された属性情報の関連IDおよび自IDに対応するアプリケーション名に対応する関連起動画像を生成する(ステップS99)。ステップS94で、投影画像生成部340は、演算されたスクリーン12上の位置に関連起動画像、および円枠を投影面13にプロジェクタ15を介して投影させる。
重なる部分がない場合、表示処理部390は、自ID、関連IDの円枠内に起動画像の位置を演算する(ステップS100)。投影画像生成部340は、ステップS71で取得された属性情報の関連IDおよび自IDに対応するアプリケーション名に対応する起動画像を生成する(ステップS101)。ステップS94で、投影画像生成部340は、演算されたスクリーン12上の位置に起動画像、円枠、および円枠を投影面13にプロジェクタ15を介して投影させる。
なお、写真用紙50、IDカード80の物体をスクリーン12上に置いたときに、写真用紙50の位置を中心とした円枠91、IDカード80の位置を中心とした円枠92が表示されたイメージを図41に示す。図41の例では、互いの円枠が重なっておらず、ステップS100、ステップS101を含む処理が実行された場合、互いの円枠内に起動画像が表示されている。
また、図42の例では、互いの円枠が重なっている場合で、ステップS98、ステップS99を含む処理が実行された場合、重なる部分に関連起動画像19lおよび関連起動画像19mが表示される。
以上説明したように、本発明の第3の実施の形態に係る情報処理装置は、検索された関連識別情報に対応する関連起動画像が認識可能なように処理を行い、取得された属性情報のアプリケーション情報に対応する起動画像および関連起動画像をその処理に従ってスクリーン12上に表示させるため、スクリーン12上に複数の物体を認識したとき、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知でき、直接的な操作のユーザビリティや操作性を向上させることができる。