以下、図面を参照して、本発明の実施形態を詳細に説明する。まず図1を参照して、本発明の実施形態における情報処理装置を含むシステムの構成の一例について説明する。図1は、本発明の情報処理装置を含むシステムの構成の一例を示す図である。
本発明の情報処理装置を含むシステムは、図1に示すように、撮像装置100、表示端末200、オブジェクト管理サーバ300、等を備えて構成されている。WAN101は上記の各装置を相互に通信可能に接続するためのネットワークである。
撮像装置100は、撮像機能により映像情報(映像データ)を取得し、当該取得した映像情報を表示端末200に送信する。また、当該撮像装置100が設置されている位置情報、画角情報を送信する。
表示端末200は、撮像装置100より映像情報、撮像装置100の映像の撮影画角を示す画角情報、また、撮像装置100の設置されている位置を示す位置情報を受信する。また、受信した映像情報を表示画面に表示する。
更に、表示端末200は、被写体であるオブジェクトに関する情報であるオブジェクト関連情報、オブジェクトの存在する位置の情報であるオブジェクト位置情報を管理するオブジェクト管理サーバ300から、前記撮像装置100の画角内に存在するオブジェクトのオブジェクト関連情報とオブジェクト位置情報とを取得する。
表示端末200は、当該オブジェクト位置情報を用いて、当該表示端末の表示画面上の各オブジェクトの位置を算出し、当該オブジェクトの位置近辺に、当該オブジェクトのオブジェクト関連情報を表示させるための画像を表示する。
オブジェクト関連情報を表示させるための画像とは、例えば、それぞれのオブジェクトの上部に表示されるエアタグ画像のようなものが挙げられる。本発明において、当該エアタグの形をとるようなオブジェクト対応画像は、オブジェクトの位置を示す情報であるオブジェクト位置情報、撮像装置が撮像した映像情報、撮像装置が撮像している範囲を示す情報である撮像範囲情報等から特定された表示画面上のオブジェクトの位置の上部であって、オブジェクト自体と重ならない、オブジェクトに近い位置に表示されるものとする(請求項中の関連情報表示領域配置手段に該当)。
ユーザにより当該エアタグ画像の選択指示が成された場合、表示端末200の表示画面上に、当該選択指示の対象となったエアタグ画像に対応したオブジェクトの、オブジェクト関連情報を表示画面上に表示するものである。
表示画面上の、オブジェクトを選択するための領域のことを、選択対象領域という。選択対象領域は、ユーザにオブジェクトの選択をさせるべく、例えばオブジェクト対応画像や、オブジェクト自体と重なって配置されるものとする。選択対象領域は、どのような形、大きさでもよいものとする。本発明の実施形態の説明においては、オブジェクト対応画像とオブジェクト選択対象領域は重なって配置されるものとして説明する。
オブジェクト管理サーバ300は、被写体であるオブジェクトに関する情報であるオブジェクト関連情報、オブジェクトの存在する位置の情報であるオブジェクト位置情報を管理する。
各オブジェクトにはICチップ等が付与されており、当該オブジェクト管理サーバ300は、当該ICチップと通信を行うことにより、当該ICチップを付与されたオブジェクトの位置を特定する。
また、前記オブジェクト関連情報とは、例えば、前記オブジェクトが人間の場合、人物プロフィールであったり、前記オブジェクトが機会であった場合には、スペック一覧であったりする。オブジェクト関連情報の詳細については、図14の説明にて後述する。
当該オブジェクト管理サーバ300は、外部装置からの要求に応じて、オブジェクト位置情報、オブジェクト関連情報を外部装置に送信する。以上が図1の、本発明の実施形態における情報処理装置を含むシステムの構成の一例についての説明である。
次に、図2を参照して、図1に示す、本発明の実施形態における、オブジェクト管理サーバ、及び表示端末のハードウェア構成の一例について説明する。図2は、本発明の実施形態における、オブジェクト管理サーバ、及び表示端末のハードウェア構成の一例を示す図である。
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。
CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。また、入力コントローラ(入力C)205は、キーボード209や不図示のマウス等のポインティングデバイスからの入力を制御する。
ビデオコントローラ(VC)206は、CRTディスプレイ(CRT)210等の表示器への表示を制御する。表示器はCRTだけでなく、液晶ディスプレイでも構わない。これらは必要に応じて管理者が使用するものである。本発明には直接関係があるものではない。また、CRTディスプレイ(CRT)210は、オブジェクト管理サーバ300、撮像装置100においては、必ずしも必要ではない。
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフロッピー(登録商標)ディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT210上での表示を可能としている。また、CPU201は、CRT210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するためのプログラムは外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイル及び各種情報テーブルは外部メモリ211に格納されている。以上が図2の、本発明の実施形態における各種装置のハードウェア構成の一例についての説明である。
次に図3を参照して、本発明の実施形態における、撮像装置のハードウェア構成および撮影機能の一例について説明する。図3は、本発明の実施形態における、撮像装置のハードウェア構成および撮影機能の一例を示す図である。
図3で、撮影装置は、いわゆるデジタルカメラから成り、撮影用のレンズ301、撮像素子(以下、「CCD」と称する)302、カメラ信号処理部(以下、「ADC」と称する)303、画像処理部304、システムコントローラ310、バッファメモリ311、フラッシュROM312、インターフェース回路(以下、「I/F回路」と称する)313、カードホルダ314、メモリカード315、ディスプレイドライバ316、および操作部320を備える。
レンズ301は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子302は、レンズ301から入射した撮像光を結像し、電気信号(アナログ信号)に変換して出力するCCDイメージセンサで構成される。
カメラ信号処理部(ADC)303は、撮像素子302から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ310は、画像処理部304、バッファメモリ311、フラッシュROM312、I/F回路313、ディスプレイドライバ316、サウンドドライバ318、LEDドライバ328、および操作部320に接続されている
画像処理部304は、前処理部305、YC処理部306、電子ズーム処理部307、圧縮部308、および伸長部309を備え、カメラ信号処理部303から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
前処理部305は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源(蛍光灯や太陽光など)に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部305は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
YC処理部306は、入力される画像データに基づく画像を、輝度情報「Y」と、輝度信号と青色の色差情報「Cb」と、輝度信号と赤色の色差情報「Cr」とに分離する機能を有する。電子ズーム処理部307は、画像の一部(例えば中央部)を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部307は、例えば、撮影された1600×3200ドットの画像から中央の3024×768ドットの画像を切り出し、データ補間を行いながら1600×3200ドットのサイズに拡大することができる。
圧縮部308は、画像データをJPEG(Joint Photographic Expert Group)方式などの圧縮形式によって圧縮する機能を有する。伸長部309は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをJPEG方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる(DCT処理)。次に、画像の階調やグラデーションを表現する段階を数値(量子化ビット数)で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部308および伸長部309を省略することができる。また、画像データの圧縮形式は、JPEG方式に限らず、GIF(Graphical Interchange Format)形式などであっても、同様に処理を行うことができる。
バッファメモリ311には、画像処理部304で画像処理が行われる際に、一時的に画像データが保存される。フラッシュROM312には、撮影装置の各種設定情報や、後述するユーザ認証情報が保存される。I/F回路313は、システムコントローラ310から出力される画像データを、メモリカード315に記録可能なデータ形式に変換する。また、I/F回路313は、メモリカード315から読み出された画像データ等を、システムコントローラ310で処理可能なデータ形式に変換する。
カードホルダ314は、記録媒体であるメモリカード315を撮影装置に着脱可能にする機構を備えると共に、メモリカード315との間でデータ通信が可能な電気接点を備える。また、カードホルダ314は、撮影装置で利用される記録媒体の種類に応じた構造を有する。メモリカード315は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ314に着脱可能なカード型の記録媒体である。メモリカード315には、撮影装置で撮影された画像データを記録することができる。
ディスプレイドライバ316は、システムコントローラ310から出力される画像データを液晶ディスプレイ317で表示可能な信号に変換する。具体的には、ディスプレイドライバ316は、システムコントローラ310から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ317の表示可能エリアのサイズに適したサイズに変換する処理を行う。
サウンドドライバ318は、システムコントローラ310から出力される音声データをスピーカ219で鳴動可能な信号に変換する処理を行う。LED(Light Emitting Diode)LEDドライバ328は、システムコントローラ310から出力される命令に従いランプ329の制御を行う。
操作部320は、電源スイッチ321、モードダイヤル322、撮影ボタン323、カーソルキー324、ズームボタン325、および閲覧(再生)ボタン326を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ310に出力する。なお、操作部320には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
モードダイヤル(選択ボタン)322は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル322を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル322について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
閲覧ボタン326は、撮影した画像データを閲覧する閲覧モード(再生モード)に切り替えるためのボタンである。閲覧ボタン326が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン326の押下に限定されず、液晶ディスプレイ317上のタッチパネル(不図示)などによる移行方法であってもよい。
閲覧モードでは、システムコントローラ310が、I/F回路313を介して、カードホルダ314に装着されているメモリカード315から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード315に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像1枚分の画像データまたはサムネイルデータである。なお、メモリカード315から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
メモリカード315から読み出された画像データは、I/F回路313およびシステムコントローラ310を介して、ディスプレイドライバ316へ入力される。ディスプレイドライバ316は、入力された画像データを液晶ディスプレイ317に表示させる。
カーソルキー324は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー324により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー324により、液晶ディスプレイ317にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー324により、撮影装置で撮影された画像データを液晶ディスプレイ317上にプレビュー表示させることができる。プレビュー表示とは、撮像装置100で撮影した画像を、その直後に液晶ディスプレイ317に表示させる機能である。
なお、プレビュー表示については、液晶ディスプレイ317上に撮影した画像を1枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、カーソルキー324の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。
レンズ制御部327は、レンズ301のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧(再生)モードとを備える。
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像(動画)記録時には、通常音声記録も同時に行われ、圧縮部308および伸長部309で、映像と音声が多重化される。
また、撮像装置100における撮影動作について図3を用いて説明する。まず、ユーザが電源スイッチ321を操作し、撮像装置100の電源をONにする。すると、撮像装置100に内蔵されているバッテリー(不図示)から各回路へ電源供給されて、撮像装置100の起動処理(レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など)が行われる。撮像装置100は、電源OFF時に電源スイッチ321が押下されると電源ONとなり、自動的に撮影モードとなるように構成されている。また、電源OFF時に閲覧ボタンが押下されると電源ONとなり、自動的に閲覧モードとなるように構成されている。
撮像装置100が撮影モードに移行すると、光学画像がレンズ301を介して撮影装置内へ入射し、撮像素子(CCD)302に結像される。CCD302は、入射される光学画像を電気信号に変換して、カメラ信号処理部(ADC)303へ出力する。ADC303は、入力される電気信号(アナログ信号)をデジタル信号に変換する。ADC303から出力されるデジタル信号は画像処理部304に入力される。
画像処理部304内の前処理部305では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部304内のYC処理部306では、画像データが輝度信号Yと色差信号CrおよびCbとに分離され、色差信号CrおよびCbの情報量を減らす処理が行われる。色差信号CrおよびCbの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「4:2:2ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「4:1:1ダウンサンプリング処理」などがある。なお、前処理部305およびYC処理部306で画像処理を行う際は、画像データを一時的にバッファメモリ311に保存し、随時バッファメモリ311に保存されている画像データを読み出しながら画像処理が行われる。
画像処理部304から出力される画像データ(非圧縮)はシステムコントローラ310に入力される。システムコントローラ310は、画像処理部304から出力される画像データを、ディスプレイドライバ316へ出力する。ディスプレイドライバ316は、入力される画像データ(デジタル信号)をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ317で表示可能なサイズに調整する。
また、ディスプレイドライバ316は、液晶ディスプレイ317に画像を表示させるよう制御する。このとき、液晶ディスプレイ317に表示される画像は、CCD302、ADC303、および画像処理部304で、連続的に信号処理されて生成される画像(スルー画像)である。
液晶ディスプレイ317にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン323を操作すると、システムコントローラ310は画像処理部304に制御信号を出力する。画像処理部304に制御信号が入力されると、圧縮部308は、前処理部305およびYC処理部306で画像処理された画像データをバッファメモリ311へ保存し、圧縮処理を行う。
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理(DCT処理)や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ310およびディスプレイドライバ316を介して液晶ディスプレイ317に表示される。また、圧縮された画像データは、カードホルダ314を介してメモリカード315に記録される。
撮影ボタン323が操作される前にズームボタン325が操作されると、システムコントローラ310は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン325の操作後、撮影ボタン323が操作されると、拡大または縮小された画像の画像データがメモリカード315へ記録される。
水準器330は、撮像装置100の傾きを検知し、計測する。以上が図3の、本発明の実施形態における、撮像装置のハードウェア構成および撮影機能の一例についての説明である。
次に図4を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図4は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。
図4に示す通り、撮像装置100は、撮像部411、映像情報送信部412、撮像位置情報送信部413、画角情報送信部414等を備えて構成されている。
表示端末200は、映像情報受信部421、撮像位置情報送受信部422、画角情報送受信部423、オブジェクト関連情報受信部424、オブジェクト対応画像表示位置算出部425、オブジェクト近接判定部426、表示方法切替部427等を備えて構成されている。
オブジェクト管理サーバ300は、オブジェクト位置情報取得部431、撮像位置情報受信部432、画角情報受信部433、画角内外判定部434、オブジェクト関連情報送信部435等を備えて構成されている。
撮像装置100の撮像部411は、画角内の映像を撮像する撮像部である。映像情報送信部412は、当該撮像部411で撮影した映像情報を表示端末200に送信する送信部である。
位置情報送信部413は、撮像装置の現在位置を示す撮像位置情報を表示端末200、オブジェクト管理サーバ300に送信する送信部である。画角情報送信部414は、当該撮像装置100の画角、方向を示す画角情報を表示端末200、オブジェクト管理サーバ300に送信する送信部である。
表示端末200の映像情報受信部421は、撮像装置100より映像情報を受信する受信部である。表示端末200のCPU201は、当該映像情報を表示画面に表示する。
撮像位置情報送受信部422は、撮像装置100より撮像位置情報を受信する受信部であり、当該撮像位置情報をオブジェクト管理サーバ300に送信する送信部である。
画角情報送受信部423は、撮像装置100より画角情報を受信する受信部であり、当該画角情報をオブジェクト管理サーバ300に送信する送信部である。
オブジェクト関連情報受信部424は、オブジェクト管理サーバ300より、オブジェクト関連情報及び、オブジェクト位置情報受信する受信部である。
オブジェクト対応画像表示位置算出部425は、撮影位置情報、画角情報、オブジェクト位置情報に基づいて、表示端末200の表示画面上のオブジェクトの位置、オブジェクト対応画像の位置を算出する算出部である。
当該算出結果に基づいて、表示端末200のCPU201は、映像情報を表示中の表示画面上に、オブジェクト対応画像を配置、表示する。
オブジェクト近接判定部426は、表示画面上のオブジェクト同士が一定以上近接した状態にあるか否かを判定する判定部である。
表示方法切替部427は、オブジェクト近接判定部426の下す判定結果に応じて、オブジェクト対応画像、オブジェクト関連情報の表示方法を決定し、切り替える切替部である。
オブジェクト管理サーバ300のオブジェクト位置情報取得部431は、オブジェクトに付与されたICチップ等と通信を行うことにより、当該ICチップの付与されたオブジェクトの位置を取得する取得部である。尚、当該オブジェクト位置情報の取得方法はICチップとの通信に限るものではない。
例えばオブジェクトの周囲に複数のセンサを取り付け、当該センサ感知したオブジェクトの位置情報を受信することで当該オブジェクト位置情報を取得するようにしてもよい。
撮像位置情報受信部432は、表示端末200、乃至撮像装置100から、撮像位置情報を受信する受信部である。画角情報受信部433は、表示端末200、乃至撮像装置100から、撮像装置100の画角情報を受信する受信部である。
画角内外判定部434は、オブジェクト位置情報取得部431で取得したオブジェクト位置情報と、撮像位置情報受信部432で受信した撮像位置情報と、画角情報受信部433で受信した画角情報に基づいて、いずれのオブジェクトが撮像装置100の撮像範囲、画角内に存在するかを判定する判定部である。
オブジェクト関連情報送信部435は、当該画角内外判定部434で、撮像装置100の撮像範囲に存在すると判定されたオブジェクトのオブジェクト関連情報を表示端末200に送信する送信部である。以上が図4の、本発明の実施形態における、各種装置の機能構成の一例についての説明である。
次に図5を参照して、本発明の実施形態における、オブジェクト対応画像の表示処理の概要について説明する。図5は、本発明の実施形態における、オブジェクト対応画像の表示処理の概要の流れを示すフローチャートである。
尚、本発明の実施形態においては、撮像装置100と表示端末200が別の筐体であるように記載しているが、撮像装置100と表示端末200は、同一の筐体に含まれるものであってもよい。
撮像装置100は、撮像機能を用いて映像情報を取得する(ステップS501)。そして、当該映像情報、及び撮像位置情報、方角情報、角度情報、画角情報を表示端末200に送信する(ステップS502)。
撮像位置情報、方角情報、角度情報、画角情報は、撮像装置100に設定された、撮像装置を一意に識別するための情報である撮像装置IDと共に送信される。当該撮像装置ID、撮像位置情報、方角情報、角度情報、画角情報の一例については図7の説明にて後述する。
ここで図7を参照して、本発明の実施形態における、撮像範囲情報データの構成の一例について説明する。図7は、本発明の実施形態における撮像範囲情報データの構成の一例を示す図である。
撮像範囲情報データ700は、図7に示す通り、撮像装置ID701、撮像位置情報702、方角情報703、角度情報704、画角情報705等から構成されている。撮像装置ID701は、撮像装置を一意に識別するための識別情報である。
撮像位置情報702は、撮像装置ID701から識別される撮像装置の位置情報である。方角情報703は、前記撮像装置の向いている方角を示す方角情報である。当該方角情報703は、撮像装置に搭載されている方位センサ等により計測されるものとする。尚、ここでは、真北方向を0°とし、右回りに角度が増大するものとして記載している。つまり、真東方向90°となる。
前記角度情報704は、前記撮像装置が向いている上下方向の角度を示す情報である。当該角度情報は撮像装置に搭載された加速度センサ、水準器等によって計測されるものとする。
尚、ここでは、地面に対して水平の角度を0°とし、撮像装置が上方向に傾くと角度の値が増大し、下方向に傾くと角度の値が減少するものとする。つまり、下斜め45°を示す値は、−45°となる。
画角情報705は、前記撮像装置の撮影している画角を示す情報である。以上が図7の、本発明の実施形態における撮像情報データの構成の一例についての説明である。
図5の説明に戻る。表示端末200のCPU201は、当該映像情報、及び撮像範囲情報データ700を受信し(ステップS503/請求項中の映像取得手段、撮像範囲情報取得手段に該当)、当該撮像範囲情報データ700をオブジェクト管理サーバ300に送信する(ステップS504)。
オブジェクト管理サーバ300のCPU201は、表示端末200より撮像位置情報、方角情報、角度情報、画角情報を受信する(ステップS505)。
オブジェクト管理サーバ300のCPU201は、オブジェクトに付与されたICチップより、各オブジェクトのオブジェクト位置情報を取得し(ステップS506)、ステップS505で受信した撮像位置情報、方角情報、角度情報、画角情報と、前記オブジェクト位置情報とに基づいて、前記撮像装置100の撮像する画角内に含まれるオブジェクトを特定する(ステップS507)。
ここでいうオブジェクト位置情報とは、例えば図8に示すオブジェクト位置情報800のような情報である。オブジェクト位置情報800については、図8の説明にて後述する。
ここで図8を参照して、本発明の実施形態における、オブジェクト位置情報の構成の一例について説明する。図8は、本発明の実施形態における、オブジェクト位置情報の構成の一例を示す図である。
図8に示す通り、オブジェクト位置情報800は、オブジェクトID801、位置情報802等から構成されている。
オブジェクトID801は、オブジェクト位置情報800の取得元のオブジェクトを一意に識別するための識別情報である。位置情報802は、当該オブジェクトID801に対応するオブジェクトの位置情報である。以上が図8の、本発明の実施形態における、オブジェクト位置情報の構成の一例についての説明である。
続いて、図6を参照して、本発明の実施形態における、撮像装置の画角及び画角内外のオブジェクトについて説明する。図6は、本発明の実施形態における、撮像装置の画角及び画角内外のオブジェクトの一例を示す図である。
図6は、撮像装置601、画角内602、画角外603、オブジェクト604、オブジェクト605、オブジェクト606、オブジェクト607、オブジェクト608等から構成されている。
撮像装置601は、例えば、本発明の実施形態における撮像装置100である。画角内602は、撮像装置601の画角(45°)により特定される撮像領域である。
画角外603は、撮像装置601の画角(45°)により特定される非撮像領域である。
オブジェクト604、オブジェクト605、オブジェクト606、オブジェクト607は、画角内602に収まるオブジェクトである。
当該オブジェクトが画角内、画角外のどちらに存在するかは、オブジェクト位置情報800により特定する。
オブジェクト608は、撮像装置601の画角外に存在するオブジェクトであり、表示端末200の表示画面には表示されないオブジェクトである。
以上、図6に示すように、本発明の実施形態におけるオブジェクト管理サーバ300のCPU201は、オブジェクト位置情報800と、撮像範囲情報データ700から、撮像装置601の画角に含まれるオブジェクトを特定する。以上が図6の、本発明の実施形態における、撮像装置の画角及び画角内外のオブジェクトについての説明である。
図5の説明に戻る。オブジェクト管理サーバ300のCPU201は、ステップS507で特定した各オブジェクトのオブジェクト関連情報を、各オブジェクトのオブジェクトIDに基づいて、オブジェクト管理サーバ300の外部メモリ211から取得する(ステップS508)。オブジェクト関連情報については、図14の説明にて後述する。
ここで図14を参照して、本発明の実施形態における、オブジェクト関連情報の構成の一例について説明する。図14は、本発明の実施形態における、オブジェクト関連情報の構成の一例を示す図である。
図14に示す通り、オブジェクト関連情報群1400は、オブジェクトID1401、オブジェクト関連情報1402等から構成されている。また、ここでは、オブジェクト関連情報群1400は、予め、オブジェクト管理サーバ300の外部メモリ211等の記憶媒体に記憶されているものとする。
オブジェクトID1401は、オブジェクト関連情報1402に対応するオブジェクトを特定するために用いられるIDであり、オブジェクトを一意に識別するための識別情報である。オブジェクトID1401は、図8のオブジェクトID801に対応している。
オブジェクト関連情報1402は、オブジェクトID1401により特定されるオブジェクトに関する情報である。オブジェクト関連情報1402は、例えば、オブジェクトのプロフィールであったり、スペックの情報であったりする。
尚、ここで挙げたオブジェクト関連情報1402の内容はあくまで一例にすぎず、当該オブジェクト関連情報1402には、対応するオブジェクトに関するどのような情報が登録されていてもよい。以上が図14の、本発明の実施形態における、オブジェクト関連情報の構成の一例についての説明である。
図5の説明に戻る。オブジェクト管理サーバ300のCPU201は、ステップS508で取得したオブジェクト関連情報と、前記オブジェクト位置情報とを、前記表示端末200に送信する(ステップS509)
表示端末200のCPU201は、前記オブジェクト関連情報と、前記オブジェクト位置情報とを受信する(ステップS510)。
そして、当該ステップS503で受信した撮像位置情報、方角情報、角度情報、画角情報と、前記オブジェクト位置情報とに基づいて、前述したオブジェクト対応画像の表示画面上の(映像データ中の)配置位置、乃至表示位置を特定し(ステップS511/請求項中の配置位置特定手段に該当)、前記オブジェクト対応画像を配置する(ステップS512)。
尚、ステップS511において、オブジェクト自体の表示画面上の表示位置は、前記配置位置を特定するために、特定されているものとする。
表示端末200のCPU201は、表示画面上のオブジェクト、オブジェクト対応画像の状態によって、オブジェクト対応画像の表示方法を変更し、切り替える(ステップS513)。
表示端末200のCPU201は、映像情報の表示処理の終了指示を受け付けたか否かを判定し(ステップS514)、映像情報の表示処理の終了指示を受け付けたと判定した場合は(ステップS514でYES)、表示処理を終了する。
映像情報の表示処理の終了指示を受け付けていないと判定した場合は(ステップS514でNO)、処理をステップS501まで戻す。以上が図5の、本発明の実施形態における、オブジェクト対応画像の表示処理の概要についての説明である。
ここで図9を参照して、本発明の実施形態における、オブジェクト対応画像の表示の切替処理の流れについて説明する。図9は、本発明の実施形態における、オブジェクト対応画像の表示の切替処理の流れを示すフローチャートである。
表示端末200のCPU201は、表示画面上に、一定以上近接したオブジェクト乃至オブジェクト対応画像があるか否かを判定する(ステップS901)。つまり、関係判定を行うということである。一定以上近接したか否かの判定基準は、図16の表示モード設定テーブル1600の距離1602による。表示モード設定テーブル1600については、図16の説明にて後述する。
次に図10を参照して、本発明の実施形態における、オブジェクト同士の、非近接状態から近接状態への移行の様子について説明する。図10は、本発明の実施形態における、オブジェクト同士の、非近接状態から近接状態への移行の様子の一例を示す図である。
尚、表示画面1000、表示画面1010は、表示端末200の表示部に表示された画面であり、撮像装置100より受信した映像情報を表示したものである。
図10に示す通り、表示画面1000は、オブジェクト1001、エアタグ1002、オブジェクト1003、エアタグ1004等から構成されている。また、表示画面1010は、オブジェクト1011、エアタグ1012、オブジェクト1013、エアタグ1014等から構成されている。
表示画面1000のオブジェクト1001は移動体であり、画面右側へ移動している。エアタグ1002は、オブジェクト1001に対応したオブジェクト対応画像であり、オブジェクト1001の移動に伴って移動する。
オブジェクト1003は停止中の被写体である。エアタグ1004は、オブジェクト1003に対応したオブジェクト対応画像である。
表示画面1010のオブジェクト1011は移動体であり、前記表示画面1000のオブジェクト1001の数秒後の状態である。エアタグ1012は、オブジェクト1011に対応したオブジェクト対応画像であり、前記表示画面1000のエアタグ1002の数秒後の状態である。
オブジェクト1013は、前記表示画面1000のオブジェクト1003の数秒後の状態である。エアタグ1014は、オブジェクト1013に対応したオブジェクト対応画像であり、前記表示画面1000のエアタグ1004の数秒後の状態である。
表示端末200のCPU201は、表示画面1010に示すように、オブジェクト同士、乃至、オブジェクト対応画像同士が一定以上近接状態にあり、且つ、一定時間以上近接状態にあった場合に、オブジェクト同士が近接状態であると判断する。以上が図10の、本発明の実施形態における、オブジェクト同士の、非近接状態から近接状態への移行の様子についての説明である。
図9に説明に戻る。表示端末200のCPU201は、一定以上近接したオブジェクト乃至オブジェクト対応画像がないと判定した場合(ステップS901でNO)、処理をステップS913に移行し、オブジェクト対応画像の表示方法を切り替えず、図5のS512で表示したように、通常表示を継続する。
一定以上近接したオブジェクト乃至オブジェクト対応画像があると判定した場合(ステップS901でYES)、表示モードが重複表示回避モードか否かを判定する(ステップS902)。
表示端末200のCPU201は、表示モードが重複表示回避モードであると判定した場合(ステップS902でYES)、図12の表示画面1200に示すように、ステップS901で他のオブジェクト、他のオブジェクト対応画像と近接していると判定されたオブジェクト対応画像が、他のオブジェクト対応画像、乃至オブジェクトそのものと重ならないようにオブジェクト対応画像の表示位置を変更する(ステップS908)。表示画面1200については、図12の説明にて後述する。
ここで図12を参照して、本発明の実施形態における、重複表示回避モードの実施の様子について説明する。図12は、本発明の実施形態における、重複表示回避モードの実施の様子の一例を示す図である。
図12に示す通り、表示画面1200は、オブジェクト1201、エアタグ1202、オブジェクト1203、重複表示回避後エアタグ1204、重複表示回避前エアタグ表示位置1205等から構成されている。
オブジェクト1201は移動体であり、画面右方向に向かって移動している被写体である。エアタグ1202は、前記オブジェクト1201に対応したオブジェクト対応画像である。オブジェクト1203はオブジェクト1201と、表示画面上で重なっている被写体である。
重複表示回避後エアタグ1204は、オブジェクト1203に対応したオブジェクト対応画像であり、前記重複表示回避モードでなければ、重複表示回避前エアタグ表示位置1205に表示され、オブジェクト1201、乃至エアタグ1202と重複表示されていたであろうエアタグである。
重複表示回避前エアタグ表示位置1205は、表示端末200の設定が前記重複表示回避モードでない場合に、前記重複表示回避後エアタグ1204が表示される表示位置である。
表示端末200のCPU201は、例えば、オブジェクト1201より背面にあるオブジェクト1203に対応するエアタグであって、重複表示回避前エアタグ表示位置1205に表示されていたエアタグが、前記オブジェクト1201、乃至エアタグ1202と一定以上近接していると判定した場合、前記重複表示回避前エアタグ表示位置1205に表示されていたエアタグを、他のエアタグ、乃至オブジェクトと重ならない位置に移動させる。
つまり、例えば、重複表示回避後エアタグ1204のように、本来の表示位置である重複表示回避前エアタグ表示位置1205から表示位置を移動させる。以上が図12の、本発明の実施形態における、重複表示回避モードの実施の様子についての説明である。
図9の説明に戻る。表示端末200のCPU201は、ステップS908で、オブジェクト対応画像が重複表示されないように表示画面に表示し、処理を終了する。
表示端末200のCPU201は、ステップS902において、表示モードが重複表示回避モードでないと判定した場合(ステップS902でNO)、表示モードが重複回避・リスト表示複合モードか否かを判定する(ステップS903)。
表示端末200のCPU201は、表示モードが重複回避・リスト表示複合モードでないと判定した場合(ステップS903でNO)、表示モードがリスト表示モードであるか否かを判定する(ステップS904)。表示モードがリスト表示モードでないと判定した場合(ステップS904でNO)、表示モードが通常表示モードであると判断し、あるオブジェクト対応画像が他のオブジェクト、オブジェクト対応画像と近接しても、表示方法を変化・追加させることのない通常表示を行う(ステップS913)。
表示端末200のCPU201は、リスト表示モードであると判定した場合(ステップS904でYES)、当該近接状態が一定時間以上であるか否かを判定する(ステップS905)。
近接状態が一定時間以上でないと判定した場合(ステップS905でNO)、処理をステップS913に移行し、通常表示を行う(ステップS913)。
近接状態が一定時間以上であると判定した場合(ステップS905でYES)、図11に示すような表示画面1100内のリスト表示領域1105に、当該近接状態にあるオブジェクト対応画像に対応するオブジェクトの項目のリストを表示する(ステップS906/請求項中のリスト設定手段に該当)。表示画面1100につては、図11の説明にて後述する。尚、当該リスト表示を行う際、既に表示画面上に表示されている選択対象領域(エアタグ)であって、リストに表示される選択対象領域と同じオブジェクトに対応する選択対象領域を削除するようにしてもよい。また、リストと、既に表示済みのエアタグの両方を表示するようにしてもよい。
ここで図11を参照して、本発明の実施形態における、リスト表示モードの実施の様子について説明する。図11は、本発明の実施形態における、リスト表示モードの実施の様子の一例を示す図である。
図11に示すように、表示端末200の表示部に表示される表示画面1100は、オブジェクト1101、エアタグ1102、オブジェクト1103、エアタグ1104、リスト表示領域1105、オブジェクト関連情報表示領域1106等から構成されている。
表示画面1100のオブジェクト1101は移動体であり、画面右側へ移動している。エアタグ1102は、オブジェクト1101に対応したオブジェクト対応画像であり、オブジェクト1101の移動に伴って移動する。
オブジェクト1103は停止中の被写体である。エアタグ1104は、オブジェクト1103に対応したオブジェクト対応画像である。
ここで、表示端末200のCPU201は、オブジェクト1101とオブジェクト1103が近接状態であると判定したものとする。
リスト表示領域1105は、表示端末200のCPU201が近接状態にあると判定したオブジェクトに対応するオブジェクト関連情報の名前等の概要を表示した項目を表示する表示領域である。
尚、ここでいうリスト表示領域1105に表示される項目、つまりリスト上の項目は、前記オブジェクト対応画像の一種であるものとする。尚、当該リストは、表示画面に表示される映像の表示領域とは別の領域に配置するようにしてもよいし、映像の表示領域中に配置するようにしてもよい(請求項4の配置手段)。
尚、当該項目の背景に色を付し、また、当該項目に対応するオブジェクトであり、表示画面1100に表示されているオブジェクトの輪郭を取得し(輪郭取得手段に該当)、色を付して、前記2つの色を対応させることで、いずれの項目が、いずれのオブジェクトを指すものかを識別可能なように表示してもよい。(選択対象領域色付与手段、及び、オブジェクト色付与手段に該当)。更に、オブジェクト関連情報を表示する表示部の背景等に前記オブジェクト乃至、オブジェクトの輪郭に付与した色と対応する色を付与することで、いずれのオブジェクト関連情報が、いずれのオブジェクトの情報を指すものかを識別可能なように表示してもよい(関連情報表示領域色付与手段に該当)。
これにより、表示画面上において複数の場所で重なりが生じた場合、また、多数のオブジェクト対応画像の重なりが生じた場合においても、表示画面上のいずれのオブジェクトと、リスト表示領域1105内のいずれの項目が対応しているかをユーザに識別させる。
当該輪郭は、例えば、オブジェクト位置情報である、図8の位置情報802に基づいて算出された表示画面上の位置にある、動く物体の輪郭をモーションキャプチャ機能等で特定し、当該輪郭に色を重ねることで形成する。
尚、ここでは、表示端末200のCPU201が近接状態にあると判定したオブジェクト対応画像に対応するオブジェクトのみの名称をリスト表示領域1105に表示すれば足るものとする。つまり、表示端末200のCPU201が近接状態にないと判定したオブジェクトの名称は、リスト表示領域1105に表示されない。
また、リスト表示領域1105に表示する項目は上記の内容に限るものではない。例えば、ここでは、表示端末200のCPU201が近接状態にあると判定したオブジェクト対応画像であるエアタグ1102とエアタグ1104に対応するオブジェクトである、オブジェクト1101とオブジェクト1103両方の項目をリスト表示領域1105に表示しているが、最前面に表示されているエアタグ1102を除くエアタグであって、エアタグ1102と一定以上近接しているエアタグに対応するオブジェクトの関連情報を表示するようにしてもよい。尚、当該エアタグが他のエアタグの前面に表示されるか、他のエアタグの後面に表示されるかの関係である前後面の関係は、それぞれのエアタグの対応するオブジェクトの前貢献の関係と同じとする。
オブジェクト関連情報表示領域1106は、表示端末200のCPU201が近接状態にあると判定したオブジェクトに対応するオブジェクト関連情報の詳細を表示する表示領域である。
ここでは、ユーザによる選択指示の選択対象となったオブジェクトに対応するオブジェクト関連情報を、前記オブジェクト関連情報表示領域1106に表示するものとする(請求項中の選択指示受付手段に該当)。
表示端末200のCPU201は、リスト表示領域1105に表示されたリスト内のオブジェクト関連情報の概要の押下指示、また、エアタグ1102、エアタグ1104等のエアタグの押下指示を受け付けることで、ユーザによる選択指示の選択対象を特定する。以上が図11の、本発明の実施形態における、リスト表示モードの実施の様子についての説明である。
図9の説明に戻る。表示端末200のCPU201は、リスト表示を実行した後、近接しているオブジェクト同士が非近接状態に移行したか否かを判定し(ステップS907)、オブジェクト同士が非近接状態に移行していないと判定した場合は(ステップS907でNO)、リスト表示を継続し、一旦処理を終了する。
オブジェクト同士が非近接状態に移行したと判定した場合は(ステップS907でYES)、表示画面を通常表示状態に移行し(ステップS913)、処理を終了する。
表示端末200のCPU201は、ステップS903で、表示画面の表示モードが重複表示回避モードであると判定した場合(ステップS903でYES)、処理をステップS909に移行し、図12の表示画面1200に示すように、エアタグ同士が重ならないように表示する(ステップS909)。
表示端末200のCPU201は、オブジェクト、乃至、オブジェクト対応画像であるエアタグが一定数以上近接状態にあるか否かを判定し(ステップS910)、オブジェクト、乃至、エアタグが一定数以上近接状態でないと判定した場合(ステップS910でNO)、回避表示の状態を継続する。
オブジェクト、乃至、エアタグが一定数以上近接状態であると判定した場合(ステップS910でYES)、図11の表示画面1100に示すように、表示方法をリスト表示に変更する(ステップS911)。尚、当該リスト表示を行う際、既に表示画面上に表示されている選択対象領域(エアタグ)であって、リストに表示される選択対象領域と同じオブジェクトに対応する選択対象領域を削除するようにしてもよい。また、リストと、既に表示済みのエアタグの両方を表示するようにしてもよい。以上が図9の、本発明の実施形態における、オブジェクト対応画像の表示の切替処理の流れについての説明である。
尚、前記図9のステップS909〜ステップS911の説明においては、重複回避・リスト表示複合モードを、重複回避表示を行った後に一定数以上オブジェクトが近接状態にあると判定した場合にリスト表示に移行するモードとして説明したが、例えば、オブジェクト対応画像同士、乃至オブジェクト対応画像とオブジェクトの重複表示を回避してリスト表示をするようにしてもよい。
ここで図13を参照して、本発明の実施形態における、重複回避・リスト表示複合モードの別の一例について説明する。図13は、本発明の実施形態における、重複回避・リスト表示複合モードの別の一例を示す図である。
尚、表示画面1300は、表示端末200の表示部に表示された画面であり、撮像装置100より受信した映像情報を表示したものである。
図13に示す通り、表示画面1300は、オブジェクト1301、エアタグ1302、近接オブジェクト特定枠1303、リスト表示部1304、リスト対象枠対応線1305、選択オブジェクト1306、オブジェクト関連情報表示部1307、関連情報対応線1308等から構成されている。
オブジェクト1301は移動体であり、画面右側へ移動している。エアタグ1302は、オブジェクト1301に対応したオブジェクト対応画像であり、オブジェクト1301の移動に伴って移動する。
近接オブジェクト特定枠1303は、表示端末200のCPU201が近接状態にあると判定したオブジェクト群を囲うことで、当該近接状態にあると判定したオブジェクト群を特定する枠である。
リスト表示部1304は、当該近接状態にあると判定したオブジェクト群のリストを表示するリスト表示部であり、ユーザからオブジェクトの選択を受け付ける選択受付部である。
リスト表示部1304は、表示画面1300内に表示されるオブジェクト、オブジェクト対応画像であるエアタグと重ならないスペースである、表示画面内の空きスペースに表示される。
当該リスト表示部1304内の各項目が、前記近接オブジェクト特定枠1303内のいずれのオブジェクトに対応しているかは、例えば、前記リスト表示部1304内の各項目の背景色と、前記近接オブジェクト特定枠1303内のオブジェクトの輪郭の色を対応させることで識別可能とするものとする。
当該輪郭は、例えば、オブジェクト位置情報である、図8の位置情報802に基づいて算出された表示画面上の位置にある、動く物体の輪郭をモーションキャプチャ機能等で特定し、当該輪郭に色を重ねることで形成する。
尚、当該リスト表示部1304内の各項目と、前記近接オブジェクト特定枠1303内のオブジェクトの対応関係を示す方法はこれに限るものではない。
例えば、オブジェクト位置情報である、図8の位置情報802に基づいて算出された表示画面上の位置に、リスト内の各項目に対応する色の印を表示するようにしてもよいし、当該各項目と枠内のオブジェクトを個別に結ぶ線を表示することで、前記各項目とオブジェクトとの対応を示す用にしてもよい。
リスト対象枠対応線1305は、前記リスト表示部1304が、表示画面上のいずれのオブジェクト群に対応したリストかを示す線である。選択オブジェクト1306は、ユーザからの選択指示の対象となったオブジェクトのリスト内項目である。
オブジェクト関連情報表示部1307は、ユーザからの選択指示の対象となったオブジェクトに対応するオブジェクト関連情報の詳細を表示する表示部である。当該オブジェクト関連情報表示部1307も、他のオブジェクト対応画像、オブジェクト自体と重ならないように表示する。
つまり、オブジェクト対応画像の一部として、他のオブジェクト、オブジェクト対応画像と重なっていないか、近接していないかの判定を行い(請求項中の関係判定手段)、重なっている場合、近接している場合は、他のオブジェクト、オブジェクト対応画像と重ならないように、または近接しないように表示画面上に再配置するものである。
オブジェクト関連情報表示部1307は、表示画面1300内に表示されるオブジェクト、オブジェクト対応画像であるエアタグと重ならないスペースである、表示画面内の空きスペースに表示される。
関連情報対応線1308は、前記オブジェクト関連情報表示部1307が、表示画面上のいずれのオブジェクトに対応する関連情報かを示す線である。
この場合、選択中のオブジェクトの輪郭の色を、他のオブジェクトの輪郭の色と区別させることで、選択状態のオブジェクトと、非選択状態のオブジェクトと、を識別可能に表示してもよい。
図9を用いて説明すると、つまり、表示端末200のCPU201は、ステップS903で、表示モードが重複回避・リスト表示複合モードであると判定した場合(ステップS903でYES)、近接状態にあると判定したオブジェクトを近接オブジェクト特定枠1303で囲う。
表示端末200のCPU201は、当該近接オブジェクト特定枠1303で囲われたオブジェクトに対応する項目をリスト表示部1304に表示し、また、リスト表示部1304を、オブジェクトやエアタグに重ならないよう、リスト対象枠対応線1305を用いて、前記近接オブジェクト特定枠1303と対応付けて表示する。
表示端末200のCPU201は、ユーザからのリスト表示部1304内の項目の選択指示、乃至、エアタグの選択指示を受け付けた場合、前記選択指示の選択対象項目、エアタグに対応したオブジェクト関連情報を表示すべく、オブジェクト関連情報表示部1307を、オブジェクトやエアタグに重ならないよう表示する(請求項中の関連情報表示領域配置手段に該当)。
そして、当該オブジェクト関連情報表示部1307に選択対象の項目、乃至エアタグに対応したオブジェクトのオブジェクト関連情報を表示する。
ユーザからの項目の選択指示を受け付けなかった場合、オブジェクト関連情報表示部1307は表示せず、現在の表示モードを継続する。
次に図16を参照して、本発明の実施形態における、表示モード設定テーブルの構成の一例について説明する。図16は、本発明の実施形態における、表示モード設定テーブルの構成の一例を示す図である。
図16に示す通り、表示モード設定テーブル1600は、表示モード1601、距離1602、時間1603、数量1604、処理1605等から構成されている。
表示モード1601は、各種表示モードを示す。距離1602は、オブジェクト同士、オブジェクト対応画像同士、オブジェクトとオブジェクト対応画像が近接状態か否かを判定するための基準となる距離である。当該距離は、オブジェクト同士、オブジェクト対応画像同士、オブジェクトとオブジェクト対応画像の配置関係を示す距離である。ここでいうオブジェクト対応画像には、オブジェクト関連情報表示部1307を含むものとする(つまり、関連情報表示領域同士の配置関係、選択対象領域と関連情報表示領域との配置関係でを含む)。
当該距離1602を、オブジェクト同士の近接状態の判定、オブジェクト対応画像同士の近接状態の判定、オブジェクトとオブジェクト対応画像の近接状態の判定のいずれの基準にするかは、ここでは、予め設定されているものとする。また、前記3つの近接状態の判定全ての基準とすることもできるものとする。
また、当該基準とするオブジェクト対応画像の位置とは、前記オブジェクト画像上、乃至前記オブジェクト上の位置であって、他のオブジェクト対応画像、乃至他のオブジェクトと最も近い位置であってもよいし、図5のステップS511で表示端末200のCPU201が特定したようなオブジェクト対応画像の配置の基準となる位置であってもよい。
また、前記オブジェクト対応画像の位置を特定するために用いたオブジェクトの位置であって、当該オブジェクトの表示画面上の位置であってもよい。
これらのいずれの位置を前記近接の判定の基準とするかは、予め表示端末200側でなされているものとする。また、本発明の実施形態においては、当該基準の位置を、前記オブジェクト画像上、乃至前記オブジェクト上の位置であって、他のオブジェクト対応画像、乃至他のオブジェクトと最も近い位置であるものとする。
つまり、オブジェクト又はオブジェクト対応画像の輪郭上の、他のオブジェクト、他のオブジェクト対応画像に近い、点であるものとする。
尚、本発明において、当該エアタグの形をとるようなオブジェクト対応画像は、オブジェクトの位置を示す情報であるオブジェクト位置情報、撮像装置が撮像した映像情報、撮像装置が撮像している範囲を示す情報である撮像範囲情報等から特定された表示画面上のオブジェクトの位置の上部であって、オブジェクト自体と重ならない、オブジェクトに近い位置に表示されるものとする。
時間1603は、距離1602の条件を満たした状態がどれだけの時間続いた場合に、処理1605に設定された処理を実行するかを判定する判定基準となる時間である。
数量1604は、いくつ以上のオブジェクト対応画像同士、オブジェクトとオブジェクト対応画像とが距離1602、時間1603の条件を満たしている場合に、処理1605の処理を実行するかを判定する判定基準となる数量である。
つまり、表示端末200のCPU201は、リスト表示モードの際、2つ以上(数量1604)の表示画面上のオブジェクト対応画像同士、オブジェクトとオブジェクト対応画像の間の距離が0mm以下(距離1602)になり、且つ、その状態が5秒以上(時間1603)続いた場合に、当該オブジェクト対応画像同士、オブジェクトとオブジェクト対応画像が近接状態にあると判断するものである。
処理1605は、表示画面上のオブジェクト、乃至オブジェクト対応画像が距離1602、時間1603、数量1604の条件を満たした場合に実行する処理の内容である。
尚、表示モード1601が重複回避・リスト表示モードの場合、表示モード1601が重複回避モードの場合の処理を実行中に、表示画面上のオブジェクト、乃至オブジェクト対応画像が距離1602、時間1603、数量1604の条件を満たした場合に、リスト表示モードに移行するものとする。
つまり、表示モード1601が重複回避・リスト表示モードの場合、重複回避表示処理(図9のステップS909)を実行する場合の基準は、表示モード1601が重複回避表示モードの場合の距離1602、時間1603、数量1604である。
また、重複回避表示モードからリスト表示モードに移行する際、及び、リスト表示モードから重複回避表示モードに戻る際の基準は、表示モード1601が重複回避・リスト表示モードの場合の、距離1602、時間1603、数量1604である。以上が図16の、本発明の実施形態における、表示モード設定テーブルの構成の一例についての説明である。
尚、表示モード設定テーブル1600の各値は、図15に示す、表示端末200の表示モード設定画面1500のような画面にて設定される。
ここで図15を参照して、本発明の実施形態における、表示モード設定画面の構成の一例について説明する。図15は、本発明の実施形態における、表示モード設定画面の構成の一例を示す図である。
表示モード設定画面1500は、図15に示す通り、表示モード選択用チェックボックス1501、リスト表示モード設定部1510、距離設定受付部1511、近接基準時間設定受付部1512、近接数量設定受付部1513、重複回避表示モード設定部1520、距離設定受付部1521、近接基準時間設定受付部1522、近接数量設定受付部1523、重複回避・リスト表示複合モード設定部、距離設定受付部1531、近接基準時間設定受付部1532、近接数量設定受付部1533等から構成されている。
表示モード選択用チェックボックス1501は、いずれの表示モードを用いてオブジェクト対応画像、リスト、オブジェクト関連情報を表示画面に表示するかの選択を受け付けるためのチェックボックスである。リスト表示モード設定部1510は、リスト表示モードに関する設定を受け付ける設定部である。
距離設定受付部1511は、リスト表示モードの際、どれだけの距離オブジェクト対応画像同士、乃至オブジェクトとオブジェクト対応画像が近接すれば画面の表示方法をリスト表示に切り替えるかを判定するための距離の設定を受け付ける受付部である。
近接基準時間設定受付部1512は、前記近接状態がどれだけの時間続いた場合に、画面の表示方法をリスト表示に切り替えるかを判定するための判定基準となる時間の設定を受け付ける受付部である。
近接数量設定受付部1513は、いくつ以上のオブジェクト対応画像同士、オブジェクトとオブジェクト対応画像とが、距離設定受付部1511、近接基準時間設定受付部1512の条件を満たしている場合に、リスト表示処理を実行するかを判定する判定基準となる数量の設定を受け付ける受付部である。
重複回避表示モード設定部1520は、重複回避表示モードに関する設定を受け付ける設定部である。
距離設定受付部1521は、重複回避表示モードの際、オブジェクト対応画像同士、乃至オブジェクトとオブジェクト対応画像がどれだけ近接すれば画面の表示方法を重複回避表示に切り替えるかを判定するための距離の設定を受け付ける受付部である。
近接基準時間設定受付部1522は、前記近接状態がどれだけの時間続いた場合に、画面の表示方法を重複回避表示に切り替えるかを判定するための判定基準となる時間の設定を受け付ける受付部である。
近接数量設定受付部1523は、いくつ以上のオブジェクト対応画像同士、オブジェクトとオブジェクト対応画像とが、距離設定受付部1521、近接基準時間設定受付部1522の条件を満たしている場合に、重複回避表示処理を実行するかを判定する判定基準となる数量の設定を受け付ける受付部である。
重複回避・リスト表示複合モード設定部1530は、重複回避・リスト表示複合モードの設定を行う設定部である。
距離設定受付部1531は、重複回避・リスト表示複合モードの際、どれだけの距離、オブジェクト対応画像同士、乃至オブジェクトとオブジェクト対応画像が近接すれば画面の表示方法をリスト表示複合表示に切り替えるかを判定するための距離の設定を受け付ける受付部である。
近接基準時間設定受付部1532は、前記近接状態がどれだけの時間続いた場合に、画面の表示方法をリスト表示に切り替えるかを判定するための判定基準となる時間の設定を受け付ける受付部である。
近接数量設定受付部1533は、いくつ以上のオブジェクト対応画像同士、オブジェクトとオブジェクト対応画像とが、距離設定受付部1531、近接基準時間設定受付部1532の条件を満たしている場合に、リスト表示を実行するかを判定する判定基準となる数量の設定を受け付ける受付部である。以上が図15の、本発明の実施形態における、表示モード設定画面の構成の一例についての説明である。
以上のように、オブジェクト対応画像同士、乃至オブジェクト対応画像とオブジェクトの重複表示を回避してリスト表示、また、選択中のオブジェクトのオブジェクト関連情報を表示画面に表示するようにしてもよい。
また、本発明の実施形態においては、既に表示されているオブジェクト対応画像と、オブジェクト、乃至他のオブジェクト対応画像が近接しているか否かを判定する例について説明したが、表示画面上に前記オブジェクト対応画像が未表示、選択対象領域が未配置の場合であっても、当該オブジェクト対応画像、選択対象領域の配置位置を特定済であれば、実際に配置する前に、当該配置位置が他のオブジェクト対応画像、選択対象領域と近接しないように調整してからは位置を実行することは自明である。
また、本発明の実施形態においては、オブジェクト対応画像(選択対象領域)と、オブジェクト自体の近接状態によって、オブジェクト対応画像の表示位置、方法を変更するようにしても良いとしたが、必ずしも、前記の近接状態を基準にオブジェクト対応画像の表示位置、方法を変更する必要はない。
オブジェクト自体がオブジェクト対応画像よりも前面に表示されない状態においては、オブジェクト対応画像(選択対象領域)とオブジェクト自体との近接状態によるオブジェクト対応画像の表示位置、方法の変更は、オブジェクトとオブジェクト対応画像の重複による表示画面上の映像の不明瞭性を回避する効果を奏するものである。
上述した通り、本発明によれば、他のオブジェクトと近接したオブジェクトを容易に選択可能な情報処理装置、その制御方法及びプログラムを提供することができる。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。