JP5726868B2 - オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法 - Google Patents

オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法 Download PDF

Info

Publication number
JP5726868B2
JP5726868B2 JP2012519213A JP2012519213A JP5726868B2 JP 5726868 B2 JP5726868 B2 JP 5726868B2 JP 2012519213 A JP2012519213 A JP 2012519213A JP 2012519213 A JP2012519213 A JP 2012519213A JP 5726868 B2 JP5726868 B2 JP 5726868B2
Authority
JP
Japan
Prior art keywords
depth
selection
unit
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012519213A
Other languages
English (en)
Other versions
JPWO2011155118A1 (ja
Inventor
正弘 六日市
正弘 六日市
雄基 篠本
雄基 篠本
航太郎 箱田
航太郎 箱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012519213A priority Critical patent/JP5726868B2/ja
Publication of JPWO2011155118A1 publication Critical patent/JPWO2011155118A1/ja
Application granted granted Critical
Publication of JP5726868B2 publication Critical patent/JP5726868B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Description

本発明は、表示画像に３次元的に表示された複数のオブジェクトをユーザに選択させる技術に関するものである。
近年、拡張現実という技術が注目されている。拡張現実とは、実世界の映像に対して情報を付加して表示する技術である。例えば、ヘッドマウントディスプレイに現実の世界の映像と仮想の物体とを重畳して表示するものや、携帯電話などのモバイル端末の表示部にカメラが撮影した映像と付加情報とを重畳して表示するような、簡易的なものもある。
モバイル端末を用いる場合、ＧＰＳ、電子コンパス、ネットワーク接続などの機能を予め備えているため、特に特別なデバイスを加えることなく拡張現実を実現することができ、近年様々な拡張現実のアプリケーションが登場している。
これらのアプリケーションでは、カメラにより撮影された画像と、その画像に含まれる現実世界の物体の付随情報とが重畳して表示されるが、付随情報の数が多い場合、付随情報だけで画面が埋め尽くされてしまうという問題がある。
そのため、タグと呼ばれるものが用いられている。このタグは、付随情報自体ではなく、背後の物体に付随情報が存在するということをユーザに報知するものである。ユーザがタグを選択すると、そのタグに対応付けられた付随情報がユーザに報知される。
しかしながら、個々のタグは小さく、かつ、タグの数は増える一方である。そのため、ユーザがタグを選択する場合、タグ同士が重なって背後のタグが選択できなかったり、タグが密集して所望のタグを容易に選択できなかったりといった問題が発生する。特に、タッチパネル式の携帯端末で操作を行う場合、指の大きさに比較して画面が小さいため、密集しているタグの中から所望のタグを正確に選択することは難しい。
上記では拡張現実においてタグが選択される場合を例示したが、表示画像上に３次元的に表示された多くのオブジェクトの中から特定のオブジェクトを選択する場合にも、同様の問題が発生する。例えば、デジタルテレビにおいては、無数の写真を３次元的に表示して、特定の写真をユーザに選択させることがあり、この場合に同様の問題が発生する。
そこで、背後に隠れたオブジェクトをユーザが容易に選択できるようにするために、ユーザによる入力装置のボタン操作で、奥行き方向に配列されたオブジェクトを順次にハイライト表示し、所望のオブジェクトがハイライト表示された時に、ユーザにより選択操作を行わせ、当該オブジェクトを選択させる技術が知られている。
また、２次元カーソルで選択した画面上の位置から奥行き方向に重なりあう複数個の３次元対象物を一括で選択し、選択した複数個のオブジェクトの中から所望のオブジェクトを選択する技術も知られている（例えば、特許文献１）。
しかしながら、上記１つ目の技術では、所望のオブジェクトがハイライト表示されるまで多くのボタンを押す必要があり、所望のオブジェクトを選択するまでに時間がかかるという問題があった。また、上記２つ目の技術では、オブジェクト全体が隠れている場合には位置の指定が困難だったり、タッチパネルで操作する場合には指定したと思った位置とずれた位置として認識されたりすることもあり、誤った位置のオブジェクトが選択されてしまうといった問題があった。
特開平８−７７２３１号公報
本発明の目的は、３次元的に表示された複数のオブジェクトの中から所望のオブジェクトを正確、かつ迅速にユーザに選択させることができる技術を提供することである。
本発明の一局面によるオブジェクト選択装置は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、ユーザからの操作によって所定方向にスライドされるスライド操作部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる。
また、本発明の別の一局面によるオブジェクト選択装置は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する。
また、本発明の更に別の一局面によるオブジェクト選択プログラムは、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、ユーザからの操作によって所定方向にスライドされるスライド操作部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる。
また、本発明の更に別の一局面によるオブジェクト選択プログラムは、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する。
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップと、コンピュータが、ユーザからの操作によってスライド操作部を所定方向にスライドさせるスライド操作ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、前記奥行き選択ステップは、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる。
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、コンピュータが、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作ステップを更に備え、前記描画ステップは、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択ステップは、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する。
本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。 オブジェクト情報データベースのデータ構造の一例を示した模式図である。 表示情報抽出部が生成する奥行き空間の一例を示した図である。 本実施の形態においてディスプレイに表示される表示画像の一例を示した図であり、（ａ）はカメラにより撮像された映像とタグとが重畳して表示された表示画像を示し、（ｂ）は（ａ）に示す複数のタグの中から所望のタグが選択された場合にディスプレイに表示される表示画像を示し、（ｃ）は（ａ）の変形例の表示画像を示している。 本発明の実施の形態による表示画像の一例を示している。 スライドバーがスライドされた際の奥行き空間を示した図である。 微調整操作部が表示された表示画面を示した図である。 （ａ）はユーザのタッチ位置を示した図であり、（ｂ）は同時に複数の関連情報が表示された場合の画面図を示している。 選択部が奥行き空間に設定する小領域を示した図である。 本実施の形態によるオブジェクト選択装置がタグを表示するまでの処理を示したフローチャートである。 ユーザが選択したタグに対応する関連情報がディスプレイに表示されるまでの処理を示したフローチャートである。 （ａ）、（ｂ）は、選択操作部が表示された表示画像を示した図である。 図１２の選択操作部が採用された場合の奥行き空間を示した図である。
以下、本発明の実施形態におけるオブジェクト選択装置について、図面を参照しながら説明する。図１は、本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。以下の説明では、このオブジェクト選択装置を、例えば、スマートフォン等のタッチパネルを備える携帯電話機に適用した場合を例に挙げて説明する。
本オブジェクト選択装置は、センサ部１１、入力・状態変化検知部１２、位置取得部１３、方角取得部１４、オブジェクト情報データベース１５、表示情報抽出部１６、入力部１７、奥行き選択部１８、表示判定部１９、オブジェクト選択部２０、関連情報取得部２１、描画部２２、グラフィックスフレームメモリ２３、映像入力部２４、映像フレームメモリ２５、合成表示部２６、ディスプレイ２７、及びカメラ２８を備えている。
図１において、入力・状態変化検知部１２〜合成表示部２６の各ブロックは、コンピュータをオブジェクト選択装置として機能させるためのオブジェクト選択プログラムを実行することで実現される。このオブジェクト選択プログラムは、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して、ユーザに提供されてもよいし、ネットワーク接続されたサーバからダウンロードさせることで、ユーザに提供されてもよい。
センサ部１１は、ＧＰＳセンサ１１１、方角センサ１１２、及びタッチパネル１１３を備えている。ＧＰＳセンサ１１１は、ＧＰＳ衛星から送信される航法データを取得することで、オブジェクト選択装置の現在位置を周期的に検出し、検出した現在位置を示す位置情報を周期的に取得する。ここで、位置情報としては、例えばオブジェクト選択装置の緯度及び経度が含まれる。
方角センサ１１２は、例えば電子コンパスにより構成され、オブジェクト選択装置の現在の方角を周期的に検出し、検出した方角を示す方角情報を周期的に取得する。ここで、方角情報としては、例えば、オブジェクト選択装置の現在位置から所定の方向（例えば北向きの方向）を基準方向としたときの基準方向に対するオブジェクト選択装置の向きを採用することができる。なお、オブジェクト選択装置の向きとしては、例えば、北向きの方向とディスプレイ２７の表示画面の垂直方向とのなす角度を採用することができる。
入力・状態変化検知部１２は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する。具体的には、入力・状態変化検知部１２は、ユーザがタッチパネル１１３にタッチしたとき、ユーザが操作指令を入力したと判定し、操作指令入力通知を入力部１７に出力する。
状態変化としては、例えば、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。入力・状態変化検知部１２は、ＧＰＳセンサ１１１から周期的に出力される位置情報が変化したとき、オブジェクト選択装置の位置が変化したと判定し、状態変化通知を位置取得部１３に出力する。
また、入力・状態変化検知部１２は、方角センサ１１２から周期的に出力される方角情報が変化したとき、オブジェクト選択装置の方角が変化したと判定し、状態変化通知を方角取得部１４に通知する。
位置取得部１３は、ＧＰＳセンサ１１１により検出された位置情報を取得する。具体的には、位置取得部１３は、入力・状態変化検知部１２から状態変化通知が出力されたとき、ＧＰＳセンサ１１１により検出された位置情報を取得し、取得した位置情報を保持する。位置取得部１３が保持する位置情報は、オブジェクト選択装置を携帯するユーザが移動して、ＧＰＳセンサ１１１によって新たな位置情報が検出される毎に逐次更新される。
方角取得部１４は、方角センサ１１２により検出された方角情報を取得する。具体的には、方角取得部１４は、入力・状態変化検知部１２から状態変化通知が出力されたとき、方角センサ１１２により検出された方角情報を取得し、取得した方角情報を保持する。方角取得部１４が保持する方角情報は、オブジェクト選択装置を携帯するユーザが方角を変えてオブジェクト選択装置の向きが変更される毎に、逐次更新される。
オブジェクト情報データベース１５は、実オブジェクトの情報を保持するデータベースである。ここで、実オブジェクトとは、カメラ２８により撮像され、ディスプレイ２７に表示された映像中に含まれる種々の物体であり、例えばビル等の建物、建物に入っている店舗、及び店舗内に設けられた特定の物体等が該当する。但し、これらに限定されず、オブジェクトの抽象度や粒度に応じて種々の物体が採用され、街全体を指す場合もある。
図２は、オブジェクト情報データベース１５のデータ構造の一例を示した模式図である。オブジェクト情報データベース１５は、１つの実オブジェクトに対して１つのレコードが割り当てられたリレーショナルデータベースにより構成され、例えば、緯度、経度、及び関連情報のフィールドを含んでいる。
つまり、オブジェクト情報データベース１５は、各実オブジェクトのそれぞれについて、緯度、経度、及び関連情報を関連づけて記憶している。ここで、緯度及び経度は、予め測定された各実オブジェクトの地球上での二次元の位置情報である緯度及び経度を示している。なお、図２の例では、緯度及び経度しか含まれていないため、各実オブジェクトを２次元的な位置でしか指定することができない。そこで、緯度及び経度に加えて、各実オブジェクトの地上からの高さを示す高さをオブジェクト情報データベース１５に含ませることが好ましい。これにより、各実オブジェクトの位置を３次元的に特定することができる。
関連情報は、実オブジェクトの内容を説明するための情報であり、例えば、実オブジェクトが店舗の場合、その関連情報は、その店舗の住所、電話番号、及びクーポン等の店舗情報が該当する。また、実オブジェクトが店舗の場合、その関連情報として店舗の評判などを示す口コミ情報を含ませてもよい。
また、実オブジェクトが建物である場合、その建物が建造された年月日、建築家の名前等を関連情報として採用すればよい。また、実オブジェクトが建物の場合、その建物の中に含まれる店舗の店舗情報や、その店舗情報へのリンク情報等を含ませてもよい。なお、オブジェクト情報データベース１５は、オブジェクト選択装置の内部に予め保持されるものであってもよいし、ネットワークを介して接続されたサーバ上に保持されるものであってもよい。
図１に戻り、表示情報抽出部１６は、位置取得部１３により取得された最新の位置情報及び方角取得部１４により取得された最新の方角情報とから、図３に示す奥行き空間を生成し、生成した奥行き空間にオブジェクト情報データベース１５に記憶された実オブジェクトＲＯをプロットすることで表示対象となる実オブジェクトＲＯを抽出する。
図３は、表示情報抽出部１６が生成する奥行き空間の一例を示した図である。図３に示すように奥行き空間は、ディスプレイ２７に表示される表示画像の奥行き方向を示す奥行き軸Ｚによって規定される２次元空間である。
表示情報抽出部１６は、下記のようにして奥行き空間を設定する。まず、位置取得部１３によりオブジェクト選択装置の現在の位置情報が更新されると、表示情報抽出部１６は、更新された現在の位置情報が示す緯度及び経度を現在位置Ｏとして２次元空間内に設定する。ここで、２次元空間は、例えば、緯度に対応するＭ軸と経度に対応するＮ軸との直交する２軸によって規定された２次元の仮想空間である。また、Ｎ軸は方角センサ１１２が検出する北向きの方向に対応している。
次に、表示情報抽出部１６は、現在位置Ｏを始点とし、方角取得部１４が保持している方角情報が示す方角に向けて奥行き軸Ｚを設定する。方角情報が例えば北向きの方向を基準として時計回りにθ１であったとすると、奥行き軸ＺはＮ軸に対してθ１の角度で設定される。以下、現在位置Ｏから離れる方向を奥側と記述し、現在位置Ｏに近づく方向を手前側と記述する。
次に、表示情報抽出部１６は、奥行き軸Ｚによって所定の内角θが２等分され、かつ、現在位置Ｏを通る２本の方角境界Ｌ１，Ｌ２を設定する。ここで、内角θとしては、例えばカメラ２８の映像範囲に応じて予め設定された角度が採用され、例えばカメラ２８の水平方向の画角が採用されている。
次に、表示情報抽出部１６は、オブジェクト情報データベース１５に格納された各実オブジェクトＲＯのうち、方角境界Ｌ１，Ｌ２で囲まれる領域内に位置する実オブジェクトを奥行き空間内にプロットする。この場合、表示情報抽出部１６は、オブジェクト情報データベースに格納された実オブジェクトの緯度及び経度から方角境界Ｌ１，Ｌ２で囲まれる領域内に位置する実オブジェクトを抽出し、抽出した各実オブジェクトを奥行き空間にプロットする。
なお、オブジェクト情報データベース１５に格納された各実オブジェクトＲＯを予め２次元空間内に設定しておいてもよく、この場合、表示情報抽出部１６は、実オブジェクトＲＯをプロットする処理を省くことができる。
次に、表示情報抽出部１６は、現在位置Ｏから距離Ｚｍｉｎ離間した位置に近方境界Ｌ３を設定する。ここで、近方境界Ｌ３は、現在位置Ｏを中心とする半径がＺｍｉｎの円周のうち、方角境界Ｌ１，Ｌ２で挟まれる曲線である。
また、表示情報抽出部１６は、現在位置Ｏから距離Ｚｍａｘだけ離間した位置に遠方境界Ｌ４を設定する。ここで、遠方境界Ｌ４は、現在位置Ｏを中心とする半径がＺｍａｘの円周のうち、方角境界Ｌ１，Ｌ２によって挟まれる曲線である。
ディスプレイ２７には、方角境界Ｌ１，Ｌ２、近方境界Ｌ３、及び遠方境界Ｌ４によって囲まれる表示領域ＧＤ内にプロットされた実オブジェクトＲＯがタグＴ１によって表示される。
図４は、本実施の形態においてディスプレイ２７に表示される表示画像の一例を示した図であり、（ａ）はカメラ２８により撮像された映像とタグＴ１とが重畳して表示された表示画像を示し、（ｂ）は（ａ）に示す複数のタグＴ１の中から所望のタグが選択された場合にディスプレイ２７に表示される表示画像を示し、（ｃ）は（ａ）の変形例の表示画像を示している。図４（ｃ）については後述する。
図４（ａ）、（ｂ）に示すタグＴ１は、背後に表示された実オブジェクトに付随する情報が存在していることをユーザに報知するための小さな円状の画像であり、オブジェクトの一例に相当する。なお、タグＴ１の形状としては円状に限定されず、矩形状、多角形等の種々の形状を採用することができる。
図４（ａ）に示すタグＴ１の中からいずれか１つのタグＴ１がユーザにより選択されると、図４（ｂ）に示すように、選択されたタグＴ１の関連情報がディスプレイ２７に表示される。
図３に示すように、現在位置Ｏから無限遠の実オブジェクトのタグＴ１をディスプレイ２７に表示すると、ディスプレイ２７に表示されるタグＴ１の数が膨大となる。また、ユーザが目視できないほど遠方に位置する実オブジェクトのタグＴ１も表示されるため、これらのタグＴ１が、ユーザの近傍にあり本来表示するべきタグＴ１の表示の邪魔となる。
そこで、本実施の形態では、現在位置Ｏに対して遠方境界Ｌ４より遠くに位置する実オブジェクトのタグＴ１が表示されないようにタグＴ１の表示に制限を設けている。
また、現在位置Ｏから極端に近い実オブジェクトのタグＴ１を表示しても、これらのタグＴ１が表示画像を占有して邪魔になる虞がある。そこで、本実施の形態では、現在位置Ｏに対して近方境界Ｌ３よりも手前側に位置する実オブジェクトのタグＴ１が表示されないようにタグＴ１の表示に制限を設けている。
図１に戻り、入力部１７は、入力・状態変化検知部１２により操作指令入力通知が出力されたとき、ユーザがタッチした表示画像上の座標データを取得する。ここで、座標データとしては、表示画像の垂直方向の座標と水平方向の座標とを含む２次元の座標データが採用される。
また、入力部１７は、取得した座標データに基づいて、ユーザが入力した操作指令が奥行きを選択するための奥行き選択指令であるか、タグＴ１を選択するためのタグ選択指令であるかを判定する。
図５は、本発明の実施の形態による表示画像の一例を示している。図５の例では、右側にスライド操作部ＳＰが表示されている。スライド操作部ＳＰは、枠体ＷＫと枠体ＷＫによって囲まれたスライドバーＢＲとを含む。ユーザはスライドバーＢＲをスライドさせることで奥行き選択指令を入力する。
したがって、入力部１７は、取得した座標データがスライドバーＢＲの領域内に位置する場合、ユーザは奥行き選択指令を入力したと判定する。一方、入力部１７は、取得した座標データがいずれかのタグＴ１の領域内に位置する場合、ユーザはオブジェクト選択指令を入力したと判定する。
なお、入力部１７は、取得した座標データがいずれのタグＴ１の領域内に位置していなくても、座標データが示す位置から一定の距離範囲内にタグＴ１が位置している場合、ユーザはオブジェクト選択指令を入力したと判定する。
そして、入力部１７は、ユーザが奥行き選択指令を入力したと判定した場合、タッチパネル１１３に対してタッチが開始されたときの座標データとタッチが終了されたときの座標データとからスライドバーＢＲのスライド量の変化量を特定し、特定した変化量にタッチが開始されたときのスライド量を加えることで、スライドバーＢＲのスライド量（全長ｘ）を特定し、特定したスライド量を奥行き選択部１８に出力する。一方、入力部１７は、ユーザがオブジェクト選択指令を入力したと判定した場合、取得した座標データをオブジェクト選択部２０に出力する。
なお、図１の例では入力デバイスとしてタッチパネル１１３を採用したが、これに代えて、マウスや赤外線ポインタ等の表示画像の特定の位置を指定することが可能なポインティングデバイスであればどのような入力デバイスを採用してもよい。
また、入力デバイスとして、テレビを遠隔から操作するリモコンのように、オブジェクト選択装置とは別体で設けられたものを採用してもよい。
奥行き選択部１８は、ユーザによって入力される奥行き選択指令に基づいて、奥行き軸Ｚにおける位置を示す奥行き選択位置を選択する。具体的には、奥行き選択部１８は、スライド操作部ＳＰのスライドバーＢＲのスライド量を奥行選択指令として受け付け、スライド量に連動させて奥行き選択位置を変化させる。
図６は、スライドバーＢＲがスライドされた際の奥行き空間を示した図である。奥行き選択部１８は、図５に示すスライドバーＢＲのスライド量を示す全長ｘに応じて、図６に示す奥行き軸Ｚ上の位置に奥行き選択位置Ｚｓを設定する。つまり、奥行き選択部１８は、全長ｘが０の場合は、奥行き選択位置ＺｓをＺｍｉｎの位置、すなわち、近方境界Ｌ３に設定する。また、奥行き選択部１８は、スライドバーＢＲが上側にスライドされて全長ｘが増大すると、それに応じて奥行き選択位置Ｚｓを奥行き軸Ｚに沿って奥側に移動させる。また、奥行き選択部１８は、スライドバーＢＲの全長ｘがＸｍａｘになると、奥行き選択位置ＺｓをＺｍａｘの位置、すなわち、遠方境界Ｌ４に設定する。
また、奥行き選択部１８は、スライドバーＢＲが下側にスライドされて全長ｘが減少すると、それに応じて奥行き選択位置Ｚｓを奥行き軸Ｚに沿って手前側に移動させる。
具体的には、奥行き選択部１８は、奥行き選択位置Ｚｓを以下の式（１）に従って算出する。
Ｚｓ＝（Ｚｍａｘ−Ｚｍｉｎ）＊（（ｘ／Ｘｍａｘ）２）＋Ｚｍｉｎ （１）
式（１）に示すように（ｘ／Ｘｍａｘ）の項は２乗されている。そのため、スライドバーＢＲの全長ｘが増大するにつれて、全長ｘの変化率に対する奥行き選択位置Ｚｓの変化率が増大されることになる。
これにより、全長ｘが短いほど奥行き選択位置Ｚｓの選択の分解能は高く、全長ｘが長いほど奥行き選択位置Ｚｓの分解能は低くなる。その結果、ユーザは手前側のタグＴ１の表示と非表示との調整を精度良く行うことができる。
なお、奥行き選択部１８は、ユーザによりスライドバーＢＲの位置が上下されると、それに応じてディスプレイ２７の表示画面を更新させてスライドバーＢＲがスライド表示されるように描画部２２に指示する。
また、奥行き選択部１８は、スライドバーＢＲの全長ｘを微調整するための微調整操作部ＤＰがユーザにより操作されると、それに従って全長ｘをスライドさせ、それに連動させて、奥行き選択位置Ｚｓを設定してもよい。
図７は、微調整操作部ＤＰが表示された表示画面を示した図である。図７に示すように微調整操作部ＤＰは、スライド操作部ＳＰの例えば右側に表示されており、一部が表示画面の表面から露出され、表示画面と平行な方向が回転軸となって回転される回転ダイヤルを模擬した表示態様で表示されている。
奥行き選択部１８は、ユーザが微調整操作部ＤＰの表示領域をタッチし、指を上側又は下側に移動させると、その指の移動量ＦＬ１に応じて微調整操作部ＤＰの回転量を離散的に決定し、決定した回転量に応じた変化量ΔｘでスライドバーＢＲの全長ｘを上側又は下側にスライドさせ、かつ、決定した回転量で微調整操作部ＤＰを回転表示させる。
ここで、奥行き選択部１８は、ユーザにより微調整操作部ＤＰが操作されたときの指の移動量ＦＬ１に対する全長ｘの変化量Δｘ１が、ユーザがスライドバーＢＲを直接操作したときの指の移動量ＦＬ１に対する全長ｘの変化量Δｘ２よりも小さくなるようにスライドバーＢＲをスライド表示させる。
つまり、指の移動量がＦＬ１であるとすると、スライドバーＢＲが直接操作された場合、スライドバーＢＲの全長ｘの変化量Δｘ１は例えばＦＬ１となるが、微調整操作部ＤＰが操作された場合、変化量Δｘ２は例えばα・Δｘ１となる。但し、αは０＜α＜１である。本実施の形態では、αとして例えば１／５が採用されるが、これに限定されず、１／３、１／４、１／６等の値を採用してもよい。
なお、微調整操作部ＤＰはダイヤル式である必要はなく、指の移動量ＦＬ１に応じて連続的に回転量が決定される回転体により構成してもよい。この場合、ユーザはより細かく奥行き選択位置Ｚｓを調節することができる。
タッチパネル１１３の操作に不慣れなユーザにとって、スライドバーＢＲを直接操作することは容易ではない。そこで、微調整操作部ＤＰを設け、回転操作に連動してスライドバーＢＲをスライドさせている。
図１に戻り、表示判定部１９は、奥行き空間内において、各実オブジェクトＲＯが奥行き選択位置Ｚｓに対して手前側に位置するか奥側に位置するかを判定し、奥側に位置する実オブジェクトＲＯをタグＴ１が表示される表示対象の実オブジェクトＲＯとして抽出する。
これにより、図７に示すスライドバーＢＲがユーザにより上側に向けてスライドされる、又は微調整操作部ＤＰを上側に回転させることでスライドバーＢＲが上側に向けてスライドされると、それに応じて手前側に表示されたタグＴ１から順次に非表示にされていき、表示されるタグＴ１の数が減らされる。
一方、スライドバーＢＲが垂直方向の下側に向けてスライドされる、又は微調整操作部ＤＰを下側に回転させることでスライドバーＢＲが下側に向けてスライドされると、それに応じて奥側から手前側に向けて表示されるタグＴ１の数が順次に増やされる。
その結果、手前に表示されたタグＴ１に邪魔されて表示されていなかったタグＴ１や、あまり露出されていなかったタグＴ１が大きく露出され、ユーザはこれらのタグＴ１の選択する操作を容易に行うことができる。
ここで、表示判定部１９は、図６に示す奥行き選択位置Ｚｓよりも手前側に位置し、かつ方角境界Ｌ１，Ｌ２に囲まれる領域に位置する実オブジェクトＲＯのタグＴ１を半透明で表示するように描画部２２に描画させてもよい。この場合、描画部２２は、所定の透過率でタグＴ１とカメラ２８により撮像された映像データとを例えばαブレンディング等の手法を用いて合成すればよい。
図１に戻り、オブジェクト選択部２０は、入力部１７によりオブジェクト選択指令が入力されたと判定され、タッチ位置の座標データが出力されると、表示対象のタグＴ１の中からユーザが選択したタグＴ１を特定する。
入力デバイスとしてタッチパネル１１３を用いた場合、ユーザが認識するタッチ位置と、装置が認識するタッチ位置とがずれる虞がある。したがって、タッチ位置の近傍に複数のタグＴ１が表示される場合、ユーザが選択しようとしたタグＴ１とは異なるタグＴ１が選択される虞がある。
本実施の形態によるオブジェクト選択装置では、ユーザは選択しようとするタグＴ１よりも手前に表示されたタグＴ１を非表示にすることができるため、ユーザが選択しようとするタグＴ１はタッチ位置の周辺に表示されたタグＴ１の中で最も手前に表示される可能性が高い。
そこで、オブジェクト選択部２０は、タッチ位置から一定の距離範囲内において最も手前に表示されたタグＴ１をユーザが選択したタグＴ１として特定する。
図８（ａ）は、ユーザのタッチ位置を示した図であり、図８（ｂ）は同時に複数の関連情報が表示された場合の画面図を示している。図８（ａ）において、ＰＱｘはユーザがタッチしたタッチ位置を示している。この場合、オブジェクト選択部２０は、タッチ位置ＰＱｘから一定の距離ｄの範囲内に位置するタグＴ１＿１，Ｔ１＿２，Ｔ１＿３，Ｔ１＿４のうち、最も手前に位置するタグＴ１＿１をユーザが選択したタグとして特定する。ここで、オブジェクト選択部２０は、タグＴ１＿１〜Ｔ１＿４に対応する実オブジェクトＲＯの奥行き空間における位置と現在位置Ｏとの距離が最も短いタグＴ１を、最も手前のタグＴ１として特定すればよい。
このように、オブジェクト選択部２０は、基本的にはタッチ位置から一定の距離ｄ内のタグＴ１の中から最も手前のタグＴ１をユーザが選択したタグＴ１として特定しているが、ユーザが選択しようとするタグＴ１の近傍に複数のタグＴ１が表示されている場合、ユーザはどの位置をタッチすれば所望のタグＴ１を選択することができるか分からない場合がある。
そこで、オブジェクト選択部２０は、タッチ位置に対応する奥行き空間の位置に小領域ＲＤを設定し、設定した小領域ＲＤ内に位置する全ての実オブジェクトＲＯの関連情報をディスプレイ２７に表示させる。
図９は、オブジェクト選択部２０が奥行き空間に設定する小領域ＲＤを示した図である。まず、オブジェクト選択部２０は、最も手前に位置すると判定したタグＴ１に対応する実オブジェクトＲＯの奥行き空間の位置を特定する。図９では、実オブジェクトＲＯ＿ｆがその実オブジェクトＲＯであったとする。次に、オブジェクト選択部２０は、図８（ａ）において、タッチ位置ＰＱｘが表示画像の下辺を左端から内分する内分比（ｍ：ｎ）を求める。次に、オブジェクト選択部２０は、図９に示す奥行き空間において、現在位置Ｏを中心として実オブジェクトＲＯ＿ｆと現在位置Ｏとの距離を半径とする円周を等距離曲線Ｌｘとして設定する。
次に、等距離曲線Ｌｘを方角境界Ｚ１を基準としてｍ：ｎに内分する点を、タッチ位置ＰＱｘに対応する奥行き空間の位置Ｐｘとして求める。
次に、現在位置Ｏから位置Ｐｘを通る直線Ｌ６を設定する。次に、直線Ｌ６によって所定の角度θ３が２等分されるように現在位置Ｏを通る２本の直線Ｌ７，Ｌ８を設定する。次に、位置Ｐｘを直線Ｌ６に沿ってΔｚだけ奥側にずらしずらした位置と現在位置Ｏとの距離を半径とし現在位置Ｏを中心とする円周を等距離曲線Ｌ９として設定する。以上により、等距離曲線Ｌｘ，Ｌ９と直線Ｌ７，Ｌ８とによって囲まれる領域が小領域ＲＤとして設定される。
なお、角度θ３及びΔｚとしては、例えば、想定されるユーザが認識するタッチ位置とタッチパネル１１３が認識するタッチ位置とのずれに基づいて予め定められた値を採用することができる。
そして、オブジェクト選択部２０は、設定した小領域ＲＤに含まれる実オブジェクトＲＯを関連情報取得部２１に通知すると、関連情報取得部２１は、通知された実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から抽出し、抽出した関連情報を描画部２２に描画させる。
これにより、ディスプレイ２７には、図８（ｂ）に示すような表示画像が表示される。図８（ｂ）の例では、小領域ＲＤに４つの実オブジェクトＲＯが含まれていたため、４つの実オブジェクトＲＯの関連情報が表示されている。
ここで、図８（ｂ）において、表示する関連情報としてオブジェクト情報データベース１５に格納された関連情報のうち実オブジェクトＲＯの名称等の一部の情報のみを表示させておく。そして、ユーザによりタッチパネル１１３がタッチされ、いずれか１つの実オブジェクトＲＯが選択されると、その実オブジェクトＲＯの詳細な関連情報が表示されるようにしてもよい。これにより、一度に複数の関連情報を表示する際の表示スペースの節約を図り、より多くの関連情報を表示することができる。また、一度に表示する関連情報がディスプレイ２７の表示領域に収まらない場合は、これらの関連情報をスクロール表示させればよい。
図１に戻り、関連情報取得部２１は、オブジェクト選択部２０によりユーザが選択したと判定されたタグＴ１の関連情報をオブジェクト情報データベース１５から抽出し、抽出した関連情報を描画部２２に表示させる。なお、上述したように、小領域ＲＤに複数の実オブジェクトＲＯが含まれている場合には、これら複数の実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から抽出し、抽出した複数の関連情報を描画部２２に表示させる。
描画部２２は、表示判定部１９により抽出された表示対象の実オブジェクトＲＯの表示画像における表示位置を決定し、決定した表示位置にタグＴ１を描画する。
ここで、描画部２２は、奥行き空間において、現在位置Ｏと表示対象となる実オブジェクトＲＯとの位置関係からタグＴ１の表示位置を決定すればよい。具体的には、下記のようにして表示位置を決定すればよい。
まず、図６に示すように、現在位置Ｏを中心とし実オブジェクトＲＯ＿１を通る円周上であって、方角境界Ｌ１，Ｌ２に囲まれる曲線を等距離曲線Ｌ５として設定する。次に、現在位置Ｏと実オブジェクトＲＯ＿１との距離Ｚｏを求める。
次に、図７に示すように距離Ｚｏに対応する矩形領域ＳＱ１を表示画像に設定する。ここで、矩形領域ＳＱ１は、その中心が例えば表示画像の中心ＯＧに位置し、かつ、表示画像の形状と相似な形状を有している。なお、矩形領域ＳＱ１のサイズは、距離Ｚｏに応じて予め定められた縮尺率で縮尺されたサイズを有している。ここで、縮尺率と距離Ｚｏとの関係は、距離Ｚｏが長くなるにつれて縮尺率が増大し、距離Ｚｏが短くなるにつれて縮尺率が減少し、距離Ｚｏが０のとき１となるような関係を有している。
次に、図６に示す実オブジェクトＲＯ＿１が等距離曲線Ｌ５を内分する内分比を求める。ここでは、方角境界Ｌ１を基準として実オブジェクトＲＯ＿１が等距離曲線Ｌ５をｍ：ｎに内分したとする。
次に、図７に示す表示画像の下辺をｍ：ｎに内分する点Ｑ１を求め、求めた点Ｑ１の表示画像における水平方向の座標を、実オブジェクトＲＯ＿１のタグＴ１の表示位置Ｐ１の水平方向の座標Ｈ１として求める。
次に、オブジェクト情報データベース１５に実オブジェクトＲＯ＿１の高さが記憶されている場合は、その高さｈを距離Ｚｏに応じた縮尺率で縮尺して高さｈ´を求め、矩形領域ＳＱ１の下辺から垂直方向に高さｈ´だけ離間した表示画像の垂直方向の座標を表示位置Ｐ１の垂直方向の座標Ｖ１として求める。なお、実オブジェクトＲＯ＿１の高さが記憶されていない場合、座標Ｈ１を通る垂直方向の直線上の適当な位置にタグＴ１を表示すればよい。
次に、距離Ｚｏに応じた縮尺率でタグＴ１の面積を縮尺し、縮尺したタグＴ１を表示位置Ｐ１に表示する。奥行き選択部１８は、タグＴ１が表示対象となる実オブジェクトＲＯのそれぞれについて、上記の処理を行い、表示位置を決定する。
図１に戻り、描画部２２は、奥行き選択部１８からの描画要求にしたがってスライド操作部ＳＰ及び微調整操作部ＤＰをグラフィックスフレームメモリ２３に描画する。また、描画部２２は、関連情報取得部２１からの描画要求にしたがって関連情報をグラフィックスフレームメモリ２３に描画する。
グラフィックスフレームメモリ２３は、描画部２２により描画された画像データを保持するメモリである。映像入力部２４は、カメラ２８により所定のフレームレートで撮像された実世界の映像データを取得し、映像フレームメモリ２５に順次に書き込む。映像フレームメモリ２５は映像入力部２４から所定のフレームレートで出力された映像データを一時的に保持するメモリである。
合成表示部２６は、映像フレームメモリ２５により保持された映像データとグラフィックスフレームメモリ２３に保持された画像データとを重畳し、実際にディスプレイ２７に表示される表示画像を生成する。ここで、合成表示部２６は、グラフィックスフレームメモリ２３に保持された画像データを、映像フレームメモリ２５に保持された映像データよりも手前に重畳する。これにより、タグＴ１、スライド操作部ＳＰ、及び微調整操作部ＤＰが実世界の映像よりも手前に表示される。ディスプレイ２７は、表面にタッチパネル１１３が貼り付けられた例えば、液晶パネル又は有機ＥＬパネル等で構成され、合成表示部２６で合成された表示画像を表示する。カメラ２８は、所定のフレームレートで実世界の映像データを取得し映像入力部２４に出力する。
図１０は、本実施の形態によるオブジェクト選択装置がタグＴ１を表示するまでの処理を示したフローチャートである。まず、入力・状態変化検知部１２は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する（ステップＳ１）。ここで、操作指令の入力は、ユーザがタッチパネル１１３をタッチしたことであり、状態変化としては、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。
次に、入力・状態変化検知部１２がオブジェクト選択装置の位置の変化を検知した場合（ステップＳ２：ＹＥＳ）、位置取得部１３はＧＰＳセンサ１１１から位置情報を取得する（ステップＳ３）。
一方、入力・状態変化検知部１２がオブジェクト選択装置の方角の変化を検知した場合（ステップＳ２：ＮＯかつステップＳ４：ＹＥＳ）、方角取得部１４は方角センサ１１２から方角情報を取得する（ステップＳ５）。
次に、表示情報抽出部１６は、オブジェクト選択装置の最新の位置情報及び方角情報を用いて、奥行き空間を生成し、表示領域ＧＤ内に位置する実オブジェクトＲＯを表示対象となる実オブジェクトＲＯとして抽出する（ステップＳ６）。
一方、入力部１７が、ユーザにより奥行き選択指令が入力されたと判定した場合（ステップＳ４：ＮＯかつステップＳ７：ＹＥＳ）、奥行き選択部１８は、ユーザにより操作されたスライドバーＢＲの全長ｘから、奥行き選択位置Ｚｓを設定する（ステップＳ８）。
次に、表示判定部１９は、表示情報抽出部１６により抽出された表示対象の実オブジェクトＲＯの中から、奥行き選択部１８により設定された奥行き選択位置Ｚｓよりも奥側に位置する実オブジェクトＲＯを表示対象の実オブジェクトＲＯとして抽出する（ステップＳ９）。
次に、描画部２２は、奥行き空間において、現在位置Ｏと実オブジェクトＲＯとの位置関係からタグＴ１の表示位置を決定する（ステップＳ１０）。
次に、描画部２２は、決定した表示位置に表示対象の実オブジェクトＲＯのタグＴ１を描画する（ステップＳ１１）。次に、合成表示部２６は、グラフィックスフレームメモリ２３が保持する画像データが、映像フレームメモリ２５に保持された映像データに対して上側に重畳されるように画像データ及び映像データを合成して表示画像を生成し、ディスプレイ２７に表示する（ステップＳ１２）。
図１１は、ユーザが選択したタグＴ１に対応する関連情報がディスプレイ２７に表示されるまでの処理を示したフローチャートである。
まず、入力・状態変化検知部１２は、ユーザから操作指令が入力されたことを検知する（ステップＳ２１）。次に、入力部１７がユーザからの操作指令がタグ選択指令であると判定すると（ステップＳ２２：ＹＥＳ）、オブジェクト選択部２０は、図８（ａ）に示すように、タッチ位置ＰＱｘから距離ｄ内にあるタグのうち最も手前に位置するタグＴ１＿１を抽出する（ステップＳ２３）。
一方、入力部１７がユーザからの操作指令がタグ選択指令でないと判定すると（ステップＳ２２：ＮＯ）、処理をステップＳ２１に戻す。
次に、オブジェクト選択部２０は、図９に示すように、タグＴ１＿１に対応する実オブジェクトＲＯ＿ｆの奥行き空間での位置に小領域ＲＤを設定し、設定した小領域ＲＤに含まれる実オブジェクトＲＯを抽出する（ステップＳ２４）。
次に、関連情報取得部２１は、抽出された実オブジェクトＲＯの関連情報をオブジェクト情報データベース１５から取得する（ステップＳ２５）。次に、描画部２２は、関連情報取得部２１により取得された関連情報をグラフィックスフレームメモリ２３に描画する（ステップＳ２６）。
このとき、オブジェクト選択部２０が複数の実オブジェクトＲＯを抽出した場合は、図８（ｂ）のように複数の実オブジェクトＲＯの関連情報が描画される。
次に、合成表示部２６は、グラフィックスフレームメモリ２３が保持する画像データが、映像フレームメモリ２５が保持する映像データよりも上側に表示されるように、画像データ及び映像データを合成し、ディスプレイ２７に表示する（ステップＳ２７）。
なお、オブジェクト選択部２０が複数の実オブジェクトＲＯを抽出した場合、奥行き選択部１８が設定した奥行き選択位置Ｚｓに最も近い１つ実オブジェクトＲＯのみの関連情報をディスプレイ２７に表示してもよい。
また、図８（ｂ）に示す複数の関連情報の中から１つの関連情報を選択させるための画像をディスプレイ２７に表示し、ユーザにより選択された１つの関連情報をディスプレイ２７に表示させるようにしてもよい。
また、関連情報を表示するとき、合成表示部２６は、映像フレームメモリ２５に保持された映像データを合成せずに、グラフィックスフレームメモリ２３に保持された画像データのみから表示画像を生成し、ディスプレイ２７に表示させてもよい。
また、上記説明では、図７に示すようにスライドバーＢＲを用いてユーザに奥行き選択位置Ｚｓを選択させたが、本発明はこれに限定されず、図１２に示す選択操作部ＫＰを用いてユーザに奥行き選択位置Ｚｓを選択させてもよい。
図１２（ａ）、（ｂ）は、選択操作部ＫＰが表示された表示画像を示した図である。選択操作部ＫＰが採用される場合、奥行き空間は、奥行き軸Ｚを区画することで複数の奥行き領域に区画されている。図１３は、図１２の選択操作部ＫＰが採用された場合の奥行き空間を示した図である。
図１３に示すように、奥行き空間は、奥行き軸Ｚを区画することで７個の奥行き領域ＯＤ１〜ＯＤ７に区画されている。具体的には、奥行き空間は、現在位置Ｏを中心として同心円状に７個の領域に表示領域ＧＤを区画することで、７個の奥行き領域ＯＤ１〜ＯＤ７が設定されている。ここで、奥行き領域ＯＤ１〜ＯＤ７のそれぞれの幅は、現在位置Ｏから離れるにつれて小さくなるように設定されてもよいし、同一であってもよい。
図１２（ａ）に示すように、選択操作部ＫＰは、奥行き領域ＯＤ１〜ＯＤ７に対応付けられ、色分けして配列された複数の選択領域ＤＤ１〜ＤＤ７を含んでいる。ここで、奥行き領域ＯＤ１〜ＯＤ７は７個存在するため、選択領域ＤＤ１〜ＤＤ７は７個存在する。
ユーザは、タッチパネル１１３をタッチすることで、選択領域ＤＤ１〜ＤＤ７のうちいずれか１つの選択領域を選択して奥行き操作指令を入力する。以下、奥行き領域ＯＤ１〜ＯＤ７を区別しない場合は奥行き領域ＯＤと記述し、選択領域ＤＤ１〜ＤＤ７を区別しない場合は、選択領域ＤＤと記述する。また、奥行き領域ＯＤの個数及び選択領域ＤＤの個数は７個に限定されず、２個以上６個以下、８個以上の適当な個数を採用してもよい。
描画部２２は、各実オブジェクトＲＯに対し、属している奥行き領域ＯＤに対応付けられた選択領域ＤＤの色と同一の色を付して各実オブジェクトＲＯのタグＴ１を描画する。
例えば、選択領域ＤＤ１〜ＤＤ７に対して第１〜第７の色が付されているとすると、描画部２２は、奥行き領域ＯＤ１に位置する実オブジェクトＲＯのタグＴ１には第１の色を付し、奥行き領域ＯＤ２に位置する実オブジェクトＲＯのタグＴ１には第２の色を付すというようにして、各タグＴ１に色を付す。
そして、ユーザにより例えば選択領域ＤＤ３がタッチされると、奥行き選択部１８は、選択領域ＤＤ３に対応付けられた奥行き領域ＯＤ３の手前側の境界線の奥行き軸Ｚにおける位置を奥行き選択位置Ｚｓとして選択する。
そして、表示判定部１９は奥行き選択位置Ｚｓよりも奥側に位置する実オブジェクトＲＯを表示対象の実オブジェクトＲＯとして抽出し、抽出した実オブジェクトＲＯのタグＴ１を描画部２２に描画させる。したがって、ユーザにより選択領域ＤＤ３がタッチされた場合、図１２（ａ）において、第１及び第２の色で表示されたタグＴ１が非表示となり、第３〜第７の色で表示されたタグＴ１のみが表示される。
なお、第１の色〜第７の色としては、第１の色から第７の色に向かうにつれて色が徐々に変化するようなグラデーションの色を採用することが好ましい。
上記説明では、カメラ２８が撮像した映像データに含まれる実オブジェクトＲＯにタグＴ１を重畳させて表示させる態様を採用したが本発明はこれに限定されない。例えば、アイコンやフォルダを３次元的に表示するコンピュータやＡＶ機器のグラフィカルユーザインターフェイスに本発明を適用してもよい。
この場合、上記説明で用いたアイコンやフォルダからなるオブジェクトを上記の実オブジェクトＲＯと同様に取り扱い、図４（ｃ）に示すように、タグＴ１に代えてオブジェクトＯＢを３次元的に表示すればよい。図４（ｃ）の例では、手前側のオブジェクトＯＢから奥側のオブジェクトＯＢに向けて徐々にオブジェクトＯＢの面積が小さくされており、オブジェクトＯＢが３次元的に表示されていることが分かる。
この場合、奥行き空間に各オブジェクトＯＢの位置をプロットしておき、スライドバーＢＲのスライド量に応じて奥行き選択位置Ｚｓが設定されると、表示判定部１９は、奥行き選択位置Ｚｓよりも奥側のオブジェクトＯＢを表示対象のオブジェクトＯＢとして抽出し、描画部２２に描画させればよい。
また、図１２（ｂ）に示すように、図１２（ａ）と同様にして、各オブジェクトＯＢが属している奥行き領域ＯＤに対応する色を用いて、各オブジェクトＯＢを表示してもよい。この場合、選択操作部ＫＰの中のいずれかの選択領域ＤＤがタッチされると、タッチされた選択領域ＤＤに対応する奥行き領域ＯＤの手前側の境界線の奥行き軸Ｚにおける位置が奥行き選択位置Ｚｓとして設定され、表示判定部１９は、奥行き選択位置Ｚｓより奥側のオブジェクトＯＢを表示対象のオブジェクトＯＢとして抽出し、描画部２２に描画させればよい。
また、図１２（ａ）、（ｂ）に示す奥行き選択操作部ＫＰにスライドバーＢＲを含ませても良い。この場合、ユーザはスライドバーＢＲの先端を所望の選択領域ＤＤに位置決めすると、その選択領域ＤＤに対応する奥行き領域ＯＤよりも奥側のタグＴ１又はオブジェクトＯＢがディスプレイ２７に描画される。
また、上記説明では、オブジェクト選択装置をスマートフォンで構成する例を示したが、これに限定されず、ヘッドマウントディスプレイに適用してもよい。
また、上記説明では、スライド操作部ＳＰ、選択操作部ＫＰ、及び微調整操作部ＤＰをディスプレイ２７に表示させる態様を示したが、これに限定されず、物理的な入力デバイスとして構成してもよい。
また、上記説明では、スライド操作部ＳＰ、選択操作部ＫＰ、及び微調整操作部ＤＰをディスプレイ２７に表示させる態様を示したが、これに限定されず、オブジェクト選択装置が、例えば加速度センサのような機器自体の傾きを検出する機能を備えたモバイル端末の場合、この端末の傾きの変化の方向および変化の量に基づき奥行き選択指令を行うようにしてもよい。この場合、例えば、携帯端末を手前または奥に傾けることがスライド操作部ＳＰのスライドバーＢＲを上下にスライドさせることに相当し、傾きの変化の量がスライドバーＢＲのスライド量に相当する。
本発明の技術的特徴をまとめると下記のようになる。
（１）本発明の一局面によるオブジェクト選択装置は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
また、本発明の別の一局面によるオブジェクト選択プログラムは、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画する。
これらの構成によれば、表示画像の奥行き方向を示す奥行き軸によって規定される奥行き空間に各オブジェクトが配置されている。各オブジェクトは、奥行き空間の配置された位置に対応する表示画像の表示位置に描画され、表示画像上で３次元的に表示される。
ユーザにより奥行選択指令が入力されると、その奥行選択指令に基づいて、奥行き選択位置が選択される。各オブジェクトは、奥行き選択位置に対して手前側に位置するか奥側に位置するが判定され、奥側に位置するオブジェクトのみが表示画像に描画される。
つまり、ユーザは、奥行き選択位置を選択すると、その奥行き選択位置よりも手側に位置するオブジェクトを非表示にすることができる。そのため、手前側に位置するオブジェクトの存在によって僅かしか表示されていなかったオブジェクト、或いは全く表示されていなかったオブジェクトが、手前に位置するオブジェクトが非表示となることで大きく露出され、ユーザはこのオブジェクトを容易かつ迅速に選択することができる。
（２）上記構成において、ユーザからの操作によって所定方向にスライドされるスライド操作部を更に備え、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させることが好ましい。
この構成によれば、ユーザはスライド操作部のスライド量を増大させていくと、それに連動して手前側のオブジェクトが漸次に非表示とされていくため、簡便な操作により非表示にするオブジェクトを選択することができる。
（３）上記構成において、ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されていることが好ましい。
この構成によれば、ユーザはスライド操作部のスライド量を微調整することができるため、スライド操作部のスライド量をより正確に調節することができる。これにより、ユーザは所望のオブジェクトを確実に露出させ、当該オブジェクトを確実に選択することができる。また、スライド操作部を直接操作して、スライド操作部のスライド量を粗調整し、その後、微調整操作部を用いてスライド操作部のスライド量を微調整するという操作態様が可能となり、迅速かつ正確にスライド量を調整することができる。また、スライド操作部の操作に慣れていないユーザであっても、微調整操作部を操作することで、スライド操作部のスライド量を所望のスライド量に容易に調節することができる。
（４）上記構成において、前記微調整操作部は、回転ダイヤルにより構成され、前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させることが好ましい。
この構成によれば、ユーザは回転ダイヤルの操作に連動して邪魔なオブジェクトを非表示にすることができる。
（５）上記構成において、前記奥行き選択部は、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させることが好ましい。
この構成によれば、ユーザの関心の高い手前のオブジェクトの表示と非表示との調整を精度良く行うことができる。
（６）上記構成において、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択することが好ましい。
この構成によれば、所望のオブジェクトに付された色と同一色の選択領域を選択すると、当該オブジェクトよりも手前側に表示された異色のオブジェクトが非表示にされるため、色を指標として所望のオブジェクトを容易に露出させることができる。
（７）上記構成において、前記表示部は、タッチパネルにより構成され、ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備えることが好ましい。
ユーザは所望のオブジェクトが表示画像上で最も手前に表示されるように奥行き選択位置を調整すると考えられる。したがって、タッチ位置が所望のオブジェクトからずれていたとしても、ユーザは所望のオブジェクトを選択することができる。
（８）上記構成において、前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出することが好ましい。
この構成によれば、ユーザがタッチしたタッチ位置の周囲に多数のオブジェクトが存在している場合、これら多数のオブジェクトが選択候補のオブジェクトとして抽出される。そのため、選択候補として抽出されたオブジェクトの中から、所望のオブジェクトをユーザに確実に選択させることができる。
本発明にかかるオブジェクト選択装置は、３次元的に表示された多くのオブジェクトの中から特定のオブジェクトを容易に選択する場合において有用であり、３次元の描画機能を備える携帯機器、デジタルＡＶ機器などにおいて有効である。

Claims (10)

  1. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
    所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
    ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
    前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、
    ユーザからの操作によって所定方向にスライドされるスライド操作部とを備え、
    前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
    前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択装置。
  2. ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、
    前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されている請求項１に記載のオブジェクト選択装置。
  3. 前記微調整操作部は、回転ダイヤルにより構成され、
    前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させる請求項２に記載のオブジェクト選択装置。
  4. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
    所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
    ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
    前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、
    前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
    前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
    各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、
    前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
    前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択装置。
  5. 前記表示部は、タッチパネルにより構成され、
    ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備える請求項４に記載のオブジェクト選択装置。
  6. 前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出する請求項５に記載のオブジェクト選択装置。
  7. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、
    所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
    ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
    前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、
    ユーザからの操作によって所定方向にスライドされるスライド操作部と
    してコンピュータを機能させ、
    前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
    前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択プログラム。
  8. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、
    所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
    ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
    前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、
    前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
    前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
    各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、
    前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
    前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択プログラム。
  9. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、
    コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、
    コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、
    コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップと、
    コンピュータが、ユーザからの操作によってスライド操作部を所定方向にスライドさせるスライド操作ステップとを備え、
    前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、
    前記奥行き選択ステップは、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択方法。
  10. 表示部に３次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、
    コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、
    コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、
    コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、
    前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、
    前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
    コンピュータが、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作ステップを更に備え、
    前記描画ステップは、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
    前記奥行き選択ステップは、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択方法。
JP2012519213A 2010-06-07 2011-05-10 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法 Expired - Fee Related JP5726868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012519213A JP5726868B2 (ja) 2010-06-07 2011-05-10 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010130050 2010-06-07
JP2010130050 2010-06-07
PCT/JP2011/002587 WO2011155118A1 (ja) 2010-06-07 2011-05-10 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
JP2012519213A JP5726868B2 (ja) 2010-06-07 2011-05-10 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法

Publications (2)

Publication Number Publication Date
JPWO2011155118A1 JPWO2011155118A1 (ja) 2013-08-01
JP5726868B2 true JP5726868B2 (ja) 2015-06-03

Family

ID=45097740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012519213A Expired - Fee Related JP5726868B2 (ja) 2010-06-07 2011-05-10 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法

Country Status (4)

Country Link
US (1) US20120139915A1 (ja)
JP (1) JP5726868B2 (ja)
CN (1) CN102473322B (ja)
WO (1) WO2011155118A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617448B2 (ja) * 2010-08-31 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8965741B2 (en) * 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10209946B2 (en) * 2012-08-23 2019-02-19 Red Hat, Inc. Augmented reality personal identification
US20150206348A1 (en) * 2012-09-07 2015-07-23 Hitachi Maxell, Ltd. Reception device
JP6080248B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6080249B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
US9966075B2 (en) * 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
CN103729124B (zh) * 2012-10-12 2018-07-20 腾讯科技（深圳）有限公司 滑动列表的控制方法及系统
CN103729119A (zh) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 用于模拟在电子产品的触摸屏上的滑动操作的方法及装置
JP6048898B2 (ja) 2013-08-21 2016-12-21 パナソニックＩｐマネジメント株式会社 情報表示装置、情報表示方法および情報表示プログラム
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
WO2015145544A1 (ja) * 2014-03-24 2015-10-01 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
US20150334367A1 (en) * 2014-05-13 2015-11-19 Nagravision S.A. Techniques for displaying three dimensional objects
JP2016141497A (ja) * 2015-01-30 2016-08-08 株式会社ダイフク 表示用携帯端末利用の搬送用容器保管設備
JP6481456B2 (ja) 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10824253B2 (en) * 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) * 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
JP6922301B2 (ja) * 2017-03-22 2021-08-18 カシオ計算機株式会社 電子機器、グラフ描画システム、グラフ描画方法、及びプログラム
JP2017153129A (ja) * 2017-04-14 2017-08-31 日立マクセル株式会社 受信装置
CN107329566B (zh) * 2017-06-23 2020-03-24 联想(北京)有限公司 虚拟对象处理方法及其系统、虚拟现实设备
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
CN108376424A (zh) 2018-02-09 2018-08-07 腾讯科技（深圳）有限公司 用于对三维虚拟环境进行视角切换的方法、装置、设备及存储介质
CN112292658A (zh) * 2018-06-18 2021-01-29 索尼公司 信息处理装置、信息处理方法和程序
EP3842911B1 (en) * 2019-12-26 2023-04-05 Dassault Systèmes A 3d interface with an improved object selection
CN117093105B (zh) * 2023-10-17 2024-04-16 先临三维科技股份有限公司 一种标签显示方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057359A (ja) * 1998-07-23 2000-02-25 Internatl Business Mach Corp <Ibm> 図形オブジェクトの表示属性を変更する方法、図形オブジェクトを選択する方法、図形オブジェクト表示制御装置、図形オブジェクトの表示属性を変更するプログラムを格納した記憶媒体及び、図形オブジェクトの選択を制御するプログラムを格納した記憶媒体
JP2004062501A (ja) * 2002-07-29 2004-02-26 Fujitsu Ltd 流体解析条件設定装置
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2006252185A (ja) * 2005-03-10 2006-09-21 Nintendo Co Ltd ゲームプログラムおよびゲーム装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553225A (en) * 1994-10-25 1996-09-03 International Business Machines Corporation Method and apparatus for combining a zoom function in scroll bar sliders
US7439975B2 (en) * 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
US7043701B2 (en) * 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
TWI238348B (en) * 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
JP3961545B2 (ja) * 2005-11-29 2007-08-22 株式会社コナミデジタルエンタテインメント オブジェクト選択装置、オブジェクト選択方法、ならびに、プログラム
EP2122574A4 (en) * 2007-02-27 2012-06-13 Quotidian Inc 3D DISPLAY FOR TIME INFORMATION

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057359A (ja) * 1998-07-23 2000-02-25 Internatl Business Mach Corp <Ibm> 図形オブジェクトの表示属性を変更する方法、図形オブジェクトを選択する方法、図形オブジェクト表示制御装置、図形オブジェクトの表示属性を変更するプログラムを格納した記憶媒体及び、図形オブジェクトの選択を制御するプログラムを格納した記憶媒体
JP2004062501A (ja) * 2002-07-29 2004-02-26 Fujitsu Ltd 流体解析条件設定装置
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2006252185A (ja) * 2005-03-10 2006-09-21 Nintendo Co Ltd ゲームプログラムおよびゲーム装置

Also Published As

Publication number Publication date
WO2011155118A1 (ja) 2011-12-15
US20120139915A1 (en) 2012-06-07
CN102473322B (zh) 2014-12-24
JPWO2011155118A1 (ja) 2013-08-01
CN102473322A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
JP5726868B2 (ja) オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
US10921969B2 (en) Interface for navigating imagery
US10438401B2 (en) Caching in map systems for displaying panoramic images
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
NO20200038A1 (no) Tre-dimensjonal visualisering av bilder av jordas undergrunn
KR101817452B1 (ko) 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US20130169579A1 (en) User interactions
US20110221776A1 (en) Display input device and navigation device
US9500485B2 (en) Device and method for displaying information
US20140278088A1 (en) Navigation Device
US9001205B2 (en) System and methods for controlling a surveying device
WO2008029180A1 (en) An apparatus and method for position-related display magnification
WO2013031134A1 (en) Information processing apparatus, information processing method, and program
EP3482285B1 (en) Shake event detection system
US20220206669A1 (en) Information processing apparatus, information processing method, and program
JP2010237393A (ja) 地図表示装置、地図表示方法及びプログラム
JP6557599B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017228186A (ja) 視点場候補提示プログラム及び視点場候補提示装置
JP6239581B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8878772B2 (en) Method and system for displaying images on moveable display devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R150 Certificate of patent or registration of utility model

Ref document number: 5726868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees