JP5726868B2 - Object selection device, object selection program, and object selection method - Google Patents

Object selection device, object selection program, and object selection method Download PDF

Info

Publication number
JP5726868B2
JP5726868B2 JP2012519213A JP2012519213A JP5726868B2 JP 5726868 B2 JP5726868 B2 JP 5726868B2 JP 2012519213 A JP2012519213 A JP 2012519213A JP 2012519213 A JP2012519213 A JP 2012519213A JP 5726868 B2 JP5726868 B2 JP 5726868B2
Authority
JP
Japan
Prior art keywords
depth
selection
unit
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012519213A
Other languages
Japanese (ja)
Other versions
JPWO2011155118A1 (en
Inventor
正弘 六日市
正弘 六日市
雄基 篠本
雄基 篠本
航太郎 箱田
航太郎 箱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012519213A priority Critical patent/JP5726868B2/en
Publication of JPWO2011155118A1 publication Critical patent/JPWO2011155118A1/en
Application granted granted Critical
Publication of JP5726868B2 publication Critical patent/JP5726868B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Description

本発明は、表示画像に3次元的に表示された複数のオブジェクトをユーザに選択させる技術に関するものである。   The present invention relates to a technique for allowing a user to select a plurality of objects displayed three-dimensionally in a display image.

近年、拡張現実という技術が注目されている。拡張現実とは、実世界の映像に対して情報を付加して表示する技術である。例えば、ヘッドマウントディスプレイに現実の世界の映像と仮想の物体とを重畳して表示するものや、携帯電話などのモバイル端末の表示部にカメラが撮影した映像と付加情報とを重畳して表示するような、簡易的なものもある。   In recent years, a technique called augmented reality has attracted attention. Augmented reality is a technology that adds information to a real-world video for display. For example, a real-world video and a virtual object are superimposed and displayed on a head-mounted display, or a video captured by a camera and additional information are superimposed and displayed on a display unit of a mobile terminal such as a mobile phone. Some are simple.

モバイル端末を用いる場合、GPS、電子コンパス、ネットワーク接続などの機能を予め備えているため、特に特別なデバイスを加えることなく拡張現実を実現することができ、近年様々な拡張現実のアプリケーションが登場している。   When using a mobile terminal, functions such as GPS, electronic compass, and network connection are provided in advance, so that augmented reality can be realized without adding any special devices, and various augmented reality applications have recently appeared. ing.

これらのアプリケーションでは、カメラにより撮影された画像と、その画像に含まれる現実世界の物体の付随情報とが重畳して表示されるが、付随情報の数が多い場合、付随情報だけで画面が埋め尽くされてしまうという問題がある。   In these applications, the image captured by the camera and the accompanying information of the real-world object included in the image are displayed in a superimposed manner, but when the number of accompanying information is large, the screen is filled with only the accompanying information. There is a problem of being exhausted.

そのため、タグと呼ばれるものが用いられている。このタグは、付随情報自体ではなく、背後の物体に付随情報が存在するということをユーザに報知するものである。ユーザがタグを選択すると、そのタグに対応付けられた付随情報がユーザに報知される。   Therefore, what is called a tag is used. This tag notifies the user that the accompanying information exists in the object behind, not the accompanying information itself. When the user selects a tag, accompanying information associated with the tag is notified to the user.

しかしながら、個々のタグは小さく、かつ、タグの数は増える一方である。そのため、ユーザがタグを選択する場合、タグ同士が重なって背後のタグが選択できなかったり、タグが密集して所望のタグを容易に選択できなかったりといった問題が発生する。特に、タッチパネル式の携帯端末で操作を行う場合、指の大きさに比較して画面が小さいため、密集しているタグの中から所望のタグを正確に選択することは難しい。   However, individual tags are small and the number of tags is increasing. For this reason, when the user selects a tag, there are problems that the tags overlap each other and the tag behind cannot be selected, or the tags are densely packed and the desired tag cannot be easily selected. In particular, when an operation is performed using a touch panel type portable terminal, it is difficult to accurately select a desired tag from among dense tags because the screen is smaller than the size of a finger.

上記では拡張現実においてタグが選択される場合を例示したが、表示画像上に3次元的に表示された多くのオブジェクトの中から特定のオブジェクトを選択する場合にも、同様の問題が発生する。例えば、デジタルテレビにおいては、無数の写真を3次元的に表示して、特定の写真をユーザに選択させることがあり、この場合に同様の問題が発生する。   Although the case where a tag is selected in augmented reality has been described above, the same problem occurs when a specific object is selected from many objects displayed three-dimensionally on a display image. For example, in a digital television, an infinite number of photographs are displayed three-dimensionally and a specific photograph may be selected by the user. In this case, the same problem occurs.

そこで、背後に隠れたオブジェクトをユーザが容易に選択できるようにするために、ユーザによる入力装置のボタン操作で、奥行き方向に配列されたオブジェクトを順次にハイライト表示し、所望のオブジェクトがハイライト表示された時に、ユーザにより選択操作を行わせ、当該オブジェクトを選択させる技術が知られている。   Therefore, in order to allow the user to easily select an object hidden behind, objects arranged in the depth direction are sequentially highlighted by the user's button operation on the input device, and the desired object is highlighted. A technique is known in which, when displayed, a user performs a selection operation to select the object.

また、2次元カーソルで選択した画面上の位置から奥行き方向に重なりあう複数個の3次元対象物を一括で選択し、選択した複数個のオブジェクトの中から所望のオブジェクトを選択する技術も知られている(例えば、特許文献1)。   Also known is a technique for selecting a plurality of three-dimensional objects that overlap in the depth direction from a position on the screen selected by a two-dimensional cursor, and selecting a desired object from the selected plurality of objects. (For example, Patent Document 1).

しかしながら、上記1つ目の技術では、所望のオブジェクトがハイライト表示されるまで多くのボタンを押す必要があり、所望のオブジェクトを選択するまでに時間がかかるという問題があった。また、上記2つ目の技術では、オブジェクト全体が隠れている場合には位置の指定が困難だったり、タッチパネルで操作する場合には指定したと思った位置とずれた位置として認識されたりすることもあり、誤った位置のオブジェクトが選択されてしまうといった問題があった。   However, in the first technique, it is necessary to press many buttons until the desired object is highlighted, and there is a problem that it takes time to select the desired object. Also, with the second technique, it is difficult to specify the position when the entire object is hidden, or it may be recognized as a position that is different from the position that you thought you specified when operating with the touch panel. There is a problem that an object at an incorrect position is selected.

特開平8−77231号公報JP-A-8-77231

本発明の目的は、3次元的に表示された複数のオブジェクトの中から所望のオブジェクトを正確、かつ迅速にユーザに選択させることができる技術を提供することである。   An object of the present invention is to provide a technique that allows a user to select a desired object accurately and quickly from among a plurality of objects displayed three-dimensionally.

本発明の一局面によるオブジェクト選択装置は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、ユーザからの操作によって所定方向にスライドされるスライド操作部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる
また、本発明の別の一局面によるオブジェクト選択装置は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する
An object selection device according to an aspect of the present invention is an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, and is based on the position of each object arranged in a predetermined depth space. The display unit determines the display position of each object on the display unit, the drawing unit draws each object at the determined display position, and the depth axis that defines the depth space based on the depth selection command input by the user. A depth selection unit that selects a depth selection position indicating a position; and in the depth space, determines whether each object is positioned on the front side or the back side with respect to the depth selection position, and is positioned on the back side. a display determination unit that extracts only the object as an object to be displayed to a predetermined by operation of the user And a slide operation portion is slid toward the drawing unit draws the objects in the display target extracted by the display determination unit, the depth selector is the depth select the slide amount of the slide operation portion The depth selection position is changed in conjunction with the slide amount, and the rate of change of the depth selection position with respect to the rate of change of the slide amount is increased as the slide amount increases .
An object selection device according to another aspect of the present invention is an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, and each object arranged in a predetermined depth space. The display unit determines the display position of each object on the display unit based on the position, and defines the depth space based on a drawing unit that draws each object at the determined display position and a depth selection command input by the user. A depth selection unit for selecting a depth selection position indicating a position on the depth axis, and determining whether each object is positioned on the near side or the back side with respect to the depth selection position in the depth space; A display determination unit that extracts only objects located on the back side as objects to be displayed, and the drawing unit includes: The object to be displayed extracted by the display determination unit is drawn, and the depth space is partitioned into a plurality of depth regions by partitioning the depth axis, and is associated with each depth region and arranged by color. A selection operation unit that receives the depth selection command, and the drawing unit assigns the same color as the color of the selection region associated with the depth region to which each object belongs. Then, each object is drawn, and the depth selection unit selects, as the depth selection position, the position on the depth axis of the front boundary line of the depth area associated with the selection area selected by the user .

また、本発明の更に別の一局面によるオブジェクト選択プログラムは、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、ユーザからの操作によって所定方向にスライドされるスライド操作部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる
また、本発明の更に別の一局面によるオブジェクト選択プログラムは、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する
Moreover, further object selection program according to another aspect of the present invention, there is provided a object selection program for causing a computer to function as the object selecting device to select a plurality of objects three-dimensionally displayed on the display unit to the user, a predetermined A drawing unit that determines the display position of each object on the display unit based on the position of each object arranged in the depth space, and draws each object at the determined display position, and a depth selection command input by the user A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space, and whether each object is located in front of the depth selection position in the depth space. Only the objects located on the far side are displayed. A display determination unit that extracts as an object of interest, cause the computer to function as a slide operation portion is slid in a predetermined direction by an operation from the user, the drawing unit, the object of the display target extracted by the display determination unit The depth selection unit accepts the slide amount of the slide operation unit as the depth selection command, changes the depth selection position in conjunction with the slide amount, and the slide amount increases as the slide amount increases. The change rate of the depth selection position with respect to the change rate of the amount is increased .
An object selection program according to another aspect of the present invention is an object selection program that causes a computer to function as an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit. A drawing unit that determines the display position of each object on the display unit based on the position of each object arranged in the depth space, and draws each object at the determined display position, and a depth selection command input by the user A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space, and whether each object is located in front of the depth selection position in the depth space. Only the objects located on the far side are displayed. The computer functions as a display determination unit that extracts as a target object, the drawing unit draws a display target object extracted by the display determination unit, and a plurality of the depth spaces are defined by dividing the depth axis. A selection operation unit that includes a plurality of selection regions that are divided into depth regions, are associated with the respective depth regions, and are arranged in a color-coded manner. The selection operation unit accepts the depth selection command. Each object is drawn with the same color as the color of the selection area associated with the depth area, and the depth selection unit is in front of the depth area associated with the selection area selected by the user. The position of the side boundary line on the depth axis is selected as the depth selection position .

また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップと、コンピュータが、ユーザからの操作によってスライド操作部を所定方向にスライドさせるスライド操作ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、前記奥行き選択ステップは、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させる
また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、コンピュータが、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作ステップを更に備え、前記描画ステップは、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択ステップは、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択する
An object selection method according to still another aspect of the present invention is an object selection method that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, wherein the computer is arranged in a predetermined depth space. A display step of determining the display position of each object on the display unit based on the position of each object and drawing each object at the determined display position; and a computer based on a depth selection command input by the user A depth selection step for selecting a depth selection position indicating a position on a depth axis that defines the depth space; and whether the computer is positioned in front of the depth selection position in the depth space. Judge whether it is located on the back side and display only objects located on the back side A display determination step of extracting as an object of the elephant, computer, and a slide operation step of sliding the sliding operation unit in a predetermined direction by an operation from the user, the rendering step, the display target extracted by the display determination step The depth selection step accepts the slide amount of the slide operation unit as the depth selection command, changes the depth selection position in conjunction with the slide amount, and as the slide amount increases, The change rate of the depth selection position with respect to the change rate of the slide amount is increased .
An object selection method according to still another aspect of the present invention is an object selection method that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, wherein the computer is arranged in a predetermined depth space. A display step of determining the display position of each object on the display unit based on the position of each object and drawing each object at the determined display position; and a computer based on a depth selection command input by the user A depth selection step for selecting a depth selection position indicating a position on a depth axis that defines the depth space; and whether the computer is positioned in front of the depth selection position in the depth space. Judge whether it is located on the back side and display only objects located on the back side A display determination step of extracting the object as an elephant object, wherein the drawing step draws the object to be displayed extracted by the display determination step, and the depth space defines a plurality of depths by dividing the depth axis. The computer further includes a selection operation step that includes a plurality of selection regions that are divided into regions and are associated with each depth region and arranged in a color-coded manner, and that accepts the depth selection command. Each object is drawn with the same color as the color of the selection region associated with the depth region to which the depth region belongs, and the depth selection step includes the step of selecting the depth region associated with the selection region selected by the user. The position on the depth axis of the front boundary is selected as the depth selection position .

本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。It is the figure which showed the structure of the object selection apparatus by embodiment of this invention. オブジェクト情報データベースのデータ構造の一例を示した模式図である。It is the schematic diagram which showed an example of the data structure of an object information database. 表示情報抽出部が生成する奥行き空間の一例を示した図である。It is the figure which showed an example of the depth space which a display information extraction part produces | generates. 本実施の形態においてディスプレイに表示される表示画像の一例を示した図であり、(a)はカメラにより撮像された映像とタグとが重畳して表示された表示画像を示し、(b)は(a)に示す複数のタグの中から所望のタグが選択された場合にディスプレイに表示される表示画像を示し、(c)は(a)の変形例の表示画像を示している。It is the figure which showed an example of the display image displayed on a display in this Embodiment, (a) shows the display image displayed by superimposing the image imaged by the camera, and the tag, (b) (A) shows a display image displayed on the display when a desired tag is selected from a plurality of tags shown in (a), and (c) shows a display image of a modification of (a). 本発明の実施の形態による表示画像の一例を示している。An example of a display image by an embodiment of the invention is shown. スライドバーがスライドされた際の奥行き空間を示した図である。It is the figure which showed the depth space when a slide bar is slid. 微調整操作部が表示された表示画面を示した図である。It is the figure which showed the display screen where the fine adjustment operation part was displayed. (a)はユーザのタッチ位置を示した図であり、(b)は同時に複数の関連情報が表示された場合の画面図を示している。(A) is the figure which showed the user's touch position, (b) has shown the screen figure in case several relevant information is displayed simultaneously. 選択部が奥行き空間に設定する小領域を示した図である。It is the figure which showed the small area | region which a selection part sets to depth space. 本実施の形態によるオブジェクト選択装置がタグを表示するまでの処理を示したフローチャートである。It is the flowchart which showed the process until the object selection apparatus by this Embodiment displays a tag. ユーザが選択したタグに対応する関連情報がディスプレイに表示されるまでの処理を示したフローチャートである。It is the flowchart which showed the process until the relevant information corresponding to the tag which the user selected is displayed on a display. (a)、(b)は、選択操作部が表示された表示画像を示した図である。(A), (b) is the figure which showed the display image in which the selection operation part was displayed. 図12の選択操作部が採用された場合の奥行き空間を示した図である。It is the figure which showed the depth space when the selection operation part of FIG. 12 is employ | adopted.

以下、本発明の実施形態におけるオブジェクト選択装置について、図面を参照しながら説明する。図1は、本発明の実施の形態によるオブジェクト選択装置の構成を示した図である。以下の説明では、このオブジェクト選択装置を、例えば、スマートフォン等のタッチパネルを備える携帯電話機に適用した場合を例に挙げて説明する。   Hereinafter, an object selection device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of an object selection device according to an embodiment of the present invention. In the following description, the object selection device will be described by taking as an example a case where the object selection device is applied to a mobile phone including a touch panel such as a smartphone.

本オブジェクト選択装置は、センサ部11、入力・状態変化検知部12、位置取得部13、方角取得部14、オブジェクト情報データベース15、表示情報抽出部16、入力部17、奥行き選択部18、表示判定部19、オブジェクト選択部20、関連情報取得部21、描画部22、グラフィックスフレームメモリ23、映像入力部24、映像フレームメモリ25、合成表示部26、ディスプレイ27、及びカメラ28を備えている。   The object selection device includes a sensor unit 11, an input / state change detection unit 12, a position acquisition unit 13, a direction acquisition unit 14, an object information database 15, a display information extraction unit 16, an input unit 17, a depth selection unit 18, a display determination. A unit 19, an object selection unit 20, a related information acquisition unit 21, a drawing unit 22, a graphics frame memory 23, a video input unit 24, a video frame memory 25, a composite display unit 26, a display 27, and a camera 28.

図1において、入力・状態変化検知部12〜合成表示部26の各ブロックは、コンピュータをオブジェクト選択装置として機能させるためのオブジェクト選択プログラムを実行することで実現される。このオブジェクト選択プログラムは、DVD−ROM、CD−ROM等のコンピュータ読み取り可能な記録媒体に格納して、ユーザに提供されてもよいし、ネットワーク接続されたサーバからダウンロードさせることで、ユーザに提供されてもよい。   In FIG. 1, each block of the input / state change detection unit 12 to the composite display unit 26 is realized by executing an object selection program for causing a computer to function as an object selection device. This object selection program may be stored in a computer-readable recording medium such as a DVD-ROM or CD-ROM and provided to the user, or may be provided to the user by being downloaded from a network-connected server. May be.

センサ部11は、GPSセンサ111、方角センサ112、及びタッチパネル113を備えている。GPSセンサ111は、GPS衛星から送信される航法データを取得することで、オブジェクト選択装置の現在位置を周期的に検出し、検出した現在位置を示す位置情報を周期的に取得する。ここで、位置情報としては、例えばオブジェクト選択装置の緯度及び経度が含まれる。   The sensor unit 11 includes a GPS sensor 111, a direction sensor 112, and a touch panel 113. The GPS sensor 111 periodically acquires the navigation data transmitted from the GPS satellite, thereby periodically detecting the current position of the object selection device, and periodically acquiring position information indicating the detected current position. Here, the position information includes, for example, the latitude and longitude of the object selection device.

方角センサ112は、例えば電子コンパスにより構成され、オブジェクト選択装置の現在の方角を周期的に検出し、検出した方角を示す方角情報を周期的に取得する。ここで、方角情報としては、例えば、オブジェクト選択装置の現在位置から所定の方向(例えば北向きの方向)を基準方向としたときの基準方向に対するオブジェクト選択装置の向きを採用することができる。なお、オブジェクト選択装置の向きとしては、例えば、北向きの方向とディスプレイ27の表示画面の垂直方向とのなす角度を採用することができる。   The direction sensor 112 is configured by, for example, an electronic compass, periodically detects the current direction of the object selection device, and periodically acquires direction information indicating the detected direction. Here, as the direction information, for example, the direction of the object selection device with respect to the reference direction when a predetermined direction (for example, a northward direction) from the current position of the object selection device is set as the reference direction can be employed. As the direction of the object selection device, for example, an angle formed by the north direction and the vertical direction of the display screen of the display 27 can be adopted.

入力・状態変化検知部12は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する。具体的には、入力・状態変化検知部12は、ユーザがタッチパネル113にタッチしたとき、ユーザが操作指令を入力したと判定し、操作指令入力通知を入力部17に出力する。   The input / state change detection unit 12 detects an operation command input by the user or a state change of the object selection device. Specifically, the input / state change detection unit 12 determines that the user has input an operation command when the user touches the touch panel 113, and outputs an operation command input notification to the input unit 17.

状態変化としては、例えば、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。入力・状態変化検知部12は、GPSセンサ111から周期的に出力される位置情報が変化したとき、オブジェクト選択装置の位置が変化したと判定し、状態変化通知を位置取得部13に出力する。   The state change includes, for example, a change in position and a change in direction of the object selection device. When the position information periodically output from the GPS sensor 111 changes, the input / state change detection unit 12 determines that the position of the object selection device has changed, and outputs a state change notification to the position acquisition unit 13.

また、入力・状態変化検知部12は、方角センサ112から周期的に出力される方角情報が変化したとき、オブジェクト選択装置の方角が変化したと判定し、状態変化通知を方角取得部14に通知する。   In addition, when the direction information periodically output from the direction sensor 112 changes, the input / state change detection unit 12 determines that the direction of the object selection device has changed, and notifies the direction acquisition unit 14 of a state change notification. To do.

位置取得部13は、GPSセンサ111により検出された位置情報を取得する。具体的には、位置取得部13は、入力・状態変化検知部12から状態変化通知が出力されたとき、GPSセンサ111により検出された位置情報を取得し、取得した位置情報を保持する。位置取得部13が保持する位置情報は、オブジェクト選択装置を携帯するユーザが移動して、GPSセンサ111によって新たな位置情報が検出される毎に逐次更新される。   The position acquisition unit 13 acquires position information detected by the GPS sensor 111. Specifically, the position acquisition unit 13 acquires the position information detected by the GPS sensor 111 when the state change notification is output from the input / state change detection unit 12, and holds the acquired position information. The position information held by the position acquisition unit 13 is sequentially updated each time a user carrying the object selection device moves and new position information is detected by the GPS sensor 111.

方角取得部14は、方角センサ112により検出された方角情報を取得する。具体的には、方角取得部14は、入力・状態変化検知部12から状態変化通知が出力されたとき、方角センサ112により検出された方角情報を取得し、取得した方角情報を保持する。方角取得部14が保持する方角情報は、オブジェクト選択装置を携帯するユーザが方角を変えてオブジェクト選択装置の向きが変更される毎に、逐次更新される。   The direction acquisition unit 14 acquires direction information detected by the direction sensor 112. Specifically, the direction acquisition unit 14 acquires the direction information detected by the direction sensor 112 when the state change notification is output from the input / state change detection unit 12, and holds the acquired direction information. The direction information held by the direction acquisition unit 14 is sequentially updated each time the user carrying the object selection device changes the direction and changes the direction of the object selection device.

オブジェクト情報データベース15は、実オブジェクトの情報を保持するデータベースである。ここで、実オブジェクトとは、カメラ28により撮像され、ディスプレイ27に表示された映像中に含まれる種々の物体であり、例えばビル等の建物、建物に入っている店舗、及び店舗内に設けられた特定の物体等が該当する。但し、これらに限定されず、オブジェクトの抽象度や粒度に応じて種々の物体が採用され、街全体を指す場合もある。   The object information database 15 is a database that holds information on real objects. Here, the real object is various objects included in the video imaged by the camera 28 and displayed on the display 27, and is provided in a building such as a building, a store in the building, and the store, for example. This applies to specific objects. However, the present invention is not limited thereto, and various objects may be adopted depending on the abstraction level and granularity of the object, and may refer to the entire city.

図2は、オブジェクト情報データベース15のデータ構造の一例を示した模式図である。オブジェクト情報データベース15は、1つの実オブジェクトに対して1つのレコードが割り当てられたリレーショナルデータベースにより構成され、例えば、緯度、経度、及び関連情報のフィールドを含んでいる。   FIG. 2 is a schematic diagram showing an example of the data structure of the object information database 15. The object information database 15 is constituted by a relational database in which one record is assigned to one real object, and includes, for example, fields of latitude, longitude, and related information.

つまり、オブジェクト情報データベース15は、各実オブジェクトのそれぞれについて、緯度、経度、及び関連情報を関連づけて記憶している。ここで、緯度及び経度は、予め測定された各実オブジェクトの地球上での二次元の位置情報である緯度及び経度を示している。なお、図2の例では、緯度及び経度しか含まれていないため、各実オブジェクトを2次元的な位置でしか指定することができない。そこで、緯度及び経度に加えて、各実オブジェクトの地上からの高さを示す高さをオブジェクト情報データベース15に含ませることが好ましい。これにより、各実オブジェクトの位置を3次元的に特定することができる。   That is, the object information database 15 stores latitude, longitude, and related information in association with each real object. Here, latitude and longitude indicate latitude and longitude, which are two-dimensional position information on the earth of each real object measured in advance. In the example of FIG. 2, since only latitude and longitude are included, each real object can be specified only at a two-dimensional position. Therefore, in addition to the latitude and longitude, the object information database 15 preferably includes a height indicating the height of each real object from the ground. Thereby, the position of each real object can be specified three-dimensionally.

関連情報は、実オブジェクトの内容を説明するための情報であり、例えば、実オブジェクトが店舗の場合、その関連情報は、その店舗の住所、電話番号、及びクーポン等の店舗情報が該当する。また、実オブジェクトが店舗の場合、その関連情報として店舗の評判などを示す口コミ情報を含ませてもよい。   The related information is information for explaining the contents of the real object. For example, when the real object is a store, the related information corresponds to store information such as an address of the store, a telephone number, and a coupon. When the real object is a store, word-of-mouth information indicating the reputation of the store may be included as related information.

また、実オブジェクトが建物である場合、その建物が建造された年月日、建築家の名前等を関連情報として採用すればよい。また、実オブジェクトが建物の場合、その建物の中に含まれる店舗の店舗情報や、その店舗情報へのリンク情報等を含ませてもよい。なお、オブジェクト情報データベース15は、オブジェクト選択装置の内部に予め保持されるものであってもよいし、ネットワークを介して接続されたサーバ上に保持されるものであってもよい。   Further, when the real object is a building, the date on which the building was built, the name of the architect, and the like may be adopted as related information. Moreover, when a real object is a building, you may include the store information of the store contained in the building, the link information to the store information, etc. Note that the object information database 15 may be stored in advance in the object selection device, or may be stored on a server connected via a network.

図1に戻り、表示情報抽出部16は、位置取得部13により取得された最新の位置情報及び方角取得部14により取得された最新の方角情報とから、図3に示す奥行き空間を生成し、生成した奥行き空間にオブジェクト情報データベース15に記憶された実オブジェクトROをプロットすることで表示対象となる実オブジェクトROを抽出する。   Returning to FIG. 1, the display information extraction unit 16 generates the depth space shown in FIG. 3 from the latest position information acquired by the position acquisition unit 13 and the latest direction information acquired by the direction acquisition unit 14. The real object RO to be displayed is extracted by plotting the real object RO stored in the object information database 15 in the generated depth space.

図3は、表示情報抽出部16が生成する奥行き空間の一例を示した図である。図3に示すように奥行き空間は、ディスプレイ27に表示される表示画像の奥行き方向を示す奥行き軸Zによって規定される2次元空間である。   FIG. 3 is a diagram illustrating an example of a depth space generated by the display information extraction unit 16. As shown in FIG. 3, the depth space is a two-dimensional space defined by a depth axis Z indicating the depth direction of the display image displayed on the display 27.

表示情報抽出部16は、下記のようにして奥行き空間を設定する。まず、位置取得部13によりオブジェクト選択装置の現在の位置情報が更新されると、表示情報抽出部16は、更新された現在の位置情報が示す緯度及び経度を現在位置Oとして2次元空間内に設定する。ここで、2次元空間は、例えば、緯度に対応するM軸と経度に対応するN軸との直交する2軸によって規定された2次元の仮想空間である。また、N軸は方角センサ112が検出する北向きの方向に対応している。   The display information extraction unit 16 sets the depth space as follows. First, when the current position information of the object selection device is updated by the position acquisition unit 13, the display information extraction unit 16 sets the latitude and longitude indicated by the updated current position information as the current position O in the two-dimensional space. Set. Here, the two-dimensional space is, for example, a two-dimensional virtual space defined by two orthogonal axes of an M axis corresponding to latitude and an N axis corresponding to longitude. The N-axis corresponds to the north direction detected by the direction sensor 112.

次に、表示情報抽出部16は、現在位置Oを始点とし、方角取得部14が保持している方角情報が示す方角に向けて奥行き軸Zを設定する。方角情報が例えば北向きの方向を基準として時計回りにθ1であったとすると、奥行き軸ZはN軸に対してθ1の角度で設定される。以下、現在位置Oから離れる方向を奥側と記述し、現在位置Oに近づく方向を手前側と記述する。   Next, the display information extraction unit 16 sets the depth axis Z from the current position O to the direction indicated by the direction information held by the direction acquisition unit 14. If the direction information is, for example, θ1 clockwise with respect to the north direction, the depth axis Z is set at an angle θ1 with respect to the N axis. Hereinafter, the direction away from the current position O is described as the back side, and the direction approaching the current position O is described as the near side.

次に、表示情報抽出部16は、奥行き軸Zによって所定の内角θが2等分され、かつ、現在位置Oを通る2本の方角境界L1,L2を設定する。ここで、内角θとしては、例えばカメラ28の映像範囲に応じて予め設定された角度が採用され、例えばカメラ28の水平方向の画角が採用されている。   Next, the display information extraction unit 16 sets two direction boundaries L1 and L2 in which the predetermined internal angle θ is equally divided by the depth axis Z and passes through the current position O. Here, as the internal angle θ, for example, an angle set in advance according to the video range of the camera 28 is employed, and for example, the horizontal angle of view of the camera 28 is employed.

次に、表示情報抽出部16は、オブジェクト情報データベース15に格納された各実オブジェクトROのうち、方角境界L1,L2で囲まれる領域内に位置する実オブジェクトを奥行き空間内にプロットする。この場合、表示情報抽出部16は、オブジェクト情報データベースに格納された実オブジェクトの緯度及び経度から方角境界L1,L2で囲まれる領域内に位置する実オブジェクトを抽出し、抽出した各実オブジェクトを奥行き空間にプロットする。   Next, the display information extraction unit 16 plots, in the depth space, a real object located in a region surrounded by the direction boundaries L1 and L2 among the real objects RO stored in the object information database 15. In this case, the display information extraction unit 16 extracts a real object located in the region surrounded by the direction boundaries L1 and L2 from the latitude and longitude of the real object stored in the object information database, and extracts each extracted real object as a depth. Plot in space.

なお、オブジェクト情報データベース15に格納された各実オブジェクトROを予め2次元空間内に設定しておいてもよく、この場合、表示情報抽出部16は、実オブジェクトROをプロットする処理を省くことができる。   Note that each real object RO stored in the object information database 15 may be set in the two-dimensional space in advance, and in this case, the display information extraction unit 16 may omit the process of plotting the real object RO. it can.

次に、表示情報抽出部16は、現在位置Oから距離Zmin離間した位置に近方境界L3を設定する。ここで、近方境界L3は、現在位置Oを中心とする半径がZminの円周のうち、方角境界L1,L2で挟まれる曲線である。   Next, the display information extraction unit 16 sets the near boundary L3 at a position separated from the current position O by a distance Zmin. Here, the near boundary L3 is a curve sandwiched between the direction boundaries L1 and L2 in the circumference having the radius Zmin centered on the current position O.

また、表示情報抽出部16は、現在位置Oから距離Zmaxだけ離間した位置に遠方境界L4を設定する。ここで、遠方境界L4は、現在位置Oを中心とする半径がZmaxの円周のうち、方角境界L1,L2によって挟まれる曲線である。   Further, the display information extraction unit 16 sets the far boundary L4 at a position separated from the current position O by the distance Zmax. Here, the far boundary L4 is a curve sandwiched by the direction boundaries L1 and L2 in the circumference having the radius Zmax with the current position O as the center.

ディスプレイ27には、方角境界L1,L2、近方境界L3、及び遠方境界L4によって囲まれる表示領域GD内にプロットされた実オブジェクトROがタグT1によって表示される。   On the display 27, the real object RO plotted in the display area GD surrounded by the direction boundaries L1, L2, the near boundary L3, and the far boundary L4 is displayed by the tag T1.

図4は、本実施の形態においてディスプレイ27に表示される表示画像の一例を示した図であり、(a)はカメラ28により撮像された映像とタグT1とが重畳して表示された表示画像を示し、(b)は(a)に示す複数のタグT1の中から所望のタグが選択された場合にディスプレイ27に表示される表示画像を示し、(c)は(a)の変形例の表示画像を示している。図4(c)については後述する。   FIG. 4 is a diagram illustrating an example of a display image displayed on the display 27 in the present embodiment. FIG. 4A is a display image in which a video image captured by the camera 28 and the tag T1 are superimposed. (B) shows a display image displayed on the display 27 when a desired tag is selected from the plurality of tags T1 shown in (a), and (c) shows a modification of (a). A display image is shown. FIG. 4C will be described later.

図4(a)、(b)に示すタグT1は、背後に表示された実オブジェクトに付随する情報が存在していることをユーザに報知するための小さな円状の画像であり、オブジェクトの一例に相当する。なお、タグT1の形状としては円状に限定されず、矩形状、多角形等の種々の形状を採用することができる。   A tag T1 shown in FIGS. 4A and 4B is a small circular image for notifying the user that there is information associated with a real object displayed behind, and is an example of an object. It corresponds to. Note that the shape of the tag T1 is not limited to a circular shape, and various shapes such as a rectangular shape and a polygonal shape can be employed.

図4(a)に示すタグT1の中からいずれか1つのタグT1がユーザにより選択されると、図4(b)に示すように、選択されたタグT1の関連情報がディスプレイ27に表示される。   When any one of the tags T1 shown in FIG. 4A is selected by the user, the related information of the selected tag T1 is displayed on the display 27 as shown in FIG. 4B. The

図3に示すように、現在位置Oから無限遠の実オブジェクトのタグT1をディスプレイ27に表示すると、ディスプレイ27に表示されるタグT1の数が膨大となる。また、ユーザが目視できないほど遠方に位置する実オブジェクトのタグT1も表示されるため、これらのタグT1が、ユーザの近傍にあり本来表示するべきタグT1の表示の邪魔となる。   As shown in FIG. 3, when the tag T1 of the real object at infinity from the current position O is displayed on the display 27, the number of tags T1 displayed on the display 27 becomes enormous. In addition, since the tags T1 of real objects located far away so that the user cannot see them are also displayed, these tags T1 obstruct the display of the tag T1 that should be displayed near the user.

そこで、本実施の形態では、現在位置Oに対して遠方境界L4より遠くに位置する実オブジェクトのタグT1が表示されないようにタグT1の表示に制限を設けている。   Therefore, in the present embodiment, the display of the tag T1 is limited so that the tag T1 of the real object located far from the far boundary L4 with respect to the current position O is not displayed.

また、現在位置Oから極端に近い実オブジェクトのタグT1を表示しても、これらのタグT1が表示画像を占有して邪魔になる虞がある。そこで、本実施の形態では、現在位置Oに対して近方境界L3よりも手前側に位置する実オブジェクトのタグT1が表示されないようにタグT1の表示に制限を設けている。   Moreover, even if the tag T1 of the real object extremely close to the current position O is displayed, there is a possibility that these tags T1 occupy the display image and become an obstacle. Therefore, in the present embodiment, the display of the tag T1 is limited so that the tag T1 of the real object positioned closer to the current position O than the near boundary L3 is not displayed.

図1に戻り、入力部17は、入力・状態変化検知部12により操作指令入力通知が出力されたとき、ユーザがタッチした表示画像上の座標データを取得する。ここで、座標データとしては、表示画像の垂直方向の座標と水平方向の座標とを含む2次元の座標データが採用される。   Returning to FIG. 1, the input unit 17 acquires the coordinate data on the display image touched by the user when the operation command input notification is output by the input / state change detection unit 12. Here, two-dimensional coordinate data including vertical and horizontal coordinates of the display image is adopted as the coordinate data.

また、入力部17は、取得した座標データに基づいて、ユーザが入力した操作指令が奥行きを選択するための奥行き選択指令であるか、タグT1を選択するためのタグ選択指令であるかを判定する。   Further, the input unit 17 determines, based on the acquired coordinate data, whether the operation command input by the user is a depth selection command for selecting a depth or a tag selection command for selecting the tag T1. To do.

図5は、本発明の実施の形態による表示画像の一例を示している。図5の例では、右側にスライド操作部SPが表示されている。スライド操作部SPは、枠体WKと枠体WKによって囲まれたスライドバーBRとを含む。ユーザはスライドバーBRをスライドさせることで奥行き選択指令を入力する。   FIG. 5 shows an example of a display image according to the embodiment of the present invention. In the example of FIG. 5, the slide operation unit SP is displayed on the right side. The slide operation unit SP includes a frame WK and a slide bar BR surrounded by the frame WK. The user inputs a depth selection command by sliding the slide bar BR.

したがって、入力部17は、取得した座標データがスライドバーBRの領域内に位置する場合、ユーザは奥行き選択指令を入力したと判定する。一方、入力部17は、取得した座標データがいずれかのタグT1の領域内に位置する場合、ユーザはオブジェクト選択指令を入力したと判定する。   Therefore, the input unit 17 determines that the user has input a depth selection command when the acquired coordinate data is located within the area of the slide bar BR. On the other hand, the input unit 17 determines that the user has input an object selection command when the acquired coordinate data is located within the region of any tag T1.

なお、入力部17は、取得した座標データがいずれのタグT1の領域内に位置していなくても、座標データが示す位置から一定の距離範囲内にタグT1が位置している場合、ユーザはオブジェクト選択指令を入力したと判定する。   In addition, even if the acquired coordinate data is not located in the area | region of which tag T1, the input part 17 will be a user, when the tag T1 is located in the fixed distance range from the position which coordinate data shows. It is determined that an object selection command has been input.

そして、入力部17は、ユーザが奥行き選択指令を入力したと判定した場合、タッチパネル113に対してタッチが開始されたときの座標データとタッチが終了されたときの座標データとからスライドバーBRのスライド量の変化量を特定し、特定した変化量にタッチが開始されたときのスライド量を加えることで、スライドバーBRのスライド量(全長x)を特定し、特定したスライド量を奥行き選択部18に出力する。一方、入力部17は、ユーザがオブジェクト選択指令を入力したと判定した場合、取得した座標データをオブジェクト選択部20に出力する。   When the input unit 17 determines that the user has input a depth selection command, the input unit 17 determines the slide bar BR from the coordinate data when the touch on the touch panel 113 is started and the coordinate data when the touch is ended. The slide amount of the slide bar BR is specified by adding the slide amount when the touch is started to the change amount of the slide specified by specifying the slide amount change amount, and the specified slide amount is set to the depth selection unit. 18 is output. On the other hand, if the input unit 17 determines that the user has input an object selection command, the input unit 17 outputs the acquired coordinate data to the object selection unit 20.

なお、図1の例では入力デバイスとしてタッチパネル113を採用したが、これに代えて、マウスや赤外線ポインタ等の表示画像の特定の位置を指定することが可能なポインティングデバイスであればどのような入力デバイスを採用してもよい。   In the example of FIG. 1, the touch panel 113 is used as an input device, but instead of this, any input device that can specify a specific position of a display image such as a mouse or an infrared pointer can be used. A device may be employed.

また、入力デバイスとして、テレビを遠隔から操作するリモコンのように、オブジェクト選択装置とは別体で設けられたものを採用してもよい。   Further, as an input device, a device provided separately from the object selection device, such as a remote control for remotely operating a television, may be employed.

奥行き選択部18は、ユーザによって入力される奥行き選択指令に基づいて、奥行き軸Zにおける位置を示す奥行き選択位置を選択する。具体的には、奥行き選択部18は、スライド操作部SPのスライドバーBRのスライド量を奥行選択指令として受け付け、スライド量に連動させて奥行き選択位置を変化させる。   The depth selection unit 18 selects a depth selection position indicating a position on the depth axis Z based on a depth selection command input by the user. Specifically, the depth selection unit 18 receives the slide amount of the slide bar BR of the slide operation unit SP as a depth selection command, and changes the depth selection position in conjunction with the slide amount.

図6は、スライドバーBRがスライドされた際の奥行き空間を示した図である。奥行き選択部18は、図5に示すスライドバーBRのスライド量を示す全長xに応じて、図6に示す奥行き軸Z上の位置に奥行き選択位置Zsを設定する。つまり、奥行き選択部18は、全長xが0の場合は、奥行き選択位置ZsをZminの位置、すなわち、近方境界L3に設定する。また、奥行き選択部18は、スライドバーBRが上側にスライドされて全長xが増大すると、それに応じて奥行き選択位置Zsを奥行き軸Zに沿って奥側に移動させる。また、奥行き選択部18は、スライドバーBRの全長xがXmaxになると、奥行き選択位置ZsをZmaxの位置、すなわち、遠方境界L4に設定する。   FIG. 6 is a diagram illustrating a depth space when the slide bar BR is slid. The depth selection unit 18 sets the depth selection position Zs at a position on the depth axis Z shown in FIG. 6 according to the total length x indicating the slide amount of the slide bar BR shown in FIG. That is, when the total length x is 0, the depth selection unit 18 sets the depth selection position Zs to the position of Zmin, that is, the near boundary L3. Further, when the slide bar BR is slid upward and the total length x increases, the depth selection unit 18 moves the depth selection position Zs to the back side along the depth axis Z accordingly. Further, when the total length x of the slide bar BR reaches Xmax, the depth selection unit 18 sets the depth selection position Zs to the position of Zmax, that is, the far boundary L4.

また、奥行き選択部18は、スライドバーBRが下側にスライドされて全長xが減少すると、それに応じて奥行き選択位置Zsを奥行き軸Zに沿って手前側に移動させる。   Further, when the slide bar BR is slid downward and the total length x decreases, the depth selection unit 18 moves the depth selection position Zs along the depth axis Z to the front side accordingly.

具体的には、奥行き選択部18は、奥行き選択位置Zsを以下の式(1)に従って算出する。   Specifically, the depth selection unit 18 calculates the depth selection position Zs according to the following equation (1).

Zs=(Zmax−Zmin)*((x/Xmax))+Zmin (1)Zs = (Zmax−Zmin) * ((x / Xmax) 2 ) + Zmin (1)

式(1)に示すように(x/Xmax)の項は2乗されている。そのため、スライドバーBRの全長xが増大するにつれて、全長xの変化率に対する奥行き選択位置Zsの変化率が増大されることになる。   As shown in Expression (1), the term (x / Xmax) is squared. Therefore, as the total length x of the slide bar BR increases, the change rate of the depth selection position Zs with respect to the change rate of the full length x increases.

これにより、全長xが短いほど奥行き選択位置Zsの選択の分解能は高く、全長xが長いほど奥行き選択位置Zsの分解能は低くなる。その結果、ユーザは手前側のタグT1の表示と非表示との調整を精度良く行うことができる。   Thereby, the resolution of selection of the depth selection position Zs is higher as the total length x is shorter, and the resolution of the depth selection position Zs is lower as the total length x is longer. As a result, the user can accurately adjust the display and non-display of the tag T1 on the near side.

なお、奥行き選択部18は、ユーザによりスライドバーBRの位置が上下されると、それに応じてディスプレイ27の表示画面を更新させてスライドバーBRがスライド表示されるように描画部22に指示する。   It should be noted that when the position of the slide bar BR is moved up and down by the user, the depth selection unit 18 instructs the drawing unit 22 to update the display screen of the display 27 and display the slide bar BR in a slide manner accordingly.

また、奥行き選択部18は、スライドバーBRの全長xを微調整するための微調整操作部DPがユーザにより操作されると、それに従って全長xをスライドさせ、それに連動させて、奥行き選択位置Zsを設定してもよい。   Further, when the fine adjustment operation unit DP for finely adjusting the total length x of the slide bar BR is operated by the user, the depth selection unit 18 slides the total length x according to the operation, and interlocks with the slide to select the depth selection position Zs. May be set.

図7は、微調整操作部DPが表示された表示画面を示した図である。図7に示すように微調整操作部DPは、スライド操作部SPの例えば右側に表示されており、一部が表示画面の表面から露出され、表示画面と平行な方向が回転軸となって回転される回転ダイヤルを模擬した表示態様で表示されている。   FIG. 7 is a diagram illustrating a display screen on which the fine adjustment operation unit DP is displayed. As shown in FIG. 7, the fine adjustment operation unit DP is displayed, for example, on the right side of the slide operation unit SP. A part of the fine adjustment operation unit DP is exposed from the surface of the display screen, and rotates in a direction parallel to the display screen. It is displayed in a display mode simulating a rotating dial.

奥行き選択部18は、ユーザが微調整操作部DPの表示領域をタッチし、指を上側又は下側に移動させると、その指の移動量FL1に応じて微調整操作部DPの回転量を離散的に決定し、決定した回転量に応じた変化量ΔxでスライドバーBRの全長xを上側又は下側にスライドさせ、かつ、決定した回転量で微調整操作部DPを回転表示させる。   When the user touches the display area of the fine adjustment operation unit DP and moves the finger upward or downward, the depth selection unit 18 discretizes the rotation amount of the fine adjustment operation unit DP according to the movement amount FL1 of the finger. The total length x of the slide bar BR is slid upward or downward with a change amount Δx corresponding to the determined rotation amount, and the fine adjustment operation unit DP is rotated and displayed with the determined rotation amount.

ここで、奥行き選択部18は、ユーザにより微調整操作部DPが操作されたときの指の移動量FL1に対する全長xの変化量Δx1が、ユーザがスライドバーBRを直接操作したときの指の移動量FL1に対する全長xの変化量Δx2よりも小さくなるようにスライドバーBRをスライド表示させる。   Here, the depth selection unit 18 determines that the change amount Δx1 of the total length x with respect to the finger movement amount FL1 when the fine adjustment operation unit DP is operated by the user is the finger movement when the user directly operates the slide bar BR. The slide bar BR is slide-displayed so as to be smaller than the change amount Δx2 of the total length x with respect to the amount FL1.

つまり、指の移動量がFL1であるとすると、スライドバーBRが直接操作された場合、スライドバーBRの全長xの変化量Δx1は例えばFL1となるが、微調整操作部DPが操作された場合、変化量Δx2は例えばα・Δx1となる。但し、αは0<α<1である。本実施の形態では、αとして例えば1/5が採用されるが、これに限定されず、1/3、1/4、1/6等の値を採用してもよい。   That is, assuming that the movement amount of the finger is FL1, when the slide bar BR is directly operated, the change amount Δx1 of the total length x of the slide bar BR is, for example, FL1, but the fine adjustment operation unit DP is operated. The change amount Δx2 is, for example, α · Δx1. However, α is 0 <α <1. In the present embodiment, for example, 1/5 is adopted as α, but is not limited to this, and values such as 1/3, 1/4, 1/6, etc. may be adopted.

なお、微調整操作部DPはダイヤル式である必要はなく、指の移動量FL1に応じて連続的に回転量が決定される回転体により構成してもよい。この場合、ユーザはより細かく奥行き選択位置Zsを調節することができる。   The fine adjustment operation unit DP does not need to be a dial type, and may be constituted by a rotating body whose rotation amount is continuously determined according to the finger movement amount FL1. In this case, the user can adjust the depth selection position Zs more finely.

タッチパネル113の操作に不慣れなユーザにとって、スライドバーBRを直接操作することは容易ではない。そこで、微調整操作部DPを設け、回転操作に連動してスライドバーBRをスライドさせている。   It is not easy for a user who is unfamiliar with the operation of the touch panel 113 to directly operate the slide bar BR. Therefore, a fine adjustment operation unit DP is provided to slide the slide bar BR in conjunction with the rotation operation.

図1に戻り、表示判定部19は、奥行き空間内において、各実オブジェクトROが奥行き選択位置Zsに対して手前側に位置するか奥側に位置するかを判定し、奥側に位置する実オブジェクトROをタグT1が表示される表示対象の実オブジェクトROとして抽出する。   Returning to FIG. 1, the display determination unit 19 determines whether each real object RO is located on the near side or the far side with respect to the depth selection position Zs in the depth space, and the real object located on the far side. The object RO is extracted as a real object RO to be displayed on which the tag T1 is displayed.

これにより、図7に示すスライドバーBRがユーザにより上側に向けてスライドされる、又は微調整操作部DPを上側に回転させることでスライドバーBRが上側に向けてスライドされると、それに応じて手前側に表示されたタグT1から順次に非表示にされていき、表示されるタグT1の数が減らされる。   Accordingly, when the slide bar BR shown in FIG. 7 is slid upward by the user, or when the slide bar BR is slid upward by rotating the fine adjustment operation unit DP upward, accordingly, The tags T1 displayed on the near side are sequentially hidden from the display, and the number of displayed tags T1 is reduced.

一方、スライドバーBRが垂直方向の下側に向けてスライドされる、又は微調整操作部DPを下側に回転させることでスライドバーBRが下側に向けてスライドされると、それに応じて奥側から手前側に向けて表示されるタグT1の数が順次に増やされる。   On the other hand, when the slide bar BR is slid downward in the vertical direction or when the slide bar BR is slid downward by rotating the fine adjustment operation unit DP downward, the back The number of tags T1 displayed from the side toward the front side is sequentially increased.

その結果、手前に表示されたタグT1に邪魔されて表示されていなかったタグT1や、あまり露出されていなかったタグT1が大きく露出され、ユーザはこれらのタグT1の選択する操作を容易に行うことができる。   As a result, the tag T1 that has been disturbed by the tag T1 displayed in front and the tag T1 that has not been exposed so much is exposed greatly, and the user can easily perform an operation of selecting these tags T1. be able to.

ここで、表示判定部19は、図6に示す奥行き選択位置Zsよりも手前側に位置し、かつ方角境界L1,L2に囲まれる領域に位置する実オブジェクトROのタグT1を半透明で表示するように描画部22に描画させてもよい。この場合、描画部22は、所定の透過率でタグT1とカメラ28により撮像された映像データとを例えばαブレンディング等の手法を用いて合成すればよい。   Here, the display determination unit 19 displays the tag T1 of the real object RO located in front of the depth selection position Zs shown in FIG. 6 and located in the area surrounded by the direction boundaries L1 and L2 in a translucent manner. In this way, the drawing unit 22 may draw the image. In this case, the drawing unit 22 may synthesize the tag T1 and the video data captured by the camera 28 with a predetermined transmittance using a technique such as α blending.

図1に戻り、オブジェクト選択部20は、入力部17によりオブジェクト選択指令が入力されたと判定され、タッチ位置の座標データが出力されると、表示対象のタグT1の中からユーザが選択したタグT1を特定する。   Returning to FIG. 1, when the object selection unit 20 determines that the object selection command is input from the input unit 17 and the coordinate data of the touch position is output, the tag T1 selected by the user from the display target tags T1. Is identified.

入力デバイスとしてタッチパネル113を用いた場合、ユーザが認識するタッチ位置と、装置が認識するタッチ位置とがずれる虞がある。したがって、タッチ位置の近傍に複数のタグT1が表示される場合、ユーザが選択しようとしたタグT1とは異なるタグT1が選択される虞がある。   When the touch panel 113 is used as an input device, the touch position recognized by the user may be shifted from the touch position recognized by the apparatus. Therefore, when a plurality of tags T1 are displayed in the vicinity of the touch position, there is a possibility that a tag T1 different from the tag T1 that the user tried to select is selected.

本実施の形態によるオブジェクト選択装置では、ユーザは選択しようとするタグT1よりも手前に表示されたタグT1を非表示にすることができるため、ユーザが選択しようとするタグT1はタッチ位置の周辺に表示されたタグT1の中で最も手前に表示される可能性が高い。   In the object selection device according to the present embodiment, since the user can hide the tag T1 displayed in front of the tag T1 to be selected, the tag T1 to be selected by the user is located around the touch position. There is a high possibility of being displayed in the forefront among the tags T1 displayed in (1).

そこで、オブジェクト選択部20は、タッチ位置から一定の距離範囲内において最も手前に表示されたタグT1をユーザが選択したタグT1として特定する。   Therefore, the object selection unit 20 specifies the tag T1 displayed in the forefront within a certain distance range from the touch position as the tag T1 selected by the user.

図8(a)は、ユーザのタッチ位置を示した図であり、図8(b)は同時に複数の関連情報が表示された場合の画面図を示している。図8(a)において、PQxはユーザがタッチしたタッチ位置を示している。この場合、オブジェクト選択部20は、タッチ位置PQxから一定の距離dの範囲内に位置するタグT1_1,T1_2,T1_3,T1_4のうち、最も手前に位置するタグT1_1をユーザが選択したタグとして特定する。ここで、オブジェクト選択部20は、タグT1_1〜T1_4に対応する実オブジェクトROの奥行き空間における位置と現在位置Oとの距離が最も短いタグT1を、最も手前のタグT1として特定すればよい。   FIG. 8A is a diagram showing the touch position of the user, and FIG. 8B is a screen diagram when a plurality of related information is displayed at the same time. In FIG. 8A, PQx indicates a touch position touched by the user. In this case, the object selection unit 20 specifies the tag T1_1 located closest to the tag T1_1, T1_2, T1_3, and T1_4 located within a certain distance d from the touch position PQx as the tag selected by the user. . Here, the object selection unit 20 may specify the tag T1 having the shortest distance between the position in the depth space of the real object RO corresponding to the tags T1_1 to T1_4 and the current position O as the nearest tag T1.

このように、オブジェクト選択部20は、基本的にはタッチ位置から一定の距離d内のタグT1の中から最も手前のタグT1をユーザが選択したタグT1として特定しているが、ユーザが選択しようとするタグT1の近傍に複数のタグT1が表示されている場合、ユーザはどの位置をタッチすれば所望のタグT1を選択することができるか分からない場合がある。   As described above, the object selection unit 20 basically identifies the tag T1 that is the foremost tag T1 within the fixed distance d from the touch position as the tag T1 selected by the user. When a plurality of tags T1 are displayed in the vicinity of the tag T1 to be tried, the user may not know which position can be touched to select the desired tag T1.

そこで、オブジェクト選択部20は、タッチ位置に対応する奥行き空間の位置に小領域RDを設定し、設定した小領域RD内に位置する全ての実オブジェクトROの関連情報をディスプレイ27に表示させる。   Therefore, the object selection unit 20 sets the small area RD at the position of the depth space corresponding to the touch position, and causes the display 27 to display related information on all the real objects RO located in the set small area RD.

図9は、オブジェクト選択部20が奥行き空間に設定する小領域RDを示した図である。まず、オブジェクト選択部20は、最も手前に位置すると判定したタグT1に対応する実オブジェクトROの奥行き空間の位置を特定する。図9では、実オブジェクトRO_fがその実オブジェクトROであったとする。次に、オブジェクト選択部20は、図8(a)において、タッチ位置PQxが表示画像の下辺を左端から内分する内分比(m:n)を求める。次に、オブジェクト選択部20は、図9に示す奥行き空間において、現在位置Oを中心として実オブジェクトRO_fと現在位置Oとの距離を半径とする円周を等距離曲線Lxとして設定する。   FIG. 9 is a diagram illustrating a small region RD that the object selection unit 20 sets in the depth space. First, the object selection unit 20 specifies the position in the depth space of the real object RO corresponding to the tag T1 determined to be positioned closest to the front. In FIG. 9, it is assumed that the real object RO_f is the real object RO. Next, the object selection unit 20 obtains an internal division ratio (m: n) in which the touch position PQx internally divides the lower side of the display image from the left end in FIG. Next, the object selection unit 20 sets, as an equidistant curve Lx, a circumference having a radius of the distance between the real object RO_f and the current position O around the current position O in the depth space illustrated in FIG.

次に、等距離曲線Lxを方角境界Z1を基準としてm:nに内分する点を、タッチ位置PQxに対応する奥行き空間の位置Pxとして求める。   Next, a point that internally divides the equidistant curve Lx into m: n with respect to the direction boundary Z1 is obtained as a position Px in the depth space corresponding to the touch position PQx.

次に、現在位置Oから位置Pxを通る直線L6を設定する。次に、直線L6によって所定の角度θ3が2等分されるように現在位置Oを通る2本の直線L7,L8を設定する。次に、位置Pxを直線L6に沿ってΔzだけ奥側にずらしずらした位置と現在位置Oとの距離を半径とし現在位置Oを中心とする円周を等距離曲線L9として設定する。以上により、等距離曲線Lx,L9と直線L7,L8とによって囲まれる領域が小領域RDとして設定される。   Next, a straight line L6 passing from the current position O to the position Px is set. Next, two straight lines L7 and L8 passing through the current position O are set so that the predetermined angle θ3 is equally divided by the straight line L6. Next, the distance between the position Px shifted by Δz along the straight line L6 and the current position O is set as a radius, and the circumference centered on the current position O is set as an equidistant curve L9. As described above, the area surrounded by the equidistant curves Lx and L9 and the straight lines L7 and L8 is set as the small area RD.

なお、角度θ3及びΔzとしては、例えば、想定されるユーザが認識するタッチ位置とタッチパネル113が認識するタッチ位置とのずれに基づいて予め定められた値を採用することができる。   As the angles θ3 and Δz, for example, values determined in advance based on a shift between an assumed touch position recognized by the user and a touch position recognized by the touch panel 113 can be employed.

そして、オブジェクト選択部20は、設定した小領域RDに含まれる実オブジェクトROを関連情報取得部21に通知すると、関連情報取得部21は、通知された実オブジェクトROの関連情報をオブジェクト情報データベース15から抽出し、抽出した関連情報を描画部22に描画させる。   Then, when the object selection unit 20 notifies the related information acquisition unit 21 of the real object RO included in the set small region RD, the related information acquisition unit 21 displays the related information of the notified real object RO in the object information database 15. And the drawing unit 22 draws the extracted related information.

これにより、ディスプレイ27には、図8(b)に示すような表示画像が表示される。図8(b)の例では、小領域RDに4つの実オブジェクトROが含まれていたため、4つの実オブジェクトROの関連情報が表示されている。   As a result, a display image as shown in FIG. 8B is displayed on the display 27. In the example of FIG. 8B, since the four real objects RO are included in the small area RD, the related information of the four real objects RO is displayed.

ここで、図8(b)において、表示する関連情報としてオブジェクト情報データベース15に格納された関連情報のうち実オブジェクトROの名称等の一部の情報のみを表示させておく。そして、ユーザによりタッチパネル113がタッチされ、いずれか1つの実オブジェクトROが選択されると、その実オブジェクトROの詳細な関連情報が表示されるようにしてもよい。これにより、一度に複数の関連情報を表示する際の表示スペースの節約を図り、より多くの関連情報を表示することができる。また、一度に表示する関連情報がディスプレイ27の表示領域に収まらない場合は、これらの関連情報をスクロール表示させればよい。   Here, in FIG. 8B, only some information such as the name of the real object RO among the related information stored in the object information database 15 is displayed as the related information to be displayed. Then, when the touch panel 113 is touched by the user and any one real object RO is selected, detailed related information of the real object RO may be displayed. As a result, it is possible to save display space when displaying a plurality of related information at a time, and to display more related information. If the related information to be displayed at one time does not fit in the display area of the display 27, the related information may be scroll-displayed.

図1に戻り、関連情報取得部21は、オブジェクト選択部20によりユーザが選択したと判定されたタグT1の関連情報をオブジェクト情報データベース15から抽出し、抽出した関連情報を描画部22に表示させる。なお、上述したように、小領域RDに複数の実オブジェクトROが含まれている場合には、これら複数の実オブジェクトROの関連情報をオブジェクト情報データベース15から抽出し、抽出した複数の関連情報を描画部22に表示させる。   Returning to FIG. 1, the related information acquisition unit 21 extracts the related information of the tag T <b> 1 determined to be selected by the user by the object selection unit 20 from the object information database 15 and causes the drawing unit 22 to display the extracted related information. . As described above, when a plurality of real objects RO are included in the small area RD, the related information of the plurality of real objects RO is extracted from the object information database 15, and the extracted plurality of related information is displayed. It is displayed on the drawing unit 22.

描画部22は、表示判定部19により抽出された表示対象の実オブジェクトROの表示画像における表示位置を決定し、決定した表示位置にタグT1を描画する。   The drawing unit 22 determines the display position of the display target real object RO extracted by the display determination unit 19 in the display image, and draws the tag T1 at the determined display position.

ここで、描画部22は、奥行き空間において、現在位置Oと表示対象となる実オブジェクトROとの位置関係からタグT1の表示位置を決定すればよい。具体的には、下記のようにして表示位置を決定すればよい。   Here, the drawing unit 22 may determine the display position of the tag T1 from the positional relationship between the current position O and the real object RO to be displayed in the depth space. Specifically, the display position may be determined as follows.

まず、図6に示すように、現在位置Oを中心とし実オブジェクトRO_1を通る円周上であって、方角境界L1,L2に囲まれる曲線を等距離曲線L5として設定する。次に、現在位置Oと実オブジェクトRO_1との距離Zoを求める。   First, as shown in FIG. 6, a curve on the circumference passing through the real object RO_1 with the current position O as the center and surrounded by the direction boundaries L1 and L2 is set as an equidistant curve L5. Next, a distance Zo between the current position O and the real object RO_1 is obtained.

次に、図7に示すように距離Zoに対応する矩形領域SQ1を表示画像に設定する。ここで、矩形領域SQ1は、その中心が例えば表示画像の中心OGに位置し、かつ、表示画像の形状と相似な形状を有している。なお、矩形領域SQ1のサイズは、距離Zoに応じて予め定められた縮尺率で縮尺されたサイズを有している。ここで、縮尺率と距離Zoとの関係は、距離Zoが長くなるにつれて縮尺率が増大し、距離Zoが短くなるにつれて縮尺率が減少し、距離Zoが0のとき1となるような関係を有している。   Next, as shown in FIG. 7, a rectangular area SQ1 corresponding to the distance Zo is set as a display image. Here, the center of the rectangular area SQ1 is located at the center OG of the display image, for example, and has a shape similar to the shape of the display image. Note that the size of the rectangular area SQ1 has a size that is reduced at a predetermined scale according to the distance Zo. Here, the relationship between the scale ratio and the distance Zo is such that the scale ratio increases as the distance Zo increases, the scale ratio decreases as the distance Zo decreases, and becomes 1 when the distance Zo is zero. Have.

次に、図6に示す実オブジェクトRO_1が等距離曲線L5を内分する内分比を求める。ここでは、方角境界L1を基準として実オブジェクトRO_1が等距離曲線L5をm:nに内分したとする。   Next, an internal ratio at which the real object RO_1 shown in FIG. 6 internally divides the equidistant curve L5 is obtained. Here, it is assumed that the real object RO_1 internally divides the equidistant curve L5 into m: n with the direction boundary L1 as a reference.

次に、図7に示す表示画像の下辺をm:nに内分する点Q1を求め、求めた点Q1の表示画像における水平方向の座標を、実オブジェクトRO_1のタグT1の表示位置P1の水平方向の座標H1として求める。   Next, a point Q1 that internally divides the lower side of the display image shown in FIG. 7 into m: n is obtained, and the horizontal coordinate in the display image of the obtained point Q1 is set to the horizontal position of the display position P1 of the tag T1 of the real object RO_1. Obtained as the coordinate H1 of the direction.

次に、オブジェクト情報データベース15に実オブジェクトRO_1の高さが記憶されている場合は、その高さhを距離Zoに応じた縮尺率で縮尺して高さh´を求め、矩形領域SQ1の下辺から垂直方向に高さh´だけ離間した表示画像の垂直方向の座標を表示位置P1の垂直方向の座標V1として求める。なお、実オブジェクトRO_1の高さが記憶されていない場合、座標H1を通る垂直方向の直線上の適当な位置にタグT1を表示すればよい。   Next, when the height of the real object RO_1 is stored in the object information database 15, the height h is obtained by scaling the height h at a scale ratio corresponding to the distance Zo, and the lower side of the rectangular area SQ1. The vertical coordinate of the display image that is separated by a height h ′ from the vertical direction is obtained as the vertical coordinate V1 of the display position P1. When the height of the real object RO_1 is not stored, the tag T1 may be displayed at an appropriate position on the straight line passing through the coordinate H1.

次に、距離Zoに応じた縮尺率でタグT1の面積を縮尺し、縮尺したタグT1を表示位置P1に表示する。奥行き選択部18は、タグT1が表示対象となる実オブジェクトROのそれぞれについて、上記の処理を行い、表示位置を決定する。   Next, the area of the tag T1 is reduced at a reduction ratio according to the distance Zo, and the reduced tag T1 is displayed at the display position P1. The depth selection unit 18 performs the above processing for each real object RO for which the tag T1 is to be displayed, and determines the display position.

図1に戻り、描画部22は、奥行き選択部18からの描画要求にしたがってスライド操作部SP及び微調整操作部DPをグラフィックスフレームメモリ23に描画する。また、描画部22は、関連情報取得部21からの描画要求にしたがって関連情報をグラフィックスフレームメモリ23に描画する。   Returning to FIG. 1, the drawing unit 22 draws the slide operation unit SP and the fine adjustment operation unit DP in the graphics frame memory 23 in accordance with the drawing request from the depth selection unit 18. In addition, the drawing unit 22 draws related information in the graphics frame memory 23 in accordance with a drawing request from the related information acquisition unit 21.

グラフィックスフレームメモリ23は、描画部22により描画された画像データを保持するメモリである。映像入力部24は、カメラ28により所定のフレームレートで撮像された実世界の映像データを取得し、映像フレームメモリ25に順次に書き込む。映像フレームメモリ25は映像入力部24から所定のフレームレートで出力された映像データを一時的に保持するメモリである。   The graphics frame memory 23 is a memory that holds image data drawn by the drawing unit 22. The video input unit 24 acquires real-world video data captured at a predetermined frame rate by the camera 28 and sequentially writes it in the video frame memory 25. The video frame memory 25 is a memory that temporarily holds video data output from the video input unit 24 at a predetermined frame rate.

合成表示部26は、映像フレームメモリ25により保持された映像データとグラフィックスフレームメモリ23に保持された画像データとを重畳し、実際にディスプレイ27に表示される表示画像を生成する。ここで、合成表示部26は、グラフィックスフレームメモリ23に保持された画像データを、映像フレームメモリ25に保持された映像データよりも手前に重畳する。これにより、タグT1、スライド操作部SP、及び微調整操作部DPが実世界の映像よりも手前に表示される。ディスプレイ27は、表面にタッチパネル113が貼り付けられた例えば、液晶パネル又は有機ELパネル等で構成され、合成表示部26で合成された表示画像を表示する。カメラ28は、所定のフレームレートで実世界の映像データを取得し映像入力部24に出力する。   The composite display unit 26 superimposes the video data held in the video frame memory 25 and the image data held in the graphics frame memory 23 to generate a display image that is actually displayed on the display 27. Here, the composite display unit 26 superimposes the image data held in the graphics frame memory 23 before the video data held in the video frame memory 25. As a result, the tag T1, the slide operation unit SP, and the fine adjustment operation unit DP are displayed in front of the real-world image. The display 27 is composed of, for example, a liquid crystal panel or an organic EL panel with a touch panel 113 attached to the surface, and displays a display image synthesized by the synthesis display unit 26. The camera 28 acquires real-world video data at a predetermined frame rate and outputs it to the video input unit 24.

図10は、本実施の形態によるオブジェクト選択装置がタグT1を表示するまでの処理を示したフローチャートである。まず、入力・状態変化検知部12は、ユーザによる操作指令の入力又はオブジェクト選択装置の状態変化を検知する(ステップS1)。ここで、操作指令の入力は、ユーザがタッチパネル113をタッチしたことであり、状態変化としては、オブジェクト選択装置の位置の変化及び方角の変化が含まれる。   FIG. 10 is a flowchart showing processing until the object selection device according to the present embodiment displays the tag T1. First, the input / state change detection unit 12 detects an operation command input by the user or a state change of the object selection device (step S1). Here, the input of the operation command is that the user touches the touch panel 113, and the state change includes a change in the position of the object selection device and a change in the direction.

次に、入力・状態変化検知部12がオブジェクト選択装置の位置の変化を検知した場合(ステップS2:YES)、位置取得部13はGPSセンサ111から位置情報を取得する(ステップS3)。   Next, when the input / state change detection unit 12 detects a change in the position of the object selection device (step S2: YES), the position acquisition unit 13 acquires position information from the GPS sensor 111 (step S3).

一方、入力・状態変化検知部12がオブジェクト選択装置の方角の変化を検知した場合(ステップS2:NOかつステップS4:YES)、方角取得部14は方角センサ112から方角情報を取得する(ステップS5)。   On the other hand, when the input / state change detection unit 12 detects a change in the direction of the object selection device (step S2: NO and step S4: YES), the direction acquisition unit 14 acquires direction information from the direction sensor 112 (step S5). ).

次に、表示情報抽出部16は、オブジェクト選択装置の最新の位置情報及び方角情報を用いて、奥行き空間を生成し、表示領域GD内に位置する実オブジェクトROを表示対象となる実オブジェクトROとして抽出する(ステップS6)。   Next, the display information extraction unit 16 generates a depth space using the latest position information and direction information of the object selection device, and sets the real object RO located in the display area GD as the real object RO to be displayed. Extract (step S6).

一方、入力部17が、ユーザにより奥行き選択指令が入力されたと判定した場合(ステップS4:NOかつステップS7:YES)、奥行き選択部18は、ユーザにより操作されたスライドバーBRの全長xから、奥行き選択位置Zsを設定する(ステップS8)。   On the other hand, when the input unit 17 determines that a depth selection command has been input by the user (step S4: NO and step S7: YES), the depth selection unit 18 determines from the total length x of the slide bar BR operated by the user. A depth selection position Zs is set (step S8).

次に、表示判定部19は、表示情報抽出部16により抽出された表示対象の実オブジェクトROの中から、奥行き選択部18により設定された奥行き選択位置Zsよりも奥側に位置する実オブジェクトROを表示対象の実オブジェクトROとして抽出する(ステップS9)。   Next, the display determination unit 19 selects the real object RO located behind the depth selection position Zs set by the depth selection unit 18 from the real objects RO to be displayed extracted by the display information extraction unit 16. Is extracted as a real object RO to be displayed (step S9).

次に、描画部22は、奥行き空間において、現在位置Oと実オブジェクトROとの位置関係からタグT1の表示位置を決定する(ステップS10)。   Next, the drawing unit 22 determines the display position of the tag T1 from the positional relationship between the current position O and the real object RO in the depth space (step S10).

次に、描画部22は、決定した表示位置に表示対象の実オブジェクトROのタグT1を描画する(ステップS11)。次に、合成表示部26は、グラフィックスフレームメモリ23が保持する画像データが、映像フレームメモリ25に保持された映像データに対して上側に重畳されるように画像データ及び映像データを合成して表示画像を生成し、ディスプレイ27に表示する(ステップS12)。   Next, the drawing unit 22 draws the tag T1 of the real object RO to be displayed at the determined display position (step S11). Next, the composite display unit 26 combines the image data and the video data so that the image data held in the graphics frame memory 23 is superimposed on the upper side of the video data held in the video frame memory 25. A display image is generated and displayed on the display 27 (step S12).

図11は、ユーザが選択したタグT1に対応する関連情報がディスプレイ27に表示されるまでの処理を示したフローチャートである。   FIG. 11 is a flowchart showing processing until the related information corresponding to the tag T1 selected by the user is displayed on the display 27.

まず、入力・状態変化検知部12は、ユーザから操作指令が入力されたことを検知する(ステップS21)。次に、入力部17がユーザからの操作指令がタグ選択指令であると判定すると(ステップS22:YES)、オブジェクト選択部20は、図8(a)に示すように、タッチ位置PQxから距離d内にあるタグのうち最も手前に位置するタグT1_1を抽出する(ステップS23)。   First, the input / state change detection unit 12 detects that an operation command has been input from the user (step S21). Next, when the input unit 17 determines that the operation command from the user is a tag selection command (step S22: YES), the object selection unit 20 determines the distance d from the touch position PQx as shown in FIG. The tag T1_1 located in the forefront is extracted from the inside tags (step S23).

一方、入力部17がユーザからの操作指令がタグ選択指令でないと判定すると(ステップS22:NO)、処理をステップS21に戻す。   On the other hand, if the input unit 17 determines that the operation command from the user is not a tag selection command (step S22: NO), the process returns to step S21.

次に、オブジェクト選択部20は、図9に示すように、タグT1_1に対応する実オブジェクトRO_fの奥行き空間での位置に小領域RDを設定し、設定した小領域RDに含まれる実オブジェクトROを抽出する(ステップS24)。   Next, as illustrated in FIG. 9, the object selection unit 20 sets the small area RD at the position in the depth space of the real object RO_f corresponding to the tag T1_1, and sets the real object RO included in the set small area RD. Extract (step S24).

次に、関連情報取得部21は、抽出された実オブジェクトROの関連情報をオブジェクト情報データベース15から取得する(ステップS25)。次に、描画部22は、関連情報取得部21により取得された関連情報をグラフィックスフレームメモリ23に描画する(ステップS26)。   Next, the related information acquisition unit 21 acquires related information of the extracted real object RO from the object information database 15 (step S25). Next, the drawing unit 22 draws the related information acquired by the related information acquisition unit 21 in the graphics frame memory 23 (step S26).

このとき、オブジェクト選択部20が複数の実オブジェクトROを抽出した場合は、図8(b)のように複数の実オブジェクトROの関連情報が描画される。   At this time, when the object selection unit 20 extracts a plurality of real objects RO, related information of the plurality of real objects RO is drawn as shown in FIG.

次に、合成表示部26は、グラフィックスフレームメモリ23が保持する画像データが、映像フレームメモリ25が保持する映像データよりも上側に表示されるように、画像データ及び映像データを合成し、ディスプレイ27に表示する(ステップS27)。   Next, the composite display unit 26 combines the image data and the video data so that the image data held in the graphics frame memory 23 is displayed above the video data held in the video frame memory 25, and the display 27 (step S27).

なお、オブジェクト選択部20が複数の実オブジェクトROを抽出した場合、奥行き選択部18が設定した奥行き選択位置Zsに最も近い1つ実オブジェクトROのみの関連情報をディスプレイ27に表示してもよい。   When the object selection unit 20 extracts a plurality of real objects RO, the related information of only one real object RO closest to the depth selection position Zs set by the depth selection unit 18 may be displayed on the display 27.

また、図8(b)に示す複数の関連情報の中から1つの関連情報を選択させるための画像をディスプレイ27に表示し、ユーザにより選択された1つの関連情報をディスプレイ27に表示させるようにしてもよい。   Further, an image for selecting one related information from the plurality of related information shown in FIG. 8B is displayed on the display 27, and one related information selected by the user is displayed on the display 27. May be.

また、関連情報を表示するとき、合成表示部26は、映像フレームメモリ25に保持された映像データを合成せずに、グラフィックスフレームメモリ23に保持された画像データのみから表示画像を生成し、ディスプレイ27に表示させてもよい。   When displaying the related information, the composite display unit 26 generates a display image from only the image data held in the graphics frame memory 23 without combining the video data held in the video frame memory 25, and It may be displayed on the display 27.

また、上記説明では、図7に示すようにスライドバーBRを用いてユーザに奥行き選択位置Zsを選択させたが、本発明はこれに限定されず、図12に示す選択操作部KPを用いてユーザに奥行き選択位置Zsを選択させてもよい。   In the above description, the user selects the depth selection position Zs using the slide bar BR as shown in FIG. 7, but the present invention is not limited to this, and the selection operation unit KP shown in FIG. 12 is used. The user may be allowed to select the depth selection position Zs.

図12(a)、(b)は、選択操作部KPが表示された表示画像を示した図である。選択操作部KPが採用される場合、奥行き空間は、奥行き軸Zを区画することで複数の奥行き領域に区画されている。図13は、図12の選択操作部KPが採用された場合の奥行き空間を示した図である。   12A and 12B are diagrams showing display images on which the selection operation unit KP is displayed. When the selection operation unit KP is employed, the depth space is divided into a plurality of depth regions by dividing the depth axis Z. FIG. 13 is a diagram illustrating a depth space when the selection operation unit KP of FIG. 12 is employed.

図13に示すように、奥行き空間は、奥行き軸Zを区画することで7個の奥行き領域OD1〜OD7に区画されている。具体的には、奥行き空間は、現在位置Oを中心として同心円状に7個の領域に表示領域GDを区画することで、7個の奥行き領域OD1〜OD7が設定されている。ここで、奥行き領域OD1〜OD7のそれぞれの幅は、現在位置Oから離れるにつれて小さくなるように設定されてもよいし、同一であってもよい。   As shown in FIG. 13, the depth space is partitioned into seven depth regions OD1 to OD7 by partitioning the depth axis Z. Specifically, in the depth space, seven depth regions OD1 to OD7 are set by dividing the display region GD into seven regions concentrically around the current position O. Here, the respective widths of the depth regions OD1 to OD7 may be set so as to decrease as the distance from the current position O increases, or may be the same.

図12(a)に示すように、選択操作部KPは、奥行き領域OD1〜OD7に対応付けられ、色分けして配列された複数の選択領域DD1〜DD7を含んでいる。ここで、奥行き領域OD1〜OD7は7個存在するため、選択領域DD1〜DD7は7個存在する。   As shown in FIG. 12A, the selection operation unit KP includes a plurality of selection areas DD1 to DD7 that are associated with the depth areas OD1 to OD7 and arranged in different colors. Here, since there are seven depth regions OD1 to OD7, there are seven selection regions DD1 to DD7.

ユーザは、タッチパネル113をタッチすることで、選択領域DD1〜DD7のうちいずれか1つの選択領域を選択して奥行き操作指令を入力する。以下、奥行き領域OD1〜OD7を区別しない場合は奥行き領域ODと記述し、選択領域DD1〜DD7を区別しない場合は、選択領域DDと記述する。また、奥行き領域ODの個数及び選択領域DDの個数は7個に限定されず、2個以上6個以下、8個以上の適当な個数を採用してもよい。   The user touches the touch panel 113 to select any one of the selection areas DD1 to DD7 and input a depth operation command. Hereinafter, when the depth regions OD1 to OD7 are not distinguished, they are described as a depth region OD, and when the selection regions DD1 to DD7 are not distinguished, they are described as a selection region DD. Further, the number of depth regions OD and the number of selection regions DD are not limited to seven, and an appropriate number of two or more and six or less, or eight or more may be employed.

描画部22は、各実オブジェクトROに対し、属している奥行き領域ODに対応付けられた選択領域DDの色と同一の色を付して各実オブジェクトROのタグT1を描画する。   The drawing unit 22 draws the tag T1 of each real object RO with the same color as the color of the selection area DD associated with the depth area OD to which the real object RO belongs.

例えば、選択領域DD1〜DD7に対して第1〜第7の色が付されているとすると、描画部22は、奥行き領域OD1に位置する実オブジェクトROのタグT1には第1の色を付し、奥行き領域OD2に位置する実オブジェクトROのタグT1には第2の色を付すというようにして、各タグT1に色を付す。   For example, if the first to seventh colors are assigned to the selection areas DD1 to DD7, the drawing unit 22 assigns the first color to the tag T1 of the real object RO located in the depth area OD1. Then, the tag T1 of the real object RO located in the depth region OD2 is given a color such that the second color is given to the tag T1.

そして、ユーザにより例えば選択領域DD3がタッチされると、奥行き選択部18は、選択領域DD3に対応付けられた奥行き領域OD3の手前側の境界線の奥行き軸Zにおける位置を奥行き選択位置Zsとして選択する。   When the selection area DD3 is touched by the user, for example, the depth selection unit 18 selects the position on the depth axis Z of the front boundary of the depth area OD3 associated with the selection area DD3 as the depth selection position Zs. To do.

そして、表示判定部19は奥行き選択位置Zsよりも奥側に位置する実オブジェクトROを表示対象の実オブジェクトROとして抽出し、抽出した実オブジェクトROのタグT1を描画部22に描画させる。したがって、ユーザにより選択領域DD3がタッチされた場合、図12(a)において、第1及び第2の色で表示されたタグT1が非表示となり、第3〜第7の色で表示されたタグT1のみが表示される。   Then, the display determination unit 19 extracts the real object RO located behind the depth selection position Zs as the real object RO to be displayed, and causes the drawing unit 22 to draw the tag T1 of the extracted real object RO. Therefore, when the selection area DD3 is touched by the user, in FIG. 12A, the tag T1 displayed in the first and second colors is hidden and the tag displayed in the third to seventh colors. Only T1 is displayed.

なお、第1の色〜第7の色としては、第1の色から第7の色に向かうにつれて色が徐々に変化するようなグラデーションの色を採用することが好ましい。   Note that, as the first color to the seventh color, it is preferable to employ a gradation color in which the color gradually changes from the first color toward the seventh color.

上記説明では、カメラ28が撮像した映像データに含まれる実オブジェクトROにタグT1を重畳させて表示させる態様を採用したが本発明はこれに限定されない。例えば、アイコンやフォルダを3次元的に表示するコンピュータやAV機器のグラフィカルユーザインターフェイスに本発明を適用してもよい。   In the above description, a mode has been adopted in which the tag T1 is superimposed on the real object RO included in the video data captured by the camera 28, but the present invention is not limited to this. For example, the present invention may be applied to a graphical user interface of a computer or AV device that three-dimensionally displays icons and folders.

この場合、上記説明で用いたアイコンやフォルダからなるオブジェクトを上記の実オブジェクトROと同様に取り扱い、図4(c)に示すように、タグT1に代えてオブジェクトOBを3次元的に表示すればよい。図4(c)の例では、手前側のオブジェクトOBから奥側のオブジェクトOBに向けて徐々にオブジェクトOBの面積が小さくされており、オブジェクトOBが3次元的に表示されていることが分かる。   In this case, if the object composed of icons and folders used in the above description is handled in the same manner as the real object RO, the object OB is displayed three-dimensionally instead of the tag T1 as shown in FIG. Good. In the example of FIG. 4C, it can be seen that the area of the object OB is gradually reduced from the object OB on the near side toward the object OB on the back side, and the object OB is displayed three-dimensionally.

この場合、奥行き空間に各オブジェクトOBの位置をプロットしておき、スライドバーBRのスライド量に応じて奥行き選択位置Zsが設定されると、表示判定部19は、奥行き選択位置Zsよりも奥側のオブジェクトOBを表示対象のオブジェクトOBとして抽出し、描画部22に描画させればよい。   In this case, when the position of each object OB is plotted in the depth space, and the depth selection position Zs is set according to the slide amount of the slide bar BR, the display determination unit 19 is further on the back side than the depth selection position Zs. This object OB may be extracted as a display target object OB and drawn by the drawing unit 22.

また、図12(b)に示すように、図12(a)と同様にして、各オブジェクトOBが属している奥行き領域ODに対応する色を用いて、各オブジェクトOBを表示してもよい。この場合、選択操作部KPの中のいずれかの選択領域DDがタッチされると、タッチされた選択領域DDに対応する奥行き領域ODの手前側の境界線の奥行き軸Zにおける位置が奥行き選択位置Zsとして設定され、表示判定部19は、奥行き選択位置Zsより奥側のオブジェクトOBを表示対象のオブジェクトOBとして抽出し、描画部22に描画させればよい。   Also, as shown in FIG. 12B, each object OB may be displayed using a color corresponding to the depth area OD to which each object OB belongs, as in FIG. In this case, when any one of the selection areas DD in the selection operation unit KP is touched, the position on the depth axis Z of the front boundary of the depth area OD corresponding to the touched selection area DD is the depth selection position. The display determination unit 19 is set as Zs, and the object OB on the back side from the depth selection position Zs may be extracted as the display target object OB and drawn by the drawing unit 22.

また、図12(a)、(b)に示す奥行き選択操作部KPにスライドバーBRを含ませても良い。この場合、ユーザはスライドバーBRの先端を所望の選択領域DDに位置決めすると、その選択領域DDに対応する奥行き領域ODよりも奥側のタグT1又はオブジェクトOBがディスプレイ27に描画される。   Further, the slide bar BR may be included in the depth selection operation unit KP shown in FIGS. In this case, when the user positions the tip of the slide bar BR in the desired selection area DD, the tag T1 or the object OB on the back side of the depth area OD corresponding to the selection area DD is drawn on the display 27.

また、上記説明では、オブジェクト選択装置をスマートフォンで構成する例を示したが、これに限定されず、ヘッドマウントディスプレイに適用してもよい。   Moreover, although the example which comprises an object selection apparatus with a smart phone was shown in the said description, it is not limited to this, You may apply to a head mounted display.

また、上記説明では、スライド操作部SP、選択操作部KP、及び微調整操作部DPをディスプレイ27に表示させる態様を示したが、これに限定されず、物理的な入力デバイスとして構成してもよい。   In the above description, the slide operation unit SP, the selection operation unit KP, and the fine adjustment operation unit DP are displayed on the display 27. However, the present invention is not limited to this, and may be configured as a physical input device. Good.

また、上記説明では、スライド操作部SP、選択操作部KP、及び微調整操作部DPをディスプレイ27に表示させる態様を示したが、これに限定されず、オブジェクト選択装置が、例えば加速度センサのような機器自体の傾きを検出する機能を備えたモバイル端末の場合、この端末の傾きの変化の方向および変化の量に基づき奥行き選択指令を行うようにしてもよい。この場合、例えば、携帯端末を手前または奥に傾けることがスライド操作部SPのスライドバーBRを上下にスライドさせることに相当し、傾きの変化の量がスライドバーBRのスライド量に相当する。   In the above description, the slide operation unit SP, the selection operation unit KP, and the fine adjustment operation unit DP are displayed on the display 27. However, the present invention is not limited to this, and the object selection device is, for example, an acceleration sensor. In the case of a mobile terminal having a function of detecting the inclination of the device itself, the depth selection command may be issued based on the direction and amount of change in the inclination of the terminal. In this case, for example, tilting the mobile terminal toward or away from the front corresponds to sliding the slide bar BR of the slide operation unit SP up and down, and the amount of change in tilt corresponds to the slide amount of the slide bar BR.

本発明の技術的特徴をまとめると下記のようになる。   The technical features of the present invention are summarized as follows.

(1)本発明の一局面によるオブジェクト選択装置は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。   (1) An object selection device according to an aspect of the present invention is an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, and each object arranged in a predetermined depth space. The display position of each object on the display unit is determined based on the position, and the depth space is defined based on a drawing unit that draws each object at the determined display position and a depth selection command input by the user. A depth selection unit that selects a depth selection position indicating a position on the depth axis, and determines whether each object is positioned on the near side or the back side with respect to the depth selection position in the depth space; A display determination unit that extracts only an object located on the side as a display target object, and the drawing unit Drawing the object in the display target extracted by the display determination unit.

また、本発明の別の一局面によるオブジェクト選択プログラムは、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画する。   An object selection program according to another aspect of the present invention is an object selection program that causes a computer to function as an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit. Based on the position of each object arranged in the depth space, the display position of each object in the display unit is determined, and a drawing unit that draws each object at the determined display position, and a depth selection command input by the user A depth selection unit that selects a depth selection position indicating a position on a depth axis that defines the depth space, and each object is positioned on the near side or the back side in the depth space with respect to the depth selection position Only the objects located on the far side are displayed. Cause the computer to function as the display determination unit that extracts as an object, the drawing unit draws the object in the display target extracted by the display determination unit.

また、本発明の更に別の一局面によるオブジェクト選択方法は、表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画する。   An object selection method according to still another aspect of the present invention is an object selection method that allows a user to select a plurality of objects displayed three-dimensionally on a display unit, wherein the computer is arranged in a predetermined depth space. A display step of determining the display position of each object on the display unit based on the position of each object and drawing each object at the determined display position; and a computer based on a depth selection command input by the user A depth selection step for selecting a depth selection position indicating a position on a depth axis that defines the depth space; and whether the computer is positioned in front of the depth selection position in the depth space. Judge whether it is located on the back side and display only objects located on the back side And a display determination step of extracting as an object of elephants, said drawing step draws the object in the display target extracted by the display determination step.

これらの構成によれば、表示画像の奥行き方向を示す奥行き軸によって規定される奥行き空間に各オブジェクトが配置されている。各オブジェクトは、奥行き空間の配置された位置に対応する表示画像の表示位置に描画され、表示画像上で3次元的に表示される。   According to these configurations, each object is arranged in the depth space defined by the depth axis indicating the depth direction of the display image. Each object is drawn at the display position of the display image corresponding to the position where the depth space is arranged, and is displayed three-dimensionally on the display image.

ユーザにより奥行選択指令が入力されると、その奥行選択指令に基づいて、奥行き選択位置が選択される。各オブジェクトは、奥行き選択位置に対して手前側に位置するか奥側に位置するが判定され、奥側に位置するオブジェクトのみが表示画像に描画される。   When a depth selection command is input by the user, a depth selection position is selected based on the depth selection command. Each object is determined to be located on the near side or the far side with respect to the depth selection position, and only the object located on the far side is drawn on the display image.

つまり、ユーザは、奥行き選択位置を選択すると、その奥行き選択位置よりも手側に位置するオブジェクトを非表示にすることができる。そのため、手前側に位置するオブジェクトの存在によって僅かしか表示されていなかったオブジェクト、或いは全く表示されていなかったオブジェクトが、手前に位置するオブジェクトが非表示となることで大きく露出され、ユーザはこのオブジェクトを容易かつ迅速に選択することができる。   That is, when the user selects the depth selection position, the object positioned closer to the hand than the depth selection position can be hidden. Therefore, an object that was displayed only slightly due to the presence of an object positioned on the front side or an object that was not displayed at all is greatly exposed when the object positioned on the front side is hidden, and the user is exposed to this object. Can be selected easily and quickly.

(2)上記構成において、ユーザからの操作によって所定方向にスライドされるスライド操作部を更に備え、前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させることが好ましい。   (2) The above configuration further includes a slide operation unit that is slid in a predetermined direction by an operation from a user, and the depth selection unit receives a slide amount of the slide operation unit as the depth selection command, and sets the slide amount to the slide amount. It is preferable to change the depth selection position in conjunction with each other.

この構成によれば、ユーザはスライド操作部のスライド量を増大させていくと、それに連動して手前側のオブジェクトが漸次に非表示とされていくため、簡便な操作により非表示にするオブジェクトを選択することができる。   According to this configuration, as the user increases the slide amount of the slide operation unit, the objects on the near side are gradually hidden in conjunction with the slide amount. You can choose.

(3)上記構成において、ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されていることが好ましい。   (3) The above configuration further includes a fine adjustment operation unit that finely adjusts a slide amount of the slide operation unit by an operation from a user, and the slide amount is set when the fine adjustment operation unit is operated by a user. It is preferable that the change amount displayed on the display unit is set to be smaller than the change amount displayed on the display unit when the slide operation unit is operated by a user.

この構成によれば、ユーザはスライド操作部のスライド量を微調整することができるため、スライド操作部のスライド量をより正確に調節することができる。これにより、ユーザは所望のオブジェクトを確実に露出させ、当該オブジェクトを確実に選択することができる。また、スライド操作部を直接操作して、スライド操作部のスライド量を粗調整し、その後、微調整操作部を用いてスライド操作部のスライド量を微調整するという操作態様が可能となり、迅速かつ正確にスライド量を調整することができる。また、スライド操作部の操作に慣れていないユーザであっても、微調整操作部を操作することで、スライド操作部のスライド量を所望のスライド量に容易に調節することができる。   According to this configuration, since the user can finely adjust the slide amount of the slide operation unit, the slide amount of the slide operation unit can be adjusted more accurately. Thereby, the user can expose a desired object reliably and can select the said object reliably. In addition, an operation mode is possible in which the slide operation unit is directly operated to roughly adjust the slide amount of the slide operation unit, and then the slide amount of the slide operation unit is finely adjusted using the fine adjustment operation unit. The slide amount can be adjusted accurately. Further, even a user who is not familiar with the operation of the slide operation unit can easily adjust the slide amount of the slide operation unit to a desired slide amount by operating the fine adjustment operation unit.

(4)上記構成において、前記微調整操作部は、回転ダイヤルにより構成され、前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させることが好ましい。   (4) In the above configuration, the fine adjustment operation unit is configured by a rotary dial, and the depth selection unit is linked to the slide amount of the slide operation unit that is slid by rotating the rotary dial. It is preferable to change the selection position.

この構成によれば、ユーザは回転ダイヤルの操作に連動して邪魔なオブジェクトを非表示にすることができる。   According to this configuration, the user can hide the disturbing object in conjunction with the operation of the rotary dial.

(5)上記構成において、前記奥行き選択部は、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させることが好ましい。   (5) In the above configuration, it is preferable that the depth selection unit increases a change rate of the depth selection position with respect to a change rate of the slide amount as the slide amount increases.

この構成によれば、ユーザの関心の高い手前のオブジェクトの表示と非表示との調整を精度良く行うことができる。   According to this configuration, it is possible to accurately adjust the display and non-display of the near object with high user interest.

(6)上記構成において、前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択することが好ましい。   (6) In the above configuration, the depth space includes a plurality of selection regions that are partitioned into a plurality of depth regions by partitioning the depth axis, are associated with each depth region, and are color-coded. A selection operation unit for receiving a depth selection command, wherein the drawing unit draws each object with the same color as the color of the selection region associated with the depth region to which each object belongs, It is preferable that the depth selection unit selects, as the depth selection position, a position on the depth axis of a boundary line on the near side of the depth area associated with the selection area selected by the user.

この構成によれば、所望のオブジェクトに付された色と同一色の選択領域を選択すると、当該オブジェクトよりも手前側に表示された異色のオブジェクトが非表示にされるため、色を指標として所望のオブジェクトを容易に露出させることができる。   According to this configuration, when a selection area having the same color as the color assigned to a desired object is selected, an object of a different color that is displayed in front of the object is hidden. The object can be easily exposed.

(7)上記構成において、前記表示部は、タッチパネルにより構成され、ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備えることが好ましい。   (7) In the above configuration, the display unit is configured by a touch panel, and an object displayed in the forefront among the display target objects located within a certain area from a touch position on a display image touched by a user. It is preferable to further include an object selection unit to select.

ユーザは所望のオブジェクトが表示画像上で最も手前に表示されるように奥行き選択位置を調整すると考えられる。したがって、タッチ位置が所望のオブジェクトからずれていたとしても、ユーザは所望のオブジェクトを選択することができる。   It is considered that the user adjusts the depth selection position so that the desired object is displayed in the foreground on the display image. Therefore, even if the touch position is deviated from the desired object, the user can select the desired object.

(8)上記構成において、前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出することが好ましい。   (8) In the above-described configuration, it is preferable that the object selection unit extracts the display target object located within a certain distance range from the position of the depth space corresponding to the touch position as a selection candidate object.

この構成によれば、ユーザがタッチしたタッチ位置の周囲に多数のオブジェクトが存在している場合、これら多数のオブジェクトが選択候補のオブジェクトとして抽出される。そのため、選択候補として抽出されたオブジェクトの中から、所望のオブジェクトをユーザに確実に選択させることができる。   According to this configuration, when a large number of objects exist around the touch position touched by the user, the large number of objects are extracted as selection candidate objects. Therefore, the user can be surely selected a desired object from among the objects extracted as selection candidates.

本発明にかかるオブジェクト選択装置は、3次元的に表示された多くのオブジェクトの中から特定のオブジェクトを容易に選択する場合において有用であり、3次元の描画機能を備える携帯機器、デジタルAV機器などにおいて有効である。   The object selection device according to the present invention is useful when a specific object is easily selected from many objects displayed three-dimensionally, such as a portable device or a digital AV device having a three-dimensional drawing function. Is effective.

Claims (10)

表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、
ユーザからの操作によって所定方向にスライドされるスライド操作部とを備え、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択装置。
An object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing unit that determines the display position of each object in the display unit based on the position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space based on a depth selection command input by a user;
A display determination unit that determines whether each object is located on the near side or the far side with respect to the depth selection position in the depth space, and extracts only the object located on the far side as a display target object When,
A slide operation unit that is slid in a predetermined direction by an operation from a user,
The drawing unit draws an object to be displayed extracted by the display determination unit ,
The depth selection unit accepts the slide amount of the slide operation unit as the depth selection command, changes the depth selection position in conjunction with the slide amount, and the rate of change of the slide amount as the slide amount increases An object selection device that increases the rate of change of the depth selection position with respect to .
ユーザからの操作によって前記スライド操作部のスライド量を微調整する微調整操作部を更に備え、
前記スライド量は、ユーザにより前記微調整操作部が操作されたときに前記表示部に表示される変化量が、ユーザにより前記スライド操作部が操作されたときに前記表示部に表示される変化量よりも小さく設定されている請求項に記載のオブジェクト選択装置。
A fine adjustment operation unit for finely adjusting the slide amount of the slide operation unit by an operation from a user;
The slide amount is a change amount displayed on the display unit when the fine adjustment operation unit is operated by a user, and a change amount displayed on the display unit when the slide operation unit is operated by the user. The object selection device according to claim 1 , wherein the object selection device is set to be smaller.
前記微調整操作部は、回転ダイヤルにより構成され、
前記奥行き選択部は、前記回転ダイヤルを回転させることでスライドされた前記スライド操作部のスライド量に連動させて前記奥行き選択位置を変化させる請求項に記載のオブジェクト選択装置。
The fine adjustment operation unit is constituted by a rotary dial,
The object selection apparatus according to claim 2 , wherein the depth selection unit changes the depth selection position in conjunction with a slide amount of the slide operation unit slid by rotating the rotary dial.
表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部とを備え、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、
前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択装置。
An object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing unit that determines the display position of each object in the display unit based on the position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space based on a depth selection command input by a user;
A display determination unit that determines whether each object is located on the near side or the far side with respect to the depth selection position in the depth space, and extracts only the object located on the far side as a display target object And
The drawing unit draws an object to be displayed extracted by the display determination unit ,
The depth space is partitioned into a plurality of depth regions by partitioning the depth axis,
A selection operation unit that includes a plurality of selection areas that are associated with each of the depth areas and arranged in a color-coded manner and that receives the depth selection command;
The drawing unit draws each object with the same color as the color of the selection area associated with the depth area to which each object belongs,
The depth selection unit is an object selection device that selects, as the depth selection position, a position on the depth axis of a boundary line on the near side of a depth area associated with the selection area selected by a user .
前記表示部は、タッチパネルにより構成され、
ユーザがタッチした表示画像上のタッチ位置から一定の領域内に位置する前記表示対象のオブジェクトのうち最も手前に表示されたオブジェクトを選択するオブジェクト選択部を更に備える請求項に記載のオブジェクト選択装置。
The display unit includes a touch panel,
The object selection device according to claim 4 , further comprising an object selection unit that selects an object displayed in the forefront among the objects to be displayed that are located within a certain area from a touch position on the display image touched by the user. .
前記オブジェクト選択部は、前記タッチ位置に対応する前記奥行き空間の位置から一定の距離範囲内に位置する前記表示対象のオブジェクトを選択候補のオブジェクトとして抽出する請求項に記載のオブジェクト選択装置。 The object selection device according to claim 5 , wherein the object selection unit extracts the display target object located within a certain distance range from the position of the depth space corresponding to the touch position as a selection candidate object. 表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部と、
ユーザからの操作によって所定方向にスライドされるスライド操作部と
してコンピュータを機能させ、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
前記奥行き選択部は、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択プログラム。
An object selection program for causing a computer to function as an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing unit that determines the display position of each object in the display unit based on the position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space based on a depth selection command input by a user;
A display determination unit that determines whether each object is located on the near side or the far side with respect to the depth selection position in the depth space, and extracts only the object located on the far side as a display target object When,
Causing the computer to function as a slide operation unit that is slid in a predetermined direction by an operation from the user ;
The drawing unit draws an object to be displayed extracted by the display determination unit ,
The depth selection unit accepts the slide amount of the slide operation unit as the depth selection command, changes the depth selection position in conjunction with the slide amount, and the rate of change of the slide amount as the slide amount increases An object selection program for increasing the rate of change of the depth selection position with respect to .
表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択装置としてコンピュータを機能させるオブジェクト選択プログラムであって、
所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画部と、
ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択部と、
前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定部としてコンピュータを機能させ、
前記描画部は、前記表示判定部によって抽出された表示対象のオブジェクトを描画し、
前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作部を更に備え、
前記描画部は、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
前記奥行き選択部は、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択プログラム。
An object selection program for causing a computer to function as an object selection device that allows a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing unit that determines the display position of each object in the display unit based on the position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection unit that selects a depth selection position indicating a position on the depth axis that defines the depth space based on a depth selection command input by a user;
A display determination unit that determines whether each object is located on the near side or the far side with respect to the depth selection position in the depth space, and extracts only the object located on the far side as a display target object Function as a computer
The drawing unit draws an object to be displayed extracted by the display determination unit,
The depth space is partitioned into a plurality of depth regions by partitioning the depth axis,
A selection operation unit that includes a plurality of selection areas that are associated with each of the depth areas and arranged in a color-coded manner and that receives the depth selection command;
The drawing unit draws each object with the same color as the color of the selection area associated with the depth area to which each object belongs,
The depth selection unit is an object selection program that selects, as the depth selection position, a position on the depth axis of a boundary line on the near side of a depth area associated with the selection area selected by a user .
表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、
コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、
コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、
コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップと、
コンピュータが、ユーザからの操作によってスライド操作部を所定方向にスライドさせるスライド操作ステップとを備え、
前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、
前記奥行き選択ステップは、前記スライド操作部のスライド量を前記奥行選択指令として受け付け、前記スライド量に連動させて前記奥行き選択位置を変化させ、前記スライド量が増大するにつれて、前記スライド量の変化率に対する前記奥行き選択位置の変化率を増大させるオブジェクト選択方法。
An object selection method for causing a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing step in which a computer determines a display position of each object on the display unit based on a position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection step in which a computer selects a depth selection position indicating a position on a depth axis that defines the depth space based on a depth selection command input by a user;
In the depth space, the computer determines whether each object is located on the near side or the far side with respect to the depth selection position, and extracts only the object located on the far side as a display target object. A display determination step;
A computer comprising a slide operation step of sliding the slide operation unit in a predetermined direction by an operation from a user;
The drawing step draws the display target object extracted by the display determination step ,
The depth selection step accepts a slide amount of the slide operation unit as the depth selection command, changes the depth selection position in conjunction with the slide amount, and the rate of change of the slide amount as the slide amount increases. The object selection method which increases the change rate of the said depth selection position with respect to .
表示部に3次元的に表示された複数のオブジェクトをユーザに選択させるオブジェクト選択方法であって、
コンピュータが、所定の奥行き空間に配置された各オブジェクトの位置に基づいて、前記表示部における各オブジェクトの表示位置を決定し、決定した表示位置に各オブジェクトを描画する描画ステップと、
コンピュータが、ユーザによって入力される奥行き選択指令に基づいて、前記奥行き空間を規定する奥行き軸における位置を示す奥行き選択位置を選択する奥行き選択ステップと、
コンピュータが、前記奥行き空間内において、各オブジェクトが前記奥行き選択位置に対して手前側に位置するか奥側に位置するかを判定し、奥側に位置するオブジェクトのみを表示対象のオブジェクトとして抽出する表示判定ステップとを備え、
前記描画ステップは、前記表示判定ステップによって抽出された表示対象のオブジェクトを描画し、
前記奥行き空間は、前記奥行き軸を区画することで複数の奥行き領域に区画され、
コンピュータが、各奥行き領域に対応付けられ、色分けして配列された複数の選択領域を含み、前記奥行き選択指令を受け付ける選択操作ステップを更に備え、
前記描画ステップは、各オブジェクトが属している奥行き領域に対応付けられた前記選択領域の色と同一の色を付して各オブジェクトを描画し、
前記奥行き選択ステップは、ユーザが選択した前記選択領域に対応付けられた奥行き領域の手前側の境界線の前記奥行き軸における位置を前記奥行き選択位置として選択するオブジェクト選択方法。
An object selection method for causing a user to select a plurality of objects displayed three-dimensionally on a display unit,
A drawing step in which a computer determines a display position of each object on the display unit based on a position of each object arranged in a predetermined depth space, and draws each object at the determined display position;
A depth selection step in which a computer selects a depth selection position indicating a position on a depth axis that defines the depth space based on a depth selection command input by a user;
In the depth space, the computer determines whether each object is located on the near side or the far side with respect to the depth selection position, and extracts only the object located on the far side as a display target object. A display determination step,
The drawing step draws the display target object extracted by the display determination step ,
The depth space is partitioned into a plurality of depth regions by partitioning the depth axis,
The computer further includes a selection operation step that includes a plurality of selection areas that are associated with each of the depth areas and arranged in a color-coded manner, and that receives the depth selection command.
The drawing step draws each object with the same color as the color of the selected area associated with the depth area to which each object belongs,
The depth selection step is an object selection method for selecting, as the depth selection position, the position on the depth axis of the boundary line on the near side of the depth area associated with the selection area selected by the user .
JP2012519213A 2010-06-07 2011-05-10 Object selection device, object selection program, and object selection method Expired - Fee Related JP5726868B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012519213A JP5726868B2 (en) 2010-06-07 2011-05-10 Object selection device, object selection program, and object selection method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010130050 2010-06-07
JP2010130050 2010-06-07
JP2012519213A JP5726868B2 (en) 2010-06-07 2011-05-10 Object selection device, object selection program, and object selection method
PCT/JP2011/002587 WO2011155118A1 (en) 2010-06-07 2011-05-10 Object selection apparatus, object selection program, and object selection method

Publications (2)

Publication Number Publication Date
JPWO2011155118A1 JPWO2011155118A1 (en) 2013-08-01
JP5726868B2 true JP5726868B2 (en) 2015-06-03

Family

ID=45097740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012519213A Expired - Fee Related JP5726868B2 (en) 2010-06-07 2011-05-10 Object selection device, object selection program, and object selection method

Country Status (4)

Country Link
US (1) US20120139915A1 (en)
JP (1) JP5726868B2 (en)
CN (1) CN102473322B (en)
WO (1) WO2011155118A1 (en)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617448B2 (en) * 2010-08-31 2014-11-05 ソニー株式会社 Information processing apparatus, information processing method, and program
US8965741B2 (en) * 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
CN102760308B (en) * 2012-05-25 2014-12-03 任伟峰 Method and device for node selection of object in three-dimensional virtual reality scene
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10209946B2 (en) * 2012-08-23 2019-02-19 Red Hat, Inc. Augmented reality personal identification
US20150206348A1 (en) * 2012-09-07 2015-07-23 Hitachi Maxell, Ltd. Reception device
JP6080249B2 (en) * 2012-09-13 2017-02-15 富士フイルム株式会社 Three-dimensional image display apparatus and method, and program
JP6080248B2 (en) 2012-09-13 2017-02-15 富士フイルム株式会社 Three-dimensional image display apparatus and method, and program
US9966075B2 (en) 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
CN103729124B (en) * 2012-10-12 2018-07-20 腾讯科技(深圳)有限公司 The control method and system of sliding list
CN103729119A (en) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 Method and device used for simulating sliding operation on touch screen of electronic product
JP6048898B2 (en) 2013-08-21 2016-12-21 パナソニックIpマネジメント株式会社 Information display device, information display method, and information display program
JP6393986B2 (en) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 Head-mounted display device, image display system, and method for controlling head-mounted display device
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
JPWO2015145544A1 (en) * 2014-03-24 2017-04-13 パイオニア株式会社 Display control apparatus, control method, program, and storage medium
US20150334367A1 (en) * 2014-05-13 2015-11-19 Nagravision S.A. Techniques for displaying three dimensional objects
JP2016141497A (en) * 2015-01-30 2016-08-08 株式会社ダイフク Transfer container storage facility using portable terminal for display
JP6481456B2 (en) 2015-03-26 2019-03-13 富士通株式会社 Display control method, display control program, and information processing apparatus
JP6596883B2 (en) 2015-03-31 2019-10-30 ソニー株式会社 Head mounted display, head mounted display control method, and computer program
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) * 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
JP6922301B2 (en) * 2017-03-22 2021-08-18 カシオ計算機株式会社 Electronic devices, graph drawing systems, graph drawing methods, and programs
JP2017153129A (en) * 2017-04-14 2017-08-31 日立マクセル株式会社 Reception device
CN107329566B (en) * 2017-06-23 2020-03-24 联想(北京)有限公司 Virtual object processing method and system and virtual reality equipment
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
CN108376424A (en) 2018-02-09 2018-08-07 腾讯科技(深圳)有限公司 Method, apparatus, equipment and storage medium for carrying out view angle switch to three-dimensional virtual environment
CN112292658A (en) * 2018-06-18 2021-01-29 索尼公司 Information processing apparatus, information processing method, and program
EP3842911B1 (en) * 2019-12-26 2023-04-05 Dassault Systèmes A 3d interface with an improved object selection
CN117093105B (en) * 2023-10-17 2024-04-16 先临三维科技股份有限公司 Label display method, device, equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057359A (en) * 1998-07-23 2000-02-25 Internatl Business Mach Corp <Ibm> Method for changing display attribute of graphic object, method for selecting graphic object, graphic object display control device, storage medium storing program for changing display attribute of graphic object, and storing medium storing program for controlling selection of graphic object
JP2004062501A (en) * 2002-07-29 2004-02-26 Fujitsu Ltd Fluid analysis condition setting device
JP2006519443A (en) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド System and method for viewing virtual slides
JP2006252185A (en) * 2005-03-10 2006-09-21 Nintendo Co Ltd Game program and game device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553225A (en) * 1994-10-25 1996-09-03 International Business Machines Corporation Method and apparatus for combining a zoom function in scroll bar sliders
US7439975B2 (en) * 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
US7043701B2 (en) * 2002-01-07 2006-05-09 Xerox Corporation Opacity desktop with depth perception
TWI238348B (en) * 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
JP3961545B2 (en) * 2005-11-29 2007-08-22 株式会社コナミデジタルエンタテインメント Object selection device, object selection method, and program
JP2010519660A (en) * 2007-02-27 2010-06-03 クオティディアン,インク. 3D display for time-based information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057359A (en) * 1998-07-23 2000-02-25 Internatl Business Mach Corp <Ibm> Method for changing display attribute of graphic object, method for selecting graphic object, graphic object display control device, storage medium storing program for changing display attribute of graphic object, and storing medium storing program for controlling selection of graphic object
JP2004062501A (en) * 2002-07-29 2004-02-26 Fujitsu Ltd Fluid analysis condition setting device
JP2006519443A (en) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド System and method for viewing virtual slides
JP2006252185A (en) * 2005-03-10 2006-09-21 Nintendo Co Ltd Game program and game device

Also Published As

Publication number Publication date
US20120139915A1 (en) 2012-06-07
CN102473322B (en) 2014-12-24
CN102473322A (en) 2012-05-23
WO2011155118A1 (en) 2011-12-15
JPWO2011155118A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5726868B2 (en) Object selection device, object selection program, and object selection method
US10921969B2 (en) Interface for navigating imagery
US10438401B2 (en) Caching in map systems for displaying panoramic images
JP5724543B2 (en) Terminal device, object control method, and program
JP6421670B2 (en) Display control method, display control program, and information processing apparatus
NO20200038A1 (en) Three-dimensional visualization of images of the earth&#39;s subsoil
KR101817452B1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US20130169579A1 (en) User interactions
US20110221776A1 (en) Display input device and navigation device
US9500485B2 (en) Device and method for displaying information
US20140278088A1 (en) Navigation Device
US9001205B2 (en) System and methods for controlling a surveying device
WO2008029180A1 (en) An apparatus and method for position-related display magnification
WO2013031134A1 (en) Information processing apparatus, information processing method, and program
EP3482285B1 (en) Shake event detection system
US20220206669A1 (en) Information processing apparatus, information processing method, and program
JP5402160B2 (en) Map display device, map display method and program
JP6557599B2 (en) Information processing apparatus, information processing method, and program
JP2017228186A (en) View point field candidate presentation program and view point field candidate presentation device
JP6239581B2 (en) Information processing apparatus, information processing method, and program
US20110043442A1 (en) Method and System for Displaying Images on Moveable Display Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R150 Certificate of patent or registration of utility model

Ref document number: 5726868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees