JP6514416B2 - IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM - Google Patents

IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM Download PDF

Info

Publication number
JP6514416B2
JP6514416B2 JP2018523901A JP2018523901A JP6514416B2 JP 6514416 B2 JP6514416 B2 JP 6514416B2 JP 2018523901 A JP2018523901 A JP 2018523901A JP 2018523901 A JP2018523901 A JP 2018523901A JP 6514416 B2 JP6514416 B2 JP 6514416B2
Authority
JP
Japan
Prior art keywords
image
virtual space
image display
specific object
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523901A
Other languages
Japanese (ja)
Other versions
JPWO2017217375A1 (en
Inventor
玲志 相宅
玲志 相宅
英起 多田
英起 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NURVE, INC.
Original Assignee
NURVE, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NURVE, INC. filed Critical NURVE, INC.
Publication of JPWO2017217375A1 publication Critical patent/JPWO2017217375A1/en
Application granted granted Critical
Publication of JP6514416B2 publication Critical patent/JP6514416B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、仮想空間におけるユーザインタフェースの表示技術に関する。   The present invention relates to display technology of a user interface in a virtual space.

近年、仮想現実(バーチャルリアリティ、以下「VR」とも記す)をユーザに体験させる技術が、ゲームやエンターテインメント或いは職業訓練等の様々な分野で利用されている。VRにおいては、通常、ヘッドマウントディスプレイ(以下、「HMD」とも記す)と呼ばれるメガネ型又はゴーグル型の表示装置が用いられる。このHMDをユーザの頭部に装着し、HMDに内蔵された画面を両眼で見ることにより、ユーザは立体感のある画像を鑑賞することができる。HMDにはジャイロセンサや加速度センサが内蔵されており、これらのセンサによって検出したユーザの頭部の動きに応じて、画面に表示する画像が変化する。それにより、ユーザは、あたかも表示された画像の中に入り込んだような体験をすることができる。   BACKGROUND In recent years, techniques for causing users to experience virtual reality (hereinafter, also referred to as “VR”) are used in various fields such as games, entertainment, and vocational training. In the VR, usually, a glasses-type or goggle-type display device called a head mounted display (hereinafter also referred to as “HMD”) is used. By mounting the HMD on the head of the user and viewing the screen built in the HMD with both eyes, the user can view an image with a three-dimensional effect. The HMD incorporates a gyro sensor and an acceleration sensor, and the image displayed on the screen changes according to the movement of the head of the user detected by these sensors. As a result, the user can experience as if it were embedded in the displayed image.

このようなVRの技術分野においては、ユーザのジェスチャにより操作を行うユーザインタフェースが研究されている。一例として、ユーザの体表に専用のセンサを取り付け、或いは、ユーザの動きを検出するための外部装置をユーザの周囲に配置することにより、HMDに対してユーザの動きに応じた操作を行う技術が知られている。   In the technical field of such VR, a user interface for performing operations by user's gesture has been studied. As an example, a technology that performs an operation according to the user's movement on the HMD by attaching a dedicated sensor to the user's body surface or arranging an external device for detecting the user's movement around the user It has been known.

また、別の例として、HMDに表示される画面内に操作用の特定のオブジェクトを配置し、このオブジェクトに対するユーザの視点の変化を、HMDに内蔵されたジャイロセンサや加速度センサによって検出することにより、ユーザの視点の変化に応じた操作を行う技術も知られている。   Further, as another example, a specific object for operation is disposed in a screen displayed on the HMD, and a change in the user's viewpoint with respect to this object is detected by a gyro sensor or an acceleration sensor built in the HMD. There is also known a technique for performing an operation according to a change in the user's viewpoint.

さらに、別の例として、特許文献1には、仮想空間にユーザインタフェースを配置し、ユーザがこのユーザインタフェースを操作するために用いる操作部が撮像部の視野内にあり、且つ、操作部とユーザインタフェースとの位置関係が規定の位置関係にある場合に、ユーザインタフェースに対する操作があったと判断する画像処理装置が開示されている。   Furthermore, as another example, in Patent Document 1, the user interface is disposed in a virtual space, and an operation unit used by the user to operate the user interface is in the field of view of the imaging unit, and the operation unit and the user An image processing apparatus is disclosed that determines that an operation has been performed on a user interface when the positional relationship with the interface is in a prescribed positional relationship.

特開2012−48656号公報JP, 2012-48656, A

しかしながら、ユーザのジェスチャを検出するために専用のセンサや外部装置を設ける場合、システム全体が大掛かりになってしまう。また、専用のセンサや外部装置により検出された信号を処理するための演算量も膨大になるため、リアルタイムな操作を行うためには高スペックな演算装置が必要になってしまう。   However, when a dedicated sensor or an external device is provided to detect a user's gesture, the entire system becomes large. In addition, since the amount of computation for processing signals detected by a dedicated sensor or an external device is also enormous, a high-spec computing device is required to perform real-time operation.

また、HMDの画面内に操作用のオブジェクトを表示しておく場合、このオブジェクトが常にユーザの視野に入ってくるため、ユーザにとっては邪魔に感じ、VR体験特有の没入感が低減してしまうおそれがある。また、視点の動きによる操作はユーザにとっては直感的とは言えず、誤操作が発生してしまうおそれもある。   In addition, when an object for operation is displayed on the screen of the HMD, this object always comes into the user's field of view, which may be disturbed for the user, and the immersive feeling peculiar to the VR experience may be reduced. There is. Moreover, the operation by the movement of the viewpoint is not intuitive for the user, and there is a possibility that an erroneous operation may occur.

さらに、ユーザインタフェースとして複数のアイコンが仮想空間に表示されている場合、操作部を移動させることにより各アイコンとの位置関係がその都度変化する。そのため、単純に、操作部と各アイコンとの位置関係に基づいて操作の有無を判定すると、ユーザが意図しないアイコンに対して操作がなされたものと判断されてしまうおそれがある。この点に関し、特許文献1においては、アイコンと操作部との位置関係が所定の条件を満たしている状態で選択指示が入力された場合に、当該アイコンに対する操作がなされたものと判断している。つまり、アイコンの選択と決定という2段階の処理が行われている。そのため、ユーザにとっては直感的な操作とは言い難い。   Furthermore, when a plurality of icons are displayed in the virtual space as a user interface, the positional relationship with each icon changes each time by moving the operation unit. Therefore, if the presence or absence of the operation is simply determined based on the positional relationship between the operation unit and each icon, it may be determined that the operation has been performed on the icon not intended by the user. With regard to this point, in Patent Document 1, when the selection instruction is input in the state where the positional relationship between the icon and the operation unit satisfies a predetermined condition, it is determined that the operation on the icon has been performed. . That is, two-step processing of icon selection and determination is performed. Therefore, it is difficult for the user to say intuitive operation.

本発明は上記に鑑みてなされたものであって、ユーザのジェスチャによる直感的且つ誤操作が少ないユーザインタフェースを、簡素な構成で実現することができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。   The present invention has been made in view of the above, and provides an image display device, an image display method, and an image display program that can realize an intuitive user interface with few erroneous operations with a simple configuration. Intended to be provided.

上記課題を解決するために、本発明の一態様である画像表示装置は、ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置であって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置する仮想空間構成部と、当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、前記特定の物体の像を前記仮想空間内の前記平面に配置する疑似3次元化処理部と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、を備えるものである。   In order to solve the above problems, an image display apparatus according to an aspect of the present invention is an image display apparatus capable of displaying a screen for causing a user to recognize a virtual space, which includes a plurality of selection targets and a plurality of the selection targets. A virtual space construction unit for arranging an image of a user interface including an operation object for selecting any of selection targets on a specific plane in the virtual space, and a real space in which the image display device is present An external information acquisition unit for acquiring information, an object recognition unit for recognizing a specific object existing in the real space based on the information, and an image of the specific object arranged on the plane in the virtual space A pseudo three-dimensionalization processing unit, a contact determination unit which determines whether or not an image of the specific object contacts the operation object in the plane, and an image of the specific object is the operation object An interaction operation unit that calculates an effect exerted on the operation object by the movement of the image of the specific object when it is determined that the plurality of objects have come into contact with the test object; And a selection determination unit that determines which of the selection targets has been selected.

上記画像表示装置において、前記相互作用演算部は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出しても良い。   In the image display device, the interaction operation unit may calculate the action based on a velocity vector of the image of the specific object at a contact point between the image of the specific object and the operation object.

上記画像表示装置において、前記相互作用演算部は、前記特定の物体の像の前記速度ベクトルを、前記操作用オブジェクトの速度ベクトルに加算することにより前記作用を算出しても良い。   In the image display device, the interaction operation unit may calculate the action by adding the velocity vector of the image of the specific object to a velocity vector of the operation object.

上記画像表示装置において、前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定しても良い。   In the above-mentioned image display device, the selection determination unit is configured to select the plurality of selections in the advancing direction of the operation object, the absolute value of the velocity vector of the operation object after the action being exerted is equal to or greater than a threshold. If any of the objects exists, it may be determined that the selection object existing in the traveling direction is selected.

上記画像表示装置において、前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトが、前記複数の選択対象に対してそれぞれ設定された複数の判定領域のいずれかに位置している場合、当該位置している判定領域に対応する選択対象が選択されたものと判定しても良い。   In the image display device described above, the selection determining unit is configured such that the operation object after the action is exerted is positioned in any of a plurality of determination areas respectively set for the plurality of selection targets. In this case, it may be determined that the selection target corresponding to the determination region located is selected.

上記画像表示装置において、前記仮想空間構成部は、前記複数の選択対象のいずれも選択されなかったと前記選択判定部が判定した場合、前記操作用オブジェクトを前記作用が及ぼされる前の位置に戻しても良い。   In the image display device, when the selection determining unit determines that none of the plurality of selection targets is selected, the virtual space configuration unit returns the operation object to a position before the action is exerted. Also good.

上記画像表示装置は、当該画像表示装置の動きを検出する動き検出部をさらに備え、前記仮想空間構成部は、当該画像表示装置の動きが所定の範囲内である場合、前記ユーザインタフェースの画像を前記仮想空間に配置しても良い。   The image display device further includes a motion detection unit that detects a motion of the image display device, and the virtual space configuration unit displays the image of the user interface when the motion of the image display device is within a predetermined range. It may be arranged in the virtual space.

上記画像表示装置において、前記仮想空間構成部は、当該画像表示装置の動きが前記所定の範囲を超えた場合に、前記ユーザインタフェースの画像を前記仮想空間から消去しても良い。   In the image display device, the virtual space configuration unit may delete the image of the user interface from the virtual space when the movement of the image display device exceeds the predetermined range.

上記画像表示装置において、前記外部情報取得部は、当該画像表示装置に内蔵されたカメラであっても良い。   In the image display device, the external information acquisition unit may be a camera built in the image display device.

上記画像表示装置において、前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目であっても良い。   In the image display device, each of the plurality of selection targets may be an item representing the content of an operation on the image display device.

上記画像表示装置において、前記複数の選択対象の各々は、2次元的に表示される図面において特定される位置であっても良い。   In the image display device, each of the plurality of selection targets may be a position specified in a two-dimensionally displayed drawing.

本発明の別の態様である画像処理方法は、ユーザに仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ(a)と、前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ(d)と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、を含むものである。   An image processing method according to another aspect of the present invention is an image display method executed by an image display apparatus capable of displaying a screen for causing a user to recognize a virtual space, which includes a plurality of selection targets and a plurality of selection targets. Placing an image of a user interface including an operation object for selecting any of the objects on a specific plane in the virtual space; and (a) information on the real space in which the image display device is present Acquiring a specific object existing in the real space based on the information, and arranging an image of the specific object on the plane in the virtual space Step (d), Step (e) of determining whether the image of the specific object in the plane is in contact with the operation object, and the image of the specific object is the object of the operation Calculating the effect of the movement of the image of the specific object on the operation object when it is determined that the plurality of objects are touched by the operation object on which the action is exerted. And (g) determining which of the selection targets has been selected.

本発明のさらに別の態様である画像処理プログラムは、ユーザに仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記仮想空間内の特定の平面に配置するステップ(a)と、前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、前記特定の物体の像を前記仮想空間内の前記平面に配置するステップ(d)と、前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、をコンピュータに実行させるものである。   An image processing program according to still another aspect of the present invention is an image display program for displaying on the image display device a screen for causing a user to recognize a virtual space, which includes a plurality of selection targets and the plurality of selections. Placing an image of a user interface including an operation object for selecting any of the objects on a specific plane in the virtual space; and (a) information on the real space in which the image display device is present Acquiring a specific object existing in the real space based on the information, and arranging an image of the specific object on the plane in the virtual space Step (d), Step (e) of determining whether the image of the specific object has come into contact with the manipulation object in the plane, and an image of the specific object Step (f) of calculating an effect exerted on the operation object by the movement of the image of the specific object when it is determined that the operation object is touched, and the operation object affected by the operation And (g) determining which one of the plurality of selection objects has been selected.

本発明によれば、仮想空間内の特定の平面にユーザインタフェースの画像を配置すると共に、現実空間に実在する特定の物体の像を上記平面に配置し、該物体の像により、ユーザインタフェースに含まれる操作用オブジェクトを介して複数の選択対象に対する選択を行うので、現実空間におけるユーザのジェスチャによる直感的且つ誤操作が少ないユーザインタフェースを簡素な構成で実現することが可能となる。   According to the present invention, the image of the user interface is arranged on a specific plane in the virtual space, and the image of the specific object existing in the real space is arranged on the plane, and included in the user interface by the image of the object Since selection for a plurality of selection targets is performed via the operation object, it is possible to realize an intuitive and user interface with few erroneous operations by the user's gesture in the real space with a simple configuration.

図1は、本発明の第1の実施形態に係る画像表示装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an image display apparatus according to a first embodiment of the present invention. 図2は、画像表示装置をユーザに装着させた状態を示す模式図である。FIG. 2 is a schematic view showing a state in which the image display apparatus is attached to the user. 図3は、図1に示す表示部に表示される画面の例を示す模式図である。FIG. 3 is a schematic view showing an example of a screen displayed on the display unit shown in FIG. 図4は、図3に示す画面に対応する仮想空間の例を示す模式図である。FIG. 4 is a schematic view showing an example of a virtual space corresponding to the screen shown in FIG. 図5は、操作メニューが表示された画面の例を示す模式図である。FIG. 5 is a schematic view showing an example of a screen on which an operation menu is displayed. 図6は、図1に示す画像表示装置の動作を示すフローチャートである。FIG. 6 is a flow chart showing the operation of the image display device shown in FIG. 図7は、メニューの選択判定処理を示すフローチャートである。FIG. 7 is a flowchart showing menu selection determination processing. 図8は、メニューの選択判定処理を説明するための模式図である。FIG. 8 is a schematic diagram for explaining menu selection determination processing. 図9は、本発明の第1の実施形態の変形例におけるメニューの選択判定処理を示すフローチャートである。FIG. 9 is a flowchart showing menu selection determination processing in the modification of the first embodiment of the present invention. 図10は、本発明の第2の実施形態に係る画像表示装置の動作を示すフローチャートである。FIG. 10 is a flowchart showing the operation of the image display device according to the second embodiment of the present invention. 図11は、操作用地図を例示する模式図である。FIG. 11 is a schematic view illustrating the operation map. 図12は、地図上の移動先の判定処理を示すフローチャートである。FIG. 12 is a flowchart showing determination processing of a movement destination on a map.

以下、本発明の実施形態に係る表示装置について、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。   Hereinafter, a display device according to an embodiment of the present invention will be described with reference to the drawings. Note that the present invention is not limited by these embodiments. Further, in the descriptions of the respective drawings, the same parts are denoted by the same reference numerals.

(第1の実施形態)
図1は、本発明の第1の実施形態に係る画像表示装置の概略構成を示すブロック図である。本実施形態に係る画像表示装置1は、ユーザに両眼で画面を見させることにより、3次元的な仮想空間を認識させる装置である。図1に示すように、画像表示装置1は、画面が表示される表示部11と、記憶部12と、各種演算処理を行う演算部13と、当該画像表示装置1の外部に関する情報(以下、外部情報という)を取得する外部情報取得部14と、画像表示装置1の動きを検出する動き検出部15とを備える。
First Embodiment
FIG. 1 is a block diagram showing a schematic configuration of an image display apparatus according to a first embodiment of the present invention. The image display device 1 according to the present embodiment is a device that causes a user to view a screen with both eyes to recognize a three-dimensional virtual space. As shown in FIG. 1, the image display device 1 includes a display unit 11 on which a screen is displayed, a storage unit 12, an operation unit 13 that performs various arithmetic processing, and information on the outside of the image display device 1 (hereinafter referred to as It includes an external information acquisition unit 14 for acquiring external information) and a motion detection unit 15 for detecting the motion of the image display device 1.

図2は、画像表示装置1をユーザ2に装着させた状態を示す模式図である。画像表示装置1は、例えば図2に示すように、スマートフォン、携帯情報端末(PDA)、携帯型ゲーム装置のようなディスプレイ及びカメラを備えた汎用の表示装置3をホルダー4に取り付けることにより構成することができる。この場合、表示装置3は、表面に設けられたディスプレイをホルダー4の内側に向け、背面に設けられたカメラ5をホルダー4の外側に向けた状態で取り付けられる。ホルダー4の内部には、ユーザの左右の眼に対応する位置にレンズがそれぞれ設けられており、ユーザ2は、これらのレンズを通して表示装置3のディスプレイを見る。また、ユーザ2は、ホルダー4を頭部に装着することにより、画像表示装置1に表示される画面をハンズフリーで見ることができる。   FIG. 2 is a schematic view showing a state in which the image display device 1 is attached to the user 2. For example, as shown in FIG. 2, the image display device 1 is configured by attaching a general-purpose display device 3 provided with a display such as a smartphone, a personal digital assistant (PDA), a portable game device and a camera to the holder 4. be able to. In this case, the display device 3 is mounted with the display provided on the front side facing the inside of the holder 4 and the camera 5 provided on the back side facing the outside of the holder 4. Inside the holder 4, lenses are respectively provided at positions corresponding to the left and right eyes of the user, and the user 2 views the display of the display device 3 through these lenses. In addition, the user 2 can see the screen displayed on the image display device 1 hands-free by wearing the holder 4 on the head.

もっとも、表示装置3及びホルダー4の外観は、図2に示すものに限定されない。例えば、ホルダー4の代わりに、レンズが内蔵されたシンプルな箱型のホルダーを用いても良い。また、ディスプレイや演算装置やホルダーが一体化された専用の画像表示装置を用いても良い。このような専用の画像表示装置は、ヘッドマウントディスプレイとも呼ばれる。   However, the appearances of the display device 3 and the holder 4 are not limited to those shown in FIG. For example, instead of the holder 4, a simple box-shaped holder with a built-in lens may be used. In addition, a dedicated image display device in which a display, an arithmetic device, and a holder are integrated may be used. Such a dedicated image display device is also referred to as a head mounted display.

再び図1を参照すると、表示部11は、例えば液晶又は有機EL(エレクトロルミネッセンス)によって形成された表示パネル及び駆動部を含むディスプレイである。   Referring back to FIG. 1, the display unit 11 is a display including a display panel and a drive unit formed of, for example, liquid crystal or organic EL (electroluminescence).

記憶部12は、例えばROMやRAMといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部12は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部121と、表示部11に表示させるコンテンツ(静止画や動画)の画像データを記憶する画像データ記憶部122と、コンテンツの表示中に入力操作を行う際に用いられるユーザインタフェースの画像のデータを記憶するオブジェクト記憶部123とを含む。この他、記憶部12は、各種アプリケーションの実行中に出力される音声や効果音の音声データを記憶しても良い。   The storage unit 12 is a computer-readable storage medium such as a semiconductor memory such as a ROM or a RAM. The storage unit 12 includes, in addition to the operating system program and the driver program, a program storage unit 121 that stores application programs for executing various functions, various parameters used during execution of these programs, and the like, and the display unit 11. An image data storage unit 122 for storing image data of content to be displayed (still image or moving image); and an object storage unit 123 for storing data of an image of a user interface used when performing an input operation during content display. Including. In addition to this, the storage unit 12 may store voice data of voices and sound effects output during execution of various applications.

演算部13は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、プログラム記憶部121に記憶された各種プログラムを読み込むことにより、画像表示装置1の各部を統括的に制御すると共に、種々の画像を表示するための各種演算処理を実行する。演算部13の詳細な構成については後述する。   The arithmetic unit 13 is configured by using, for example, a central processing unit (CPU) or a graphics processing unit (GPU), and reads various programs stored in the program storage unit 121 to comprehensively control each unit of the image display device 1. While performing control, various arithmetic processing for displaying various images is executed. The detailed configuration of the calculation unit 13 will be described later.

外部情報取得部14は、画像表示装置1が実在している現実空間に関する情報を取得する。外部情報取得部14の構成は、現実空間に実在する物体の位置や動きを検出可能な構成であれば特に限定されず、例えば光学カメラ、赤外線カメラ、超音波発信機及び受信機等を外部情報取得部14として用いることができる。本実施形態においては、表示装置3に内蔵されたカメラ5を外部情報取得部14として用いる。   The external information acquisition unit 14 acquires information on a physical space in which the image display device 1 is present. The configuration of the external information acquisition unit 14 is not particularly limited as long as it can detect the position and the movement of an object existing in the real space, and for example, an optical camera, an infrared camera, an ultrasonic transmitter, a receiver, etc. It can be used as the acquisition unit 14. In the present embodiment, the camera 5 incorporated in the display device 3 is used as the external information acquisition unit 14.

動き検出部15は、例えばジャイロセンサ及び加速度センサを含み、画像表示装置1の動きを検出する。この動き検出部15の検出結果に基づいて、画像表示装置1は、ユーザ2の頭部の状態(静止しているか否か)や、ユーザ2の視線方向(上方、下方)や、ユーザ2の視線方向の相対的な変化等を検知することができる。   The motion detection unit 15 includes, for example, a gyro sensor and an acceleration sensor, and detects a motion of the image display device 1. Based on the detection result of the motion detection unit 15, the image display device 1 determines the state of the head of the user 2 (whether or not the user 2 is stationary), the line of sight direction of the user 2 (upper and lower), It is possible to detect a relative change or the like in the gaze direction.

次に、演算部13の詳細な構成について説明する。演算部13は、プログラム記憶部121に記憶された画像表示プログラムを読み込むことにより、3次元的に構成された仮想空間をユーザ2に認識させる画面を表示部11に表示させると共に、ユーザ2のジェスチャによる入力操作を受け付ける動作を実行する。   Next, the detailed configuration of the calculation unit 13 will be described. The operation unit 13 causes the display unit 11 to display a screen for causing the user 2 to recognize the three-dimensionally configured virtual space by reading the image display program stored in the program storage unit 121 and causes the gesture of the user 2 to be displayed. Execute the operation of accepting the input operation by.

ここで、図3は、表示部11に表示される画面の例を示す模式図である。図4は、図3に示す画面に対応する仮想空間の例を示す模式図である。静止画又は動画のコンテンツを仮想空間としての表示する際には、図3に示すように、表示部11の表示パネルを2つの領域に分け、互いに視差を設けた2つの画面11a、11bをこれらの領域に表示する。ユーザ2は、画面11a、11bを左右の眼でそれぞれ見ることにより、図4に示すような3次元的な画像(即ち、仮想空間)を認識することができる。   Here, FIG. 3 is a schematic view showing an example of a screen displayed on the display unit 11. FIG. 4 is a schematic view showing an example of a virtual space corresponding to the screen shown in FIG. When displaying the content of a still image or a moving image as a virtual space, as shown in FIG. 3, the display panel of the display unit 11 is divided into two areas, and two screens 11a and 11b provided with parallax each other are Display in the area of The user 2 can recognize a three-dimensional image (that is, a virtual space) as shown in FIG. 4 by viewing the screens 11a and 11b with the left and right eyes, respectively.

図1に示すように、演算部13は、動き判定部131と、仮想空間構成部132と、物体認識部133と、疑似3次元化処理部134と、仮想空間表示制御部135と、接触判定部136と、相互作用演算部137と、選択判定部138、操作実行部139とを備える。   As shown in FIG. 1, the operation unit 13 includes a motion determination unit 131, a virtual space configuration unit 132, an object recognition unit 133, a pseudo three-dimensionalization processing unit 134, a virtual space display control unit 135, and contact determination. And an interaction operation unit 137, a selection determination unit 138, and an operation execution unit 139.

動き判定部131は、動き検出部15から出力された検出信号に基づいて、ユーザ2の頭部の動きを判定する。具体的には、動き判定部131は、ユーザの頭部が静止している否か、及び、頭部が動いている場合には頭部をどの方向に向けたか、といったことを判定する。   The movement determination unit 131 determines the movement of the head of the user 2 based on the detection signal output from the movement detection unit 15. Specifically, the movement determination unit 131 determines whether or not the head of the user is stationary, and in which direction the head is directed when the head is moving.

仮想空間構成部132は、ユーザに認識させる仮想空間におけるオブジェクトの配置等を行う。詳細には、仮想空間構成部132は、画像データ記憶部122から画像データを読み出し、ユーザの頭部の状態に応じて、画像データによって表される画像全体から、一部の領域(ユーザの視野の範囲内の領域)を切り出したり、画像内のオブジェクトの奥行き感を変化させたりする。   The virtual space configuration unit 132 arranges objects in the virtual space to be recognized by the user. In detail, the virtual space configuration unit 132 reads the image data from the image data storage unit 122, and according to the state of the head of the user, a partial area (a field of view of the user Cut out an area in the range of (1) or change the sense of depth of an object in an image.

また、仮想空間構成部132は、ユーザがジェスチャによる操作を行う際に使用されるユーザインタフェースの画像データをオブジェクト記憶部123から読み出し、このユーザインタフェースの画像を仮想空間内の特定の平面に配置する。   Also, the virtual space configuration unit 132 reads from the object storage unit 123 the image data of the user interface used when the user performs the operation by the gesture, and arranges the image of this user interface on a specific plane in the virtual space .

図5は、ユーザインタフェースが表示された画面の例を示す模式図である。図5においては、ユーザインタフェースとして操作メニュー16が表示されている。操作メニュー16は、選択対象である複数のメニュー項目16a〜16dと、これらの選択対象のいずれかを選択する際に用いられる操作用オブジェクト17とを含む。各メニュー項目16a〜16dは、画像処理装置1に対する操作の内容(メニューA〜D)を表している。また、操作用オブジェクト17は、ユーザが仮想的に操作することにより所望のメニュー項目を選択するためのツールである。本実施形態においては、円形状のアイコンを操作用オブジェクト17として表示しているが、操作用オブジェクトの形状やサイズは特に限定されない。例えば、棒状や矢印状など、所望の形状及びサイズのアイコンを操作用オブジェクトとして用いても良い。   FIG. 5 is a schematic view showing an example of a screen on which a user interface is displayed. In FIG. 5, an operation menu 16 is displayed as a user interface. The operation menu 16 includes a plurality of menu items 16a to 16d to be selected, and an operation object 17 used when selecting one of the selection items. The menu items 16 a to 16 d represent the contents (menus A to D) of the operation on the image processing apparatus 1. Further, the operation object 17 is a tool for selecting a desired menu item by the user operating virtually. In the present embodiment, a circular icon is displayed as the operation object 17, but the shape or size of the operation object is not particularly limited. For example, an icon of a desired shape and size such as a bar or arrow shape may be used as the operation object.

物体認識部133は、外部情報取得部14によって取得された外部情報に基づいて、現実空間に実在する特定の物体を認識する。上述したように、外部情報取得部14としてカメラ5(図2参照)を用いる場合、物体認識部133は、カメラ5が撮像することにより取得した現実空間の画像に対する画像処理により、予め設定された特徴を有する物体を認識する。認識対象とする特定の物体は、ユーザ2の手や指であっても良いし、スタイラスペンや棒などの物体であっても良い。   The object recognition unit 133 recognizes a specific object existing in the real space based on the external information acquired by the external information acquisition unit 14. As described above, when the camera 5 (see FIG. 2) is used as the external information acquisition unit 14, the object recognition unit 133 is preset by image processing on an image of the physical space acquired by the camera 5 taking an image. Recognize objects with features. The specific object to be recognized may be the hand or finger of the user 2 or an object such as a stylus pen or a stick.

特定の物体を認識する際に用いられる特徴は、認識対象に応じて予め設定される。例えばユーザ2の手や指を認識する場合、物体認識部133は、例えば、肌色の範囲に含まれる色特徴量(R、G、Bの各画素値、色比、色差等)を有する画素を抽出し、これらの画素が所定数以上集まっている領域を、指や手が写った領域として抽出する。或いは、抽出した画素が集まっている領域の面積や周囲長に基づいて、指や手が写った領域を抽出しても良い。   The features used when recognizing a specific object are preset according to the recognition target. For example, when recognizing the hand or finger of the user 2, the object recognition unit 133, for example, includes pixels having color feature amounts (pixel values of R, G, B, color ratio, color difference, etc.) included in the skin color range. An area where a predetermined number or more of these pixels are gathered is extracted as an area in which a finger or a hand appears. Alternatively, an area in which a finger or a hand appears may be extracted based on the area and the perimeter of the area in which the extracted pixels are collected.

疑似3次元化処理部134は、物体認識部133が認識した特定の物体の像を仮想空間内の特定の平面に配置する処理を実行する。具体的には、特定の物体の像をユーザインタフェースの画像と同じ平面に配置する。詳細には、疑似3次元化処理部134は、特定の物体の像を含む2次元画像を生成し、この2次元画像が仮想空間においてユーザインタフェースの画像が表示される平面と同じ奥行き感となるように視差を設定することにより、当該物体の像があたかも3次元的な仮想空間の中のある平面に存在しているようにユーザに認識させる処理を行う。   The pseudo three-dimensional processing unit 134 executes processing for arranging the image of the specific object recognized by the object recognition unit 133 on a specific plane in the virtual space. Specifically, the image of a particular object is placed in the same plane as the image of the user interface. Specifically, the pseudo three-dimensionalization processing unit 134 generates a two-dimensional image including an image of a specific object, and this two-dimensional image has the same sense of depth as the plane on which the image of the user interface is displayed in the virtual space By setting the parallax as described above, the user is made to recognize that the image of the object is present in a plane in a three-dimensional virtual space.

仮想空間表示制御部135は、仮想空間構成部132が構成した仮想空間に対し、疑似3次元化処理部134が生成した2次元画像を合成して表示部11に表示させる。それにより、例えば図5に示すように、操作メニュー16に対してユーザの指の像(以下、指画像という)18が重畳して表示される。   The virtual space display control unit 135 combines the two-dimensional image generated by the pseudo three-dimensional processing unit 134 with the virtual space configured by the virtual space configuration unit 132 and causes the display unit 11 to display the combined image. Thus, for example, as shown in FIG. 5, an image (hereinafter referred to as a finger image) 18 of the user's finger is superimposed and displayed on the operation menu 16.

接触判定部136は、ユーザインタフェースの画像(例えば操作メニュー16)において、物体認識部133が認識した特定の物体の像(例えば指画像18)と操作用オブジェクトとが接触しているか否かを判定する。   The touch determination unit 136 determines whether or not the image for the specific object (for example, the finger image 18) recognized by the object recognition unit 133 is in contact with the operation object in the image for the user interface (for example, the operation menu 16). Do.

相互作用演算部137は、操作用オブジェクトと特定の物体の像とが接触していると判定された場合に、特定の物体の像の動きが操作用オブジェクトに及ぼす作用を算出する。   When it is determined that the operation object and the image of the specific object are in contact with each other, the interaction calculation unit 137 calculates an effect exerted on the operation object by the movement of the image of the specific object.

選択判定部138は、相互作用演算部137が算出した作用に基づき、操作用オブジェクトにより複数の選択対象のいずれが選択されたかを判定する。例えば図5において指画像18を動かすことにより操作用オブジェクト17と接触させ、さらに指画像18を図の左上方向に動かした作用により操作用オブジェクト17を移動させ、その結果、操作用オブジェクト17がメニュー項目16aの象限内の所定領域に入った場合、メニュー項目16a(即ち、「メニューA」)が選択されたものと判定される。   The selection determination unit 138 determines which of the plurality of selection targets is selected by the operation object, based on the action calculated by the interaction calculation unit 137. For example, by moving the finger image 18 in FIG. 5 to bring it into contact with the operation object 17, the operation object 17 is moved by the action of moving the finger image 18 in the upper left direction in the drawing. When the predetermined area in the quadrant of the item 16a is entered, it is determined that the menu item 16a (ie, "menu A") is selected.

操作実行部139は、複数の選択対象のいずれかが選択されたと判定された場合に、選択された選択対象に応じた操作を実行する。操作の内容は、画像表示装置1において実行可能な操作であれば特に限定されない。具体例として、画像表示のオン・オフを切り替える操作や、表示中の画像を別の画像に切り替える操作等が挙げられる。   When it is determined that one of the plurality of selection targets is selected, the operation execution unit 139 executes an operation according to the selected selection target. The content of the operation is not particularly limited as long as the operation is executable in the image display device 1. Specific examples include an operation of switching on / off of image display, an operation of switching an image being displayed to another image, and the like.

次に、画像表示装置1の動作について説明する。図6は、画像表示装置1の動作を示すフローチャートであり、仮想空間の画像表示プログラムの実行中にユーザのジェスチャによる入力操作を受け付ける動作を示している。以下の説明においては、ユーザインタフェースの画像として、図5に示す操作メニュー16が表示されるものとする。   Next, the operation of the image display device 1 will be described. FIG. 6 is a flowchart showing the operation of the image display device 1, and shows an operation of accepting an input operation by a gesture of the user during execution of the image display program in the virtual space. In the following description, it is assumed that the operation menu 16 shown in FIG. 5 is displayed as an image of the user interface.

ステップS101において、演算部13は、操作メニュー16の表示を待機する。
続くステップS102において、演算部13は、ユーザの頭部が静止しているか否かを判定する。ここで、頭部が静止しているとは、ユーザの頭部が完全に動いていない状態の他、頭部が僅かに動いている場合を含む。詳細には、動き判定部131が、動き検出部15から出力された検出信号に基づいて、画像表示装置1(即ち頭部)の加速度及び角加速度が所定値以下であるか否かを判定する。加速度及び角加速度が所定値を超える場合、動き判定部131は、ユーザの頭部が静止していないと判定する(ステップS102:No)。この場合、演算部13の動作はステップS101に戻り、引き続き操作メニュー表示を待機する。
In step S101, the calculation unit 13 waits for the display of the operation menu 16.
In the subsequent step S102, the calculation unit 13 determines whether the head of the user is stationary. Here, that the head is at rest includes the case where the head is slightly moved as well as the state where the user's head is not completely moved. In detail, the movement determination unit 131 determines whether the acceleration and angular acceleration of the image display device 1 (that is, the head) are equal to or less than predetermined values based on the detection signal output from the movement detection unit 15 . When the acceleration and the angular acceleration exceed the predetermined values, the movement determination unit 131 determines that the head of the user is not stationary (No at Step S102). In this case, the operation of the calculation unit 13 returns to step S101 and continues to wait for the operation menu display.

一方、演算部13は、ユーザの頭部が静止していると判定した場合(ステップS102:Yes)、続いて、ユーザがカメラ5(図2参照)の前に手をかざしているか否かを判定する(ステップS103)。詳細には、物体認識部133が、カメラ5によって取得された画像に対する画像処理により、手(肌色)の色特徴量を有する画素が所定数以上集まっている領域が存在するか否かを判定する。手の色特徴量を有する画素が所定数以上集まっている領域が存在しない場合、物体認識部133は、ユーザが手をかざしていないと判定する(ステップS103:No)。この場合、演算部13の動作はステップS101に戻る。   On the other hand, when the calculation unit 13 determines that the head of the user is stationary (step S102: Yes), subsequently, whether or not the user holds his hand in front of the camera 5 (see FIG. 2) It determines (step S103). Specifically, the object recognition unit 133 determines whether or not there is a region in which a predetermined number or more of pixels having the color feature amount of the hand (skin color) are gathered by image processing on the image acquired by the camera 5 . If there is no area where a predetermined number or more of pixels having the color feature value of a hand are gathered, the object recognition unit 133 determines that the user does not hold their hand (step S103: No). In this case, the operation of the calculation unit 13 returns to step S101.

一方、演算部13は、ユーザが手をかざしていると判定した場合(ステップS103:Yes)、操作メニュー16を表示部11に表示する(ステップS104)。なお、この間にユーザの頭部が動いた場合、演算部13は、ユーザの頭部の動き(即ち、ユーザの視線方向)に追従するように、操作メニュー16を表示する。ユーザの視線方向が変化しているにもかかわらず、操作メニュー16が背景の仮想空間に対して固定されていると、ユーザの視野から操作メニュー16が外れてしまい、これから操作を行おうとするユーザにとって不自然な画面になってしまうからである。   On the other hand, when it is determined that the user holds the hand over (step S103: Yes), the calculation unit 13 displays the operation menu 16 on the display unit 11 (step S104). If the user's head moves during this time, the operation unit 13 displays the operation menu 16 so as to follow the movement of the user's head (that is, the direction of the user's line of sight). If the operation menu 16 is fixed with respect to the background virtual space despite the change in the user's gaze direction, the operation menu 16 deviates from the user's field of view, and the user tries to operate from this For the screen to be unnatural.

なお、ステップS103、S104においては、カメラ5に対してユーザが手をかざすことを、操作メニュー16を表示させるトリガーとしているが、手の他にも、例えばスタイラスペンや棒などの予め設定された物体をカメラ5の前にかざすことをトリガーとしても良い。   In steps S103 and S104, the user holding the hand over the camera 5 is used as a trigger to display the operation menu 16. However, in addition to the hand, for example, a stylus pen or a bar is set in advance. Holding an object in front of the camera 5 may be used as a trigger.

続くステップS105において、演算部13は、ユーザの頭部が静止しているか否かを再度判定する。演算部13は、ユーザの頭部が静止していないと判定した場合(ステップS105:No)、操作メニュー16を消去する(ステップS106)。その後、演算部13の動作はステップS101に戻る。   In the subsequent step S105, the calculation unit 13 determines again whether the head of the user is stationary. When it is determined that the user's head is not stationary (step S105: No), the calculation unit 13 deletes the operation menu 16 (step S106). Thereafter, the operation of the calculation unit 13 returns to step S101.

ここで、ステップS101、S105において、ユーザの頭部が静止していることを操作メニュー表示の条件とするのは、一般に、ユーザは、頭部を大きく動かしている状態で画像表示装置1の操作を行うことはないからである。逆に言えば、ユーザが頭部を大きく動かしているということは、ユーザは鑑賞中の仮想空間に没入している最中であると考えられ、そのようなときに操作メニュー16を表示すると、ユーザは煩わしく感じてしまうからである。   Here, in the steps S101 and S105, the fact that the head of the user is at rest is used as the condition for displaying the operation menu, in general, the user operates the image display apparatus 1 while moving the head widely. Because there is no need to Conversely, the fact that the user is moving the head greatly is considered that the user is immersed in the virtual space being watched, and displaying the operation menu 16 at such time This is because the user feels troublesome.

演算部13は、ユーザの頭部が静止していると判定した場合(ステップS105:Yes)、現実空間における特定の物体の認識処理を実行する(ステップS107)。以下においては、特定の物体として、ユーザの指を認識するものとする。詳細には、外部情報取得部14が取得した現実空間の画像に対し、物体認識部133が画像処理を行うことにより、肌色の色特徴量を有する画素が所定数以上集まっている領域を、ユーザの指が写った領域として抽出する。また、疑似3次元化処理部134が、抽出された領域の2次元画像(即ち、指画像18)を生成し、仮想空間表示制御部135が、該2次元画像を操作メニュー16に重畳して表示部11に表示させる。   When it is determined that the user's head is stationary (step S105: Yes), the calculation unit 13 executes recognition processing of a specific object in the real space (step S107). In the following, it is assumed that the user's finger is recognized as a specific object. In detail, the object recognition unit 133 performs image processing on the image in the physical space acquired by the external information acquisition unit 14 so that the region where a predetermined number or more of pixels having the skin color feature amount are collected is It is extracted as an area where the finger of. In addition, the pseudo three-dimensional processing unit 134 generates a two-dimensional image of the extracted area (that is, the finger image 18), and the virtual space display control unit 135 superimposes the two-dimensional image on the operation menu 16 It is displayed on the display unit 11.

続くステップS108において、演算部13は、特定の物体の像が操作用オブジェクトに接触しているか否かを判定する。詳細には、接触判定部136が、操作用オブジェクト17の画素領域に対して指画像18の画素領域の一部が重なっているか否かを判定する。両者が重なっていない場合、接触判定部136は、指画像18は操作用オブジェクト17に接触していないと判定する(ステップS108:No)。この場合、演算部13の動作はステップS104に戻る。   In the subsequent step S108, the computing unit 13 determines whether the image of the specific object is in contact with the operation object. Specifically, the touch determination unit 136 determines whether a part of the pixel area of the finger image 18 overlaps the pixel area of the operation object 17. If the two do not overlap, the touch determination unit 136 determines that the finger image 18 is not in contact with the operation object 17 (step S108: No). In this case, the operation of the calculation unit 13 returns to step S104.

一方、演算部13は、物体の像が操作用オブジェクトに接触していると判定した場合(ステップS108:Yes)、メニューの選択判定処理を実行する(ステップS109)。   On the other hand, when it is determined that the image of the object is in contact with the operation object (Yes at step S108), the calculation unit 13 executes menu selection determination processing (step S109).

図7は、メニューの選択判定処理を示すフローチャートである。また、図8は、メニューの選択判定処理を説明するための模式図である。
まず、ステップS121において、相互作用演算部137は、操作用オブジェクトの速度ベクトルを初期化する。
FIG. 7 is a flowchart showing menu selection determination processing. FIG. 8 is a schematic diagram for explaining the menu selection determination process.
First, in step S121, the interaction calculation unit 137 initializes the velocity vector of the operation object.

続くステップS122において、相互作用演算部137は、物体の像のうち、操作用オブジェクトに接触している部分から、物体の像の速度ベクトルを算出する。例えば図8の場合、ユーザが自身の指を動かすことにより、指画像18が破線の矢印の方向に移動し、点Pにおいて操作用オブジェクト17と接触すると、この点Pにおける指画像18の速度ベクトルv1が算出される。   In the following step S122, the interaction calculation unit 137 calculates the velocity vector of the object image from the portion of the image of the object in contact with the operation object. For example, in the case of FIG. 8, when the user moves his / her finger, the finger image 18 moves in the direction of the dashed arrow and contacts the operation object 17 at point P, the velocity vector of the finger image 18 at this point P v1 is calculated.

続くステップS123において、相互作用演算部137は、ステップS122において算出された速度ベクトルを操作用オブジェクトの速度ベクトルとして与える。例えば図8の場合、指画像18の速度ベクトルv1と同じ方向及び量を有する速度ベクトルv2が操作用オブジェクト17に与えられる。   In the following step S123, the interaction calculation unit 137 gives the velocity vector calculated in step S122 as the velocity vector of the operation object. For example, in the case of FIG. 8, a velocity vector v2 having the same direction and amount as the velocity vector v1 of the finger image 18 is given to the manipulation object 17.

続くステップS124において、相互作用演算部137は、新たに速度ベクトルが与えられた操作用オブジェクトの位置を更新する。例えば図8の場合、速度ベクトルv2が与えられることにより、操作用オブジェクト17は破線で示す位置に移動する。   In the following step S124, the interaction calculation unit 137 updates the position of the manipulation object to which the velocity vector has been newly given. For example, in the case of FIG. 8, the operation object 17 moves to the position indicated by the broken line by the velocity vector v2 being given.

なお、図8においては、円形状の操作用オブジェクト17を表示しているため、速度ベクトルv2が与えられても、操作用オブジェクト17の向きは変化せずに位置のみが変化している。しかし、操作用オブジェクトとして例えば棒状のオブジェクトを用いる場合、速度ベクトルが与えられた位置に応じて操作用オブジェクトを回転させるなどして向きを変化させても良い。要は、指画像18との接触点に速度ベクトルが与えられた場合の操作用オブジェクトの位置や向きを、一般的な物理法則に従って算出すれば良い。また、この際に、操作用オブジェクト17の位置を慣性的に変化させることとしても良い。それにより、ユーザは、より自然な感覚で操作用オブジェクト17を操作することができる。   In FIG. 8, since the circular operation object 17 is displayed, even if the velocity vector v2 is given, the direction of the operation object 17 does not change but only the position changes. However, when, for example, a bar-like object is used as the operation object, the direction may be changed by rotating the operation object according to the position at which the velocity vector is given. The point is that the position and orientation of the manipulation object when the velocity vector is given to the contact point with the finger image 18 may be calculated according to a general physical law. At this time, the position of the operation object 17 may be inertially changed. Thereby, the user can operate the operation object 17 in a more natural sense.

続くステップS125において、選択判定部138は、操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在し、且つ該速度ベクトルの絶対値が閾値以上であるか否かを判定する。ここで、判定領域とは、ユーザインタフェースの画像内の領域であって、特定のメニュー項目が選択されたか否かの判定を行うために予め設定された領域のことである。判定領域としては、メニュー項目がテキスト表示された領域や、メニュー項目を表すアイコンなど、所望の領域を設定することができる。図8においては、メニュー項目16a〜16dの表示領域の近傍に、判定領域19a〜19dをそれぞれ設けている。   In the subsequent step S125, the selection determining unit 138 determines whether a determination region of a specific menu item exists in the direction of the velocity vector of the operation object, and the absolute value of the velocity vector is equal to or greater than a threshold. Here, the determination area is an area in the image of the user interface, and is an area set in advance to determine whether a specific menu item is selected. As the determination area, it is possible to set a desired area such as an area where the menu item is displayed as text or an icon representing the menu item. In FIG. 8, determination areas 19 a to 19 d are respectively provided in the vicinity of the display areas of the menu items 16 a to 16 d.

操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在し、且つ該速度ベクトルの絶対値が閾値以上である場合(ステップS125:Yes)、選択判定部138は、当該判定領域に対応するメニュー項目が選択されたと判定する(ステップS126)。例えば、図8の場合、速度ベクトルv2の延長線上に判定領域19aが存在する。この場合、判定領域19aに対応するメニュー項目16aが選択されたと判定される。その後、処理はメインルーチンに戻る。   When the determination area of the specific menu item exists in the direction of the velocity vector of the operation object, and the absolute value of the velocity vector is equal to or more than the threshold (step S125: Yes), the selection determination unit 138 It is determined that the corresponding menu item has been selected (step S126). For example, in the case of FIG. 8, the determination area 19a exists on the extension of the velocity vector v2. In this case, it is determined that the menu item 16a corresponding to the determination area 19a is selected. Thereafter, the process returns to the main routine.

一方、操作用オブジェクトの速度ベクトルの方向に特定のメニュー項目の判定領域が存在しないか、又は、該速度ベクトルの絶対値が閾値未満である場合(ステップS125:No)、選択判定部138は、メニュー項目の選択に失敗したと判定する(ステップS127)。この場合、選択判定部138はさらに、操作用オブジェクトを初期位置に戻す(ステップS128)。例えば、図8において、指画像18に押された操作用オブジェクト17が速度ベクトルv2の方向に移動したものの、判定領域19aに届かなった場合、操作用オブジェクト17は元の位置に戻って表示される。その後、処理はメインルーチンに戻る。   On the other hand, if there is no determination region of a specific menu item in the direction of the velocity vector of the operation object, or if the absolute value of the velocity vector is less than the threshold (step S125: No), the selection determining unit 138 It is determined that the selection of the menu item has failed (step S127). In this case, the selection determination unit 138 further returns the operation object to the initial position (step S128). For example, in FIG. 8, when the operation object 17 pressed by the finger image 18 moves in the direction of the velocity vector v2 but reaches the determination area 19a, the operation object 17 returns to the original position and is displayed. Ru. Thereafter, the process returns to the main routine.

ステップS109に続くステップS110において、演算部13は、メニュー項目の選択に成功したか否かを判定する。メニュー項目の選択に成功した場合(ステップS110:Yes)、ユーザのジェスチャによる入力操作の受け付けは終了する。この場合、演算部13は、選択されたメニュー項目に応じた動作を実行する。一方、メニュー項目の選択に失敗した場合(ステップS110:No)、演算部13の動作はステップS104に戻る。   In step S110 following step S109, the computing unit 13 determines whether the selection of the menu item has succeeded. When the selection of the menu item is successful (step S110: Yes), the acceptance of the input operation by the gesture of the user is ended. In this case, operation unit 13 executes an operation corresponding to the selected menu item. On the other hand, when the selection of the menu item fails (step S110: No), the operation of the calculation unit 13 returns to step S104.

以上説明したように、本発明の第1の実施形態によれば、ユーザが頭部をほぼ静止させた場合に操作メニューを仮想空間に表示させるので、入力操作を開始しようとするユーザの意図に沿った表示を行うことができる。つまり、ユーザが意図せずに画像表示装置1のカメラ5(図2参照)に手をかざしてしまったり、手に類似する物体が偶然カメラ5に写り込んでしまったりした場合であっても、操作メニューは表示されないので、ユーザは、操作メニューに妨げられることなく仮想空間の鑑賞を継続することができる。   As described above, according to the first embodiment of the present invention, since the operation menu is displayed in the virtual space when the user causes the head to substantially rest, the intention of the user who intends to start the input operation is achieved. It can display along. That is, even if the user unintentionally places the hand over the camera 5 (see FIG. 2) of the image display device 1 or if an object similar to the hand is accidentally reflected on the camera 5, Since the operation menu is not displayed, the user can continue watching the virtual space without being interrupted by the operation menu.

また、上記実施形態によれば、現実空間に存在する物体の像によって選択対象を直接選択するのではなく、操作用オブジェクトを介して選択対象を選択するので、誤操作を低減することができる。例えば図8において、仮に、指画像18によって直接触った判定領域のメニュー項目が選択されることとすると、判定領域19aに触れようとして指画像18を動かした際に、別の判定領域19dに触れてしまうおそれがある。それに対し、上記実施形態においては、最終的に、操作用オブジェクト17の位置や動きによって選択対象(判定領域)が決定される。従って、ユーザは、指画像18と選択対象の判定領域との位置関係を考慮することなく、簡単に正確な操作を行うことができる。   Further, according to the above-described embodiment, the selection target is selected through the operation object instead of directly selecting the selection target based on the image of the object existing in the real space, so that erroneous operations can be reduced. For example, in FIG. 8, assuming that the menu item of the judgment area which is in direct contact with the finger image 18 is selected, another judgment area 19d is touched when the finger image 18 is moved to touch the judgment area 19a. There is a risk of On the other hand, in the above embodiment, the selection target (determination area) is finally determined by the position and the motion of the operation object 17. Therefore, the user can easily perform an accurate operation without considering the positional relationship between the finger image 18 and the determination area to be selected.

また、上記実施形態によれば、指画像18の動きを操作用オブジェクト17に作用させる演算処理を行うので、ユーザは、あたかも自身の指で操作用オブジェクト17を操作したようなリアルな感覚を得ることができる。それにより、ユーザは、直感的な操作を行うことができ、意図しない操作を低減することが可能となる。   Further, according to the above-described embodiment, since the arithmetic processing for causing the movement of the finger image 18 to act on the operation object 17 is performed, the user obtains a realistic feeling as if operating the operation object 17 with his own finger. be able to. As a result, the user can perform intuitive operations and reduce unintended operations.

また、上記実施形態によれば、ユーザインタフェースの画像を仮想空間内の特定の平面に配置すると共に、ジェスチャによる操作を行うための特定の物体(例えばユーザの指)の像を同じ平面に配置するので、ユーザは、操作用オブジェクトを触るような感覚で、直感的な操作を行うことができる。例えば、上記実施形態において、ユーザは、円形状の操作用オブジェクト17を、あたかもおはじきを押したりはじいたりする感覚で操作することができる。   Further, according to the above-described embodiment, the image of the user interface is arranged in a specific plane in the virtual space, and the image of a specific object (for example, a user's finger) for performing an operation by a gesture is arranged in the same plane. Thus, the user can perform an intuitive operation in the same manner as touching the operation object. For example, in the above-described embodiment, the user can operate the circular operation object 17 as if it were pushing or flipping as it was.

また、上記実施形態によれば、ユーザインタフェースの画像及び特定の物体の像を2次元的に表示するので、これらの表示に要する演算量や、いずれの選択対象が選択されたかの判定処理に要する演算量を抑制することも可能となる。従って、スマートフォン等の汎用の表示装置を利用する場合であっても高速な処理が可能となり、ユーザにとっても、リアルタイムな感覚での入力操作が可能となる。   Further, according to the above embodiment, since the image of the user interface and the image of the specific object are two-dimensionally displayed, the amount of operation required to display these and the operation required to determine which selection target is selected It is also possible to reduce the amount. Therefore, even when a general-purpose display device such as a smartphone is used, high-speed processing is possible, and the user can perform input operation in a sense of real time.

また、上記実施形態によれば、ユーザのジェスチャによる入力操作に関する情報を、画像表示装置1に設けられた外部情報取得部14により取得する。つまり、従来のように、ユーザのジェスチャを検出するための専用のセンサや外部デバイスを設ける必要がなくなる。それにより、システム全体の構成を簡素化することができるので、コストを大幅に抑制することが可能になる。また、専用のセンサ等から入力された情報を解析するための演算も不要になる。従って、スマートフォン等の小型の表示装置を利用する場合であっても、ジェスチャによるリアルタイムな入力操作が可能な画像表示装置を実現することが可能となる。   Further, according to the above-described embodiment, the external information acquisition unit 14 provided in the image display device 1 acquires information related to the input operation by the user's gesture. That is, as in the prior art, it is not necessary to provide a dedicated sensor or an external device for detecting a user's gesture. As a result, the configuration of the entire system can be simplified, and the cost can be significantly reduced. In addition, calculation for analyzing information input from a dedicated sensor or the like is not necessary. Therefore, even when a small display device such as a smartphone is used, it is possible to realize an image display device capable of real-time input operation by a gesture.

また、上記実施形態によれば、外部情報取得部14により取得された外部情報のうち、予め設定された特定の物体に関する情報のみを仮想空間に表示するので、ユーザは、現実空間に存在する操作に関与しない物体に惑わされることなく、所望の操作を行うことができる。   Further, according to the above-described embodiment, among the external information acquired by the external information acquisition unit 14, only the information related to the specific object set in advance is displayed in the virtual space. The desired operation can be performed without being confused by an object not involved in

なお、上記実施形態においては、ユーザが頭部を動かしたことを、操作メニューを消去するトリガーとしているが(図6のステップS105、S106参照)、操作メニューを消去するトリガーはこれに限定されない。例えば、「操作メニューを消去する」というメニュー項目を操作メニュー内に設けても良い。或いは、操作用オブジェクト17に対して特定の操作が行われた際に、操作メニューを消去することとしても良い。一例として、操作メニュー16から操作用オブジェクト17が飛び出すほど強くはじく操作が挙げられる。   In the above embodiment, the user moving the head is a trigger for deleting the operation menu (see steps S105 and S106 in FIG. 6), but the trigger for deleting the operation menu is not limited to this. For example, a menu item "delete the operation menu" may be provided in the operation menu. Alternatively, when a specific operation is performed on the operation object 17, the operation menu may be deleted. As one example, an operation that repels strongly as the operation object 17 pops up from the operation menu 16 can be mentioned.

(変形例)
次に、本発明の第1の実施形態の変形例について説明する。図9は、本変形例におけるメニューの選択判定処理を示すフローチャートである。なお、本変形例において用いられる画像表示装置の構成及び動作は、上記第1の実施形態と同様である(図1及び図6参照)。また、図9のステップS121〜S124における処理も、上記第1の実施形態と同様である(図7参照)。
(Modification)
Next, a modification of the first embodiment of the present invention will be described. FIG. 9 is a flowchart showing menu selection determination processing in the present modification. The configuration and the operation of the image display device used in this modification are the same as those of the first embodiment (see FIGS. 1 and 6). Further, the processes in steps S121 to S124 in FIG. 9 are also the same as those in the first embodiment (see FIG. 7).

ステップS124に続くステップS131において、選択判定部138は、操作用オブジェクトが特定のメニュー項目の判定領域に存在するか否かを判定する。例えば図8に示すように、操作用オブジェクト17が破線に示す位置に表示されている場合、操作用オブジェクト17はメニュー項目16aの判定領域19aに存在すると判定される。   In step S131 following step S124, the selection determination unit 138 determines whether the operation object is present in the determination area of the specific menu item. For example, as shown in FIG. 8, when the operation object 17 is displayed at the position indicated by the broken line, it is determined that the operation object 17 exists in the determination area 19a of the menu item 16a.

操作用オブジェクトが特定のメニュー項目の判定領域に存在する場合(ステップS131:Yes)、選択判定部138は、操作用オブジェクトが存在する判定領域に対応するメニュー項目が選択されたと判定する(ステップS132)。その後、処理はメインルーチンに戻る。   If the operation object exists in the determination area of the specific menu item (step S131: Yes), the selection determination unit 138 determines that the menu item corresponding to the determination area in which the operation object exists is selected (step S132). ). Thereafter, the process returns to the main routine.

一方、操作用オブジェクトがいずれのメニュー項目の判定領域にも存在しない場合(ステップS131:No)、選択判定部138はさらに、物体の像(図8においては指画像18)が操作用オブジェクトから離れたか否かを判定する(ステップS133)。   On the other hand, when the operation object does not exist in any of the determination items of the menu items (step S131: No), the selection determination unit 138 further separates the image of the object (the finger image 18 in FIG. 8) from the operation object. It is determined whether or not it is (step S133).

物体の像が操作用オブジェクトから離れていない場合(ステップS133:No)、処理はステップS122に戻る。この場合、物体の像の動きに合わせて操作用オブジェクトがさらに移動させられる(ステップS122〜S124参照)。   When the image of the object is not separated from the operation object (step S133: No), the process returns to step S122. In this case, the operation object is further moved according to the movement of the image of the object (see steps S122 to S124).

一方、物体の像が操作用オブジェクトから離れた場合(ステップS133:Yes)、選択判定部138は、メニュー項目の選択に失敗したと判定する(ステップS134)。この場合、選択判定部138はさらに、操作用オブジェクトの位置を初期位置に戻す(ステップS135)。その後、処理はメインルーチンに戻る。   On the other hand, when the image of the object is separated from the operation object (step S133: Yes), the selection determining unit 138 determines that selection of the menu item has failed (step S134). In this case, the selection determination unit 138 further returns the position of the operation object to the initial position (step S135). Thereafter, the process returns to the main routine.

以上説明したように、本変形例によれば、操作用オブジェクトが複数の判定領域のいずれかに入るまで、物体の像によって操作用オブジェクトを運ぶので、ユーザは、所望のメニュー項目をより確実に選択することが可能となる。   As described above, according to the present modification, since the operation object is carried by the image of the object until the operation object falls within any of the plurality of determination regions, the user can more reliably obtain the desired menu item. It is possible to select.

(第2の実施形態)
次に、本発明の第2の実施形態を説明する。図10は、本発明の第2の実施形態に係る画像表示装置の動作を示すフローチャートであり、仮想空間の画像表示プログラムの実行中にユーザのジェスチャによる入力操作を受け付ける動作を示している。また、図11は、本実施形態において表示されるユーザインタフェースの画像の例を示す模式図である。なお、本実施形態に係る画像表示装置の構成は、図1に示すものと同様である。
Second Embodiment
Next, a second embodiment of the present invention will be described. FIG. 10 is a flowchart showing the operation of the image display apparatus according to the second embodiment of the present invention, and shows an operation of receiving an input operation by a gesture of the user during execution of the image display program in the virtual space. FIG. 11 is a schematic view showing an example of an image of a user interface displayed in the present embodiment. The configuration of the image display apparatus according to the present embodiment is the same as that shown in FIG.

図11に示すように、本実施形態においては、ユーザインタフェースとして操作用地図20を例示している。この操作用地図20は、地図21及び操作用オブジェクト22を含む。操作用地図20においては、不動産物件が選択対象となっており、地図21に表示された各物件が占める領域が選択対象の判定領域となっている。また、操作用オブジェクト22としては、上記第1の実施形態と同様に円形状のアイコンを示しているが、当然ながら、棒状や矢印状など所望の形状及びサイズを有するアイコンを操作用オブジェクト22として用いても良い。   As shown in FIG. 11, in the present embodiment, the operation map 20 is illustrated as a user interface. The operation map 20 includes a map 21 and an operation object 22. In the operation map 20, the real estate property is the selection target, and the area occupied by each property displayed on the map 21 is the determination area of the selection target. Also, as the operation object 22, a circular icon is shown as in the first embodiment, but of course, an icon having a desired shape and size such as a rod shape or an arrow shape is used as the operation object 22. You may use.

図10を参照しながら、本実施形態における画像表示装置の動作について説明する。
まず、ステップS201において、演算部13は、操作用地図20の表示を待機する。続くステップS202及びS203の動作は、図6に示すステップS102及びS103と同様である。
The operation of the image display apparatus according to the present embodiment will be described with reference to FIG.
First, in step S201, the calculation unit 13 waits for display of the operation map 20. The operations of the subsequent steps S202 and S203 are the same as the steps S102 and S103 shown in FIG.

演算部13は、ステップS203においてユーザが手をかざしていると判定した場合(ステップS203:Yes)、図11に例示する操作用地図20を表示部11に表示する(ステップS204)。   When it is determined that the user holds the hand in step S203 (step S203: Yes), the calculation unit 13 displays the operation map 20 illustrated in FIG. 11 on the display unit 11 (step S204).

続くステップS205〜ステップS208の動作は、図6に示すステップS105〜S108と同様である。なお、ステップS206においては、ステップS204において表示された操作用地図20を消去する。   The operations of subsequent steps S205 to S208 are the same as steps S105 to S108 shown in FIG. In step S206, the operation map 20 displayed in step S204 is deleted.

演算部13は、ステップS208において物体の像(図11においては指画像18)が操作用オブジェクト22に接触していると判定した場合(ステップS208:Yes)、操作用オブジェクト22の地図21上における移動先の判定処理を実行する(ステップS209)。   When it is determined that the image of the object (the finger image 18 in FIG. 11) is in contact with the operation object 22 in step S208 (step S208: Yes), the calculation unit 13 on the map 21 of the operation object 22 The movement destination determination processing is executed (step S209).

図12は、地図21上の移動先の判定処理を示すフローチャートである。なお、ステップS221〜S224の処理は、図7に示すステップS121〜S124と同様である。   FIG. 12 is a flowchart showing the determination processing of the moving destination on the map 21. The process of steps S221 to S224 is the same as that of steps S121 to S124 shown in FIG.

ステップS224に続くステップS225において、選択判定部138は、物体の像(指画像18)から操作用オブジェクト22が離れたか否かを判定する。物体の像が操作用オブジェクト22から離れていない場合(ステップS225:No)、処理はステップS222に戻る。   In step S225 following step S224, the selection determination unit 138 determines whether the operation object 22 has been detached from the image of the object (finger image 18). When the image of the object is not separated from the operation object 22 (step S225: No), the process returns to step S222.

一方、物体の像が操作用オブジェクト22から離れた場合(ステップS225:Yes)、選択判定部138はさらに、操作用オブジェクト22が地図21上に存在するか否かを判定する(ステップS226)。   On the other hand, when the image of the object is separated from the operation object 22 (step S225: Yes), the selection determination unit 138 further determines whether the operation object 22 exists on the map 21 (step S226).

操作用オブジェクト22が地図21上に存在する場合(ステップS226:Yes)、選択判定部138は、操作用オブジェクト22が位置している地図21上の特定の地点が選択されたと判定する(ステップS227)。その後、処理はメインルーチンに戻る。   If the operation object 22 exists on the map 21 (step S226: Yes), the selection determination unit 138 determines that a specific point on the map 21 at which the operation object 22 is located is selected (step S227). ). Thereafter, the process returns to the main routine.

一方、操作用オブジェクト22が地図21上に存在しない場合(ステップS226:No)、例えば、操作用オブジェクト22が、地図21の周囲の余白領域23に位置している場合、選択判定部138は、移動先の選択に失敗したと判定する(ステップS228)。その後、処理はメインルーチンに戻る。   On the other hand, when the operation object 22 does not exist on the map 21 (step S226: No), for example, when the operation object 22 is located in the margin area 23 around the map 21, the selection determination unit 138 It is determined that the selection of the movement destination has failed (step S228). Thereafter, the process returns to the main routine.

ステップS209に続くステップS210において、演算部13は、地図21上の移動先の選択に成功したか否かを判定する。移動先の選択に成功した場合(ステップS210:Yes)、ユーザのジェスチャによる入力操作の受け付けは終了する。この場合、演算部13は、選択された移動先を仮想空間に表示する処理を実行する。一方、移動先の選択に失敗した場合(ステップS210:No)、演算部13の動作はステップS204に戻る。   In step S <b> 210 following step S <b> 209, the calculation unit 13 determines whether or not the selection of the movement destination on the map 21 has succeeded. When the selection of the movement destination is successful (step S210: Yes), the reception of the input operation by the gesture of the user is ended. In this case, the computing unit 13 executes a process of displaying the selected destination in the virtual space. On the other hand, when the selection of the movement destination fails (step S210: No), the operation of the calculation unit 13 returns to step S204.

以上説明したように、本発明の第2の実施形態によれば、地図のように、判定領域がランダムに配置されている場合や、判定領域の広さが一定でない場合であっても、直感的な操作を行うことができ、誤操作を低減することが可能となる。   As described above, according to the second embodiment of the present invention, as in the case of a map, even when the determination areas are arranged at random or when the size of the determination areas is not constant, intuition Operations can be performed, and erroneous operations can be reduced.

なお、第2の実施形態においては、地図上に示された物件を選択する場合を説明したが、2次元的に表示される図面上で特定可能な位置(領域や地点)であれば、本実施形態を適用することができる。具体的には、家屋の間取り図に表示された特定の部屋を選択する場合や、ビルの縦断面図において特定のフロアを選択する場合が挙げられる。   In the second embodiment, the case of selecting a property shown on the map has been described, but if it is a position (area or point) that can be identified on a two-dimensionally displayed drawing, this is the case. Embodiments can be applied. Specifically, the case of selecting a specific room displayed in the floor plan of a house or the case of selecting a specific floor in a longitudinal sectional view of a building may be mentioned.

本発明は、上記第1及び第2の実施形態並びに変形例に限定されるものではなく、第1及び第2の実施形態並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、第1及び第2の実施形態並びに変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、第1及び第2の実施形態並びに変形例に示した構成要素を適宜組み合わせて形成しても良い。   The present invention is not limited to the first and second embodiments and the modification, and by combining the plural components disclosed in the first and second embodiments and the modification as appropriate, Various inventions can be formed. For example, some of the components may be excluded from all the components shown in the first and second embodiments and the modifications, or they may be shown in the first and second embodiments and the modifications. You may combine and form a component suitably.

1 画像表示装置
2 ユーザ
3 表示装置
4 ホルダー
5 カメラ
11 表示部
11a、11b 画面
12 記憶部
13 演算部
14 外部情報取得部
15 動き検出部
16 操作メニュー
16a〜16d メニュー項目
17、22 操作用オブジェクト
18 指画像
19a〜19d 判定領域
20 操作用地図
21 地図
23 余白領域
121 プログラム記憶部
122 画像データ記憶部
123 オブジェクト記憶部
131 動き判定部
132 仮想空間構成部
133 物体認識部
134 疑似3次元化処理部
135 仮想空間表示制御部
136 接触判定部
137 相互作用演算部
138 選択判定部
139 操作実行部

DESCRIPTION OF SYMBOLS 1 image display apparatus 2 user 3 display apparatus 4 holder 5 camera 11 display part 11a, 11b Screen 12 memory | storage part 13 calculating part 14 external information acquisition part 15 motion detection part 16 operation menu 16a-16d menu item 17, 22 object for operation 18 Finger images 19a to 19d Determination area 20 Operation map 21 Map 23 Margin area 121 Program storage section 122 Image data storage section 123 Object storage section 131 Motion determination section 132 Virtual space configuration section 133 Object recognition section 134 Pseudo three-dimensional processing section 135 Virtual space display control unit 136 Contact determination unit 137 Interaction operation unit 138 Selection determination unit 139 Operation execution unit

Claims (15)

ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に2次元的に配置する仮想空間構成部と、
当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように2次元的に配置する疑似3次元化処理部と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、
を備える画像表示装置。
An image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Virtual space components arranged two-dimensionally in a specific plane in a typical virtual space;
An external information acquisition unit that acquires information on a physical space in which the image display device is present;
An object recognition unit that recognizes a specific object existing in the real space based on the information;
A pseudo three-dimensional processing unit that arranges the image of the specific object two-dimensionally in the three-dimensional virtual space so as to have the same depth as the plane;
A touch determination unit that determines whether or not an image of the specific object contacts the operation object on the plane;
An interaction operation unit that calculates an action that the movement of the image of the specific object exerts on the operation object when it is determined that the image of the specific object contacts the operation object;
A selection determination unit that determines which one of the plurality of selection objects is selected by the operation object on which the action is exerted;
An image display apparatus comprising:
ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置する仮想空間構成部と、
当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置する疑似3次元化処理部と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、
を備え、
前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目である、画像表示装置。
An image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Virtual space components arranged in a specific plane in a virtual space,
An external information acquisition unit that acquires information on a physical space in which the image display device is present;
An object recognition unit that recognizes a specific object existing in the real space based on the information;
A pseudo three-dimensionalization processing unit that arranges an image of the specific object in the three-dimensional virtual space so as to have the same sense of depth as the plane;
A touch determination unit that determines whether or not an image of the specific object contacts the operation object on the plane;
An interaction operation unit that calculates an action that the movement of the image of the specific object exerts on the operation object when it is determined that the image of the specific object contacts the operation object;
A selection determination unit that determines which one of the plurality of selection objects is selected by the operation object on which the action is exerted;
Equipped with
Wherein each of the plurality of selection target is an item that represents the contents of operation on the image display device, images display.
前記相互作用演算部は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出する、請求項1又は2に記載の画像表示装置。 The image according to claim 1 or 2 , wherein the interaction calculating unit calculates the action based on a velocity vector of the image of the specific object at a contact point between the image of the specific object and the operation object. Display device. ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置する仮想空間構成部と、
当該画像表示装置が実在している現実空間に関する情報を取得する外部情報取得部と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識する物体認識部と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置する疑似3次元化処理部と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定する接触判定部と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出する相互作用演算部と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定する選択判定部と、
を備え、
前記相互作用演算部は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出し、
前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定する、画像表示装置。
An image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Virtual space components arranged in a specific plane in a virtual space,
An external information acquisition unit that acquires information on a physical space in which the image display device is present;
An object recognition unit that recognizes a specific object existing in the real space based on the information;
A pseudo three-dimensionalization processing unit that arranges an image of the specific object in the three-dimensional virtual space so as to have the same sense of depth as the plane;
A touch determination unit that determines whether or not an image of the specific object contacts the operation object on the plane;
An interaction operation unit that calculates an action that the movement of the image of the specific object exerts on the operation object when it is determined that the image of the specific object contacts the operation object;
A selection determination unit that determines which one of the plurality of selection objects is selected by the operation object on which the action is exerted;
Equipped with
The interaction calculating unit calculates the action based on a velocity vector of an image of the specific object at a contact point between the image of the specific object and the operation object.
The selection determining unit is configured such that an absolute value of a velocity vector of the operation object after the action is exerted is equal to or greater than a threshold, and any one of the plurality of selection objects exists in the traveling direction of the operation object. If you determines that the selection target to be present in the traveling direction is selected, images display.
前記選択判定部は、前記作用が及ぼされた後の前記操作用オブジェクトが、前記複数の選択対象に対してそれぞれ設定された複数の判定領域のいずれかに位置している場合、当該位置している判定領域に対応する選択対象が選択されたものと判定する、請求項に記載の画像表示装置。 When the operation object after the action is exerted is positioned in any of a plurality of determination areas respectively set for the plurality of selection targets, the selection determination unit The image display apparatus according to claim 3 , wherein it is determined that the selection target corresponding to the existing determination area is selected. 前記相互作用演算部は、前記特定の物体の像の前記速度ベクトルを、前記操作用オブジェクトの速度ベクトルに加算することにより前記作用を算出する、請求項3〜5のいずれか1項に記載の画像表示装置。 The interaction calculation unit according to any one of claims 3 to 5 , wherein the action is calculated by adding the velocity vector of the image of the specific object to the velocity vector of the operation object. Image display device. 前記仮想空間構成部は、前記複数の選択対象のいずれも選択されなかったと前記選択判定部が判定した場合、前記操作用オブジェクトを前記作用が及ぼされる前の位置に戻す、請求項3〜6のいずれか1項に記載の画像表示装置。 The virtual space construction unit, when determining the selection determining section and none selected of the plurality of selection target, returning the operation object position before the action is exerted, of claim 3-6 The image display device according to any one of the items. 当該画像表示装置の動きを検出する動き検出部と、
前記動き検出部により検出された当該画像表示装置の動きに基づいて、前記ユーザの頭部が静止しているか否かを判定する動き判定部と、
をさらに備え、
前記仮想空間構成部は、前記動き判定部により前記ユーザの頭部が静止していると判定された場合、前記ユーザインタフェースの画像を前記仮想空間に配置する、請求項1〜のいずれか1項に記載の画像表示装置。
A motion detection unit that detects a motion of the image display device;
A motion determination unit that determines whether or not the user's head is stationary based on the motion of the image display device detected by the motion detection unit;
And further
The virtual space construction unit, when the head of the user is determined to be stationary by the motion determination unit, placing images of the user interface in the virtual space, any one of the claims 1-7 The image display apparatus as described in a term.
前記仮想空間構成部は、前記ユーザインタフェースの画像が前記仮想空間に配置されているときに、前記動き判定部により前記ユーザの頭部が静止していないと判定された場合、前記ユーザインタフェースの画像を前記仮想空間から消去する、請求項に記載の画像表示装置。 The virtual space configuration unit is configured to, when the motion determination unit determines that the head of the user is not stationary, when the image of the user interface is arranged in the virtual space, the image of the user interface The image display device according to claim 8 , wherein the image is erased from the virtual space. ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に2次元的に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように2次元的に配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
を含む画像表示方法。
An image display method executed by an image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space, comprising:
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Arranging in a two-dimensional manner in a specific plane in a virtual space,
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in a two-dimensional manner in the three-dimensional virtual space so as to have the same sense of depth as the plane;
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
Image display method including.
ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
を含み、
前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目である、画像表示方法。
An image display method executed by an image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space, comprising:
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Placing in a specific plane in a virtual space (a),
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in the three-dimensional virtual space to have the same sense of depth as the plane; (d)
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
Only including,
An image display method , wherein each of the plurality of selection objects is an item representing the content of an operation on the image display device .
ユーザに3次元的な仮想空間を認識させるための画面を表示可能な画像表示装置が実行する画像表示方法であって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
を含み、
前記ステップ(f)は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出し、
前記ステップ(g)は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定する、画像表示方法。
An image display method executed by an image display apparatus capable of displaying a screen for causing a user to recognize a three-dimensional virtual space, comprising:
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Placing in a specific plane in a virtual space (a),
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in the three-dimensional virtual space to have the same sense of depth as the plane; (d)
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
Only including,
The step (f) calculates the action based on a velocity vector of the image of the specific object at the contact point between the image of the specific object and the operation object,
In the step (g), the absolute value of the velocity vector of the manipulation object after the action is exerted is equal to or greater than a threshold, and any one of the plurality of selection objects is selected in the traveling direction of the manipulation object. The image display method which determines that the selection object which exists in this advancing direction was selected, when it exists .
ユーザに3次元的な仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に2次元的に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように2次元的に配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
をコンピュータに実行させる画像表示プログラム。
An image display program for displaying a screen for causing a user to recognize a three-dimensional virtual space on an image display device,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Arranging in a two-dimensional manner in a specific plane in a virtual space,
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in a two-dimensional manner in the three-dimensional virtual space so as to have the same sense of depth as the plane;
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
An image display program that causes a computer to execute.
ユーザに3次元的な仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
をコンピュータに実行させ
前記複数の選択対象の各々は、当該画像表示装置に対する操作の内容を表す項目である、画像表示プログラム。
An image display program for displaying a screen for causing a user to recognize a three-dimensional virtual space on an image display device,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Placing in a specific plane in a virtual space (a),
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in the three-dimensional virtual space to have the same sense of depth as the plane; (d)
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
On your computer ,
An image display program , wherein each of the plurality of selection targets is an item representing the content of an operation on the image display device .
ユーザに3次元的な仮想空間を認識させるための画面を画像表示装置に表示させるための画像表示プログラムであって、
静止画又は動画からなる3次元的な仮想空間を構成すると共に、複数の選択対象と、該複数の選択対象のいずれかを選択するための操作用オブジェクトとを含むユーザインタフェースの画像を前記3次元的な仮想空間内の特定の平面に配置するステップ(a)と、
前記画像表示装置が実在している現実空間に関する情報を取得するステップ(b)と、
前記情報に基づいて、前記現実空間に実在する特定の物体を認識するステップ(c)と、
前記特定の物体の像を前記3次元的な仮想空間内において前記平面と同じ奥行き感となるように配置するステップ(d)と、
前記平面において前記特定の物体の像が前記操作用オブジェクトと接触したか否かを判定するステップ(e)と、
前記特定の物体の像が前記操作用オブジェクトと接触したと判定された場合に、前記特定の物体の像の動きが前記操作用オブジェクトに及ぼす作用を算出するステップ(f)と、
前記作用が及ぼされた前記操作用オブジェクトにより前記複数の選択対象のいずれが選択されたかを判定するステップ(g)と、
をコンピュータに実行させ
前記ステップ(f)は、前記特定の物体の像と前記操作用オブジェクトとの接触点における前記特定の物体の像の速度ベクトルに基づいて前記作用を算出し、
前記ステップ(g)は、前記作用が及ぼされた後の前記操作用オブジェクトの速度ベクトルの絶対値が閾値以上であり、且つ、前記操作用オブジェクトの進行方向に前記複数の選択対象のいずれかが存在する場合、該進行方向に存在する選択対象が選択されたものと判定する、画像表示プログラム。
An image display program for displaying a screen for causing a user to recognize a three-dimensional virtual space on an image display device,
A three-dimensional image of a user interface which constitutes a three-dimensional virtual space consisting of still images or moving images, and which includes a plurality of selection targets and an operation object for selecting any of the plurality of selection targets Placing in a specific plane in a virtual space (a),
Acquiring information on a real space in which the image display device is present;
Recognizing a specific object existing in the real space based on the information;
Arranging the image of the specific object in the three-dimensional virtual space to have the same sense of depth as the plane; (d)
(E) determining whether the image of the specific object has touched the manipulation object on the plane;
Calculating an action exerted on the operation object by the movement of the image of the specific object when it is determined that the image of the specific object contacts the operation object;
Determining which of the plurality of selection targets is selected by the operation object on which the action is exerted;
On your computer ,
The step (f) calculates the action based on a velocity vector of the image of the specific object at the contact point between the image of the specific object and the operation object,
In the step (g), the absolute value of the velocity vector of the manipulation object after the action is exerted is equal to or greater than a threshold, and any one of the plurality of selection objects is selected in the traveling direction of the manipulation object. The image display program which determines that the selection object which exists in this advancing direction was selected, when it exists .
JP2018523901A 2016-06-15 2017-06-12 IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM Active JP6514416B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016119252 2016-06-15
JP2016119252 2016-06-15
PCT/JP2017/021680 WO2017217375A1 (en) 2016-06-15 2017-06-12 Image display device, image display method, and image display program

Publications (2)

Publication Number Publication Date
JPWO2017217375A1 JPWO2017217375A1 (en) 2019-02-21
JP6514416B2 true JP6514416B2 (en) 2019-05-15

Family

ID=60664362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523901A Active JP6514416B2 (en) 2016-06-15 2017-06-12 IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM

Country Status (2)

Country Link
JP (1) JP6514416B2 (en)
WO (1) WO2017217375A1 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09234288A (en) * 1996-02-29 1997-09-09 Infuoshitei:Kk Image display apparatus
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP4900741B2 (en) * 2010-01-29 2012-03-21 島根県 Image recognition apparatus, operation determination method, and program
JP2013032932A (en) * 2011-08-01 2013-02-14 Sharp Corp Portable terminal
JP2013110499A (en) * 2011-11-18 2013-06-06 Nikon Corp Operation input determination device and imaging device
JP5255723B2 (en) * 2011-11-30 2013-08-07 株式会社コナミデジタルエンタテインメント SELECTION DEVICE, SELECTION SYSTEM, SELECTION DEVICE CONTROL METHOD, AND PROGRAM
JP6112815B2 (en) * 2012-09-27 2017-04-12 京セラ株式会社 Display device, control system, and control program
JP6165485B2 (en) * 2013-03-28 2017-07-19 国立大学法人埼玉大学 AR gesture user interface system for mobile terminals
JP6050784B2 (en) * 2014-05-28 2016-12-21 京セラ株式会社 Electronic device, control program, and operation method of electronic device

Also Published As

Publication number Publication date
JPWO2017217375A1 (en) 2019-02-21
WO2017217375A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
CN108780360B (en) Virtual reality navigation
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US20200097093A1 (en) Touch free interface for augmented reality systems
JP6480434B2 (en) System and method for direct pointing detection for interaction with digital devices
US20190294314A1 (en) Image display device, image display method, and computer readable recording device
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
WO2014141504A1 (en) Three-dimensional user interface device and three-dimensional operation processing method
WO2013138489A1 (en) Approaches for highlighting active interface elements
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
WO2013031134A1 (en) Information processing apparatus, information processing method, and program
JP6534011B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
JP6519075B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
US20150033157A1 (en) 3d displaying apparatus and the method thereof
JP2016024752A (en) GUI device
JP6519074B2 (en) Electronics
JP6514416B2 (en) IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM
US9898183B1 (en) Motions for object rendering and selection
JP6548956B2 (en) SYSTEM, METHOD, AND PROGRAM
JP6169462B2 (en) Information processing apparatus and information processing method
US12032754B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20181025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181025

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190411

R150 Certificate of patent or registration of utility model

Ref document number: 6514416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350