WO2013111280A1 - Display apparatus and display method - Google Patents

Display apparatus and display method Download PDF

Info

Publication number
WO2013111280A1
WO2013111280A1 PCT/JP2012/051514 JP2012051514W WO2013111280A1 WO 2013111280 A1 WO2013111280 A1 WO 2013111280A1 JP 2012051514 W JP2012051514 W JP 2012051514W WO 2013111280 A1 WO2013111280 A1 WO 2013111280A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual image
distance
angle
area
Prior art date
Application number
PCT/JP2012/051514
Other languages
French (fr)
Japanese (ja)
Inventor
哲也 藤榮
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2012/051514 priority Critical patent/WO2013111280A1/en
Publication of WO2013111280A1 publication Critical patent/WO2013111280A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/23—
    • B60K35/28—
    • B60K35/53—
    • B60K35/60—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/166—
    • B60K2360/334—
    • B60K2360/771—
    • B60K2360/785—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

This display apparatus for making a user recognize a virtual image has: a distance acquiring means, which acquires a distance between the user and a virtual image position, i.e., a position of the virtual image to be recognized by the user; an object detecting means, which is positioned between the user and the virtual image position, and detects an object in a space where a region that corresponds to the virtual image is specified; and a first control means, which makes the display apparatus perform operations that correspond to a region where the object is detected. The region has a breadth in the planar direction with respect to the user observing the virtual image, and the breadth in the planar direction changes corresponding to the distance between the virtual image position and the user.

Description

表示装置及び表示方法Display device and display method
　本発明は、情報を表示する技術に関する。 The present invention relates to a technique for displaying information.
　従来から、ユーザの目の位置から虚像として画像を視認させるヘッドアップディスプレイなどの表示装置が知られている。例えば、特許文献１には、運転者の手及び視点をカメラによって撮影し、得られた撮影画像に基づいて、ヘッドアップディスプレイで表示した画像に対するジェスチャを認識する技術が提案されている。その他にも、本発明に関連する技術が特許文献２に記載されている。 Conventionally, a display device such as a head-up display for visually recognizing an image as a virtual image from the position of the user's eyes is known. For example, Patent Literature 1 proposes a technique for capturing a driver's hand and viewpoint with a camera and recognizing a gesture for an image displayed on a head-up display based on the obtained captured image. In addition, Patent Document 2 describes a technique related to the present invention.
特開２００５－１３８７５５号公報JP 2005-138755 A ＷＯ２００９－０８４０８４号公報WO2009-084084
　上記した特許文献１に記載された技術は、ユーザの手や指などの動き（ジェスチャ）を認識して、ユーザによって選択された虚像を特定して処理を行う、所謂エアータッチの技術に関する。ところで、ユーザと虚像との距離や角度に応じて、虚像の見え方が変化する傾向にある。例えば、ユーザと虚像との距離が遠いと、ユーザが認識する虚像が小さくなり、ユーザと虚像との距離が近いと、ユーザが認識する虚像が大きくなる傾向にある。また、例えば、ユーザと虚像との角度が大きくなると、虚像を認識しづらくなる傾向にある。したがって、ユーザと虚像との距離や角度に応じて、エアータッチの実行し易さ（実行しづらさ）が変わるものと考えられる。特許文献１には、このようにユーザと虚像との距離や角度を考慮することについては記載されていない。特許文献２も同様である。 The technique described in Patent Document 1 described above relates to a so-called air touch technique in which a motion (gesture) of a user's hand or finger is recognized and a virtual image selected by the user is identified and processed. By the way, the appearance of the virtual image tends to change depending on the distance and angle between the user and the virtual image. For example, when the distance between the user and the virtual image is long, the virtual image recognized by the user is small, and when the distance between the user and the virtual image is short, the virtual image recognized by the user tends to be large. Further, for example, when the angle between the user and the virtual image increases, it tends to be difficult to recognize the virtual image. Therefore, it is considered that the ease of executing the air touch (difficult to execute) changes depending on the distance and angle between the user and the virtual image. Patent Document 1 does not describe taking into account the distance and angle between the user and the virtual image. The same applies to Patent Document 2.
　本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、ユーザと虚像との距離などを考慮してエアータッチを適切に実現することが可能な表示装置及び表示方法を提供することを主な目的とする。 The above is one example of problems to be solved by the present invention. The main object of the present invention is to provide a display device and a display method capable of appropriately realizing air touch in consideration of the distance between a user and a virtual image.
　請求項１に記載の発明では、ユーザに虚像を認識させる表示装置は、前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得手段と、前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出手段と、前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御手段と、を有し、前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化する。 In the first aspect of the present invention, the display device that allows the user to recognize the virtual image is a distance acquisition unit that acquires a distance between the virtual image position that is the position of the virtual image recognized by the user and the user, and the user. Object detection means for detecting an object located between the virtual image position and an area corresponding to the virtual image in a defined space, and an operation corresponding to the area where the object is detected in the display device A first control means for causing the area to be observed, and the area has an area in a plane direction with respect to the user observing the virtual image, and depending on a distance between the virtual image position and the user, The width of the surface direction changes.
　請求項７に記載の発明では、ユーザに虚像を認識させる表示装置によって実行される表示方法は、前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得工程と、前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出工程と、前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御工程と、を有し、前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化する。 In a seventh aspect of the invention, the display method executed by the display device that allows the user to recognize the virtual image is distance acquisition for acquiring a distance between the virtual image position, which is the position of the virtual image recognized by the user, and the user. An object detection step of detecting an object located between the user and the virtual image position, and an area corresponding to the virtual image existing in a defined space, and the area where the object is detected A first control step for causing the display device to perform the operation, wherein the area has a width in a plane direction with respect to the user observing the virtual image, and the virtual image position and the user Depending on the distance, the width in the surface direction changes.
本実施例に係るヘッドアップディスプレイの概略構成を示す。1 shows a schematic configuration of a head-up display according to the present embodiment. 本実施例に係る制御部の概略構成を示す。The schematic structure of the control part which concerns on a present Example is shown. ボロノイ領域を説明するための図を示す。The figure for demonstrating a Voronoi area | region is shown. 第３距離及び第３角度に基づいて選択可能領域のサイズを変化させる理由を説明するための図を示す。The figure for demonstrating the reason for changing the size of the selectable area | region based on a 3rd distance and a 3rd angle is shown. 第３距離及び第３角度に基づいて決定された選択可能領域の一例を示す。An example of the selectable area | region determined based on the 3rd distance and the 3rd angle is shown. 第３距離及び第３角度の算出方法を具体的に説明するための図を示す。The figure for demonstrating the calculation method of a 3rd distance and a 3rd angle concretely is shown. 選択可能領域のサイズを決定するためのテーブルの一例を示す。An example of the table for determining the size of a selectable area is shown. ３次元反応領域の決定方法を具体的に説明するための図を示す。The figure for demonstrating the determination method of a three-dimensional reaction area | region concretely is shown. 選択可能領域を決定するための処理フローを示す。The processing flow for determining a selectable area is shown. ３次元反応領域を決定するための処理フローを示す。The processing flow for determining a three-dimensional reaction area is shown. エアータッチを実現するための処理フローを示す。The processing flow for realizing an air touch is shown. 変形例に係る選択可能領域を示す。The selectable area | region which concerns on a modification is shown.
　本発明の１つの観点では、ユーザに虚像を認識させる表示装置は、前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得手段と、前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出手段と、前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御手段と、を有し、前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化する。 In one aspect of the present invention, a display device that allows a user to recognize a virtual image includes distance acquisition means for acquiring a distance between the virtual image position, which is the position of the virtual image recognized by the user, and the user, the user, and the user Object detection means for detecting an object that is located between the virtual image position and exists in a space in which a region corresponding to the virtual image is defined, and an operation corresponding to the region in which the object is detected are performed on the display device. First area control means to perform, and the area has a width in a plane direction with respect to the user observing the virtual image, and the surface is in accordance with a distance between the virtual image position and the user. The width of the direction changes.
　上記の表示装置は、画像を表示させることで、当該画像に対応する虚像をユーザに認識させるために好適に利用される。距離取得手段は、虚像位置とユーザとの距離を取得する。物体検出手段は、ユーザと虚像位置との間に位置し、虚像に対応した領域が規定された空間内に存在する物体を検出する。第一制御手段は、物体が検出された領域に応じた動作を表示装置に行わせる。例えば、物体検出手段は、虚像に対応した領域（ユーザの前方に広がる３次元空間内に含まれる領域）に対して行われたユーザの身振りを検出し、制御手段は、ユーザの身振りが検出された領域に応じた制御を行う。制御手段は、このような領域の面方向の広さを、虚像位置とユーザとの距離に応じて変化させる。これにより、虚像を選択し易くすることができる。つまり、ユーザによるエアータッチの成功精度を高めることができる。 The above display device is suitably used for displaying an image to allow a user to recognize a virtual image corresponding to the image. The distance acquisition unit acquires the distance between the virtual image position and the user. The object detection means detects an object that is located between the user and the virtual image position and exists in a space in which a region corresponding to the virtual image is defined. The first control means causes the display device to perform an operation corresponding to the area where the object is detected. For example, the object detection unit detects a user gesture performed on a region corresponding to the virtual image (a region included in a three-dimensional space extending in front of the user), and the control unit detects the user gesture. Control according to the area. The control means changes the width in the surface direction of such a region according to the distance between the virtual image position and the user. Thereby, it is possible to easily select a virtual image. That is, the accuracy of successful air touch by the user can be increased.
　上記の表示装置の一態様では、前記虚像位置と前記ユーザとの角度を取得する角度取得手段を更に備え、前記領域は、前記虚像位置と前記ユーザとの角度に応じて、前記面方向の広さが変化する。これにより、ユーザが虚像を斜め方向から観察する場合にも、ユーザによるエアータッチの成功精度を高めることができる。 In one aspect of the display device, the display device further includes an angle acquisition unit configured to acquire an angle between the virtual image position and the user, and the region is wide in the surface direction according to the angle between the virtual image position and the user. Changes. Thereby, also when a user observes a virtual image from the diagonal direction, the success precision of the air touch by a user can be improved.
　上記の表示装置において好適には、前記面方向の広さは、前記虚像位置と前記ユーザとの角度が大きくなるほど、大きくなる。 Preferably, in the above display device, the width in the surface direction increases as the angle between the virtual image position and the user increases.
　また好適には、前記面方向の広さは、前記虚像位置と前記ユーザとの距離が大きくなるほど、大きくなる。 Also preferably, the width in the surface direction increases as the distance between the virtual image position and the user increases.
　上記の表示装置の他の一態様では、前記領域は、前記表示装置が搭載される移動体のフロントガラスと前記ユーザとの間に存在し、前記ユーザから前記フロントガラスへの方向に奥行きを有し、前記ユーザに応じて、前記奥行き方向の長さを変化させる第二制御手段を更に有し、前記第二制御手段は、前記領域が前記フロントガラスを超えないように制御する。つまり、当該領域は、移動体のフロントガラスよりも前方に位置しないように設定される。 In another aspect of the above display device, the region exists between the windshield of the moving body on which the display device is mounted and the user, and has a depth in the direction from the user to the windshield. And it further has a 2nd control means to change the length of the said depth direction according to the said user, and the said 2nd control means is controlled so that the said area | region does not exceed the said windshield. That is, the area is set so as not to be positioned ahead of the windshield of the moving body.
　好適には、前記ユーザの体格から前記ユーザの腕の長さを推測する推測手段を有し、前記第二制御手段は、前記腕の長さに応じて前記領域の前記奥行き方向の長さを変化させる。 Preferably, there is an estimation unit that estimates the length of the user's arm from the physique of the user, and the second control unit determines the length of the region in the depth direction according to the length of the arm. Change.
　本発明の他の観点では、ユーザに虚像を認識させる表示装置によって実行される表示方法は、前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得工程と、前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出工程と、前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御工程と、を有し、前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化する。 In another aspect of the present invention, a display method executed by a display device that allows a user to recognize a virtual image is a distance acquisition step of acquiring a distance between the virtual image position that is the position of the virtual image recognized by the user and the user. And an object detection step of detecting an object that is located between the user and the virtual image position and that corresponds to the virtual image and exists in a defined space, and according to the area in which the object is detected A first control step of causing the display device to perform an operation, wherein the region has a width in a plane direction with respect to the user observing the virtual image, and a distance between the virtual image position and the user Accordingly, the width in the surface direction changes.
　以下、図面を参照して本発明の好適な実施例について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
　［ヘッドアップディスプレイの構成］
　図１は、本実施例に係るヘッドアップディスプレイ２の概略構成図である。図１に示すように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット３と、制御部４と、第１カメラ６と、第２カメラ７と、コンバイナ９とを備え、フロントウィンドウ２５、天井部２７、ボンネット２８、及びダッシュボード２９などを備える車両に取り付けられる。 [Configuration of head-up display]
FIG. 1 is a schematic configuration diagram of a head-up display 2 according to the present embodiment. As shown in FIG. 1, the head-up display 2 according to the present embodiment includes a light source unit 3, a control unit 4, a first camera 6, a second camera 7, and a combiner 9, and includes a front window 25, It is attached to a vehicle including a ceiling portion 27, a bonnet 28, a dashboard 29, and the like.
　光源ユニット３は、支持部材５ａ、５ｂを介して車室内の天井部２７に設置され、画像を構成する光をコンバイナ９に向けて出射する。具体的には、光源ユニット３は、制御部４によって生成された画像を構成する光をコンバイナ９へ出射することで、コンバイナ９を介して運転者に虚像「Ｉｖ」を認識させる。例えば、光源ユニット３は、レーザ光源やＬＣＤ光源などを有しており、このような光源から光を出射する。 The light source unit 3 is installed on the ceiling portion 27 in the vehicle compartment via the support members 5a and 5b, and emits light constituting the image toward the combiner 9. Specifically, the light source unit 3 causes the driver 9 to recognize the virtual image “Iv” via the combiner 9 by emitting light constituting the image generated by the control unit 4 to the combiner 9. For example, the light source unit 3 includes a laser light source, an LCD light source, and the like, and emits light from such a light source.
　コンバイナ９は、表示部として機能し、光源ユニット３から出射される表示像が投影されると共に、表示像を運転者の視点（アイポイント）Ｐｅへ反射することで当該表示像を虚像Ｉｖとして表示させる。また、コンバイナ９は、天井部２７に設置された支持軸部８を有し、支持軸部８を支軸として回動する。支持軸部８は、例えば、フロントウィンドウ２５の上端近傍の天井部２７、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。なお、支持軸部８は、上述のサンバイザに代えて設置されてもよい。 The combiner 9 functions as a display unit, and a display image emitted from the light source unit 3 is projected, and the display image is reflected to the driver's viewpoint (eye point) Pe to display the display image as a virtual image Iv. Let The combiner 9 has a support shaft portion 8 installed on the ceiling portion 27, and rotates around the support shaft portion 8 as a support shaft. The support shaft portion 8 is installed, for example, in the vicinity of the ceiling portion 27 in the vicinity of the upper end of the front window 25, in other words, the position where a sun visor (not shown) for the driver is installed. The support shaft portion 8 may be installed instead of the above-described sun visor.
　第１カメラ６は、ヘッドアップディスプレイ２によって形成された虚像Ｉｖが少なくとも含まれるような範囲を撮影する。第２カメラ７は、ユーザの目や手などが少なくとも含まれるような範囲を撮影する。第１カメラ６及び第２カメラ７は、撮影により得られた撮影画像を制御部４に供給する。 The first camera 6 photographs a range in which at least the virtual image Iv formed by the head-up display 2 is included. The second camera 7 captures a range that includes at least the user's eyes and hands. The first camera 6 and the second camera 7 supply a captured image obtained by photographing to the control unit 4.
　制御部４は、図示しないＣＰＵやＲＡＭ、ＲＯＭなどを有し、ヘッドアップディスプレイ２の全般的な制御を行う。具体的には、制御部４は、ユーザに提示するための画像を生成し、当該画像が表示されるように光源ユニット３に対する制御を行う。例えば、制御部４は、ユーザによって選択可能なボタンなどの画像を表示させる制御を行う。また、制御部４は、このようなボタンの画像を表示した場合において、ユーザが当該画像に対応する虚像Ｉｖを観察することにより手（指）で選択したボタンに応じた所定の動作を実行する。例えば、制御部４は、複数のボタンが提示されたメニュー画面を表示させ、ユーザによってボタンが選択された場合に、選択されたボタンに応じたコンテンツの画像を表示させる。このように、制御部４は、所謂エアータッチを実現するための制御を行う。 The control unit 4 includes a CPU, RAM, ROM, and the like (not shown), and performs general control of the head-up display 2. Specifically, the control unit 4 generates an image to be presented to the user, and controls the light source unit 3 so that the image is displayed. For example, the control unit 4 performs control to display images such as buttons that can be selected by the user. Further, when such a button image is displayed, the control unit 4 performs a predetermined operation corresponding to the button selected by the hand (finger) by observing the virtual image Iv corresponding to the image. . For example, the control unit 4 displays a menu screen on which a plurality of buttons are presented, and when a button is selected by the user, displays a content image corresponding to the selected button. In this way, the control unit 4 performs control for realizing so-called air touch.
　本実施例では、制御部４は、第１カメラ６及び第２カメラ７によって撮影された撮影画像に基づいてユーザと虚像Ｉｖとの距離及び角度を求め、当該距離及び当該角度に応じて、上記したようなボタンの虚像に対応する領域を拡張した領域であって、当該ボタンを選択可能な領域（以下、「選択可能領域」と呼ぶ。）を決定する。基本的には、選択可能領域は、ボタンの画像に対応する虚像を含み、当該虚像を取り囲むような領域である。また、制御部４は、第２カメラ７によって撮影された撮影画像に基づいて、ユーザが手（指）を動作させた際にボタンを選択するための動作を行っているものとして扱うような３次元空間上の領域（以下、「３次元反応領域」と呼ぶ。）を決定する。３次元反応領域は、ユーザと虚像位置との間に位置する領域（つまりユーザの前方に広がる３次元空間上の領域）であって、ユーザの体のサイズや虚像のサイズなどにより規定される。 In the present embodiment, the control unit 4 obtains the distance and angle between the user and the virtual image Iv based on the photographed images photographed by the first camera 6 and the second camera 7, and according to the distance and the angle, An area corresponding to the virtual image of the button as described above is expanded, and an area where the button can be selected (hereinafter referred to as “selectable area”) is determined. Basically, the selectable area is an area that includes a virtual image corresponding to the button image and surrounds the virtual image. Further, the control unit 4 treats the control unit 4 as if it is performing an operation for selecting a button when the user operates the hand (finger) based on the captured image captured by the second camera 7. A region in the dimensional space (hereinafter referred to as “three-dimensional reaction region”) is determined. The three-dimensional reaction region is a region located between the user and the virtual image position (that is, a region in a three-dimensional space extending in front of the user), and is defined by the size of the user's body, the size of the virtual image, and the like.
　すなわち、選択可能領域は、３次元反応領内に位置し、ユーザにとって少なくとも面方向の広さを有している。面方向の広さとは、一例としてユーザと虚像とを結ぶ直線に直行する面を意味し、ユーザが対面する仮想の面である。また、面方向の広さに加え、ユーザから虚像へ向かう奥行き方向の広さを有しても良い。この場合には、選択可能領域は虚像の２次元形状、もしくはその相似形を底面とする柱形状の立体空間となる。 That is, the selectable region is located within the three-dimensional reaction region and has at least a width in the plane direction for the user. The width in the surface direction means, for example, a surface orthogonal to a straight line connecting the user and the virtual image, and is a virtual surface that the user faces. Further, in addition to the width in the surface direction, it may have a width in the depth direction from the user toward the virtual image. In this case, the selectable region is a two-dimensional shape of a virtual image or a columnar three-dimensional space having a similar shape as a bottom surface.
　本実施例では、上記したように決定された選択可能領域及び３次元反応領域を用いて、エアータッチを実現する。具体的には、制御部４は、第２カメラ７によって撮影された撮影画像に基づいて、ユーザの指先の位置などを検出して、ユーザが３次元反応領域内でボタンを選択するような動作（例えばタッチ動作）を行ったか否かを判定する。制御部４は、ユーザが３次元反応領域内でボタンを選択するような動作を行ったと判定した場合、ユーザの指先の位置が選択可能領域（正確には、３次元反応領域上での選択可能領域に対応する領域）内にあるか否かを判定する。制御部４は、ユーザの指先の位置が選択可能領域内にあると判定した場合、当該選択可能領域に対応するボタンが選択されたと判断して、当該ボタンに応じた動作を実行する。 In this embodiment, air touch is realized by using the selectable area and the three-dimensional reaction area determined as described above. Specifically, the control unit 4 detects the position of the user's fingertip based on the captured image captured by the second camera 7, and the user selects a button within the three-dimensional reaction region. It is determined whether or not (for example, a touch operation) has been performed. When it is determined that the user has performed an operation of selecting a button in the three-dimensional reaction area, the control unit 4 can select the position of the user's fingertip (selectable on the three-dimensional reaction area). It is determined whether or not it is within an area corresponding to the area. When it is determined that the position of the user's fingertip is within the selectable area, the control unit 4 determines that a button corresponding to the selectable area has been selected, and executes an operation corresponding to the button.
　このように、制御部４は、本発明における「距離取得手段」、「物体検出手段」、「第一制御手段」、「第二制御手段」及び「角度取得手段」の一例である。 Thus, the control unit 4 is an example of “distance acquisition means”, “object detection means”, “first control means”, “second control means”, and “angle acquisition means” in the present invention.
　なお、図１に示したように表示部としてコンバイナ９を用いることに限定はされず、コンバイナ９の代わりにフロントガラスを表示部として用いても良い。また、光源ユニット３を天井部２７に設置することに限定はされず、天井部２７の代わりにダッシュボード２９の内部に光源ユニット３を設置しても良い。 In addition, it is not limited to using the combiner 9 as a display part as shown in FIG. 1, You may use a windshield as a display part instead of the combiner 9. FIG. The light source unit 3 is not limited to being installed on the ceiling portion 27, and the light source unit 3 may be installed inside the dashboard 29 instead of the ceiling portion 27.
　［制御部の構成］
　次に、図２を参照して、上記した制御部４の構成について説明する。ここでは、制御部４が行う制御の概要について簡単に説明する。 [Configuration of control unit]
Next, the configuration of the control unit 4 will be described with reference to FIG. Here, an outline of the control performed by the control unit 4 will be briefly described.
　図２に示すように、制御部４は、第１距離算出部４ａと、第２距離・第２角度算出部４ｂと、第３距離・第３角度算出部４ｃと、選択可能領域決定部４ｄと、指先位置検出部４ｅと、３次元反応領域決定部４ｆと、表示制御部４ｇとを有する。 As shown in FIG. 2, the control unit 4 includes a first distance calculation unit 4a, a second distance / second angle calculation unit 4b, a third distance / third angle calculation unit 4c, and a selectable area determination unit 4d. A fingertip position detection unit 4e, a three-dimensional reaction region determination unit 4f, and a display control unit 4g.
　第１距離算出部４ａは、第１カメラ６によって撮影された撮影画像を分析して、虚像Ｉｖのサイズなどを求めることで、所定の基準点から虚像Ｉｖまでの距離（以下、「第１距離」と呼ぶ。）を算出する。基準点は、第１カメラ６及び第２カメラ７の設置位置に応じて予め定められた点である（以下同様とする）。 The first distance calculation unit 4a analyzes the captured image captured by the first camera 6 and obtains the size of the virtual image Iv and the like, thereby obtaining a distance from a predetermined reference point to the virtual image Iv (hereinafter, “first distance”). ").) Is calculated. The reference point is a point determined in advance according to the installation positions of the first camera 6 and the second camera 7 (hereinafter the same).
　第２距離・第２角度算出部４ｂは、第２カメラ７によって撮影された撮影画像を分析して、ユーザの視点の位置などを求めることで、基準点から視点までの距離（以下、「第２距離」と呼ぶ。）、及び、基準点と視点とによって規定される角度（以下、「第２角度」と呼ぶ。）を算出する。第２角度は、虚像Ｉｖが形成される平面に平行で且つユーザの視点を通る平面に対して、基準点から垂直に引いた直線と、基準点と視点とを結んだ直線とが成す角度である。 The second distance / second angle calculation unit 4b analyzes the captured image captured by the second camera 7 and obtains the position of the user's viewpoint, and the distance from the reference point to the viewpoint (hereinafter referred to as “second”). And an angle defined by the reference point and the viewpoint (hereinafter referred to as “second angle”). The second angle is an angle formed by a straight line drawn perpendicularly from the reference point and a straight line connecting the reference point and the viewpoint with respect to a plane parallel to the plane on which the virtual image Iv is formed and passing through the user's viewpoint. is there.
　第３距離・第３角度算出部４ｃは、第１距離算出部４ａが算出した第１距離と、第２距離・第２角度算出部４ｂが算出した第２距離及び第２角度とに基づいて、虚像Ｉｖから視点までの距離（以下、「第３距離」と呼ぶ。）、及び、虚像Ｉｖと視点とが成す角度（以下、「第３角度」と呼ぶ。）を算出する。第３角度は、ユーザが虚像Ｉｖを見る際の視線方向と、虚像Ｉｖが形成される平面における法線方向とが成す角度である。ユーザが虚像Ｉｖを正面から観察する場合（つまり、ユーザの視線方向が、虚像Ｉｖが形成される平面に直交する場合）には、第３角度は０［°］となる。 The third distance / third angle calculation unit 4c is based on the first distance calculated by the first distance calculation unit 4a and the second distance and second angle calculated by the second distance / second angle calculation unit 4b. The distance from the virtual image Iv to the viewpoint (hereinafter referred to as “third distance”) and the angle formed by the virtual image Iv and the viewpoint (hereinafter referred to as “third angle”) are calculated. The third angle is an angle formed by the line-of-sight direction when the user views the virtual image Iv and the normal direction in the plane on which the virtual image Iv is formed. When the user observes the virtual image Iv from the front (that is, when the user's line-of-sight direction is orthogonal to the plane on which the virtual image Iv is formed), the third angle is 0 [°].
　選択可能領域決定部４ｄは、第３距離・第３角度算出部４ｃが算出した第３距離及び第３角度に基づいて、選択可能領域を決定する（詳細は後述する）。選択可能領域決定部４ｄは、こうして決定した選択可能領域をメモリなどに記憶させる。 The selectable area determination unit 4d determines a selectable area based on the third distance and the third angle calculated by the third distance / third angle calculation unit 4c (details will be described later). The selectable area determination unit 4d stores the selectable area thus determined in a memory or the like.
　指先位置検出部４ｅは、第２カメラ７によって撮影された撮影画像を分析することで、撮影画像中のユーザの指先の位置を検出する。指先位置検出部４ｅは、公知の画像解析の手法を用いて、撮影画像中のユーザの指先の位置を検出する。 The fingertip position detector 4e detects the position of the user's fingertip in the captured image by analyzing the captured image captured by the second camera 7. The fingertip position detection unit 4e detects the position of the user's fingertip in the captured image using a known image analysis technique.
　３次元反応領域決定部４ｆは、第２カメラ７によって撮影された撮影画像を分析して、ユーザの体の大きさなどを推定することで、３次元反応領域を決定する（詳細は後述する）。 The three-dimensional reaction region determination unit 4f determines a three-dimensional reaction region by analyzing a captured image captured by the second camera 7 and estimating the size of the user's body (details will be described later). .
　表示制御部４ｇは、指先位置検出部４ｅが検出した指先の位置が、３次元反応領域決定部４ｆが決定した３次元反応領域内にあり、且つ選択可能領域決定部４ｄが決定した選択可能領域内にある場合に、当該選択可能領域に対応するボタンに応じた動作を実行する。例えば、表示制御部４ｇは、当該選択可能領域に対応するボタンに応じたコンテンツの画像を表示させる制御を行う。 The display control unit 4g has the fingertip position detected by the fingertip position detection unit 4e within the three-dimensional reaction region determined by the three-dimensional reaction region determination unit 4f, and the selectable region determined by the selectable region determination unit 4d. If it is within, the operation corresponding to the button corresponding to the selectable area is executed. For example, the display control unit 4g performs control to display a content image corresponding to a button corresponding to the selectable area.
　［制御方法］
　次に、本実施例において制御部４が行う制御方法について具体的に説明する。 [Control method]
Next, the control method performed by the control unit 4 in this embodiment will be specifically described.
　まず、図３乃至図５を参照して、本実施例に係る選択可能領域の決定方法について具体的に説明する。 First, a method for determining a selectable area according to the present embodiment will be described in detail with reference to FIGS.
　図３は、選択可能領域を決定するに当たって使用する、ボロノイ領域を説明するための図を示す。本実施例では、ヘッドアップディスプレイ２によって虚像Ｉｖが形成される領域をボロノイ分割によって分割し、分割により得られた領域（ボロノイ領域）に従って、選択可能領域を決定する。 FIG. 3 is a diagram for explaining the Voronoi region used for determining the selectable region. In this embodiment, the region where the virtual image Iv is formed by the head-up display 2 is divided by Voronoi division, and the selectable region is determined according to the region (Voronoi region) obtained by the division.
　図３（ａ）は、ヘッドアップディスプレイ２による表示によってユーザが認識する虚像Ｉｖの一例を概略的に示している。具体的には、符号７１ａ～７１ｃは、選択ボタンに対応する虚像を概略的に示している。以下では、符号７１ａ～７１ｃで示す虚像を、「ボタン７１ａ～７１ｃ」と表記する。なお、図３（ａ）において、外枠線（実際には表示されない）で囲まれた領域は、ヘッドアップディスプレイ２による表示によって虚像Ｉｖが形成される領域に相当する（以下同様とする）。 FIG. 3A schematically shows an example of the virtual image Iv recognized by the user by the display by the head-up display 2. Specifically, reference numerals 71a to 71c schematically show virtual images corresponding to the selection buttons. Hereinafter, virtual images denoted by reference numerals 71a to 71c are referred to as “buttons 71a to 71c”. In FIG. 3A, a region surrounded by an outer frame line (not actually displayed) corresponds to a region where a virtual image Iv is formed by display by the head-up display 2 (hereinafter the same).
　図３（ｂ）は、虚像Ｉｖが形成される領域に対してボロノイ分割を施した図を示している。ここでは、ボタン７１ａ～７１ｃの重心７１ａｇ～７１ｃｇを母点としてボロノイ分割（重心ボロノイ分割）を行う例を示している。この例では、重心７１ａｇと重心７１ｂｇとを結んだ線分７５ａについての垂直二等分線７６ａと、重心７１ｂｇと重心７１ｃｇとを結んだ線分７５ｂについての垂直二等分線７６ｂと、重心７１ｃｇと重心７１ａｇとを結んだ線分７５ｃについての垂直二等分線７６ｃとをボロノイ境界として用いることで、虚像Ｉｖが形成される領域が分割される。これにより、ボロノイ領域７２ａ～７２ｃが得られる。ボロノイ領域７２ａ～７２ｃは、それぞれ、ボタン７１ａ～７１ｃについての勢力領域に相当する。 FIG. 3B shows a view in which Voronoi division is performed on the region where the virtual image Iv is formed. Here, an example is shown in which Voronoi division (centroid Voronoi division) is performed using the centroids 71ag to 71cg of the buttons 71a to 71c as the generating point. In this example, the vertical bisector 76a for the line segment 75a connecting the centroid 71ag and the centroid 71bg, the vertical bisector 76b for the line segment 75b connecting the centroid 71bg and the centroid 71cg, and the centroid 71cg. And the perpendicular bisector 76c of the line segment 75c connecting the center of gravity 71ag and the Voronoi boundary is used to divide the region where the virtual image Iv is formed. Thereby, Voronoi regions 72a to 72c are obtained. The Voronoi regions 72a to 72c correspond to the power regions for the buttons 71a to 71c, respectively.
　図３（ｃ）は、ボロノイ領域７２ａ～７２ｃにより規定される、ボタン７１ａ～７１ｃの選択可能領域７３ａ～７３ｃ（破線で示す）の一例を示している。図示のように、選択可能領域７３ａ～７３ｃは、ボタン７１ａ～７１ｃよりも大きなサイズを有していると共に、ボタン７１ａ～７１ｃと相似な形状（矩形形状）を有している。本実施例では、前述したように、選択可能領域決定部４ｄが、虚像Ｉｖから視点までの第３距離、及び虚像Ｉｖと視点とが成す第３角度に基づいて、選択可能領域７３ａ～７３ｃのサイズを変化させる。具体的には、選択可能領域決定部４ｄは、第３距離及び第３角度に基づいて、ボロノイ領域７２ａ～７２ｃ内において、選択可能領域７３ａ～７３ｃのサイズを変化させる。つまり、選択可能領域決定部４ｄは、ボタン７１ａ～７１ｃに対応する領域をボロノイ領域７２ａ～７２ｃに向けてサイズを変化させた領域を、選択可能領域７３ａ～７３ｃとして用いる。 FIG. 3C shows an example of selectable areas 73a to 73c (shown by broken lines) of the buttons 71a to 71c defined by the Voronoi areas 72a to 72c. As shown in the figure, the selectable areas 73a to 73c are larger in size than the buttons 71a to 71c, and have a shape (rectangular shape) similar to the buttons 71a to 71c. In the present embodiment, as described above, the selectable area determination unit 4d determines that the selectable areas 73a to 73c are based on the third distance from the virtual image Iv to the viewpoint and the third angle formed by the virtual image Iv and the viewpoint. Change the size. Specifically, the selectable area determination unit 4d changes the sizes of the selectable areas 73a to 73c in the Voronoi areas 72a to 72c based on the third distance and the third angle. In other words, the selectable area determining unit 4d uses, as the selectable areas 73a to 73c, areas whose sizes are changed from the areas corresponding to the buttons 71a to 71c toward the Voronoi areas 72a to 72c.
　なお、以下では、ボタン７１ａ～７１ｃを区別しない場合には「ボタン７１」と表記し、ボロノイ領域７２ａ～７２ｃを区別しない場合には「ボロノイ領域７２」と表記し、選択可能領域７３ａ～７３ｃを区別しない場合には「選択可能領域７３」と表記する。 In the following description, when the buttons 71a to 71c are not distinguished from each other, the buttons 71a to 71c are referred to as “buttons 71”. When not distinguished, it is described as “selectable area 73”.
　ここで、上記のように第３距離及び第３角度に基づいて選択可能領域７３のサイズを変化させる理由について、図４を参照して説明する。図４は、ユーザと、３次元反応領域８０と、虚像Ｉｖ（詳しくは虚像Ｉｖが形成される平面を示している）との位置関係を模式的に示している。具体的には、ユーザと、３次元反応領域８０と、虚像Ｉｖとを上方から観察した図を示している。 Here, the reason why the size of the selectable area 73 is changed based on the third distance and the third angle as described above will be described with reference to FIG. FIG. 4 schematically shows the positional relationship between the user, the three-dimensional reaction region 80, and the virtual image Iv (specifically, a plane on which the virtual image Iv is formed). Specifically, the figure which observed the user, the three-dimensional reaction area | region 80, and the virtual image Iv from upper direction is shown.
　図４（ａ）は、ユーザと虚像Ｉｖとの距離が大きい場合の例を示している。この場合には、ユーザには虚像Ｉｖが小さく見える傾向にある。そのため、例えば、指の大きさに対してボタン７１に対応する領域が小さくなるような場合があり、その場合にはユーザはボタン７１を選択しづらくなると言える。したがって、ユーザと虚像Ｉｖとの距離が大きい場合には、選択可能領域７３を大きくすることが望ましいと考えられる。 FIG. 4A shows an example where the distance between the user and the virtual image Iv is large. In this case, the virtual image Iv tends to appear small to the user. For this reason, for example, the area corresponding to the button 71 may be smaller with respect to the size of the finger. In this case, it can be said that the user has difficulty selecting the button 71. Therefore, when the distance between the user and the virtual image Iv is large, it may be desirable to increase the selectable area 73.
　図４（ｂ）は、ユーザと虚像Ｉｖとの距離が小さい場合の例を示している。この場合には、ユーザには虚像Ｉｖが大きく見える。そのため、例えば、ボタン７１に対応する領域が、ユーザが選択するのに十分なサイズであるような場合があり、その場合には、ボタン７１に対応する領域からある程度離れた領域を選択してもボタン選択の反応をしてしまうことで、タッチ精度が落ちたとユーザが感じてしまう可能性がある。したがって、ユーザと虚像Ｉｖとの距離が小さい場合には、選択可能領域７３を小さくすることが望ましいと考えられる。 FIG. 4B shows an example where the distance between the user and the virtual image Iv is small. In this case, the virtual image Iv looks large to the user. For this reason, for example, the area corresponding to the button 71 may be sufficiently large for the user to select. In this case, even if an area far from the area corresponding to the button 71 is selected. There is a possibility that the user may feel that the touch accuracy has been reduced by reacting to the button selection. Therefore, when the distance between the user and the virtual image Iv is small, it may be desirable to reduce the selectable area 73.
　図４（ｃ）は、ユーザが虚像Ｉｖを斜め方向から観察する場合の例を示している。つまり、ユーザが虚像Ｉｖを見る際の視線方向が、虚像Ｉｖに対応する平面に直交しない場合の例を示している。この場合には、斜め方向からエアータッチで選択を行うこととなるため、指先の方向とボタン７１との位置関係が判りづらいと言える。したがって、ユーザが虚像Ｉｖを斜め方向から観察する場合には、選択し易さを優先して、選択可能領域７３を大きくすることが望ましいと考えられる。 FIG. 4C shows an example in which the user observes the virtual image Iv from an oblique direction. That is, an example is shown in which the viewing direction when the user views the virtual image Iv is not orthogonal to the plane corresponding to the virtual image Iv. In this case, since the selection is performed by air touch from an oblique direction, it can be said that the positional relationship between the direction of the fingertip and the button 71 is difficult to understand. Therefore, when the user observes the virtual image Iv from an oblique direction, it is considered desirable to enlarge the selectable area 73 in consideration of ease of selection.
　以上のことから、本実施例では、選択可能領域決定部４ｄは、虚像Ｉｖから視点までの第３距離が大きい場合には、第３距離が小さい場合に比して、選択可能領域７３を大きくする。言い換えると、選択可能領域決定部４ｄは、第３距離が小さい場合には、第３距離が大きい場合に比して、選択可能領域７３を小さくする。更に、本実施例では、選択可能領域決定部４ｄは、虚像Ｉｖと視点とが成す第３角度が大きい場合には、第３角度が小さい場合に比して、選択可能領域７３を大きくする。 From the above, in this embodiment, the selectable area determination unit 4d increases the selectable area 73 when the third distance from the virtual image Iv to the viewpoint is large compared to when the third distance is small. To do. In other words, when the third distance is small, the selectable area determination unit 4d makes the selectable area 73 smaller than when the third distance is large. Furthermore, in the present embodiment, the selectable area determination unit 4d enlarges the selectable area 73 when the third angle formed by the virtual image Iv and the viewpoint is large compared to when the third angle is small.
　また、選択可能領域決定部４ｄは、上記のように選択可能領域７３を大きくする場合に、選択可能領域７３がボロノイ領域７２を超えないようにする。例えば、選択可能領域決定部４ｄは、選択可能領域７３がボロノイ領域７２のボロノイ境界７６に接する際のサイズを、選択可能領域７３の最大サイズとし、この最大サイズを超えないように選択可能領域７３のサイズを変える。因みに、選択可能領域７３の最小サイズは、例えばボタン７１のサイズやボタン７１よりも若干小さいサイズが用いられる。 Also, the selectable area determination unit 4d prevents the selectable area 73 from exceeding the Voronoi area 72 when the selectable area 73 is enlarged as described above. For example, the selectable area determination unit 4d sets the size when the selectable area 73 is in contact with the Voronoi boundary 76 of the Voronoi area 72 as the maximum size of the selectable area 73, and the selectable area 73 so as not to exceed this maximum size. Change the size. Incidentally, as the minimum size of the selectable area 73, for example, the size of the button 71 or a size slightly smaller than the button 71 is used.
　図５は、第３距離及び第３角度に基づいて決定された選択可能領域７３の一例を示している。図５（ａ）は、第３距離及び／又は第３角度が大きい場合に決定された選択可能領域７３ａａ～７３ｃａの一例を示しており、図５（ｂ）は、第３距離及び／又は第３角度が小さい場合に決定された選択可能領域７３ａｂ～７３ｃｂの一例を示している。これより、図５（ａ）に示す選択可能領域７３ａａ～７３ｃａは、図５（ｂ）に示す選択可能領域７３ａｂ～７３ｃｂよりも、サイズが大きいことがわかる。言い換えると、図５（ｂ）に示す選択可能領域７３ａｂ～７３ｃｂは、図５（ａ）に示す選択可能領域７３ａａ～７３ｃａよりも、サイズが小さいことがわかる。 FIG. 5 shows an example of the selectable area 73 determined based on the third distance and the third angle. FIG. 5A shows an example of selectable areas 73aa to 73ca determined when the third distance and / or the third angle is large, and FIG. 5B shows the third distance and / or the third distance. An example of selectable areas 73ab to 73cb determined when the three angles are small is shown. Thus, it can be seen that the selectable areas 73aa to 73ca shown in FIG. 5A are larger in size than the selectable areas 73ab to 73cb shown in FIG. In other words, the selectable areas 73ab to 73cb shown in FIG. 5B are smaller in size than the selectable areas 73aa to 73ca shown in FIG.
　このように第３距離及び第３角度によってサイズが変化された選択可能領域７３を用いることで、エアータッチを適切に実現することが可能となる。具体的には、第３距離や第３角度が大きい場合に選択可能領域７３を大きくすることで、ボタン７１が選択し易くなる、つまりユーザによるエアータッチの成功精度を高めることができる。また、第３距離が小さい場合に選択可能領域７３を小さくすることで、タッチ精度が落ちたとユーザが感じてしまうことを適切に抑制することができる。 As described above, by using the selectable area 73 whose size is changed by the third distance and the third angle, it is possible to appropriately realize the air touch. Specifically, by increasing the selectable area 73 when the third distance or the third angle is large, the button 71 can be easily selected, that is, the accuracy of successful air touch by the user can be increased. Further, by reducing the selectable area 73 when the third distance is small, it is possible to appropriately suppress the user from feeling that the touch accuracy has decreased.
　次に、図６を参照して、第１距離、第２距離、第２角度、第３距離及び第３角度の算出方法について具体的に説明する。前述したように、第１距離は、第１距離算出部４ａによって算出され、第２距離及び第２角度は、第２距離・第２角度算出部４ｂによって算出され、第３距離及び第３角度は、第３距離・第３角度算出部４ｃによって算出される。 Next, the calculation method of the first distance, the second distance, the second angle, the third distance, and the third angle will be specifically described with reference to FIG. As described above, the first distance is calculated by the first distance calculation unit 4a, the second distance and the second angle are calculated by the second distance / second angle calculation unit 4b, and the third distance and the third angle are calculated. Is calculated by the third distance / third angle calculator 4c.
　図６（ａ）は、符号Ａで示すように、ユーザが虚像Ｉｖを正面から観察している場合の図を示している。この場合には、ユーザの視点Ｐｅａと虚像Ｉｖとが成す角度（第３角度）は「０」である。 FIG. 6A shows a view when the user is observing the virtual image Iv from the front, as indicated by reference numeral A. FIG. In this case, the angle (third angle) formed by the user's viewpoint Pea and the virtual image Iv is “0”.
　まず、第１距離算出部４ａは、第１カメラ６によって撮影された撮影画像を分析することで、基準点Ｐ１から虚像Ｉｖまでの第１距離Ｘａ１を算出する。例えば、第１距離算出部４ａは、撮影画像中の虚像Ｉｖの大きさなどに基づいて、第１距離Ｘａ１を算出する。なお、図６では、第１カメラ６と第２カメラ７との間の所定位置（１つの例では中間位置）に基準点Ｐ１が設定されている場合を例示している。 First, the first distance calculation unit 4a calculates a first distance Xa1 from the reference point P1 to the virtual image Iv by analyzing a photographed image photographed by the first camera 6. For example, the first distance calculation unit 4a calculates the first distance Xa1 based on the size of the virtual image Iv in the captured image. 6 illustrates a case where the reference point P1 is set at a predetermined position (an intermediate position in one example) between the first camera 6 and the second camera 7.
　次に、第２距離・第２角度算出部４ｂは、第２カメラ７によって撮影された撮影画像を分析することで、基準点Ｐ１から視点Ｐｅａまでの第２距離Ｘａ２を算出する。１つの例では、第２距離・第２角度算出部４ｂは、撮影画像中のユーザの顔や目などの大きさや位置に基づいて、このような第２距離Ｘａ２を算出する。他の例では、ユーザが座るシート上に予めマーカを付しておき、第２距離・第２角度算出部４ｂは、このようなマーカの大きさや位置に基づいて、第２距離Ｘａ２を算出する。 Next, the second distance / second angle calculation unit 4b calculates a second distance Xa2 from the reference point P1 to the viewpoint Pea by analyzing a photographed image photographed by the second camera 7. In one example, the second distance / second angle calculation unit 4b calculates the second distance Xa2 based on the size and position of the user's face and eyes in the captured image. In another example, a marker is attached in advance on the seat on which the user sits, and the second distance / second angle calculation unit 4b calculates the second distance Xa2 based on the size and position of the marker. .
　次に、第３距離・第３角度算出部４ｃは、第１距離算出部４ａが算出した第１距離Ｘａ１と、第２距離・第２角度算出部４ｂが算出した第２距離Ｘａ２とに基づいて、虚像Ｉｖから視点Ｐｅａまでの第３距離Ｙａを算出する。この場合、第３距離・第３角度算出部４ｃは、図６（ａ）中の角度「φ１」及び「φ２」によって規定される、第１カメラ６及び第２カメラ７の取り付け内角（以下では適宜「φ」と表記する。「φ＝φ１＋φ２」である。）も用いて、第３距離Ｙａを算出する。具体的には、第３距離・第３角度算出部４ｃは、余弦定理より、以下の式（１）より、第３距離Ｙａを算出する。 Next, the third distance / third angle calculation unit 4c is based on the first distance Xa1 calculated by the first distance calculation unit 4a and the second distance Xa2 calculated by the second distance / second angle calculation unit 4b. Thus, the third distance Ya from the virtual image Iv to the viewpoint Pea is calculated. In this case, the third distance / third angle calculation unit 4c attaches the first camera 6 and the second camera 7 with the internal angles (hereinafter referred to as “φ1” and “φ2” in FIG. 6A). The third distance Ya is also calculated using “φ” as appropriate (“φ = φ1 + φ2”). Specifically, the third distance / third angle calculation unit 4c calculates the third distance Ya from the following equation (1) based on the cosine theorem.
　Ｙａ＝｛Ｘａ１２＋Ｘａ２２－Ｘａ１・Ｘａ２・２ｃｏｓ（φ１＋φ２）｝１／２　　（１）
　例えば、取り付け内角φは、第１カメラ６及び第２カメラ７のそれぞれに回転角度を検出可能なポテンショメータを搭載しておき（ポテンショメータは回転角度に応じて抵抗値が変化する）、当該ポテンショメータの出力に基づいて求めることができる。なお、図６（ａ）では、基準点Ｐ１からの垂直方向を基準にして、「φ１」及び「φ２」を規定する例を示したが、この代わりに、基準点Ｐ１からの水平方向を基準にして、「φ１」及び「φ２」を規定しても良い（この場合には、取り付け内角φは、「φ＝π－（φ１＋φ２）」となる）。 Ya = {Xa1 2 + Xa2 2 −Xa1 · Xa2 · 2 cos (φ1 + φ2)} 1/2 (1)
For example, for the mounting internal angle φ, a potentiometer capable of detecting the rotation angle is mounted on each of the first camera 6 and the second camera 7 (the resistance value of the potentiometer changes according to the rotation angle), and the output of the potentiometer Can be determined based on 6A shows an example in which “φ1” and “φ2” are defined based on the vertical direction from the reference point P1, but instead, the horizontal direction from the reference point P1 is used as a reference. Thus, “φ1” and “φ2” may be defined (in this case, the mounting inner angle φ is “φ = π− (φ1 + φ2)”).
　図６（ｂ）は、符号Ｂで示すように、ユーザが虚像Ｉｖを斜め方向から観察している場合の図を示している。この場合には、ユーザの視点Ｐｅｂと虚像Ｉｖとが成す角度（第３角度）は「β」であるものとする。なお、図６（ｂ）では、ユーザが虚像Ｉｖを正面から観察している場合の図を破線にて重ねて示している（符号Ａ参照）。 FIG. 6B shows a diagram when the user is observing the virtual image Iv from an oblique direction, as indicated by reference numeral B. FIG. In this case, the angle (third angle) formed by the user's viewpoint Peb and the virtual image Iv is “β”. In FIG. 6B, a diagram in the case where the user is observing the virtual image Iv from the front is shown by overlapping with a broken line (see reference A).
　まず、第１距離算出部４ａは、第１カメラ６によって撮影された撮影画像を分析することで、基準点Ｐ１から虚像Ｉｖまでの第１距離Ｘａ１を算出する。第１距離Ｘａ１の算出方法は、上記した方法と同様である。 First, the first distance calculation unit 4a calculates a first distance Xa1 from the reference point P1 to the virtual image Iv by analyzing a photographed image photographed by the first camera 6. The calculation method of the first distance Xa1 is the same as that described above.
　次に、第２距離・第２角度算出部４ｂは、第２カメラ７によって撮影された撮影画像を分析することで、基準点Ｐ１から視点Ｐｅｂまでの第２距離Ｘｂ２を算出する。第２距離Ｘｂ２の算出方法は、上記した方法と同様である。これと同時に、第２距離・第２角度算出部４ｂは、第２カメラ７によって撮影された撮影画像を分析することで、基準点Ｐ１と視点Ｐｅｂとによって規定される第２角度ωを算出する。第２角度ωは、以下のように規定される。第１カメラ６及び第２カメラ７の直線上に、虚像の中心から延びる線分Ｙａ’を規定すると共に、この線分Ｙａ’と、視点Ｐｅｂの水平線である線分Ｚとの交点Ｐ２を規定する（線分Ｙａ’と線分Ｚとの内角は「π／２」である）。そうすると、第２角度ωは、基準点Ｐ１と点Ｐ２とを結んだ直線と、基準点Ｐ１と視点Ｐｅｂとを結んだ直線とが成す角度として規定される。第２角度ωも、例えば第２カメラ７による撮影画像中のユーザの顔や目などの大きさや位置に基づいて求めることができる。なお、第２距離・第２角度算出部４ｂは、第２カメラ７による撮影画像に基づいて、基準点Ｐ１から点Ｐ２までの距離Ｘａ２’も求めるものとする（距離Ｘａ２’に対応する線分と線分Ｚとの内角は「π／２」である）。 Next, the second distance / second angle calculation unit 4b calculates a second distance Xb2 from the reference point P1 to the viewpoint Peb by analyzing a photographed image photographed by the second camera 7. The calculation method of the second distance Xb2 is the same as that described above. At the same time, the second distance / second angle calculation unit 4b analyzes the captured image captured by the second camera 7 to calculate the second angle ω defined by the reference point P1 and the viewpoint Peb. . The second angle ω is defined as follows. A line segment Ya ′ extending from the center of the virtual image is defined on the straight line of the first camera 6 and the second camera 7, and an intersection point P2 between the line segment Ya ′ and a line segment Z that is a horizontal line of the viewpoint Peb is defined. (The interior angle between the line segment Ya ′ and the line segment Z is “π / 2”). Then, the second angle ω is defined as an angle formed by a straight line connecting the reference point P1 and the point P2 and a straight line connecting the reference point P1 and the viewpoint Peb. The second angle ω can also be obtained based on the size and position of the user's face and eyes in the image taken by the second camera 7, for example. Note that the second distance / second angle calculation unit 4b also calculates a distance Xa2 ′ from the reference point P1 to the point P2 based on an image captured by the second camera 7 (a line segment corresponding to the distance Xa2 ′). And the internal angle of the line segment Z is “π / 2”).
　次に、第３距離・第３角度算出部４ｃは、第１距離算出部４ａが算出した第１距離Ｘａ１と、第２距離・第２角度算出部４ｂが算出した第２距離Ｘｂ２及び第２角度ωとに基づいて、虚像Ｉｖから視点Ｐｅｂまでの第３距離Ｙｂ、及び、ユーザが虚像Ｉｖを見る際の視線方向と虚像Ｉｖが形成される平面における法線方向とが成す第３角度βを算出する。具体的には、第３距離・第３角度算出部４ｃは、第１距離Ｘａ１、第２距離Ｘｂ２、第２角度ω、及び距離Ｘａ２’に基づいて、線分Ｚの長さ及び線分Ｙａ’の長さを求めて、これらを用いて第３距離Ｙｂ及び第３角度βを算出する。線分Ｚの長さは、三角関数より、以下の式（２）より算出される。また、線分Ｙａ’の長さは、余弦定理より、以下の式（３）より算出される。 Next, the third distance / third angle calculator 4c includes the first distance Xa1 calculated by the first distance calculator 4a, the second distance Xb2 calculated by the second distance / second angle calculator 4b, and the second distance Xb2. Based on the angle ω, the third distance Yb formed by the third distance Yb from the virtual image Iv to the viewpoint Peb and the line-of-sight direction when the user views the virtual image Iv and the normal direction in the plane on which the virtual image Iv is formed. Is calculated. Specifically, the third distance / third angle calculation unit 4c determines the length of the line segment Z and the line segment Ya based on the first distance Xa1, the second distance Xb2, the second angle ω, and the distance Xa2 ′. The length of 'is obtained, and the third distance Yb and the third angle β are calculated using these. The length of the line segment Z is calculated from the following equation (2) using a trigonometric function. Further, the length of the line segment Ya ′ is calculated from the following equation (3) from the cosine theorem.
　Ｚ＝Ｘｂ２・ｓｉｎω　　（２）
　Ｙａ’＝｛Ｘａ１２＋Ｘａ２’２－Ｘａ１・Ｘａ２’・２ｃｏｓ（φ１＋φ２）｝１／２　（３）
　以上の線分Ｚ、Ｙａ’の長さを用いて、第３距離・第３角度算出部４ｃは、以下の式（４）より、第３距離Ｙｂを算出すると共に、以下の式（５）より、第３角度βを算出する。 Z = Xb2 · sinω (2)
Ya ′ = {Xa1 2 + Xa2 ′ 2 −Xa1 · Xa2 ′ · 2 cos (φ1 + φ2)} 1/2 (3)
Using the lengths of the line segments Z and Ya ′ described above, the third distance / third angle calculation unit 4c calculates the third distance Yb from the following equation (4) and the following equation (5). Thus, the third angle β is calculated.
　Ｙｂ＝（Ｚ２＋Ｙａ’２）１／２　　（４）
　β＝ｔａｎ－１（Ｚ／Ｙａ’）　　（５）
　なお、上記のような手順で第３距離Ｙａ、Ｙｂ及び第３角度βを求めることに限定はされない。例えば、第３距離Ｙａ、Ｙｂ及び第３角度βを求めるに当たって、第１距離Ｘａ１、第２距離Ｘａ２、Ｘｂ２、及び第２角度ωなどを用いることに限定はされない。これ以外のパラメータを用いて第３距離Ｙａ、Ｙｂ及び第３角度βを求めても良い。 Yb = (Z 2 + Ya ′ 2 ) 1/2 (4)
β = tan −1 (Z / Ya ′) (5)
The third distances Ya and Yb and the third angle β are not limited to the above procedure. For example, in obtaining the third distances Ya and Yb and the third angle β, the first distance Xa1, the second distances Xa2 and Xb2, the second angle ω, and the like are not limited. The third distances Ya and Yb and the third angle β may be obtained using other parameters.
　ここで、図７を参照して、上記のように算出された第３距離Ｙａ、Ｙｂ及び第３角度βに基づいて、選択可能領域７３のサイズを決定する方法の一例について説明する。 Here, an example of a method of determining the size of the selectable area 73 based on the third distances Ya and Yb and the third angle β calculated as described above will be described with reference to FIG.
　図７は、選択可能領域７３のサイズを決定するためのテーブル（マップ）の一例を示している。具体的には、図７は、横軸に、選択可能領域７３のサイズを示しており、縦軸に、第３距離Ｙａ、Ｙｂ及び第３角度βを示している（以下では、Ｙａ、Ｙｂを区別しない場合には、単に「Ｙ」と表記する）。図７に示すようなテーブルによれば、第３距離Ｙ及び／又は第３角度βが大きい場合には、第３距離Ｙ及び／又は第３角度βが小さい場合に比して、大きなサイズを有する選択可能領域７３が決定される。このようなテーブルは、例えば、第３距離Ｙ及び第３角度βのそれぞれに基づいて規定されたものが別個に用意される。 FIG. 7 shows an example of a table (map) for determining the size of the selectable area 73. Specifically, in FIG. 7, the horizontal axis indicates the size of the selectable area 73, and the vertical axis indicates the third distances Ya, Yb and the third angle β (hereinafter, Ya, Yb Are simply written as “Y”). According to the table shown in FIG. 7, when the third distance Y and / or the third angle β is large, the size is larger than when the third distance Y and / or the third angle β is small. The selectable area 73 is determined. As such a table, for example, a table defined based on each of the third distance Y and the third angle β is prepared separately.
　なお、図７に示したような一次関数で表されたテーブルを用いることに限定はされず、二次間数などの曲線で表されたテーブルを用いても良い。また、第３距離Ｙ及び／又は第３角度βに応じて選択可能領域７３のサイズが連続的に変化するようなテーブルを用いることに限定はされず、第３距離Ｙ及び／又は第３角度βに応じて選択可能領域７３のサイズが段階的に変化するようなテーブルを用いても良い。 In addition, it is not limited to using the table represented by the linear function as shown in FIG. 7, and a table represented by a curve such as the number of quadratic intervals may be used. The third distance Y and / or the third angle is not limited to using a table in which the size of the selectable region 73 is continuously changed according to the third distance Y and / or the third angle β. A table in which the size of the selectable area 73 changes stepwise according to β may be used.
　次に、図８を参照して、３次元反応領域の決定方法について具体的に説明する。図８は、３次元反応領域８０の一例を示している。前述したように、本実施例では、３次元反応領域決定部４ｆが、第２カメラ７によって撮影された撮影画像を分析して、ユーザの体の大きさ（例えば座高）などを推定することで、３次元反応領域８０を決定する。具体的には、３次元反応領域決定部４ｆは、ユーザの体の大きさより腕の長さを推定する。体の大きさと腕の長さの関係は、予め多数のサンプルを調査した上で、テーブルなどにまとめておけばよい。そして、当該腕の長さから、ユーザが腕を前方に伸ばしたときの長さを推定する。そして、３次元反応領域決定部４ｆは、腕を前方に伸ばしたときの長さを、３次元反応領域８０における奥行き方向（ユーザの前方方向に相当する）の長さに設定する。つまり、３次元反応領域８０における奥行き方向の長さは、ユーザの腕の長さが長いほど大きくなり、ユーザの腕の長さが短いほど小さくなるのである。また、図８に示すように、３次元反応領域決定部４ｆは、虚像Ｉｖと平行な平面を、３次元反応領域８０における底面（３次元反応領域８０においてユーザに面する側の面）に設定する。 Next, a method for determining a three-dimensional reaction region will be described in detail with reference to FIG. FIG. 8 shows an example of the three-dimensional reaction region 80. As described above, in the present embodiment, the three-dimensional reaction region determination unit 4f analyzes the captured image captured by the second camera 7 and estimates the size of the user's body (for example, sitting height). A three-dimensional reaction region 80 is determined. Specifically, the three-dimensional reaction region determination unit 4f estimates the arm length from the size of the user's body. The relationship between the size of the body and the length of the arm may be summarized on a table after a large number of samples have been investigated in advance. Then, the length when the user extends the arm forward is estimated from the length of the arm. Then, the three-dimensional reaction region determination unit 4f sets the length when the arm is extended forward to the length in the depth direction (corresponding to the user's forward direction) in the three-dimensional reaction region 80. That is, the length in the depth direction in the three-dimensional reaction region 80 increases as the length of the user's arm increases, and decreases as the length of the user's arm decreases. As shown in FIG. 8, the three-dimensional reaction region determination unit 4f sets a plane parallel to the virtual image Iv to the bottom surface of the three-dimensional reaction region 80 (the surface facing the user in the three-dimensional reaction region 80). To do.
　なお、３次元反応領域８０が車両のフロントガラスよりも前方に位置しないように、３次元反応領域８０を設定することが好ましい。つまり、３次元反応領域８０がフロントガラスを跨がないように設定することが好ましい。例えば、上記したように推定される腕を前方に伸ばしたときの長さが、ユーザとフロントガラスとの距離よりも短い場合に、３次元反応領域決定部４ｆは、ユーザとフロントガラスとの距離を、３次元反応領域８０における奥行き方向の長さに設定することができる。これによって、フロントガラスの向こう側で行われたタッチ動作などに反応することが回避できる。なお、ユーザとフロントガラスとの距離は、第２カメラ７によって撮影された撮影画像やシート位置などに基づいて推定することができる。 In addition, it is preferable to set the three-dimensional reaction region 80 so that the three-dimensional reaction region 80 is not positioned in front of the vehicle windshield. That is, it is preferable to set so that the three-dimensional reaction region 80 does not straddle the windshield. For example, when the length when the estimated arm is extended forward is shorter than the distance between the user and the windshield, the three-dimensional reaction region determination unit 4f determines the distance between the user and the windshield. Can be set to the length of the three-dimensional reaction region 80 in the depth direction. Accordingly, it is possible to avoid reacting to a touch operation performed on the other side of the windshield. Note that the distance between the user and the windshield can be estimated based on a captured image captured by the second camera 7, a sheet position, and the like.
　また、図８では３次元反応領域８０が直方体の形状を有しているが、直方体の形状に３次元反応領域８０を構成することに限定はされない。他の例では、虚像Ｉｖの方向に向かって窄まっていくような形状に、３次元反応領域８０を構成しても良い。また、上記では、虚像Ｉｖと平行な平面を３次元反応領域８０の底面に設定する例を示したが、このような虚像Ｉｖと平行な平面の代わりに、ユーザが腕を上下左右に広げたときの長さによって規定される平面を、３次元反応領域８０の底面に設定しても良い。 In FIG. 8, the three-dimensional reaction region 80 has a rectangular parallelepiped shape. However, the three-dimensional reaction region 80 is not limited to the rectangular parallelepiped shape. In another example, the three-dimensional reaction region 80 may be configured in a shape that narrows toward the virtual image Iv. Further, in the above, an example in which a plane parallel to the virtual image Iv is set on the bottom surface of the three-dimensional reaction region 80 is shown, but instead of such a plane parallel to the virtual image Iv, the user spreads his arms up, down, left, and right. A plane defined by the length of time may be set on the bottom surface of the three-dimensional reaction region 80.
　ところで、前述した表示制御部４ｇは、ユーザの指先の位置が選択可能領域７３内にあるか否かを判定する場合、３次元反応領域８０上での選択可能領域７３に対応する領域を用いることとなる。選択可能領域決定部４ｄによって決定された選択可能領域７３は虚像上で規定されるため、当該選択可能領域７３を３次元反応領域８０上での領域に変換する必要がある。例えば、虚像Ｉｖが形成される平面上での選択可能領域７３を、３次元反応領域８０に向かって水平に移動させることにより、３次元反応領域８０内に形成される３次元領域が、３次元反応領域８０上での選択可能領域７３に対応する領域として用いられる。 By the way, the display control unit 4g described above uses an area corresponding to the selectable area 73 on the three-dimensional reaction area 80 when determining whether or not the position of the fingertip of the user is within the selectable area 73. It becomes. Since the selectable area 73 determined by the selectable area determining unit 4d is defined on a virtual image, it is necessary to convert the selectable area 73 into an area on the three-dimensional reaction area 80. For example, by moving the selectable region 73 on the plane where the virtual image Iv is formed horizontally toward the three-dimensional reaction region 80, the three-dimensional region formed in the three-dimensional reaction region 80 is three-dimensional. It is used as an area corresponding to the selectable area 73 on the reaction area 80.
　［処理フロー］
　次に、図９乃至図１１を参照して、本実施例において制御部４が行う処理について具体的に説明する。 [Processing flow]
Next, processing performed by the control unit 4 in the present embodiment will be specifically described with reference to FIGS. 9 to 11.
　図９は、選択可能領域７３を決定するための処理フローを示している。まず、ステップＳ１０１では、第１距離算出部４ａが、第１カメラ６によって撮影された撮影画像を分析して、虚像Ｉｖのサイズなどを求めることで、基準点から虚像Ｉｖまでの第１距離を算出する。そして、処理はステップＳ１０２に進む。 FIG. 9 shows a processing flow for determining the selectable area 73. First, in step S101, the first distance calculation unit 4a analyzes the captured image captured by the first camera 6 and obtains the first distance from the reference point to the virtual image Iv by obtaining the size of the virtual image Iv and the like. calculate. Then, the process proceeds to step S102.
　ステップＳ１０２では、第２距離・第２角度算出部４ｂが、第２カメラ７によって撮影された撮影画像を分析して、ユーザの視点の位置などを求めることで、基準点から視点までの第２距離、及び、基準点と視点とによって規定される第２角度を算出する。そして、処理はステップＳ１０３に進む。 In step S102, the second distance / second angle calculation unit 4b analyzes the captured image captured by the second camera 7, and obtains the position of the user's viewpoint, etc., so that the second distance from the reference point to the viewpoint is determined. The second angle defined by the distance and the reference point and the viewpoint is calculated. Then, the process proceeds to step S103.
　ステップＳ１０３では、第３距離・第３角度算出部４ｃが、ステップＳ１０１で算出された第１距離と、ステップＳ１０２で算出された第２距離及び第２角度とに基づいて、虚像Ｉｖから視点までの第３距離、及び、虚像Ｉｖと視点とが成す第３角度を算出する。そして、処理はステップＳ１０４に進む。 In step S103, the third distance / third angle calculation unit 4c determines from the virtual image Iv to the viewpoint based on the first distance calculated in step S101 and the second distance and second angle calculated in step S102. And a third angle formed by the virtual image Iv and the viewpoint is calculated. Then, the process proceeds to step S104.
　ステップＳ１０４では、選択可能領域決定部４ｄが、ステップＳ１０３で算出された第３距離及び第３角度に基づいて、選択可能領域７３を決定する。具体的には、まず、選択可能領域決定部４ｄは、表示すべきボタン７１の画像などを取得し、ボタン７１の画像に対応する虚像に基づいて、ボロノイ領域７２を求める（図３参照）。そして、選択可能領域決定部４ｄは、ボロノイ領域７２を超えないように選択可能領域７３のサイズに対して制限を課した上で、例えば図７に示したようなテーブルに従って、第３距離及び／又は第３角度に基づいて選択可能領域７３のサイズを決定する。この後、選択可能領域決定部４ｄは、決定した選択可能領域７３の情報（具体的には選択可能領域７３に対応する座標範囲の情報）を、メモリなどに記憶させる。以上のステップＳ１０４の後、処理はステップＳ１０５に進む。 In step S104, the selectable area determination unit 4d determines the selectable area 73 based on the third distance and the third angle calculated in step S103. Specifically, the selectable area determination unit 4d first acquires an image of the button 71 to be displayed and obtains a Voronoi area 72 based on a virtual image corresponding to the image of the button 71 (see FIG. 3). Then, the selectable area determination unit 4d imposes a limit on the size of the selectable area 73 so as not to exceed the Voronoi area 72, and then, for example, according to the table shown in FIG. Alternatively, the size of the selectable area 73 is determined based on the third angle. Thereafter, the selectable area determination unit 4d stores information on the determined selectable area 73 (specifically, information on a coordinate range corresponding to the selectable area 73) in a memory or the like. After step S104 described above, the process proceeds to step S105.
　なお、ヘッドアップディスプレイ２による表示画像（制御部４で生成した画像データ）と、第１カメラ６によって撮影された当該表示画像に対応する虚像Ｉｖの画像とを予め対応付けたデータ（例えばサイズなどを対応付けたデータ）を作成しておき、選択可能領域決定部４ｄは、このようなデータに基づいて、ボロノイ領域７２や選択可能領域７３を求めることが好ましい。こうするのは、ユーザに認識される虚像Ｉｖは元の表示画像とサイズなどが変わる傾向にあるからである。 It should be noted that the display image (image data generated by the control unit 4) by the head-up display 2 and the data (for example, the size) associated with the virtual image Iv corresponding to the display image captured by the first camera 6 in advance. It is preferable that the selectable area determination unit 4d obtains the Voronoi area 72 and the selectable area 73 based on such data. This is because the virtual image Iv recognized by the user tends to change in size, etc. from the original display image.
　ステップＳ１０５では、選択可能領域決定部４ｄが、ステップＳ１０４で記憶された選択可能領域７３の情報を、表示制御部４ｇに送信する。そして、処理は終了する。 In step S105, the selectable area determination unit 4d transmits the information of the selectable area 73 stored in step S104 to the display control unit 4g. Then, the process ends.
　図１０は、３次元反応領域８０を決定するための処理フローを示している。まず、ステップＳ２０１では、３次元反応領域決定部４ｆが、第２カメラ７によって撮影された撮影画像を分析して、ユーザの体の大きさなどを求めることで、３次元反応領域８０を決定する。具体的には、３次元反応領域決定部４ｆは、撮影画像より、ユーザが腕を前方に伸ばしたときの長さを推定し、当該長さを３次元反応領域８０における奥行き方向の長さに設定すると共に、虚像Ｉｖと平行な平面を３次元反応領域８０における底面に設定する。そして、処理はステップＳ２０２に進む。 FIG. 10 shows a processing flow for determining the three-dimensional reaction region 80. First, in step S201, the three-dimensional reaction region determination unit 4f analyzes the captured image captured by the second camera 7 to determine the size of the user's body and the like, thereby determining the three-dimensional reaction region 80. . Specifically, the three-dimensional reaction region determination unit 4f estimates the length when the user extends the arm forward from the captured image, and sets the length in the depth direction of the three-dimensional reaction region 80. In addition to setting, a plane parallel to the virtual image Iv is set as the bottom surface in the three-dimensional reaction region 80. Then, the process proceeds to step S202.
　ステップＳ２０２では、３次元反応領域決定部４ｆが、ステップＳ２０１で決定された３次元反応領域８０の情報（３次元反応領域８０に相当する立体空間の情報）を、表示制御部４ｇに送信する。そして、処理は終了する。 In step S202, the three-dimensional reaction region determination unit 4f transmits information on the three-dimensional reaction region 80 determined in step S201 (information on the three-dimensional space corresponding to the three-dimensional reaction region 80) to the display control unit 4g. Then, the process ends.
　図１１は、エアータッチを実現するための処理フローを示している。まず、ステップＳ３０１では、表示制御部４ｇが、選択可能領域決定部４ｄによって決定された選択可能領域７３の情報（具体的には選択可能領域７３に対応する座標範囲の情報）を取得すると共に、３次元反応領域決定部４ｆによって決定された３次元反応領域８０の情報を取得する。そして、処理はステップＳ３０２に進む。 FIG. 11 shows a processing flow for realizing the air touch. First, in step S301, the display control unit 4g acquires information on the selectable region 73 determined by the selectable region determination unit 4d (specifically, information on the coordinate range corresponding to the selectable region 73), and Information on the three-dimensional reaction region 80 determined by the three-dimensional reaction region determination unit 4f is acquired. Then, the process proceeds to step S302.
　ステップＳ３０２では、表示制御部４ｇが、指先位置検出部４ｅが検出した指先の位置の情報を取得する。また、表示制御部４ｇは、こうして取得した指先の位置の情報に基づいて、ユーザの指の動きを解析する。そして、処理はステップＳ３０３に進む。 In step S302, the display control unit 4g acquires information on the position of the fingertip detected by the fingertip position detection unit 4e. The display control unit 4g analyzes the movement of the user's finger based on the information on the fingertip position thus obtained. Then, the process proceeds to step S303.
　ステップＳ３０３では、表示制御部４ｇが、ステップＳ３０２で解析した指の動きに基づいて、３次元反応領域８０内でボタン７１を選択するような動作（例えばタッチ動作）が行われたか否かを判定する。ボタン７１を選択するような動作が行われた場合（ステップＳ３０３：Ｙｅｓ）、処理はステップＳ３０４に進み、ボタン７１を選択するような動作が行われていない場合（ステップＳ３０３：Ｎｏ）、処理はステップＳ３０２に戻る。 In step S303, the display control unit 4g determines whether or not an operation (for example, a touch operation) for selecting the button 71 in the three-dimensional reaction region 80 has been performed based on the finger movement analyzed in step S302. To do. When the operation for selecting the button 71 is performed (step S303: Yes), the process proceeds to step S304. When the operation for selecting the button 71 is not performed (step S303: No), the process is performed. The process returns to step S302.
　ステップＳ３０４では、表示制御部４ｇが、ステップＳ３０２で取得した指先の位置が、選択可能領域７３内にあるか否かを判定する。正確には、表示制御部４ｇは、指先の位置が、３次元反応領域８０上での選択可能領域７３に対応する領域内にあるか否かを判定する。表示制御部４ｇは、虚像上で規定された選択可能領域７３を３次元反応領域８０上での領域に変換して、このような判定を行う。指先の位置が選択可能領域７３内にある場合（ステップＳ３０４：Ｙｅｓ）、処理はステップＳ３０５に進み、指先の位置が選択可能領域７３内にない場合（ステップＳ３０４：Ｎｏ）、処理はステップＳ３０２に戻る。 In step S304, the display control unit 4g determines whether or not the position of the fingertip acquired in step S302 is within the selectable area 73. To be exact, the display control unit 4g determines whether or not the position of the fingertip is in an area corresponding to the selectable area 73 on the three-dimensional reaction area 80. The display control unit 4g performs such determination by converting the selectable area 73 defined on the virtual image into an area on the three-dimensional reaction area 80. If the position of the fingertip is within the selectable area 73 (step S304: Yes), the process proceeds to step S305. If the position of the fingertip is not within the selectable area 73 (step S304: No), the process proceeds to step S302. Return.
　ステップＳ３０５では、表示制御部４ｇが、選択可能領域７３に対応するボタン７１が選択されたものと判断して、当該ボタン７１に応じた動作を実行する。例えば、表示制御部４ｇは、選択されたボタン７１に応じたコンテンツの画像をメモリから呼び出して、呼び出したコンテンツの画像を表示させる制御を行う。そして、処理は終了する。 In step S305, the display control unit 4g determines that the button 71 corresponding to the selectable area 73 is selected, and executes an operation corresponding to the button 71. For example, the display control unit 4g performs control to call up the content image corresponding to the selected button 71 from the memory and display the called content image. Then, the process ends.
　［変形例］
　以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。 [Modification]
Below, the modification suitable for said Example is demonstrated. It should be noted that the following modifications can be applied to the above-described embodiments in any combination.
　（変形例１）
　上記では、ボタン７１と相似な形状（矩形形状）を有する選択可能領域７３を用いる実施例を示した。つまり、上記した実施例では、ボタン７１に対応する領域をボロノイ領域７２に向けてサイズを変化させた領域を、選択可能領域７３として用いていた。これによれば、選択可能領域７３の形状がボタン７１の形状と同一であるため、ユーザは、ボタン７１を選択可能な領域を容易に把握することができると言える。変形例では、このような形状を有する選択可能領域７３を用いる代わりに、ボロノイ領域７２と相似な形状を有する選択可能領域を用いる。 (Modification 1)
In the above, the embodiment using the selectable area 73 having a shape (rectangular shape) similar to the button 71 has been described. In other words, in the above-described embodiment, an area in which the size corresponding to the button 71 is changed toward the Voronoi area 72 is used as the selectable area 73. According to this, since the shape of the selectable area 73 is the same as the shape of the button 71, it can be said that the user can easily grasp the area where the button 71 can be selected. In the modification, instead of using the selectable region 73 having such a shape, a selectable region having a shape similar to the Voronoi region 72 is used.
　図１２は、変形例に係る選択可能領域７３ａｘ～７３ｃｘを示している。図１２に示すように、変形例に係る選択可能領域７３ａｘ～７３ｃｘは、それぞれ、ボロノイ領域７２ａ～７２ｃと相似な形状を有している。つまり、選択可能領域７３ａｘ～７３ｃｘは、ボロノイ領域７２ａ～７２ｃのサイズを縮小した形状を有している。このような変形例においても、前述した実施例と同様に、ボロノイ領域７２ａ～７２ｃを超えないように選択可能領域７３ａｘ～７３ｃｘのサイズに対して制限を課した上で、第３距離及び第３角度に基づいて、選択可能領域７３ａｘ～７３ｃｘのサイズが決定される。 FIG. 12 shows selectable areas 73ax to 73cx according to the modification. As shown in FIG. 12, selectable areas 73ax to 73cx according to the modification have shapes similar to Voronoi areas 72a to 72c, respectively. That is, the selectable areas 73ax to 73cx have a shape obtained by reducing the size of the Voronoi areas 72a to 72c. In such a modified example, similarly to the above-described embodiment, the third distance and the third distance are set after limiting the size of the selectable regions 73ax to 73cx so as not to exceed the Voronoi regions 72a to 72c. Based on the angle, the sizes of the selectable areas 73ax to 73cx are determined.
　以上説明した変形例によれば、ボロノイ領域７２ａ～７２ｃの範囲を最大限に用いて、選択可能領域７３ａｘ～７３ｃｘを設定することができる。そのため、変形例によれば、上記した実施例よりも、選択可能領域７３ａｘ～７３ｃｘのサイズが大きくなる。よって、変形例によれば、ボタン７１をより選択し易くすることができる。 According to the modification described above, the selectable areas 73ax to 73cx can be set using the range of the Voronoi areas 72a to 72c to the maximum extent. Therefore, according to the modification, the sizes of the selectable areas 73ax to 73cx are larger than those in the above-described embodiment. Therefore, according to the modification, the button 71 can be selected more easily.
　（変形例２）
　上記した実施例では、ボタン７１の重心を母点として用いてボロノイ分割を行う方法（重心ボロノイ分割）を示したが、ボロノイ分割の方法はこれに限定はされない。ボロノイ分割としては、公知の種々の方法（例えば特許文献２に記載された方法など）を用いることができる。 (Modification 2)
In the above-described embodiment, a method of performing Voronoi division (centroid Voronoi division) using the center of gravity of the button 71 as a generating point is shown, but the method of Voronoi division is not limited thereto. As the Voronoi division, various known methods (for example, the method described in Patent Document 2) can be used.
　また、ボロノイ分割によって、虚像Ｉｖが形成される領域を分割することに限定はされず、ボロノイ分割以外の方法を用いて、虚像Ｉｖが形成される領域を分割しても良い。 Further, it is not limited to dividing the region where the virtual image Iv is formed by Voronoi division, and the region where the virtual image Iv is formed may be divided using a method other than Voronoi division.
　更に、選択可能領域７３を決定するに当たって、虚像Ｉｖが形成される領域を分割することに限定はされない。つまり、複数の選択可能領域７３が互いに重なり合わないように制限を課せば、虚像Ｉｖが形成される領域を分割しておかなくても良い。 Furthermore, in determining the selectable region 73, the region where the virtual image Iv is formed is not limited to being divided. That is, if a restriction is imposed so that the plurality of selectable areas 73 do not overlap each other, the area where the virtual image Iv is formed need not be divided.
　（変形例３）
　上記では、本発明を、ボタン７１を選択（タッチ）する操作に適用する実施例を示したが、本発明は、一般的なタッチパネルで用いられている操作等にも適用することができる。例えば、本発明は、スクロールや、ピンチインや、ピンチアウトなどの種々の操作にも同様に適用することができる。 (Modification 3)
In the above description, the embodiment in which the present invention is applied to the operation of selecting (touching) the button 71 has been described. However, the present invention can also be applied to an operation used on a general touch panel. For example, the present invention can be similarly applied to various operations such as scrolling, pinching in, and pinching out.
　また、上記では、選択可能領域７３をボタン７１に適用する実施例を示したが、ボタン７１以外にも、ヘッドアップディスプレイ２によって表示されるユーザが選択可能な種々のオブジェクトに、選択可能領域７３を適用することができる。例えば、アイコンや、スクロールバーなどにも、上記した実施例と同様の方法により決定された選択可能領域７３を適用することができる。 Further, in the above description, an example in which the selectable area 73 is applied to the button 71 has been described. Can be applied. For example, the selectable area 73 determined by the same method as in the above-described embodiment can be applied to icons, scroll bars, and the like.
　（変形例４）
　上記では、本発明を、第１カメラ６及び第２カメラ７が組み込まれたヘッドアップディスプレイ２に適用する実施例を示したが、本発明の適用はこれに限定はされない。本発明は、ヘッドアップディスプレイとカメラとが別体に構成されたシステムにも適用することができる。 (Modification 4)
In the above, although the Example which applies this invention to the head-up display 2 in which the 1st camera 6 and the 2nd camera 7 were integrated was shown, application of this invention is not limited to this. The present invention can also be applied to a system in which a head-up display and a camera are configured separately.
　（変形例５）
　本発明は、ヘッドアップディスプレイ２への適用に限定はされない。本発明は、例えば、ユーザの前方の景色に重畳して情報を表示させるＡＲ（Augmented Reality）を実現するスマートフォンなどの携帯端末にも適用することができる。また、本発明は、例えば、ヘッドマウントディスプレイや、一般的な表示装置（車載モニタや家庭用テレビ）や、モニタ付のデジタルカメラなどにも適用することができる。 (Modification 5)
The present invention is not limited to application to the head-up display 2. The present invention can also be applied to a mobile terminal such as a smartphone that realizes AR (Augmented Reality) that displays information superimposed on a scene in front of the user. The present invention can also be applied to, for example, a head-mounted display, a general display device (on-vehicle monitor or home television), a digital camera with a monitor, and the like.
　本発明は、ヘッドアップディスプレイなどの表示装置に適用することができる。 The present invention can be applied to a display device such as a head-up display.
　２　ヘッドアップディスプレイ
　３　光源ユニット
　４　制御部
　４ａ　第１距離算出部
　４ｂ　第２距離・第２角度算出部
　４ｃ　第３距離・第３角度算出部
　４ｄ　選択可能領域決定部
　４ｅ　指先位置検出部
　４ｆ　３次元反応領域決定部
　４ｇ　表示制御部
　６　第１カメラ
　７　第２カメラ
　９　コンバイナ 2 head-up display 3 light source unit 4 control unit 4a first distance calculation unit 4b second distance / second angle calculation unit 4c third distance / third angle calculation unit 4d selectable area determination unit 4e fingertip position detection unit 4f three-dimensional Reaction region determination unit 4g Display control unit 6 First camera 7 Second camera 9 Combiner

Claims (7)

  1. 　ユーザに虚像を認識させる表示装置であって、
    　前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得手段と、
    　前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出手段と、
    　前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御手段と、を有し、
    　前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化することを特徴とする表示装置。     A display device that allows a user to recognize a virtual image,
    Distance acquisition means for acquiring a distance between the virtual image position, which is the position of the virtual image recognized by the user, and the user;
    An object detection means for detecting an object located between the user and the virtual image position and existing in a space in which a region corresponding to the virtual image is defined;
    First control means for causing the display device to perform an operation in accordance with the region where the object is detected;
    The area has a width in a plane direction with respect to the user who observes the virtual image, and the width in the plane direction changes according to a distance between the virtual image position and the user. Display device.
  2. 　前記虚像位置と前記ユーザとの角度を取得する角度取得手段を更に備え、
    　前記領域は、前記虚像位置と前記ユーザとの角度に応じて、前記面方向の広さが変化することを特徴とする請求項１に記載の表示装置。     An angle acquisition means for acquiring an angle between the virtual image position and the user;
    The display device according to claim 1, wherein the area has a width in the surface direction that changes according to an angle between the virtual image position and the user.
  3. 　前記面方向の広さは、前記虚像位置と前記ユーザとの角度が大きくなるほど、大きくなることを特徴とする請求項２に記載の表示装置。 3. The display device according to claim 2, wherein the width in the surface direction increases as the angle between the virtual image position and the user increases.
  4. 　前記面方向の広さは、前記虚像位置と前記ユーザとの距離が大きくなるほど、大きくなることを特徴とする請求項１乃至３のいずれか一項に記載の表示装置。 The display device according to any one of claims 1 to 3, wherein the area in the surface direction increases as the distance between the virtual image position and the user increases.
  5. 　前記領域は、前記表示装置が搭載される移動体のフロントガラスと前記ユーザとの間に存在し、前記ユーザから前記フロントガラスへの方向に奥行きを有し、
    　前記ユーザに応じて、前記奥行き方向の長さを変化させる第二制御手段を更に有し、
    　前記第二制御手段は、前記領域が前記フロントガラスを超えないように制御することを特徴とする請求項１乃至４のいずれか一項に記載の表示装置。     The region exists between the windshield of the moving body on which the display device is mounted and the user, and has a depth in the direction from the user to the windshield,
    According to the user, further comprising a second control means for changing the length in the depth direction,
    5. The display device according to claim 1, wherein the second control unit performs control so that the region does not exceed the windshield. 6.
  6. 　前記ユーザの体格から前記ユーザの腕の長さを推測する推測手段を有し、
    　前記第二制御手段は、前記腕の長さに応じて前記領域の前記奥行き方向の長さを変化させることを特徴とする請求項５に記載の表示装置。     Having a guessing means for guessing the length of the user's arm from the physique of the user,
    The display device according to claim 5, wherein the second control unit changes a length of the region in the depth direction according to a length of the arm.
  7. 　ユーザに虚像を認識させる表示装置によって実行される表示方法であって、
    　前記ユーザによって認識される前記虚像の位置である虚像位置と前記ユーザとの距離を取得する距離取得工程と、
    　前記ユーザと前記虚像位置との間に位置し、前記虚像に対応した領域が規定された空間内に存在する物体を検出する物体検出工程と、
    　前記物体が検出された前記領域に応じた動作を前記表示装置に行わせる第一制御工程と、を有し、
    　前記領域は、前記虚像を観察する前記ユーザに対して面方向の広さを有し、前記虚像位置と前記ユーザとの距離に応じて、前記面方向の広さが変化することを特徴とする表示方法。     A display method executed by a display device that allows a user to recognize a virtual image,
    A distance acquisition step of acquiring a distance between the virtual image position, which is the position of the virtual image recognized by the user, and the user;
    An object detection step of detecting an object located between the user and the virtual image position and existing in a space in which a region corresponding to the virtual image is defined;
    A first control step for causing the display device to perform an operation according to the region in which the object is detected,
    The area has a width in a plane direction with respect to the user who observes the virtual image, and the width in the plane direction changes according to a distance between the virtual image position and the user. Display method.
PCT/JP2012/051514 2012-01-25 2012-01-25 Display apparatus and display method WO2013111280A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/051514 WO2013111280A1 (en) 2012-01-25 2012-01-25 Display apparatus and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/051514 WO2013111280A1 (en) 2012-01-25 2012-01-25 Display apparatus and display method

Publications (1)

Publication Number Publication Date
WO2013111280A1 true WO2013111280A1 (en) 2013-08-01

Family

ID=48873051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051514 WO2013111280A1 (en) 2012-01-25 2012-01-25 Display apparatus and display method

Country Status (1)

Country Link
WO (1) WO2013111280A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166229A (en) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 Head-up display device
GB2525653A (en) * 2014-05-01 2015-11-04 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
JP2015223913A (en) * 2014-05-27 2015-12-14 アルパイン株式会社 On-vehicle system, visual line input reception method, and computer program
CN113302661A (en) * 2019-01-10 2021-08-24 三菱电机株式会社 Information display control device and method, program, and recording medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895708A (en) * 1994-09-22 1996-04-12 Aisin Aw Co Ltd Screen touch type input device
JPH08197981A (en) * 1995-01-23 1996-08-06 Aqueous Res:Kk Display device for vehicle
JPH1115420A (en) * 1997-06-26 1999-01-22 Yazaki Corp On-vehicle display device
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Device and program for displaying virtual images
JP2007302223A (en) * 2006-04-12 2007-11-22 Hitachi Ltd Non-contact input device for in-vehicle apparatus
WO2009084084A1 (en) * 2007-12-27 2009-07-09 Pioneer Corporation Recording medium reproducing device, recording medium reproducing method, recording medium reproducing program, and recording medium with recording medium reproducing program stored
JP2010083206A (en) * 2008-09-29 2010-04-15 Denso Corp Device for operating on-vehicle electronic appliance
JP2010249862A (en) * 2009-04-10 2010-11-04 Sanyo Electric Co Ltd Display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895708A (en) * 1994-09-22 1996-04-12 Aisin Aw Co Ltd Screen touch type input device
JPH08197981A (en) * 1995-01-23 1996-08-06 Aqueous Res:Kk Display device for vehicle
JPH1115420A (en) * 1997-06-26 1999-01-22 Yazaki Corp On-vehicle display device
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Device and program for displaying virtual images
JP2007302223A (en) * 2006-04-12 2007-11-22 Hitachi Ltd Non-contact input device for in-vehicle apparatus
WO2009084084A1 (en) * 2007-12-27 2009-07-09 Pioneer Corporation Recording medium reproducing device, recording medium reproducing method, recording medium reproducing program, and recording medium with recording medium reproducing program stored
JP2010083206A (en) * 2008-09-29 2010-04-15 Denso Corp Device for operating on-vehicle electronic appliance
JP2010249862A (en) * 2009-04-10 2010-11-04 Sanyo Electric Co Ltd Display

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015166229A (en) * 2014-03-04 2015-09-24 アイシン・エィ・ダブリュ株式会社 Head-up display device
GB2525653A (en) * 2014-05-01 2015-11-04 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
GB2542237A (en) * 2014-05-01 2017-03-15 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
GB2542237B (en) * 2014-05-01 2017-10-25 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
GB2526938B (en) * 2014-05-01 2018-05-30 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
JP2015223913A (en) * 2014-05-27 2015-12-14 アルパイン株式会社 On-vehicle system, visual line input reception method, and computer program
CN113302661A (en) * 2019-01-10 2021-08-24 三菱电机株式会社 Information display control device and method, program, and recording medium

Similar Documents

Publication Publication Date Title
JP6702489B2 (en) Head mounted display, information processing method, and program
US9961259B2 (en) Image generation device, image display system, image generation method and image display method
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
KR101416378B1 (en) A display apparatus capable of moving image and the method thereof
JP5839220B2 (en) Information processing apparatus, information processing method, and program
JP5047650B2 (en) In-vehicle camera system
JP6339887B2 (en) Image display device
US9727229B2 (en) Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program
WO2006013783A1 (en) Input device
US10146058B2 (en) Visual line direction sensing device
US9162621B2 (en) Parking support apparatus
JP2014056462A (en) Operation device
US20120271102A1 (en) Stereoscopic endoscope apparatus
JP6257978B2 (en) Image generation apparatus, image display system, and image generation method
WO2013111280A1 (en) Display apparatus and display method
JP2014069629A (en) Image processor, and image processing system
JP5977130B2 (en) Image generation apparatus, image display system, and image generation method
JP5810874B2 (en) Display control system
JP2015005823A (en) Image processing apparatus and digital mirror system
JP2019002976A (en) Aerial video display device
KR101542671B1 (en) Method and apparatus for space touch
JP2012103980A5 (en)
JP2007326409A (en) Display device for vehicle
JP2017084136A (en) Gesture input device
JP4757132B2 (en) Data input device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP