JP4622794B2 - Screen moving display device - Google Patents

Screen moving display device Download PDF

Info

Publication number
JP4622794B2
JP4622794B2 JP2005295008A JP2005295008A JP4622794B2 JP 4622794 B2 JP4622794 B2 JP 4622794B2 JP 2005295008 A JP2005295008 A JP 2005295008A JP 2005295008 A JP2005295008 A JP 2005295008A JP 4622794 B2 JP4622794 B2 JP 4622794B2
Authority
JP
Japan
Prior art keywords
screen
pointing
sight
line
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005295008A
Other languages
Japanese (ja)
Other versions
JP2007099199A (en
Inventor
一郎 吉田
裕二 重田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to JP2005295008A priority Critical patent/JP4622794B2/en
Publication of JP2007099199A publication Critical patent/JP2007099199A/en
Application granted granted Critical
Publication of JP4622794B2 publication Critical patent/JP4622794B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は反射手段に複数の虚像画面を表示可能で、それら虚像画面の位置を移動できるようにした画面移動型表示装置に関する。   The present invention relates to a screen movement type display device capable of displaying a plurality of virtual image screens on a reflecting means and moving the positions of the virtual image screens.

表示装置の一つにヘッドアップディスプレイがある。これは、透明または半透明な反射手段に向けて映像情報を光で投射すると、その映像情報の表示光が反射手段で反射されてユーザの目に入射することによって画像が虚像として結像されるというものである。   One of the display devices is a head-up display. This is because, when image information is projected with light toward a transparent or translucent reflecting means, the display light of the image information is reflected by the reflecting means and enters the user's eyes, thereby forming an image as a virtual image. That's it.

このヘッドアップディスプレイの技術を車両に適用し、車両のフロントウインドシールド(フロントウインドガラス)に映像情報を写し出す技術が開発されている(例えば、特許文献1)。これによれば、フロントウインドシールドを通して見る前景から目を離さずに映像情報を見ることができる。
特開2005−29067号公報
A technology for projecting video information on a front windshield (front window glass) of a vehicle by applying the head-up display technology to the vehicle has been developed (for example, Patent Document 1). According to this, it is possible to view the video information without taking your eyes off the foreground viewed through the front windshield.
JP-A-2005-29067

このヘッドアップディスプレイの応用として、フロントウインドシールドに映像情報としてスピードメータなどの計器類の画像、ナビ装置の地図画像、ビデオ画像やテレビ放送画像を映し出したりすることが考えられる。この場合、計器類や地図の画像は、運転席から見易い位置に表示されるなど、それら複数の画面は、それぞれ予め定められた位置に表示される。
しかしながら、地図画像であっても、助手席に座っている人が見たい場合もあり、また、ビデオ画像やテレビ放送画像は、車両の移動中は運転席の人には見えなくとも良いが、駐車中は運転席の人にとっても見易い位置に表示されることが望ましい。
そこで、本発明の目的は、反射手段によって映像情報を表示可能な表示装置において、その表示画面の位置を所望の位置に移動することができる表示装置を提供することにある。
As an application of this head-up display, an image of instruments such as a speedometer, a map image of a navigation device, a video image, and a television broadcast image may be projected as video information on the front windshield. In this case, the instruments and the map image are displayed at positions that are easy to see from the driver's seat, and the plurality of screens are displayed at predetermined positions.
However, even if it is a map image, there are cases where people sitting in the passenger seat want to see, and video images and TV broadcast images may not be visible to people in the driver's seat while the vehicle is moving, It is desirable that the information is displayed at a position that is easy for the driver's seat to see while parking.
SUMMARY OF THE INVENTION An object of the present invention is to provide a display device that can display video information by reflecting means and can move the position of the display screen to a desired position.

請求項1の発明は、半透明または透明な反射手段に向けて映像情報を光で投射し、前記映像情報を前記反射手段による虚像として表示する光学ユニットと、ユーザの視線を検出する視線検出手段と、前記ユーザの指差し方向を検出する指差し方向検出手段と、前記視線検出手段により検出された前記視線と前記指差し方向検出手段により検出された前記指差し方向との一致位置を判断する方向一致判断手段と、前記方向一致判断手段により判断された前記視線と前記指差し方向との一致位置が前記反射手段に表示された前記虚像画面上あるとき当該虚像画面を移動対象画面と判断し、当該移動対象画面と判断した後、前記ユーザの視線と前記指差し方向が前記移動対象画面と判断された前記虚像画面上で一致したまま移動するとき、当該虚像画面を前記視線と前記指差し方向の移動に追従して移動させ、前記視線と前記指差し方向が不一致となった、前記移動対象画面と判断された前記虚像画面を、前記視線と前記指差し方向が不一致となった位置で停止させる、または、前記移動対象画面と判断した後、前記移動対象画面と判断された前記虚像画面を残して前記ユーザの視線と前記指差し方向が一致したまま移動して前記視線と前記指差し方向が不一致となった、前記移動対象画面と判断された前記虚像画面を、前記移動対象画面と判断された時の位置から前記視線と前記指差し方向が不一致となった位置に移す移動制御手段と、を具備してなる画面移動型表示装置にある。
上記構成の表示装置によれば、反射手段により表示される映像情報の表示位置を、ユーザの所望する位置に自在に移動させることができる。特に、視線と指差しによって画面を移動させることができるので、反射手段を通してその前方の状況を見ながらであっても、画面の移動操作が可能となる。
According to a first aspect of the present invention, there is provided an optical unit for projecting video information with light toward a translucent or transparent reflecting means and displaying the video information as a virtual image by the reflecting means, and a gaze detecting means for detecting a user's gaze. And a pointing direction detecting means for detecting the pointing direction of the user, and a matching position between the line of sight detected by the line of sight detecting means and the pointing direction detected by the pointing direction detecting means. When the coincidence position between the line of sight determined by the direction coincidence determining unit and the direction coincidence determining unit is on the virtual image screen displayed on the reflecting unit, the virtual image screen is determined to be a moving target screen. after it is determined that the mobile object screen, when moving left line of sight and the pointing direction of the user matches with the moving target screen and the determined the virtual screen, the virtual image The surface is moved following the movement of the pointing direction and the sight line, when the said line-of-sight pointing direction is not matched, the virtual screen is determined that the moving object screen, the said line of sight finger Stop at a position where the insertion direction is not matched, or after determining that the screen is a movement target screen, leave the virtual image screen determined to be the movement target screen, and the user's line of sight and the pointing direction remain the same when the pointing direction as the line of sight moves is not matched, the movement target screen and the virtual screen is determined, from said position when it is judged that the moving object picture with the line of sight the pointing direction the screen moving type display device comprising comprising a movement control means for transferring at a position not matched, the.
According to the display device configured as described above, the display position of the video information displayed by the reflecting means can be freely moved to a position desired by the user. In particular, since the screen can be moved by line of sight and pointing, it is possible to move the screen even while viewing the situation in front of it through the reflecting means.

の場合、請求項2の発明のように、前記反射手段に向けて同時に複数の前記映像情報を光で投射可能で、前記反射手段により複数の前記虚像画面を表示可能としても良い。 In this case, as in the invention of claim 2, wherein toward the reflecting means can project a plurality of the image information by light at the same time, a plurality of the virtual screen may be capable of displaying by said reflection means.

請求項の発明は、前記視線検出手段および前記指差し方向検出手段は、撮影手段による撮影画像に基づいて検出する構成で、撮影画像を予め記憶手段に記憶されているサンプル画像と比較して視線および指差し方向を判断することを特徴とする。
この構成によれば、視線を向けたり、指差したりする場合、個人毎に癖があって判断が難しいが、サンプル画像と比較することによって、比較的容易に判断することができる。
According to a third aspect of the present invention, the line-of-sight detection means and the pointing direction detection means are configured to detect based on a photographed image by the photographing means, and the photographed image is compared with a sample image stored in advance in the storage means. It is characterized by determining the line of sight and the pointing direction.
According to this configuration, when turning the line of sight or pointing, it is difficult to make a determination because there is a wrinkle for each individual, but it can be determined relatively easily by comparing with a sample image.

また、請求項の発明のように、表示装置を車両に搭載し、反射手段を車両のフロントウインドシールドとすることができる。この構成に寄れば、計器類やナビゲーション装置の地図の画面をフロントウインドシールドに表示することができるので、フロントウインドシールドを通して見る前景から目を離さなくとも、計器類や地図を見ることができる。 Further, as in the invention of claim 4 , the display device can be mounted on the vehicle, and the reflecting means can be a front windshield of the vehicle. According to this configuration, the map screens of the instruments and the navigation device can be displayed on the front windshield, so that the instruments and the map can be viewed without keeping an eye on the foreground viewed through the front windshield.

以下、本発明の一実施形態を図面に基づいて説明する。
本実施形態の画面移動型表示装置1は、車両に搭載されており、図1に示すように、光学ユニット2を主体にして構成されている。この光学ユニット2は、複数台、例えば3台のヘッドアップディスプレイ3〜5を備えている。ヘッドアップディスプレイ3〜5は、反射手段としての透明なフロントウインドシールド6に画像を映し出す。なお、以下では、フロントウインドシールド6をウインドガラス6と称することとする。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
A screen movement type display device 1 according to the present embodiment is mounted on a vehicle, and is configured mainly with an optical unit 2 as shown in FIG. The optical unit 2 includes a plurality of, for example, three head-up displays 3 to 5. The head-up displays 3 to 5 display an image on a transparent front windshield 6 as a reflecting means. Hereinafter, the front windshield 6 will be referred to as a wind glass 6.

ヘッドアップディスプレイ3〜5がウインドガラス6に画像を映し出す原理は、図3に示されている。即ち、ヘッドアップディスプレイ3〜5は、車両のインストルメントパネル7内に配設されており、それぞれ表示部としてのTFT型液晶パネル8、バックライト9およびミラー10を備えている。液晶パネル8は、表示制御装置11から映像情報を取得し、バックライト9からの光を受けてこの映像情報を画像として表示する。この液晶パネル8から出力される画像の表示光は、ミラー10に反射されてウインドガラス6に向けて反射され、これにより、ウインドガラス6の前方に虚像mとして結像される。この場合、虚像mは、ウインドガラス6の前方に結像されるが、見る人にとっては、あたかも画像がウインドガラス6に映し出されたように見えるので、以下では、虚像mとして結像される画像をウインドガラス6に映し出された表示画面として扱うこととする。   The principle that the heads-up displays 3 to 5 display images on the window glass 6 is shown in FIG. That is, the head-up displays 3 to 5 are disposed in the instrument panel 7 of the vehicle, and each include a TFT liquid crystal panel 8, a backlight 9, and a mirror 10 as a display unit. The liquid crystal panel 8 acquires the video information from the display control device 11, receives the light from the backlight 9, and displays this video information as an image. The display light of the image output from the liquid crystal panel 8 is reflected by the mirror 10 and reflected toward the window glass 6, thereby forming a virtual image m in front of the window glass 6. In this case, the virtual image m is formed in front of the window glass 6, but for the viewer, it looks as if the image was displayed on the window glass 6. Is treated as a display screen projected on the window glass 6.

本実施形態では、各ヘッドアップディスプレイ3〜5は、その向きを上下左右に自在に変えることができるように構成されており、その向きの変換によって、ウインドガラス6に映し出される表示画面の位置が移動されるようになっている。各ヘッドアップディスプレイ3〜5の向きの変換は、転向手段としての回動機構12によって自動的に行われる。この回動機構12は、各ヘッドアップディスプレイ3〜5を直交する2軸を中心にして回動できるように支持し、2個のステッピングモータ12a,12bによって一方の軸および他方の軸を中心に回動させる構成のものである。   In the present embodiment, each head-up display 3 to 5 is configured so that its orientation can be freely changed up, down, left and right, and the position of the display screen displayed on the wind glass 6 is changed by the change of the orientation. It has been moved. Conversion of the direction of each head-up display 3 to 5 is automatically performed by a turning mechanism 12 as a turning means. The rotation mechanism 12 supports the head-up displays 3 to 5 so that they can rotate around two orthogonal axes, and one step and the other axis are centered by two stepping motors 12a and 12b. It is a structure to rotate.

一方、車両には、ナビゲーション装置13が搭載されている。このナビゲーション装置13は、図示しないラジオ受信機やCDプレーヤの他、DVDプレーヤ14、テレビ受信機15を組み込んだオーディオビデオ一体型として構成されている。また、ナビゲーション装置13には、道路地図、ビデオやテレビ放送の映像を映し出すためのカラー液晶ディスプレイからなる表示部16が組み込まれている。   On the other hand, a navigation device 13 is mounted on the vehicle. The navigation device 13 is configured as an audio video integrated type in which a DVD player 14 and a television receiver 15 are incorporated in addition to a radio receiver and a CD player (not shown). Further, the navigation device 13 incorporates a display unit 16 composed of a color liquid crystal display for projecting road maps, videos and television broadcast images.

ナビゲーション装置13は、位置検出部17、地図データ記憶部18、メカニカルスイッチや表示部16の画面上に設けられたタッチパネルなどからなる入力部19、制御部20などを備えている。制御部20は、位置検出部17から現在位置を検出し、地図データ記憶部18から現在位置周辺の地図情報を取得して道路地図の映像情報(以下、単に地図映像情報)を出力する。また、DVDプレーヤ14は、DVDからビデオ情報を取得して出力し、テレビ受信機15は、テレビ放送電波を受信してテレビの映像情報(以下、単にテレビ映像情報)を出力する。   The navigation device 13 includes a position detection unit 17, a map data storage unit 18, an input unit 19 including a mechanical switch and a touch panel provided on the screen of the display unit 16, a control unit 20, and the like. The control unit 20 detects the current position from the position detection unit 17, acquires map information around the current position from the map data storage unit 18, and outputs road map video information (hereinafter simply referred to as map video information). The DVD player 14 acquires and outputs video information from the DVD, and the TV receiver 15 receives TV broadcast radio waves and outputs TV video information (hereinafter simply referred to as TV video information).

これらの地図映像情報、ビデオ情報、テレビ映像情報は、前述の表示制御装置11に与えられ、この表示制御装置11の制御下において、ナビゲーション装置13の表示部16に表示される。また、それら地図映像情報、ビデオ情報、テレビ映像情報は、表示制御装置11の制御下において、光学ユニット2に与えられ、ウインドガラス6に表示することもできるようになっている。なお、ナビゲーション装置13の表示部16に、地図映像情報、ビデオ情報、テレビ映像情報のうちいずれを表示するかは、ナビゲーション装置13の入力部19の操作によって行う。また、地図映像情報、ビデオ情報およびテレビ映像情報をヘッドアップディスプレイ4によってウインドガラス6に表示することの選択は、同様にナビゲーション装置13の入力部19の操作によって行うようになっている。   These map image information, video information, and television image information are given to the display control device 11 described above and displayed on the display unit 16 of the navigation device 13 under the control of the display control device 11. The map image information, video information, and TV image information are given to the optical unit 2 under the control of the display control device 11 and can be displayed on the window glass 6. Note that which of the map video information, the video information, and the television video information is displayed on the display unit 16 of the navigation device 13 is determined by operating the input unit 19 of the navigation device 13. In addition, the selection of displaying the map video information, the video information, and the TV video information on the window glass 6 by the head-up display 4 is similarly performed by operating the input unit 19 of the navigation device 13.

車両には、表示制御装置11に与えられる映像情報源として、上記のナビゲーション装置13、DVDプレーヤ14、テレビ受信機15の他に、計器用映像情報生成装置21が設けられている。この計器用映像情報生成装置21は、車速センサ、燃料タンク残量センサ、油圧センサ、エンジン回転速度センサなどの各種計器用センサ群22から計測データを取得し、これを基に計器映像情報を生成して表示制御装置11に送る。表示制御装置11は、この計器映像情報を光学ユニット2に与え、ウインドガラス6に表示させるようになっている。   In the vehicle, in addition to the navigation device 13, the DVD player 14, and the television receiver 15, an instrument video information generation device 21 is provided as a video information source provided to the display control device 11. This instrument video information generating device 21 acquires measurement data from various instrument sensor groups 22 such as a vehicle speed sensor, a fuel tank remaining amount sensor, a hydraulic pressure sensor, and an engine rotation speed sensor, and generates instrument video information based on the measurement data. To the display control device 11. The display control device 11 gives the instrument video information to the optical unit 2 and displays it on the window glass 6.

ここで、光学ユニット2のヘッドアップディスプレイ3〜5は、それぞれ表示する映像を分担しており、ヘッドアップディスプレイ3は地図映像情報専用、ヘッドアップディスプレイ4はビデオ情報およびテレビ映像情報兼用、ヘッドアップディスプレイ5は計器映像情報専用となっている。これら、ヘッドアップディスプレイ3〜5によるウインドガラス6への表示画面の表示位置は、初期的には、例えば、計器映像情報の表示画面はウインドガラス6の運転席正面の中央下部、地図映像情報の表示画面は計器映像情報の表示画面の右側、ビデオ情報またはテレビ映像情報は計器映像情報の表示画面の左側に定められている。   Here, the head-up displays 3 to 5 of the optical unit 2 share the video to be displayed, the head-up display 3 is dedicated to map video information, the head-up display 4 is used for both video information and TV video information, The display 5 is dedicated to instrument video information. Initially, the display position of the display screen on the wind glass 6 by the head-up displays 3 to 5 is, for example, the display screen of the instrument video information is the lower center of the front of the driver's seat of the wind glass 6 and the map video information. The display screen is defined on the right side of the display screen of the instrument video information, and the video information or the television video information is defined on the left side of the display screen of the instrument video information.

そして、それら表示画面の表示位置は、ユーザの所望する位置に移動させることができるようになっている。この場合、本実施例では、表示画面のうち、地図映像情報、ビデオ情報、テレビ映像情報は、ウインドガラス6内だけでなく、ナビゲーション装置13の表示部16へも移動できるようにもなっている。本実施形態では、表示画面の移動操作は、視線と指差し方向、および音声で行うようになっている。そのために、図2に示すように、車両には、撮影手段としての撮影手段としての室内カメラ23、マイクロフォン24、手元スイッチ装置25が設けられている。   The display positions of these display screens can be moved to positions desired by the user. In this case, in this embodiment, map video information, video information, and TV video information in the display screen can be moved not only in the window glass 6 but also to the display unit 16 of the navigation device 13. . In the present embodiment, the movement operation of the display screen is performed by the line of sight, the pointing direction, and the voice. Therefore, as shown in FIG. 2, the vehicle is provided with an indoor camera 23, a microphone 24, and a hand switch device 25 as photographing means as photographing means.

室内カメラ23は、車室内の天井の前部中央に配置されていて運転者の顔と手を撮影できるようになっている。マイクロフォン24は、入力された音声を音声波形データにして出力する。手元スイッチ装置25は、例えばステアリングホイール26に設けられ、移動モード設定スイッチ27および確定スイッチ28の2つのスイッチからなる。これら、室内カメラ23、マイクロフォン24、移動モード設定スイッチ27、確定スイッチ28は、ヒューマン・マシーン・インターフェース(以下、HMI)29に接続されている。   The indoor camera 23 is arranged in the center of the front part of the ceiling in the vehicle interior so that the driver's face and hand can be photographed. The microphone 24 outputs the input voice as voice waveform data. The hand switch device 25 is provided on the steering wheel 26, for example, and includes two switches, a movement mode setting switch 27 and a confirmation switch 28. These indoor camera 23, microphone 24, movement mode setting switch 27 and confirmation switch 28 are connected to a human machine interface (hereinafter referred to as HMI) 29.

移動モード設定スイッチ27は、操作する都度、オンとオフを交互に行う形式のスイッチで、ウインドガラス6に表示された表示画面を移動させる移動モードに設定したり、移動モードを解除したりするものである。確定スイッチ28は、操作している間だけオンする形式のスイッチで、ウインドガラス6に表示された表示画面をナビゲーション装置13の表示部16に移動させる場合に操作するスイッチである。   The movement mode setting switch 27 is a type of switch that is turned on and off alternately each time it is operated. The movement mode setting switch 27 sets the movement mode for moving the display screen displayed on the window glass 6 or cancels the movement mode. It is. The confirmation switch 28 is a switch that is turned on only while it is being operated, and is a switch that is operated when the display screen displayed on the window glass 6 is moved to the display unit 16 of the navigation device 13.

HMI29は、視線検出部(視線検出手段)30、指差し方向検出部(指差し方向検出手段)31、方向一致判断部(方向一致判断手段)32、音声認識部33、スイッチ信号処理部34、記憶手段としてのデータベース35、室内カメラ23を含めてHMI29の全体を制御する制御部36を備えている。視線検出部30は、室内カメラ23により撮影された運転者の顔から両目を検出し、その両目の画像を画像認識処理(例えばパターンマッチング)することにより視線を検出する。指差し方向検出部31は、室内カメラ23により撮影された運転者の手その指が指し示す方向を検出する。   The HMI 29 includes a line-of-sight detection unit (line-of-sight detection unit) 30, a pointing direction detection unit (pointing direction detection unit) 31, a direction matching determination unit (direction matching determination unit) 32, a voice recognition unit 33, a switch signal processing unit 34, A control unit 36 that controls the entire HMI 29 including the database 35 and the indoor camera 23 as storage means is provided. The line-of-sight detection unit 30 detects both eyes from the driver's face photographed by the indoor camera 23, and detects the line of sight by performing image recognition processing (for example, pattern matching) on the images of both eyes. The pointing direction detection unit 31 detects the direction indicated by the driver's hand photographed by the indoor camera 23.

視線検出部30による視線検出方法は、例えば、運転者の顔の向きおよび顔面に対する両目の黒目の偏り方向とその度合いを画像認識処理(例えばパターンマッチング)することにより、3次元での視線(方向)を判断するようにしている。また、指差し方向検出部31は、例えば、指の延びている方向を水平面での指差し方向とし、指の付け根から先までの太さを画像認識処理(例えばパターンマッチング)することにより指の俯仰角を判定してこれを垂直面での指差し方向とし、それら水平面および垂直面での指差し方向に基いて3次元での指差し方向を判定するようにしている。
視線の検出としては、眼球運動を検出する方法、角膜と強膜の境界を利用する方法、角膜反射像を利用する方法、角膜反射像と瞳孔とを利用する方法などがある。また、アイカメラ(登録商標)を使用しても良い。
The line-of-sight detection method by the line-of-sight detection unit 30 includes, for example, a three-dimensional line-of-sight (direction) by performing image recognition processing (for example, pattern matching) on the direction of the driver's face and the bias direction of the eyes of both eyes with respect to the face and the degree thereof. ). In addition, the pointing direction detection unit 31 uses, for example, the direction in which the finger extends as the pointing direction on the horizontal plane, and performs image recognition processing (for example, pattern matching) on the thickness from the base of the finger to the tip. The elevation angle is determined and this is set as the pointing direction on the vertical plane, and the pointing direction in three dimensions is determined based on the pointing direction on the horizontal plane and the vertical plane.
As the detection of the line of sight, there are a method of detecting eye movement, a method of using a boundary between the cornea and the sclera, a method of using a cornea reflection image, a method of using a cornea reflection image and a pupil, and the like. An eye camera (registered trademark) may be used.

方向一致判断部32は、視線検出部30が検出した3次元での視線(方向)と、指差し方向検出部31が検出した指の3次元での指差し方向との一致、不一致を判断する。この場合、方向一致判断部32は、視線と指差し方向がウインドガラス6上で所定の距離内にあれば、両者は一致すると判断する。視線と指差し方向が一致した状態で両者が移動すると、方向一致検出部31は、その両者の一致状態の下での移動方向も検出する。そして、方向一致判断部32は、視線と指差し方向の一致情報とその一致した状態での移動方向情報を表示制御装置11に出力する。   The direction coincidence determination unit 32 determines whether the three-dimensional gaze (direction) detected by the gaze detection unit 30 matches or does not match the three-dimensional finger pointing direction detected by the pointing direction detection unit 31. . In this case, the direction coincidence determination unit 32 determines that the two match if the line of sight and the pointing direction are within a predetermined distance on the window glass 6. When both move in a state where the line of sight and the pointing direction coincide with each other, the direction coincidence detection unit 31 also detects the moving direction under the coincidence state of both. Then, the direction coincidence determination unit 32 outputs the coincidence information between the line of sight and the pointing direction and the movement direction information in the coincidence state to the display control device 11.

ウインドガラス6に表示された表示画面の位置を微調整したい場合には、音声で移動させたい方向を指示する。すると、マイクロフォン24がその音声の波形を音声認識部33に出力する。音声認識部33は、その音声を予め登録された音声波形パターンと比較して音声を認識して認識結果を表示制御装置11に出力する。   When it is desired to finely adjust the position of the display screen displayed on the window glass 6, the direction in which the user wants to move is designated by voice. Then, the microphone 24 outputs the voice waveform to the voice recognition unit 33. The voice recognition unit 33 compares the voice with a previously registered voice waveform pattern, recognizes the voice, and outputs a recognition result to the display control device 11.

次に上記構成の作用を説明する
まず、視線と指差し方向をパターンマッチングによる画像認識処理にて検出するために、運転者の顔(両目)と指の撮影画像をサンプル画像としてデータベース35に登録すると共に、表示画面の微小移動のための音声波形を登録しておく。ここでは、説明の簡単化のために運転者は一人とする。
Next, the operation of the above configuration will be described. First, in order to detect the line of sight and the pointing direction by image recognition processing by pattern matching, the driver's face (both eyes) and the photographed image of the finger are registered in the database 35 as sample images. In addition, a voice waveform for minute movement of the display screen is registered. Here, for simplification of explanation, the number of drivers is one.

ここで、顔の撮影画像をサンプル画像として登録する場合の手順を図4に示すフローチャートをも参照しながら説明する。ユーザが運転席に座り、「初期登録」する旨の簡単な音声を発すると、HMI29の音声認識部33がマイクロフォン24からの音声波形とデータベース35に登録されている音声波形とを比較して「初期登録」と認識する。この認識に基づいて、制御部36が初期登録モード設定信号を表示制御装置11に出力する。   Here, a procedure for registering a shot image of a face as a sample image will be described with reference to the flowchart shown in FIG. When the user sits in the driver's seat and utters a simple voice indicating “initial registration”, the voice recognition unit 33 of the HMI 29 compares the voice waveform from the microphone 24 with the voice waveform registered in the database 35 to “ Recognize as "initial registration". Based on this recognition, the control unit 36 outputs an initial registration mode setting signal to the display control device 11.

初期登録モードに設定されると、表示制御装置11は、ヘッドアップディスプレイ3〜5のうちのいずれか、例えばヘッドアップディスプレイ4を使用して「あなたのお名前を言ってください。」の文字表示画面をウインドガラス6に表示する(図4のステップS1)。これに応じてユーザが自分の名前を言うと、音声認識部33がマイクロファン24から入力される音声波形をデータベース35に登録する(ステップS2)。   When the initial registration mode is set, the display control device 11 uses any one of the head-up displays 3 to 5, for example, the head-up display 4 to display the text “Please say your name.” A screen is displayed on the window glass 6 (step S1 in FIG. 4). In response to this, when the user says his / her name, the speech recognition unit 33 registers the speech waveform input from the microfan 24 in the database 35 (step S2).

次に、表示制御装置11がヘッドアップディスプレイ4により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス6の左側に表示する(ステップS3)。この文字表示画面に従って、図7に示すように、ユーザがその文字表示画面を目で見ながら、左手の指で表示画面を指差す。すると、HMI29が室内カメラ23に撮影信号を送り、室内カメラ23でユーザの顔や手を撮影する(ステップS4)。その撮影画像は、制御部36が有する図示しないメモリに一時的に記憶される(ステップS5)。   Next, the display control device 11 displays a character display screen on the left side of the window glass 6 with the head-up display 4 "please point with the left hand while viewing the display screen with eyes" (step S3). According to this character display screen, as shown in FIG. 7, the user points to the display screen with the finger of his left hand while viewing the character display screen with his eyes. Then, the HMI 29 sends a photographing signal to the indoor camera 23 and photographs the user's face and hand with the indoor camera 23 (step S4). The captured image is temporarily stored in a memory (not shown) included in the control unit 36 (step S5).

続いて、表示制御装置11がヘッドアップディスプレイ4により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス6の中央に表示する(ステップS6)。この文字表示画面に従ってユーザがその表示画面を目で見ながら左手の指で表示画面を指差す。すると、上述のように室内カメラ23でユーザの顔や手を撮影し(ステップS7)、その撮影画像は制御部36のメモリに一時的に記憶される(ステップS8)。   Subsequently, the display control device 11 displays a character display screen “Please point with the left hand while viewing the display screen with eyes” by the head-up display 4 in the center of the window glass 6 (step S6). In accordance with this character display screen, the user points at the display screen with the finger of the left hand while viewing the display screen. Then, as described above, the user's face and hand are photographed by the indoor camera 23 (step S7), and the photographed image is temporarily stored in the memory of the control unit 36 (step S8).

更に、表示制御装置11がヘッドアップディスプレイ4により「表示画面を目で見ながら左手で指差してください」という文字表示画面をウインドガラス6の右側に表示する(ステップS9)。この文字表示画面に従ってユーザがその表示画面を目で見ながら左の手の指で表示画面を指差す。また、HMI29が室内カメラ23に撮影信号を送り、室内カメラ23でユーザの顔や手を撮影し(ステップS10)、その撮影画像は制御部36が有する図示しないメモリに一時的に記憶される(ステップS11)。   Further, the display control device 11 displays a character display screen on the right side of the window glass 6 with the head-up display 4 "please point with the left hand while viewing the display screen with eyes" (step S9). In accordance with this character display screen, the user points at the display screen with the finger of the left hand while viewing the display screen. Further, the HMI 29 sends a shooting signal to the indoor camera 23, and the indoor camera 23 takes a picture of the user's face and hand (step S10), and the shot image is temporarily stored in a memory (not shown) of the control unit 36 ( Step S11).

以上により、表示画面がウインドガラス6の左側、中央、右側に表示されたとき、その表示画面を見るユーザの顔(両目)と、図8に例示するような左手の指のサンプル画像が得られる。その後、このサンプル画像の信頼度、特に左手で行う指差し方向の信頼度を判定するために、表示制御装置11がヘッドアップディスプレイ4により「表示画面をウインドガラスの中央の指定位置に移動させてください」という文字表示画面をウインドガラス6の左側に表示する(ステップS12)。   As described above, when the display screen is displayed on the left side, the center, and the right side of the window glass 6, a sample image of the user's face (both eyes) viewing the display screen and the finger of the left hand as illustrated in FIG. 8 is obtained. . Thereafter, in order to determine the reliability of this sample image, particularly the reliability of the pointing direction performed with the left hand, the display control device 11 uses the head-up display 4 to move the “display screen to the designated position in the center of the window glass. "Please" is displayed on the left side of the window glass 6 (step S12).

この表示に応じて、ユーザがその文字表示画面を目で見ながら、その画面の方向を左手で指差す。すると、室内カメラ23が撮影を開始し、そのユーザの撮影画像は、制御部36に入力される(ステップS13)。このときの視線と指差し方向は、それぞれ視線検出部30および指差し方向検出部31によって検出され、両者の一致、不一致が方向一致判断部32により判断される。そして、視線と指差し方向が一致している場合(ステップS14で「YES」)、制御部36は、表示制御装置11に一致信号を出力する。このため、表示制御装置11がヘッドアップディスプレイ4によるウインドガラス6の表示画面の周囲部分の色を変化させ(ハイライト表示)、移動可能となったことを報知する(ステップS15)。   In response to this display, the user points the screen direction with the left hand while viewing the character display screen. Then, the indoor camera 23 starts photographing, and the photographed image of the user is input to the control unit 36 (step S13). The line-of-sight and the pointing direction at this time are detected by the line-of-sight detection unit 30 and the pointing direction detection unit 31, respectively, and the coincidence / non-coincidence of both is determined by the direction matching determination unit 32. If the line of sight matches the pointing direction (“YES” in step S14), the control unit 36 outputs a coincidence signal to the display control device 11. For this reason, the display control apparatus 11 changes the color of the surrounding part of the display screen of the window glass 6 by the head-up display 4 (highlight display), and notifies that it became movable (step S15).

その後、視線と左手の指差し方向とを一致させた状態でそれらを右方向に移動させると、その移動がHMI29の制御部36から表示制御装置11に伝えられるため、表示制御装置11がヘッドアップディスプレイ4の向きを変化させ、ウインドガラス6の左側に表示されていた表示画面を右側に移動させてゆく(ステップS16,17)。そして、表示画面がウインドガラス6の中央の指定位置(ステップS6での中央表示位置と同じ位置)まで移動したところで視線と左手の指差し方向の移動を停止すると(ステップS18で「YES」、ステップS19で「YES」)、表示画面の文字が「移動完了ですか」に切換わる(ステップS20)。これに応答してユーザが「はい」と返事をすると、これを音声認識部33が認識することに基づき、制御部36が室内カメラ23の撮影を停止させる(ステップS21で「YES」、ステップS22)。   After that, when the line of sight and the pointing direction of the left hand are made to coincide with each other, if they are moved to the right, the movement is transmitted from the control unit 36 of the HMI 29 to the display control device 11, so that the display control device 11 The direction of the display 4 is changed, and the display screen displayed on the left side of the window glass 6 is moved to the right side (steps S16 and S17). Then, when the display screen moves to the designated position in the center of the window glass 6 (the same position as the central display position in step S6), the movement of the line of sight and the pointing direction of the left hand is stopped (“YES” in step S18, step If “YES” in S19), the character on the display screen is switched to “Movement complete?” (Step S20). In response to this, when the user replies “yes”, the voice recognition unit 33 recognizes this, and the control unit 36 stops the shooting of the indoor camera 23 (“YES” in step S21, step S22). ).

そして、制御部36は、撮影開始から撮影停止までの画像のうち、左側に表示された表示画面に視線と指差し方向を合せたときの画像および表示画面を中央に移動させる操作を完了したときの画像を、先にメモリに記憶した左側に表示画面を表示したときの撮影画像および中央に表示画面を表示したときの撮影画像と比較し、一致度を判断する(ステップS23)。一致度が大きい場合(ステップS23で「YES」)、メモリに記憶した画像をサンプル画像としてデータベースに登録し(ステップS24)、リターンとなる。   Then, when the control unit 36 completes the operation of moving the image and the display screen when the line of sight and the pointing direction are matched to the display screen displayed on the left side of the images from the start of shooting to the stop of shooting, to the center. Are compared with the captured image when the display screen is displayed on the left side previously stored in the memory and the captured image when the display screen is displayed in the center, and the degree of coincidence is determined (step S23). If the degree of coincidence is high (“YES” in step S23), the image stored in the memory is registered in the database as a sample image (step S24), and the process returns.

一致度が低い場合には、記憶した画像では、表示画面を移動操作できる程度が低いとし、前記ステップS3に戻って以上の動作を再度実行する。この再度の実行においても、ステップS23での一致度判断で一致度が低いとされたときには、図9に示すように、左側、中央、右側の各指差し状態について、複数のサンプル画像をデータベース35に登録しておき、実際の移動操作時において撮影した画像が、いずれかのサンプル画像に近い画像であったとき、ユーザに画面表示或いは図示しないスピーカからの音声出力などによって指差し方向を確認するようにする。なお、視線についても、両目の画像の一致度が低い場合には、上記指差し方向と同様に複数の画像を登録してユーザに問い合わせを行うようにしても良い。
なお、指差し方向のサンプル画像も上記したと同様にして登録する。
If the degree of coincidence is low, the stored image is assumed to have a low degree of moving operation on the display screen, and the process returns to step S3 and the above operations are executed again. Also in this re-execution, when the coincidence degree is determined to be low in step S23, a plurality of sample images are stored in the database 35 for the left, center, and right pointing states as shown in FIG. If the image taken during the actual movement operation is an image close to one of the sample images, the user confirms the pointing direction by screen display or voice output from a speaker (not shown). Like that. As for the line of sight, if the degree of coincidence between the images of both eyes is low, a plurality of images may be registered and an inquiry may be made to the user in the same manner as the pointing direction.
A sample image in the pointing direction is also registered in the same manner as described above.

次に、ウインドガラス6に表示されている表示画面を移動させる場合を図5のフローチャートをも参照して説明する。表示装置1に電源が投入されると、表示制御装置11は、地図映像情報、ビデオ情報、テレビ映像情報、計器映像情報の各表示画面を前回設定された位置に表示する(図5のステップA1)。この場合、前回設定位置として、計器映像情報の表示画面がウインドガラス6の下部中央、地図映像情報の表示画面がウインドガラス6の右側、テレビ映像情報およびビデオ情報のうちの一方、例えばテレビ映像情報の表示画面がウインドガラス6の左側に設定されていたとすると、ステップA1では、それら各表示画面が上記各位置にされるのである。   Next, the case where the display screen currently displayed on the window glass 6 is moved is demonstrated with reference to the flowchart of FIG. When the display device 1 is powered on, the display control device 11 displays each display screen of map video information, video information, television video information, and instrument video information at a previously set position (step A1 in FIG. 5). ). In this case, as the previously set position, the display screen of the instrument video information is the lower center of the window glass 6, the display screen of the map video information is the right side of the window glass 6, and one of the TV video information and the video information, for example, TV video information. If the display screen is set on the left side of the window glass 6, these display screens are set to the above positions in step A1.

次に、運転席に座ったユーザが自分の名前を発声すると、その音声がマイクロフォン24に入力され、音声認識部33によって名前が認識される。そして、HMI29の制御部36は、音声認識部33の認識結果に基づいてユーザを特定する(ステップA2で「YES」ステップA3)。その後、ユーザが表示画面を移動させるために、モード設定手段としての移動モード設定スイッチ27をオン操作すると、制御部36は、移動モードに入り(ステップA4で「YES」、ステップA5)、室内カメラ23による撮影を開始すると共に、その撮影画像が視線検出部30および指差し方向検出部31に入力されるようにする。これにより、両検出部30,31がデータベース35に登録されているユーザのサンプリング画像と比較し、視線および指差し方向を検出する。そして、方向一致判断部32が視線と指差し方向との一致、不一致を判断する(ステップA6)。   Next, when the user sitting in the driver's seat speaks his / her name, the voice is input to the microphone 24 and the name is recognized by the voice recognition unit 33. And the control part 36 of HMI29 specifies a user based on the recognition result of the speech recognition part 33 ("YES" in step A2 step A3). Thereafter, when the user turns on the movement mode setting switch 27 as the mode setting means in order to move the display screen, the control unit 36 enters the movement mode (“YES” in step A4, step A5), and the indoor camera 23, and the captured image is input to the line-of-sight detection unit 30 and the pointing direction detection unit 31. Thereby, both the detection parts 30 and 31 are compared with the user's sampling image registered in the database 35, and a gaze and a pointing direction are detected. Then, the direction coincidence determination unit 32 determines whether the line of sight and the pointing direction match or does not match (step A6).

図6に示すように、視線Sと指差し方向Fを移動させたい表示画面に向けると(画面選択手段)、方向一致判断部32により視線と指差し方向とが一致していると判断され(ステップA6で「YES」)、制御部36は、視線と指差し方向の一致部分に表示画面が存在するか否かを判断する(ステップA7)。この判断は、表示制御装置11を介して各ヘッドアップディスプレイ3〜5の回動機構12の2軸を中心とした回転位置情報を取得して各ヘッドアップディスプレイ3〜5の向きを求め、このヘッドアップディスプレイ3〜5の向きから演算される各表示画面の位置のいずれかに、視線と指差し方向との一致部分が存在するか否かによって行う。   As shown in FIG. 6, when the line of sight S and the pointing direction F are directed to the display screen to be moved (screen selection means), the direction matching determining unit 32 determines that the line of sight and the pointing direction match ( In step A6, “YES”), the control unit 36 determines whether or not a display screen exists at a portion where the line of sight matches the pointing direction (step A7). This determination is made by obtaining rotational position information about the two axes of the rotation mechanism 12 of each head-up display 3-5 via the display control device 11 to obtain the orientation of each head-up display 3-5. This is performed depending on whether or not there is a matching portion between the line of sight and the pointing direction at any of the positions of the display screens calculated from the orientations of the head-up displays 3 to 5.

視線と指差し方向との一致部分に表示画面が存在すると判断されると、制御部36は、指示された表示画面が例えば地図画面であったとすると、その地図画面が移動対象画面に選択されたことを表示制御装置11に通知する。すると、表示制御装置11は、地図画面の周囲を明るくしてユーザに地図画面が移動対象画面となったことを報知する(ステップA8)。そして、制御部36は、視線と指差し方向が依然として移動対象画面として選択された表示画面、この場合は地図画面上で一致していることを確認する(ステップA9)。このようにしてユーザが視線と指差し方向が図7に示すように、所定時間T以上、移動対象画面として選択された地図画面上で一致させたまま保持し、その後、視線と指差し方向を一致させたままで所望の方向へ移動させると、これを視線検出部30および指差し方向検出部31の検出信号に基いて方向一致判断部32が検出する。そして、制御部36は、視線と指差し方向の移動を表示制御装置11に通知する。この移動の通知は、移動方向および移動量の情報を含んで行われ、表示制御装置11は、これに基づいてヘッドアップディスプレイ3の回動機構12を制御し、地図画面を視線と指差し方向の移動に追従して移動させる(ステップA10で「YES」、ステップA11の繰り返し:移動制御手段)。   If it is determined that a display screen exists in the coincident part between the line of sight and the pointing direction, the control unit 36 selects the map screen as the movement target screen if the instructed display screen is, for example, a map screen. This is notified to the display control device 11. Then, the display control device 11 brightens the periphery of the map screen and notifies the user that the map screen has become the movement target screen (step A8). Then, the control unit 36 confirms that the line of sight and the pointing direction are still matched on the display screen selected as the movement target screen, in this case the map screen (step A9). In this way, as shown in FIG. 7, the user keeps the line of sight and the pointing direction for a predetermined time T or more on the map screen selected as the movement target screen, and then keeps the line of sight and the pointing direction. When it is moved in a desired direction while keeping the coincidence, the direction coincidence determination unit 32 detects this based on the detection signals of the line-of-sight detection unit 30 and the pointing direction detection unit 31. Then, the control unit 36 notifies the display control device 11 of the movement in the line of sight and the pointing direction. This notification of movement is performed including information on the direction of movement and the amount of movement, and the display control device 11 controls the rotation mechanism 12 of the head-up display 3 based on this information, and changes the line of sight and pointing to the map screen. The movement is performed following the movement of (YES in step A10, repetition of step A11: movement control means).

地図画面が所望の位置に移動されると、ユーザは視線および指差し方向の移動をそこで停止し、視線および/または指差し方向、例えば図7にRで示すように、指差し方向を地図面から外す(移動位置設定手段)。すると、これを指差し方向検出部31が検出し、これに基づく制御部36からの通知により、表示制御装置11が、地図画面を移動対象画面から外す(ハイライト表示解除)と共に、その移動を停止させる(ステップA10で「NO」、ステップA12で「NO」、ステップA13)。
地図画面の停止位置が所望の位置から僅かにずれている場合には、ユーザが「少し左へ移動」とか「少し右へ移動」とかの音声を発する。すると、音声認識部33がこれを認識し、制御部36が表示制御装置11に微小移動指令を出力し、地図画面を微小移動させる(ステップA14,A15)。
When the map screen is moved to a desired position, the user stops there a movement of the line of sight and the pointing direction, as shown sight and / or pointing direction, for example in FIG. 7 with R, a map image of the pointing direction Remove from the surface (moving position setting means). Then, the pointing direction detection unit 31 detects this, and the display control device 11 removes the map screen from the movement target screen based on the notification from the control unit 36 based on this (the highlight display is canceled) and moves the movement. Stop ("NO" in step A10, "NO" in step A12, step A13).
When the stop position of the map screen is slightly deviated from the desired position, the user emits a sound such as “move slightly to the left” or “move slightly to the right”. Then, the voice recognition unit 33 recognizes this, and the control unit 36 outputs a minute movement command to the display control device 11 to slightly move the map screen (steps A14 and A15).

その後、ユーザが移動モード設定スイッチ27をオフ操作しなければ(ステップA16で「NO」)、制御部36は、ステップA6に戻って次の移動対象画面が設定されるのを待つようになる。また、モード解除手段としての移動モード設定スイッチ27がオフ操作された場合には、制御部36は、移動モードを解除し(ステップA16で「YES」、ステップA17)、移動モード設定スイッチ27がオンされたか否かを監視するステップA4に戻る。   Thereafter, if the user does not turn off the movement mode setting switch 27 (“NO” in step A16), the control unit 36 returns to step A6 and waits for the next movement target screen to be set. When the movement mode setting switch 27 serving as the mode release means is turned off, the control unit 36 releases the movement mode (“YES” in step A16, step A17), and the movement mode setting switch 27 is turned on. The process returns to step A4 for monitoring whether or not it has been done.

ところで、移動対象画面をナビゲーション装置13の表示部16に移したい場合がある。なお、計器映像情報については、ナビゲーション装置13の表示部16には移動させることはできないようになっている。また、ナビゲーション装置13の表示部16に地図画面、ビデオ画面、テレビ映像画面のうちのいずれかが表示されている場合、他の画面を移動させると、それまでの画面はウインドガラス6のほうへ自動的に移動される。   Incidentally, there are cases where it is desired to move the movement target screen to the display unit 16 of the navigation device 13. Note that the instrument video information cannot be moved to the display unit 16 of the navigation device 13. Further, when any one of the map screen, the video screen, and the television image screen is displayed on the display unit 16 of the navigation device 13, when the other screen is moved, the previous screen is directed to the wind glass 6. Moved automatically.

さて、移動対象画面、この場合には地図画面をナビゲーション装置13の表示部16に移動させるには、地図画面をウインドガラス6の最下位置まで移動させる。すると、地図画面はそれ以上、下方には移動しないため、視線および指差し方向の移動をそこで一旦止め、その後、視線および指差し方向を一致させたままナビゲーション装置13の表示部16上に移動させ、そして、確定スイッチ28をオン操作する。   Now, in order to move the movement target screen, in this case the map screen, to the display unit 16 of the navigation device 13, the map screen is moved to the lowest position of the window glass 6. Then, since the map screen does not move any further downward, the movement in the line of sight and the pointing direction is temporarily stopped there, and then moved to the display unit 16 of the navigation device 13 while keeping the line of sight and the pointing direction in agreement. Then, the confirmation switch 28 is turned on.

すると、制御部36は、視線と指差し方向の一致を判断するステップA12で「YES」、視線と指差し方向がナビゲーション装置13の表示部16を指しているかを判断するステップA18で「YES」、他表示部選択手段としての確定スイッチ28がオンされたことを判断するステップA19で「YES」となる。そして、制御部36は、表示制御部11に移動対象画面である地図画面をナビゲーション装置13の表示部16に移動させる旨の指令を発する。   Then, the control unit 36 determines “YES” in step A12 for determining whether the line of sight matches the pointing direction, and “YES” in step A18 for determining whether the line of sight and pointing direction point to the display unit 16 of the navigation device 13. Then, “YES” is determined in the step A19 in which it is determined that the confirmation switch 28 as the other display portion selection unit is turned on. Then, the control unit 36 issues a command to the display control unit 11 to move the map screen, which is the movement target screen, to the display unit 16 of the navigation device 13.

この指令に応答して、表示制御装置11は、ナビゲーション装置13の表示部16に表示されている画面があるか否かを判断し(ステップA20)、あれば現在表示部16に表示されている画面をウインドガラス6に移動させ(ステップA21)、次いで、地図画面を表示部16に移動させる(ステップA22)。また、現在、表示部16に表示されている画面がなければ(ステップA20で「NO」)、表示制御装置11は、そのまま地図画面を表示部16に移動させる。   In response to this command, the display control device 11 determines whether or not there is a screen displayed on the display unit 16 of the navigation device 13 (step A20), and if present, it is currently displayed on the display unit 16. The screen is moved to the window glass 6 (step A21), and then the map screen is moved to the display unit 16 (step A22). If there is no screen currently displayed on the display unit 16 (“NO” in step A20), the display control device 11 moves the map screen to the display unit 16 as it is.

以上の説明から理解されるように、視線検出部30および指差し方向検出部31は、ウインドガラス6に虚像として表示された複数の表示画面のうちから所望する表示画面を移動対象が面として選択するための画面選択手段と、この画面選択手段により選択された前記虚像画面の前記反射手段における表示位置を所望する位置を定めるための移動位置設定手段とを兼用する。   As can be understood from the above description, the line-of-sight detection unit 30 and the pointing direction detection unit 31 select a desired display screen from among a plurality of display screens displayed as virtual images on the window glass 6 as movement surfaces. And a moving position setting means for determining a desired display position on the reflecting means of the virtual image screen selected by the screen selecting means.

このように本実施形態によれば、ウインドガラス6に表示されている映像画面をユーザの所望の位置に移動させることができるので、各画面を場合に応じて最適位置に移動させることができる。   As described above, according to the present embodiment, the video screen displayed on the window glass 6 can be moved to the position desired by the user, so that each screen can be moved to the optimum position according to circumstances.

この場合において、表示画面の移動は、視線と指差し方向とによって行うので、インストルメントパネル7に位置調節用のスイッチ装置を設け、このスイッチ装置を操作することによって表示画面を移動させる構成とは異なり、スイッチ装置の位置に手を持ってゆくことに気を取られたりすることがない。また、視線だけ、或いは指差しだけで画面移動を行うものとは異なり、むやみに画面が移動されてしまうことがない。   In this case, since the display screen is moved according to the line of sight and the pointing direction, a configuration is provided in which a switch device for position adjustment is provided on the instrument panel 7 and the display screen is moved by operating this switch device. In contrast, there is no distraction from bringing your hand to the position of the switch device. In addition, unlike the case where the screen is moved only by the line of sight or only by pointing, the screen is not moved unnecessarily.

なお、本発明は上記し且つ図面に示す実施形態に限定されるものではなく、以下のような拡張或いは変更が可能である。
移動対象画面は、視線と指差し方向とを一致させた状態で移動させたとき、その視線と指差し方向の移動に追従して移動するものに限られず、視線と指差し方向とが不一致となったとき、その不一致となった位置に移るように構成しても良い。
ウインドガラス6に表示する画面は、地図映像情報専用、ビデオ情報、テレビ映像情報、計器映像情報の画面に限られない。
また、ウインドガラス6に表示する画面は、1つだけであっても良い。
The present invention is not limited to the embodiment described above and shown in the drawings, and can be expanded or changed as follows.
The movement target screen is not limited to a screen that moves following the movement of the line of sight and the pointing direction when the line of sight and the pointing direction are matched, and the line of sight and the pointing direction do not match. When it becomes, it may be configured to move to the position where the mismatch occurs.
The screen displayed on the window glass 6 is not limited to the screen for exclusive use of map video information, video information, TV video information, and instrument video information.
Further, only one screen may be displayed on the window glass 6.

撮影カメラを複数台設け、顔、手を前、上、横の複数箇所から撮影するようにしても良い。このようにすれば、より正確に視線、指差し方向を判断できる。 A plurality of photographing cameras may be provided, and photographing may be performed from a plurality of locations such as the front, the front, and the side. In this way, more accurate line-of-sight, Ru can determine the pointing direction.

光学ユニットは、複数のヘッドアップディスプレイからなるものに限られない。ヘッドアップディスプレイは、他の映像情報投射手段に換えても良い。
反射手段は、半透明のものであっても良い。
本発明の表示装置は、車載用に限られない。
An optical unit is not restricted to what consists of a some head-up display. The head-up display may be replaced with other video information projection means.
The reflecting means may be translucent.
The display device of the present invention is not limited to a vehicle.

本発明の一実施形態を示すもので、表示装置のブロック図1 is a block diagram of a display device according to an embodiment of the present invention. 各構成部分の車両内への配設位置を示すために、ドア部分を除去して示す車両の側面図Side view of the vehicle with the doors removed to show the location of each component in the vehicle ヘッドアップディスプレイによる虚像表示を示す図The figure which shows the virtual image display with the head up display 視線、指差しのサンプル画像の登録のためのフローチャートFlow chart for registering sample images of line of sight and pointing 表示画面の移動のためのフローチャートFlow chart for moving the display screen 表示画面を移動させる場合の視線と指差し方向を示す図Diagram showing line of sight and pointing direction when moving the display screen 視線と指差し方向の一致・不一致を説明するための図A diagram for explaining the match / mismatch between the line of sight and the pointing direction 指差しのサンプル画像の一例を示す図The figure which shows an example of the sample image of pointing 指差しのサンプル画像の他の例を示す図The figure which shows the other example of the sample image of pointing

符号の説明Explanation of symbols

図中、1は画面移動型表示装置、2は光学ユニット、3〜4はヘッドアップディスプレイ、6はフロントウインドシールド(反射手段)、11は表示制御装置(移動制御手段)、13はナビゲーション装置、14はCVDプレーヤ、15はテレビ受信機、16は表示部、23は室内カメラ、24はマイクロフォン、25は手元スイッチ装置、29はHMI、30は視線検出部(視線検出手段、画面選択手段、移動位置設定手段)、31は指差し方向検出部(指差し方向検出手段、画面選択手段、移動位置設定手段)、32は方向一致判断部(方向一致判断手段、画面選択手段、移動位置設定手段)、35はデータベース(記憶手段)、36は制御部である。   In the figure, 1 is a screen movement type display device, 2 is an optical unit, 3 to 4 are head-up displays, 6 is a front windshield (reflection means), 11 is a display control device (movement control means), 13 is a navigation device, 14 is a CVD player, 15 is a television receiver, 16 is a display unit, 23 is an indoor camera, 24 is a microphone, 25 is a hand switch device, 29 is an HMI, 30 is a gaze detection unit (gaze detection means, screen selection means, movement (Position setting means), 31 is a pointing direction detection unit (pointing direction detection means, screen selection means, movement position setting means), 32 is a direction matching determination section (direction matching determination means, screen selection means, movement position setting means) , 35 is a database (storage means), and 36 is a control unit.

Claims (4)

  1. 半透明または透明な反射手段に向けて映像情報を光で投射し、前記映像情報を前記反射手段による虚像として表示する光学ユニットと、
    ユーザの視線を検出する視線検出手段と、
    前記ユーザの指差し方向を検出する指差し方向検出手段と、
    前記視線検出手段により検出された前記視線と前記指差し方向検出手段により検出された前記指差し方向との一致位置を判断する方向一致判断手段と、
    前記方向一致判断手段により判断された前記視線と前記指差し方向との一致位置が前記反射手段に表示された前記虚像画面上あるとき当該虚像画面を移動対象画面と判断し、当該移動対象画面と判断した後、前記ユーザの視線と前記指差し方向が前記移動対象画面と判断された前記虚像画面上で一致したまま移動するとき、当該虚像画面を前記視線と前記指差し方向の移動に追従して移動させ、前記視線と前記指差し方向が不一致となった、前記移動対象画面と判断された前記虚像画面を、前記視線と前記指差し方向が不一致となった位置で停止させる、または、前記移動対象画面と判断した後、前記移動対象画面と判断された前記虚像画面を残して前記ユーザの視線と前記指差し方向が一致したまま移動して前記視線と前記指差し方向が不一致となった、前記移動対象画面と判断された前記虚像画面を、前記移動対象画面と判断された時の位置から前記視線と前記指差し方向が不一致となった位置に移す移動制御手段と、
    を具備してなる画面移動型表示装置。
    An optical unit that projects image information with light toward a translucent or transparent reflecting means, and displays the image information as a virtual image by the reflecting means;
    Gaze detection means for detecting the gaze of the user;
    Pointing direction detecting means for detecting the pointing direction of the user;
    Direction matching determination means for determining a matching position between the line of sight detected by the line of sight detection means and the pointing direction detected by the pointing direction detection means;
    When the coincidence position between the line of sight determined by the direction coincidence determination unit and the pointing direction is on the virtual image screen displayed on the reflection unit, the virtual image screen is determined as a movement target screen, and the movement target screen After the determination, when the user's line of sight and the pointing direction move on the virtual image screen determined to be the movement target screen, the virtual image screen follows the movement in the line of sight and the pointing direction. move Te, when the said line-of-sight pointing direction is not matched, the virtual screen is determined that the moving object screen, the said line of sight pointing direction is stopped at a position where a mismatch, or, wherein after determining that the moving target screen, the moving object picture with the determined moving the pointing direction and the sight line while the line of sight with the pointing direction of the user to leave the virtual image screen matches the When he became consistent, the virtual screen is determined that the moving object picture, a moving control means to transfer from the position when it is determined that the moving object screen to the position where the pointing direction and the sight line is not matched ,
    A screen movement type display device comprising:
  2. 前記光学ユニットは、前記反射手段に向けて同時に複数の前記映像情報を光で投射可能で、前記反射手段により複数の前記虚像画面を表示可能であることを特徴とする請求項1記載の画面移動型表示装置。   2. The screen movement according to claim 1, wherein the optical unit is capable of projecting a plurality of pieces of the video information simultaneously with light toward the reflection unit, and capable of displaying the plurality of virtual image screens by the reflection unit. Type display device.
  3. 前記視線検出手段および前記指差し方向検出手段は、撮影手段による撮影画像に基づいて検出する構成で、撮影画像を予め記憶手段に記憶されているサンプル画像と比較して視線および指差し方向を判断することを特徴とする請求項1または2記載の画面移動型表示装置。 The line-of-sight detection means and the pointing direction detection means are configured to detect based on a photographed image by the photographing means, and determine the line of sight and the pointing direction by comparing the photographed image with a sample image stored in the storage means in advance. pan type display device according to claim 1 or 2, wherein the to.
  4. 車両に搭載され、前記反射手段を前記車両のフロントウインドシールドとしたことを特徴とする請求項1ないしのいずれかに記載の画面移動型表示装置。 Mounted on a vehicle, pan-type display device according to any one of claims 1 to 3 said reflecting means, characterized in that the front windshield of the vehicle.
JP2005295008A 2005-10-07 2005-10-07 Screen moving display device Active JP4622794B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005295008A JP4622794B2 (en) 2005-10-07 2005-10-07 Screen moving display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005295008A JP4622794B2 (en) 2005-10-07 2005-10-07 Screen moving display device

Publications (2)

Publication Number Publication Date
JP2007099199A JP2007099199A (en) 2007-04-19
JP4622794B2 true JP4622794B2 (en) 2011-02-02

Family

ID=38026544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005295008A Active JP4622794B2 (en) 2005-10-07 2005-10-07 Screen moving display device

Country Status (1)

Country Link
JP (1) JP4622794B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009280076A (en) * 2008-05-22 2009-12-03 Nippon Seiki Co Ltd Head-up display device for vehicle
JP5198368B2 (en) * 2009-06-18 2013-05-15 本田技研工業株式会社 Image display device for vehicle
JP5316430B2 (en) * 2010-01-13 2013-10-16 株式会社デンソー Vehicular head-up display device and manufacturing method thereof
JP6316559B2 (en) * 2013-09-11 2018-04-25 クラリオン株式会社 Information processing apparatus, gesture detection method, and gesture detection program
JP6369106B2 (en) 2014-04-16 2018-08-08 株式会社デンソー Head-up display device
CN108349503A (en) * 2015-10-30 2018-07-31 三菱电机株式会社 Drive assistance device
EP3361352B1 (en) 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Device and program for displaying virtual images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Device and program for displaying virtual images

Also Published As

Publication number Publication date
JP2007099199A (en) 2007-04-19

Similar Documents

Publication Publication Date Title
US10031579B2 (en) Automatic calibration for reflective lens
US10203754B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
EP3040809B1 (en) Method and system for controlling a human-machine interface having at least two displays
US9405120B2 (en) Head-up display and vehicle using the same
EP2826689B1 (en) Mobile terminal
US20170364148A1 (en) Control device for vehicle and control method thereof
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
JP6138634B2 (en) Head-up display device
US9819920B2 (en) Head-up display device
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
CN104166238B (en) Device and method for projecting image information into the field of view of an occupant of a vehicle
US10162998B2 (en) Wearable glasses, control method thereof, and vehicle control system
US8767014B2 (en) Automatic text scrolling on a display device
WO2017134865A1 (en) Head-up display device
KR101544524B1 (en) Display system for augmented reality in vehicle, and method for the same
EP2783252B1 (en) Method of using eye-tracking to center image content in a display
US8693103B2 (en) Display device and display method
US9519640B2 (en) Intelligent translations in personal see through display
US7952808B2 (en) Display system for vehicle and display method
JP2017531212A (en) Small head-up display system
US8203502B1 (en) Wearable heads-up display with integrated finger-tracking input sensor
US7284866B2 (en) Stabilized image projecting device
US8514276B2 (en) Apparatus for manipulating vehicular devices
US9656690B2 (en) System and method for using gestures in autonomous parking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

R151 Written notification of patent or utility model registration

Ref document number: 4622794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250