JP4323377B2 - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP4323377B2
JP4323377B2 JP2004152709A JP2004152709A JP4323377B2 JP 4323377 B2 JP4323377 B2 JP 4323377B2 JP 2004152709 A JP2004152709 A JP 2004152709A JP 2004152709 A JP2004152709 A JP 2004152709A JP 4323377 B2 JP4323377 B2 JP 4323377B2
Authority
JP
Japan
Prior art keywords
display
image
viewpoint
image display
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004152709A
Other languages
Japanese (ja)
Other versions
JP2005335410A (en
Inventor
貴史 三由
明生 小坂
秀和 岩城
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2004152709A priority Critical patent/JP4323377B2/en
Publication of JP2005335410A publication Critical patent/JP2005335410A/en
Application granted granted Critical
Publication of JP4323377B2 publication Critical patent/JP4323377B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、1台乃至数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、前記1台乃至数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関し、たとえば、店舗におけるモニタ装置、あるいは車両運転の際の安全確認の補助としての車両周囲モニタ装置等に応用して好適な技術に関する。   The present invention does not display images independently of each other for a plurality of images taken by one to several cameras, but the entire area photographed by the one or several cameras. The present invention relates to a device and a method for displaying a composite image so that the situation can be intuitively understood. For example, the present invention is applied to a monitor device in a store or a vehicle surroundings monitor device as an auxiliary for safety confirmation when driving a vehicle. And a suitable technique.
近年、複数のカメラで撮影した画像を見やすく表示する画像生成装置が開示されている(例えば、特許文献1。)。この特許文献1では、複数のカメラで撮影した領域(例えば、車両近辺)の画像を連続的な1枚の画像として合成し、その合成した画像を表示させる画像生成装置を開示している。   In recent years, there has been disclosed an image generation apparatus that displays images captured by a plurality of cameras in an easy-to-view manner (for example, Patent Document 1). This Patent Document 1 discloses an image generation apparatus that combines images of an area (for example, the vicinity of a vehicle) captured by a plurality of cameras as a continuous image and displays the combined image.
また、特許文献1では、予め適当に設定した空間モデル、もしくは、障害物検知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する。   Further, in Patent Document 1, a space model that is appropriately set in advance or a space model that is set according to the distance to an obstacle around the vehicle detected by the obstacle detection means is created by the space model creation means. The An image around the vehicle input from a camera installed on the vehicle by the image input means is mapped to the spatial model by the mapping means. Subsequently, one image viewed from the viewpoint determined by the viewpoint conversion means is synthesized from the mapped image and displayed on the display means.
このようにすることで、車両に設置された装置では、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだけ現実に近いように分かり易く一枚の画像として合成し、運転者にその画像を提供することができる。また、この際、視点変換手段により、運転者の所望の視点からの画像を表示させることが可能である。
特許第3286306号公報 特開平05−265547号公報 特開平06−266828号公報 特開平11−78693号公報 特開平5-37965号公報 特開平6−28452号公報 特開2000−47139号公報 特開2000−276613号公報 特開2000−348165号公報 特開平7−248216号公報 特開2004−61907号公報 富田文明,「高機能3次元視覚システム」,情報処理,情報処理学会発行,第42巻,第4号
In this way, in the device installed in the vehicle, what kind of object exists in the vicinity of the vehicle over the entire periphery of the vehicle is synthesized as a single image so that it is as easy to understand as possible, and driving The image can be provided to the person. Further, at this time, it is possible to display an image from the viewpoint desired by the driver by the viewpoint conversion means.
Japanese Patent No. 3286306 JP 05-265547 A Japanese Patent Laid-Open No. 06-266828 Japanese Patent Laid-Open No. 11-78693 Japanese Patent Laid-Open No. 5-37965 Japanese Patent Laid-Open No. 6-28452 JP 2000-47139 A JP 2000-276613 A JP 2000-348165 A JP 7-248216 A JP 2004-61907 A Fumiaki Tomita, "High-function 3D visual system", Information processing, IPSJ, Volume 42, No.4
ところが、特許文献1では、複数のカメラで撮影した領域(例えば、車両近辺)の画像を連続的な1枚の画像として合成し、その合成した画像を仮想の3次元空間モデルにマッピングして、そのマッピングしたデータを仮想的に3次元上で視点を変えた画像(仮想視点画像)をどのようにして生成するかに主題をおいた技術であり、その表示の方法や表示形態等についてユーザインターフェースにおける利便性を向上させるということについては十分に具体的な提案をするものではない。   However, in Patent Document 1, an image of an area (for example, the vicinity of a vehicle) captured by a plurality of cameras is synthesized as a single continuous image, and the synthesized image is mapped to a virtual three-dimensional space model. It is a technology that focuses on how to create an image (virtual viewpoint image) in which the viewpoint of the mapped data is virtually changed in three dimensions. The user interface for the display method and display form We do not make a concrete proposal about improving the convenience of the company.
上記の課題に鑑み、本発明では、仮想視点画像をユーザの利便性を考慮して表示させる画像表示装置を提供する。   In view of the above problems, the present invention provides an image display device that displays a virtual viewpoint image in consideration of user convenience.
上記課題は、特許請求の範囲の請求項1に記載の発明によれば、車室内の所定位置に配され反射面がハーフミラーによって構成され該ハーフミラーの背後にハーフミラーの前面側から観察可能に画像を表示する画像表示用ディスプレイが設けられたルームミラーと、前記ルームミラー上に定義された座標系における視点座標を検出する視点相対位置検出手段と、前記視点相対位置検出手段によって検出された前記視点座標に基づいて前記画像表示用ディスプレイでの画像表示形態を制御する表示形態制御手段と、を備えたことを特徴とする画像表示装置を提供することによって達成できる。   According to the first aspect of the present invention, the above-described problem can be observed from the front side of the half mirror behind the half mirror. A room mirror provided with an image display for displaying an image, a viewpoint relative position detecting means for detecting viewpoint coordinates in a coordinate system defined on the room mirror, and a viewpoint relative position detecting means This can be achieved by providing an image display device comprising display form control means for controlling an image display form on the image display based on the viewpoint coordinates.
上記課題は、特許請求の範囲の請求項2に記載の発明によれば、前記視点相対位置検出手段は、前記ルームミラーに設置されていることを特徴とする請求項1に記載の画像表示装置を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項3に記載の発明によれば、車室内の所定位置に配され反射面がハーフミラーによって構成され該ハーフミラーの背後にハーフミラーの前面側から観察可能に画像を表示する画像表示用ディスプレイが設けられたルームミラーと、前記ルームミラーの位置姿勢を検出する位置姿勢検出手段と、観察者の視点位置を検出する視点位置検出手段と、前記位置姿勢検出手段によって検出されたルームミラーの位置姿勢及び前記視点位置検出手段によって検出された観察者の視点位置に基づいて前記画像表示用ディスプレイでの画像表示形態を制御する表示形態制御手段と、を備えたことを特徴とする画像表示装置を提供することによって達成できる。
The image display apparatus according to claim 1, wherein the subject is according to the invention described in claim 2, wherein the viewpoint relative position detection unit is installed in the room mirror. Can be achieved by providing.
According to the invention described in claim 3, the above-mentioned problem is arranged at a predetermined position in the vehicle interior, the reflecting surface is constituted by a half mirror, and can be observed from the front side of the half mirror behind the half mirror. A room mirror provided with an image display for displaying an image, a position and orientation detection means for detecting the position and orientation of the room mirror, a viewpoint position detection means for detecting the viewpoint position of the observer, and the position and orientation detection Display form control means for controlling the image display form on the image display based on the position and orientation of the room mirror detected by the means and the viewpoint position of the observer detected by the viewpoint position detection means. This can be achieved by providing an image display device characterized by the above.
上記課題は、特許請求の範囲の請求項4に記載の発明によれば、視線方向検出手段を更に備え、視線方向が、ミラー面と交差する場合にのみ画像表示することを特徴とする請求項1または3に記載の画像表示装置を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項5に記載の発明によれば、前記画像表示用ディスプレイは、車外を撮像する撮像手段の出力である画像情報を表示可能になされ、前記表示形態制御手段は、前記位置姿勢検出手段によって検出されたルームミラーの位置姿勢及び前記視点位置検出手段によって検出された観察者の当該視点位置に基づいて前記観察者の死角となる観察領域を認識する死角領域認識手段を有し、該死角領域認識手段によって認識された死角となる観察領域に対応する車外の画像を前記画像表示用ディスプレイに表示するように画像表示形態を制御するように構成されたものであることを特徴とする請求項3に記載の画像表示装置を提供することによって達成できる。
According to the invention described in claim 4, the object is further provided with a line-of-sight direction detecting means, and an image is displayed only when the line-of-sight direction intersects the mirror surface. This can be achieved by providing the image display device according to 1 or 3.
According to the invention of claim 5, the image display is capable of displaying image information that is an output of an imaging unit that images outside the vehicle, and the display form control unit Is a blind spot area recognition for recognizing an observation area that becomes a blind spot of the observer based on the position and orientation of the room mirror detected by the position and orientation detection means and the viewpoint position of the observer detected by the viewpoint position detection means. Means for controlling the image display form so that an image outside the vehicle corresponding to the observation area that becomes the blind spot recognized by the blind spot area recognition means is displayed on the display for image display. This can be achieved by providing the image display device according to claim 3.
上記課題は、特許請求の範囲の請求項6に記載の発明によれば、表示形態制御手段は、注目されるべき乃至は注意が喚起されるべき物体を認識するように別途に設けられた注目物体認識手段からの出力に基づいて前記画像表示用ディスプレイでの表示画像に警告表示を重畳して表示可能に構成されたものであることを特徴とする請求項1または3に記載の画像表示装置を提供することによって達成できる。   According to the sixth aspect of the present invention, the above-described problem is that the display form control means is provided separately so as to recognize an object to be noticed or to be alerted. 4. The image display device according to claim 1, wherein a warning display is superimposed on a display image on the image display based on an output from the object recognition means and can be displayed. Can be achieved by providing.
上記課題は、特許請求の範囲の請求項7に記載の発明によれば、表示形態制御手段は、車内の危険状態乃至は注意が喚起されるべき状態を認識するように別途に設けられた車内状態認識手段からの出力に基づいて前記画像表示用ディスプレイでの表示画像に警告表示を重畳して表示可能に構成されたものであることを特徴とする請求項1または3に記載の画像表示装置を提供することによって達成できる。   According to the seventh aspect of the present invention, the display form control means is provided in the vehicle separately provided so as to recognize a dangerous state or a state in which attention should be paid to the vehicle. 4. The image display device according to claim 1, wherein a warning display is superimposed on a display image on the image display based on an output from the state recognition means so as to be displayed. Can be achieved by providing.
上記課題は、特許請求の範囲の請求項8に記載の発明によれば、表示形態制御手段は、リアウィンドウの汚れ状況を認識するように別途に設けられた後方視野状況認識手段からの出力に基づいて前記画像表示用ディスプレイにリアウィンドウからの後方視野の画像を表示可能に構成されたものであることを特徴とする請求項1に記載の画像表示装置を提供することによって達成できる。   According to the eighth aspect of the present invention, the display form control means outputs the output from the rear visual field situation recognition means provided separately so as to recognize the dirt situation of the rear window. The image display device according to claim 1, wherein the image display device is configured to display an image of a rear view from a rear window on the image display.
上記課題は、特許請求の範囲の請求項9に記載の発明によれば、前記ハーフミラーは外部から供給される駆動信号に応じて反射率が変化するようになされたものであることを特徴とする請求項1または3に記載の画面表示装置を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項10に記載の発明によれば、前記ハーフミラーに対し前記駆動信号を供給するためのハーフミラー駆動手段が更に設けられ、該ハーフミラー駆動手段は、前記画像表示用ディスプレイが非発光状態にあるときには前記ハーフミラーが全反射ミラーとして機能するように駆動信号を印加し、前記画像表示用ディスプレイの輝度が外部の輝度と略々同等の環境にあるときには前記ハーフミラーによる反射像と画像表示用ディスプレイによる表示画像とが重複して観察されるように駆動信号を印加し、前記画像表示用ディスプレイの輝度が外部の輝度を越えるような環境にあるときには専ら画像表示用ディスプレイによる表示画像が観察されるように駆動信号を印加するように構成されたものであることを特徴とする請求項9に記載の画面表示装置を提供することによって達成できる。
According to the ninth aspect of the present invention, the half mirror is configured such that the reflectance changes according to a driving signal supplied from the outside. This can be achieved by providing the screen display device according to claim 1.
According to the invention described in claim 10, the above-mentioned problem is further provided with a half mirror driving means for supplying the driving signal to the half mirror, and the half mirror driving means includes the half mirror driving means, When the image display is in a non-light emitting state, a drive signal is applied so that the half mirror functions as a total reflection mirror, and when the luminance of the image display is in an environment substantially equal to the external luminance, When a drive signal is applied so that the reflected image by the half mirror and the display image by the image display display are observed in an overlapping manner and the brightness of the image display display exceeds the external brightness, the image is exclusively displayed. It is configured to apply a drive signal so that a display image on a display for display can be observed. It can be achieved by providing a screen display device according to claim 9.
本発明によれば、仮想視点画像の表示に係るユーザインターフェースについて、さらに利便性を高めるための技術を具現させることができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique for improving the convenience further about the user interface which concerns on the display of a virtual viewpoint image can be embodied.
<第1の実施形態>
本実施形態では、表示手段をルームミラー兼用ディスプレイとし、仮にこのルームミラーに反射されたとしたら表示される像に対応する仮想視点画像を表示する。以下に、図面を用いてこのような実施形態について逐次具体的に説明する。
<First Embodiment>
In the present embodiment, the display means is a room mirror combined display, and a virtual viewpoint image corresponding to an image to be displayed is displayed if it is reflected by the room mirror. Hereinafter, such embodiments will be specifically described sequentially with reference to the drawings.
図1は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、1台乃至複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、視点相対位置検出手段10003、及び画像表示用ディスプレイ10004から構成され、例えば車両に搭載されている。   FIG. 1 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes one or more cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, A viewpoint relative position detection unit 10003 and an image display 10004 are mounted on a vehicle, for example.
複数台のカメラ101は、監視対象領域の状況を把握するのに適合した状態で設けられている。カメラ101は、例えば、車両の周囲の状況など車外の監視すべき空間の画像を取り込む複数のテレビカメラである。また、車内に設置されていてもよい。このカメラ101は、大きな視野を得ることができるよう、通常、画角が大きいものを使うのが良い。このカメラ101の設置台数、設置状態等については例えば特許文献1に開示のような公知の態様でもよい。尚、図示の例では複数台のカメラを用いているが1台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにして用いてもよい。この点は以下に述べる各例について同様である。   The plurality of cameras 101 are provided in a state suitable for grasping the status of the monitoring target area. The camera 101 is, for example, a plurality of television cameras that capture images of a space to be monitored outside the vehicle, such as the situation around the vehicle. Moreover, you may install in the vehicle. In general, it is preferable to use a camera 101 having a large angle of view so that a large field of view can be obtained. The number of cameras 101 installed, the installation state, and the like may be a known mode as disclosed in Patent Document 1, for example. In the illustrated example, a plurality of cameras are used. However, it may be used so as to obtain the same imaging data as when a plurality of cameras are provided by sequentially moving the installation position of one camera. . This is the same for each example described below.
カメラパラメータテーブル103には、カメラ101の特性を示すカメラパラメータを格納してある。ここで、カメラパラメータについて説明する。画像表示装置10000にはキャリブレーション手段(不図示)が設けられており、カメラキャリブレーションを行う。カメラキャリブレーションとは、3次元空間に配置されたカメラについての、その3次元空間における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、カメラ101の特性を表すカメラパラメータを決定、補正することである。このキャリブレーション手段及びカメラパラメータテーブル103については、例えば特許文献1にも詳述されている。   The camera parameter table 103 stores camera parameters indicating the characteristics of the camera 101. Here, the camera parameters will be described. The image display device 10000 is provided with calibration means (not shown) and performs camera calibration. Camera calibration refers to a camera placed in a three-dimensional space, such as the camera mounting position, camera mounting angle, camera lens distortion correction value, camera lens focal length, etc., in the three-dimensional space. 101 is to determine and correct the camera parameters representing the characteristics of 101. The calibration means and the camera parameter table 103 are also described in detail in, for example, Patent Document 1.
空間再構成手段104では、カメラパラメータに基づいて、カメラ101からの入力画像を3次元空間の空間モデルにマッピングした空間データを作成する。すなわち、空間再構成手段104は、キャリブレーション手段(不図示)によって計算されたカメラパラメータに基づいて、カメラ101からの入力画像を構成する各々の画素を3次元空間の点に対応づけた空間データを作成する。   The space reconstruction unit 104 creates spatial data in which an input image from the camera 101 is mapped to a three-dimensional space model based on the camera parameters. That is, the space reconstruction unit 104 associates each pixel constituting the input image from the camera 101 with a point in the three-dimensional space based on the camera parameter calculated by the calibration unit (not shown). Create
すなわち、空間再構成手段104では、カメラ101から撮影された画像に含まれる各々の物体が、3次元空間のどこに存在するかを計算し、その計算結果としての空間データを空間データバッファ105に格納する。なお、空間モデルは、予め決められた(所定の)ものでもよく、或いは、その場で複数の入力画像から生成されたもの、乃至は、別途のセンサーの出力に基づいて生成されたものであってもよい。   That is, the space reconstruction unit 104 calculates where each object included in the image photographed from the camera 101 exists in the three-dimensional space, and stores the spatial data as the calculation result in the spatial data buffer 105. To do. The spatial model may be a predetermined (predetermined) one, or one generated from a plurality of input images on the spot, or one generated based on the output of a separate sensor. May be.
例えば、特許文献1に記載があるように、空間モデルは、5つの平面からなる空間モデル、お椀型をした空間モデル、平面と曲面を組み合わせて構成した空間モデル、もしくはついたて面を導入した空間モデル、またはこれらを組み合わせたものであってもよい。なお、これらの空間モデルに限定されず、空間モデルは、平面の組み合わせ、曲面、または平面と曲面を組み合わせたものならば、特に限定されない。また、三角測定により距離画像を算出する距離画像を取得するステレオセンサー等(例えば、特許文献2、特許文献3)から得られたステレオ視画像に基づいて空間モデルを作成してもよい。   For example, as described in Patent Document 1, a space model is a space model composed of five planes, a bowl-shaped space model, a space model composed of a combination of a plane and a curved surface, or a space model introduced with a surface. Or a combination thereof. In addition, it is not limited to these space models, A space model will not be specifically limited if it is a combination of a plane, a curved surface, or a combination of a plane and a curved surface. Moreover, you may create a spatial model based on the stereo vision image obtained from the stereo sensor etc. (for example, patent document 2, patent document 3) which acquire the distance image which calculates a distance image by a triangulation measurement.
なお、カメラ101からの入力画像を構成するそれぞれの画素のすべてを利用して空間データを構成する必要はない。たとえば入力画像に水平線により上に位置する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面にマッピングする必要はない。あるいは車体を写している画素をマッピングする必要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間データにマッピングすることにより処理を高速化することも考えられる。この空間再構成手段104については、例えば特許文献1に詳述されている。   Note that it is not necessary to configure the spatial data using all of the respective pixels constituting the input image from the camera 101. For example, if the input image includes a region located above the horizontal line, it is not necessary to map the pixels included in the region above the horizontal line to the road surface. Alternatively, it is not necessary to map the pixels representing the vehicle body. In addition, when the input image has a high resolution, it may be possible to increase the processing speed by skipping every few pixels and mapping it to spatial data. The space reconstruction unit 104 is described in detail in, for example, Patent Document 1.
空間データバッファ105では、空間再構成手段104にて作成された空間データを一時的に格納する。この空間データバッファ105についても、例えば特許文献1に詳述されている。
視点変換手段106では、空間データを参照して、任意の視点から見た画像を作成する。すなわち、空間再構成手段104によって作成された空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。この視点変換手段106についても、例えば特許文献1に詳述された構成をとり得る。
The spatial data buffer 105 temporarily stores the spatial data created by the spatial reconstruction unit 104. The spatial data buffer 105 is also described in detail in Patent Document 1, for example.
The viewpoint conversion means 106 creates an image viewed from an arbitrary viewpoint with reference to the spatial data. That is, referring to the spatial data created by the spatial reconstruction means 104, an image is created by setting the camera at an arbitrary viewpoint. The viewpoint conversion means 106 can also have the configuration detailed in, for example, Patent Document 1.
ルームミラー10002は、車室内の所定位置(例えば、フロントガラス上方部分近傍等)に設置されている。ルームミラー10002の反射面は、ハーフミラーによって構成され、このハーフミラーの背後にはハーフミラーの前面側から観察することができるように画像を表示する画像表示用ディスプレイ10004が設けられている。このルームミラー自体は、例えば、特許文献4に開示のものと同様の公知のものであり得る。   The room mirror 10002 is installed at a predetermined position in the vehicle interior (for example, near the upper portion of the windshield). The reflection surface of the room mirror 10002 is constituted by a half mirror, and an image display 10004 for displaying an image so that it can be observed from the front side of the half mirror is provided behind the half mirror. The room mirror itself can be, for example, a known one similar to that disclosed in Patent Document 4.
視点相対位置検出手段10003は、視点相対位置検出手段10003により、ユーザの視点を検出する。つまり、ルームミラー10002上に定義された座標系における視点座標を検出することができる。視点相対位置検出手段10003は、ルームミラーに設置されている。   The viewpoint relative position detection unit 10003 detects the viewpoint of the user by the viewpoint relative position detection unit 10003. That is, the viewpoint coordinates in the coordinate system defined on the room mirror 10002 can be detected. The viewpoint relative position detection unit 10003 is installed in the room mirror.
表示形態制御手段10001では、視点変換手段106で生成した仮想視点画像を画像表示用ディスプレイ10004(例えば、液晶ディスプレイ等)に表示させるために、その表示形態を制御する。
図2は、本実施形態における仮想視点画像の表示フローを示す。まず、空間再構成手段104において、カメラ101から得られた画像を構成する各々の画素と、3次元座標系の点、或いは、予め設定された3次元モデル上の点との対応関係を計算し、空間データを作成する(S1)。この計算は各々のカメラ101から得られた画像の全ての画素、或いは、間引きされた画素に対して実行する。この処理自体については、例えば特許文献1にも開示された公知の態様のものを適用できる。
The display form control unit 10001 controls the display form in order to display the virtual viewpoint image generated by the viewpoint conversion unit 106 on the image display display 10004 (for example, a liquid crystal display).
FIG. 2 shows a display flow of the virtual viewpoint image in the present embodiment. First, the space reconstruction unit 104 calculates the correspondence between each pixel constituting the image obtained from the camera 101 and a point on the three-dimensional coordinate system or a point on a preset three-dimensional model. Spatial data is created (S1). This calculation is executed for all pixels of the image obtained from each camera 101 or thinned pixels. For this processing itself, for example, a known mode disclosed in Patent Document 1 can be applied.
次に、視点相対位置検出手段10003により、ユーザの視点を検出する(S2)。これについては後述する。
次に、視点変換手段106による制御により、S2で検出された視点情報を仮想視点として設定した後、その設定した視点からの画像(すなわち、仮想視点画像)を、上記の空間データから再現する(S3)。この処理自体については、例えば特許文献1にも開示された公知の態様のものを適用できる。
Next, the viewpoint of the user is detected by the viewpoint relative position detector 10003 (S2). This will be described later.
Next, the viewpoint information detected in S2 is set as a virtual viewpoint under the control of the viewpoint conversion means 106, and then an image from the set viewpoint (that is, a virtual viewpoint image) is reproduced from the above-described spatial data ( S3). For this processing itself, for example, a known mode disclosed in Patent Document 1 can be applied.
そして、表示形態制御手段10001による制御により、仮想視点画像を画像表示用ディスプレイ10004へ出力し、画像表示用ディスプレイ10004にて表示される(S4)。
図3は、本実施形態における視点位置とルームミラーの位置関係を説明するための図である。図3(a)は車両の側面から見た場合の図であり、図3(b)は車両の正面から見た場合の図である。
Then, under the control of the display form control unit 10001, the virtual viewpoint image is output to the image display display 10004 and displayed on the image display display 10004 (S4).
FIG. 3 is a diagram for explaining the positional relationship between the viewpoint position and the room mirror in the present embodiment. 3A is a view when viewed from the side of the vehicle, and FIG. 3B is a view when viewed from the front of the vehicle.
視点変換手段106によって、画像表示用ディスプレイ10004に表示する映像を生成するためには仮想視点が必要となり、その仮想視点を求めるために視点位置とルームミラーの位置姿勢が必要となる。そこで、本実施形態では、ルームミラーに座標系を固定することでルームミラーの位置姿勢を固定させる。このことについて以下に詳述する。   In order to generate an image to be displayed on the image display display 10004 by the viewpoint conversion unit 106, a virtual viewpoint is required, and in order to obtain the virtual viewpoint, the viewpoint position and the position and orientation of the room mirror are required. Therefore, in this embodiment, the position and orientation of the room mirror is fixed by fixing the coordinate system to the room mirror. This will be described in detail below.
まず、本実施形態における視点とは、所定の空間において、ユーザの目の位置を1つの点で表現することである。たとえば、利き目(例えば右目)を視点としてもよいし、両眼の中心を視点としてもよいし、頭の重心(この場合、頭の中心から眼球までのオフセットを無視する)を視点としてもよいし、頭の重心及び顔の向き(この場合、眼球の運動は無視する)等を考慮したものを視点としても良い。   First, the viewpoint in the present embodiment is to express the position of the user's eyes with one point in a predetermined space. For example, the dominant eye (for example, the right eye) may be the viewpoint, the center of both eyes may be the viewpoint, or the center of gravity of the head (in this case, the offset from the center of the head to the eyeball may be ignored). However, a viewpoint that considers the center of gravity of the head and the orientation of the face (in this case, the movement of the eyeball is ignored) may be used.
さて、図3において、ルームミラー10002の横方向をXa方向、縦方向をYa方向、これらのXa、Ya方向と直交する方向をZa方向とする。そうすると、ルームミラー上に座標系が固定される。また、ルームミラー10002には、例えば、ステレオセンサーが搭載されている。他の例として、ルームミラー10002のハーフミラー面の中心をXa−Ya−Za座標系の原点とすることができる。更にまた、ルームミラーに搭載されているステレオセンサーの位置をXa−Ya−Za座標系の原点としてもよい。   In FIG. 3, the horizontal direction of the room mirror 10002 is defined as the Xa direction, the vertical direction is defined as the Ya direction, and the direction orthogonal to these Xa and Ya directions is defined as the Za direction. Then, the coordinate system is fixed on the room mirror. In addition, the rear mirror 10002 is equipped with, for example, a stereo sensor. As another example, the center of the half mirror surface of the room mirror 10002 can be the origin of the Xa-Ya-Za coordinate system. Furthermore, the position of the stereo sensor mounted on the rearview mirror may be used as the origin of the Xa-Ya-Za coordinate system.
そうすると、ステレオセンサーによりユーザを撮像することができ、その撮影した画像から画像処理によりユーザの頭の重心(以下、視点という)を検出して、ステレオセンサーとユーザとの距離を求めることができる。また、ステレオセンサーで撮影される画像内の画素の座標と上記のxyz座標系とは予め対応付けがされているので、その検出した視点をXa−Ya−Za座標系におくことができる。それにより、ルームミラー10002のXa−Ya−Za座標系に視点を相対的に固定することができる。   Then, the user can be imaged by the stereo sensor, and the center of gravity (hereinafter referred to as the viewpoint) of the user's head can be detected from the captured image by image processing, and the distance between the stereo sensor and the user can be obtained. In addition, since the coordinates of the pixels in the image captured by the stereo sensor and the xyz coordinate system are associated in advance, the detected viewpoint can be placed in the Xa-Ya-Za coordinate system. Thereby, the viewpoint can be relatively fixed to the Xa-Ya-Za coordinate system of the room mirror 10002.
即ち、Xa−Ya−Za座標系における視点座標が決定するので、ハーフミラーを観察しているときには、視点から原点を結ぶベクトルを視線ベクトルと見做すことができる。そこで、空間データを、画像表示用ディスプレイ面(Xa−Ya平面)を像面とし、視点をピンホールとして中心投射することによってユーザが見ているルームミラー10002の反射像と位置合わせされた映像が生成され得る。   That is, since the viewpoint coordinates in the Xa-Ya-Za coordinate system are determined, when observing the half mirror, a vector connecting the viewpoint to the origin can be regarded as a line-of-sight vector. Therefore, the spatial data is imaged on the display surface for image display (Xa-Ya plane) as the image plane, and the image is aligned with the reflected image of the room mirror 10002 viewed by the user by centrally projecting the viewpoint as a pinhole. Can be generated.
また、ルームミラーの大きさ及びこのルームミラーに対する相対的な視点の位置が分かっているので、ルームミラーに表示させる画像の画角を決定することができる。
上記より、ルームミラー10002に仮想視点画像を表示させるの必要な視点位置や、ルームミラーによる観察方向及び画角を設定することができる。なお、上記では、視点の位置を検出するのにステレオセンサーと画像処理を用いたが、これに限定されず、例えば、特許文献8に記載の視点位置方向センサーや特許文献10に記載の方法、またはユーザにセンサーつき眼鏡等をかけてもらいそのセンサーにより視点位置を検出したり等の公知の技術であれば特に限定されない。
In addition, since the size of the room mirror and the position of the viewpoint relative to the room mirror are known, the angle of view of the image displayed on the room mirror can be determined.
From the above, it is possible to set the viewpoint position required to display the virtual viewpoint image on the room mirror 10002, the observation direction and the angle of view by the room mirror. In the above, the stereo sensor and the image processing are used to detect the position of the viewpoint. However, the present invention is not limited to this. For example, the viewpoint position / direction sensor described in Patent Document 8 and the method described in Patent Document 10; Or, it is not particularly limited as long as it is a known technique such as having a user wear glasses with a sensor or the like to detect a viewpoint position by the sensor.
また、視点に合わせて表示を変える一般的技術については、例えば、特許文献5、特許文献6、特許文献7、特許文献8、特許文献9に開示されているので、本実施形態ではこれらの技術を用いてもよい。以下では、これらの一般的技術の概要を説明する。
特許文献5には、ステレオカメラで視差に基づいて対象物の3次元形状を認識して形状データメモリに記憶しておき、画像メモリからの画像データおよび形状データメモリからの対象上の表面位置座標データを任意視点画像生成装置に供給し、演算によって多眼式3次元表示装置に出力することにより、表示に必要な情報量の削減および装置の簡素化を図ることが開示されている。
Further, general techniques for changing the display in accordance with the viewpoint are disclosed in, for example, Patent Document 5, Patent Document 6, Patent Document 7, Patent Document 8, and Patent Document 9, so in the present embodiment, these techniques are disclosed. May be used. Below, the outline | summary of these general techniques is demonstrated.
In Patent Document 5, a three-dimensional shape of an object is recognized based on parallax with a stereo camera and stored in a shape data memory, and image data from the image memory and surface position coordinates on the object from the shape data memory are disclosed. It is disclosed that data is supplied to an arbitrary viewpoint image generation device and output to a multi-view three-dimensional display device by calculation, thereby reducing the amount of information required for display and simplifying the device.
特許文献6には、視点座標系をもって透視された3次元画像を表示するディスプレイに、対面する観察者の観察視点を検出する観察視点センサを設け、この観察視点センサにより検出された観察視点に合わせてコンピュータが表示画像の視点座標系を移動することにより、ディスプレイに表示される3次元画像の透視視点を、観察者の観察視点に追従させて移動し、透視視点を常に観察視点に一致させて画像表示することが開示されている。   In Patent Document 6, an observation viewpoint sensor that detects an observation viewpoint of an observer facing the observer is provided on a display that displays a three-dimensional image seen through the viewpoint coordinate system, and is matched with the observation viewpoint detected by the observation viewpoint sensor. The computer moves the viewpoint coordinate system of the displayed image, so that the perspective viewpoint of the three-dimensional image displayed on the display moves following the observer's observation viewpoint, and the perspective viewpoint always matches the observation viewpoint. An image display is disclosed.
特許文献7には、ディスプレイ表示部と、観察者の位置情報を検出する視点位置検知機構とを有する立体画像表示装置において、該合成視差画像は、mを整数として、m=3以上の原視差画像から構成し、観察者の視点位置に応じて該視点位置検知機構から出力される視点位置情報にしたがって、該合成視差画像の内容を変化させることが開示されている。   In Patent Document 7, in a stereoscopic image display apparatus having a display display unit and a viewpoint position detection mechanism that detects position information of an observer, the composite parallax image is an original parallax of m = 3 or more, where m is an integer. It is disclosed that the content of the composite parallax image is changed according to viewpoint position information that is configured from an image and is output from the viewpoint position detection mechanism according to the viewpoint position of the observer.
特許文献8には、視点位置方向算出部において、ユーザの視点が算出され、仮想物体座標変換部において、光学シースルー型表示部の位置およびユーザの視点に基づいて、仮想画像の座標変換が行われる。そして、この座標変換後の仮想画像が、光学シースルー型表示部に供給され、現実空間の画像とともに表示されることが開示されている。   In Patent Document 8, a viewpoint position / direction calculation unit calculates a user's viewpoint, and a virtual object coordinate conversion unit performs coordinate conversion of a virtual image based on the position of the optical see-through display unit and the user's viewpoint. . Then, it is disclosed that the virtual image after the coordinate conversion is supplied to the optical see-through display unit and displayed together with the image in the real space.
特許文献9には、視点入力装置により入力した前記仮想視点位置をもとに、前記複数のビデオ映像データ中から提示する画像フレームをフレーム選択装置により選択し、前記仮想視点位置に合致した情景を提示画像として画像表示装置で表示することが開示されている。   In Patent Document 9, based on the virtual viewpoint position input by the viewpoint input device, an image frame to be presented is selected from the plurality of video image data by a frame selection device, and a scene matching the virtual viewpoint position is selected. It is disclosed that an image display device displays the image as a presentation image.
さて、上記より、ルームミラー10002に表示する画像として、その反射角で反射された方向の景観の仮想視点画像が表示される。また、ミラーで反射されたような像を表現するため、ルームミラー10002に表示される仮想視点画像は、左右反転している。
以上により、ハーフミラーに反射された実世界の反射像と画像表示用ディスプレイによる映像とがユーザから見て位置合わせされた自然な形態で観察され得る。
From the above, a virtual viewpoint image of a landscape in the direction reflected by the reflection angle is displayed as an image to be displayed on the room mirror 10002. In addition, the virtual viewpoint image displayed on the room mirror 10002 is reversed left and right in order to express an image that is reflected by the mirror.
As described above, the reflected image of the real world reflected by the half mirror and the video by the image display can be observed in a natural form aligned with the user.
<第2の実施形態>
本実施形態は、第1の実施形態の変形例である。第1の実施形態では、ルームミラーに座標系を設定したため、ルームミラーの位置姿勢に関する情報は必要なかったが、本実施形態では、その座標系を自車両に設定し、ルームミラーの位置姿勢を考慮した場合について説明する。
<Second Embodiment>
This embodiment is a modification of the first embodiment. In the first embodiment, since the coordinate system is set for the rearview mirror, information on the position and orientation of the rearview mirror is not necessary. However, in this embodiment, the coordinate system is set for the host vehicle and the position and orientation of the rearview mirror is changed. The case where it considers is demonstrated.
図4は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、画像表示用ディスプレイ10004、視点位置検出手段10005、及び位置姿勢検出手段10006から構成される。視点位置検出手段10005と位置姿勢検出手段10006以外は、図1と同様である。   FIG. 4 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, and an image display. A display 10004, a viewpoint position detection unit 10005, and a position / orientation detection unit 10006 are configured. Except for the viewpoint position detection unit 10005 and the position and orientation detection unit 10006, the configuration is the same as that in FIG.
視点位置検出手段10005は、ユーザの視点を検出するためのものであり、第1の実施形態と同様にステレオセンサーと画像処理を用いてもよいし、ユーザにセンサーつき眼鏡等をかけてもらいそのセンサーにより視点位置を検出したり、その他の既存の方法を用いても良い。この検出された視点位置は、車両に固定された座標系で表現されているものとする。上述の車両に固定された座標系の原点位置は少なくとも車両と共に移動移動するという条件が充足されれば任意に想定することができ、例えば、ルームミラー上に定義されてもよい。   The viewpoint position detection means 10005 is for detecting the viewpoint of the user, and may use a stereo sensor and image processing as in the first embodiment, or may have the user wear glasses with a sensor. The viewpoint position may be detected by a sensor, or other existing methods may be used. It is assumed that the detected viewpoint position is expressed in a coordinate system fixed to the vehicle. The origin position of the coordinate system fixed to the vehicle can be arbitrarily assumed as long as at least the condition of moving and moving with the vehicle is satisfied, and may be defined on a room mirror, for example.
位置姿勢検出手段10006は、ルームミラーの上記車両に固定された座標系における位置姿勢を検出する。具体的には、例えば、ルームミラーに傾きセンサー等を取り付ければよい。
上記より、自車両上に定義された座標系における視点位置座標とルームミラーの位置が取得されるので、これから、ルームミラーに対する視点位置の相対的な位置情報を求めることができる。すなわち、ルームミラーの所定の部分を原点とした新たな座標系(Xb―Yb−Zb座標系)に変換することもでき、この座標系で視点位置を表すこともできる。なお、この座標系を生成する際には、位置姿勢検出手段10006で検出されたルームミラーの位置や姿勢についての情報に基づいて、ルームミラー10002の横方向をXb方向、縦方向をYb方向、これらのXb、Yb方向と直交する方向をZb方向とする。また、このXb―Yb−Zb座標系の原点はルームミラーの所定の位置、例えば中心とする。
The position / orientation detection means 10006 detects the position / orientation of the rearview mirror in the coordinate system fixed to the vehicle. Specifically, for example, an inclination sensor or the like may be attached to the room mirror.
From the above, since the viewpoint position coordinates and the position of the room mirror in the coordinate system defined on the host vehicle are acquired, the relative position information of the viewpoint position with respect to the room mirror can be obtained from this. That is, it is possible to convert to a new coordinate system (Xb-Yb-Zb coordinate system) with a predetermined part of the room mirror as the origin, and the viewpoint position can also be expressed by this coordinate system. When generating this coordinate system, the horizontal direction of the room mirror 10002 is Xb direction, the vertical direction is Yb direction, based on the information about the position and posture of the room mirror detected by the position / orientation detection unit 10006. A direction perpendicular to these Xb and Yb directions is taken as a Zb direction. The origin of the Xb-Yb-Zb coordinate system is a predetermined position of the room mirror, for example, the center.
また、ルームミラーに対する視点位置の相対的な位置情報を算出する別の方法としては、次の方法も考えられる。上記より、自車両上に定義された座標系における視点位置座標とルームミラーの位置とが取得される。よって、ルームミラーの位置ベクトルから視点座標の位置ベクトルを差し引けば、視点位置からルームミラーへのベクトルを求めることができる。なお、このベクトルを視線とみなすこともできる。   In addition, as another method for calculating the relative position information of the viewpoint position with respect to the room mirror, the following method is also conceivable. From the above, the viewpoint position coordinates and the position of the room mirror in the coordinate system defined on the host vehicle are acquired. Therefore, the vector from the viewpoint position to the room mirror can be obtained by subtracting the position vector of the viewpoint coordinates from the position vector of the room mirror. Note that this vector can also be regarded as a line of sight.
図5は、本実施形態における視点位置とルームミラーの位置関係を説明するための図である。図5(a)は車両の側面から見た場合の図であり、図5(b)は車両の正面から見た場合の図である。これらの図は、上記の通り、ルームミラーに対して新たに座標系を設けた場合を例として説明するための図である。   FIG. 5 is a diagram for explaining the positional relationship between the viewpoint position and the room mirror in the present embodiment. FIG. 5A is a diagram when viewed from the side of the vehicle, and FIG. 5B is a diagram when viewed from the front of the vehicle. As described above, these drawings are diagrams for explaining an example in which a coordinate system is newly provided for the rearview mirror.
上記により、前述の車両に固定された座標系における視点座標とルームミラー10002の位置姿勢を表わす情報とが取得されているので、既述の第1の実施形態と同様にユーザが見ているルームミラー10002の反射像と位置合わせされた映像を生成することができる。   As described above, since the viewpoint coordinates in the coordinate system fixed to the vehicle and the information indicating the position and orientation of the room mirror 10002 are acquired, the room viewed by the user as in the above-described first embodiment. An image aligned with the reflected image of the mirror 10002 can be generated.
第1の実施形態では、ルームミラーにXa−Ya−Za座標系を固定し、その座標系における視点位置を算出していたが、この方法は、ルームミラーに対する相対的な視点位置を直接求めるため、少なくともルームミラーと連動して動く視点検知手段が必要となり、完成車に後から設置する場合にはシステムが複雑になり取り付け作業が煩雑になる。これに対し、上述した第2の実施の形態では、車両と共に移動する所定箇所を原点とする自車両に固定された座標系による視点座標とルームミラーの位置姿勢とを検知するものであるため、視点検出手段は、ルームミラーと連動して動く必要が無く、システムが簡素化されるため、完成車に後付けするような場合にも良く適合し、汎用性が向上する。   In the first embodiment, the Xa-Ya-Za coordinate system is fixed to the room mirror and the viewpoint position in the coordinate system is calculated. However, this method directly obtains the viewpoint position relative to the room mirror. At least a viewpoint detection means that moves in conjunction with the rearview mirror is required, and when installed later in a complete vehicle, the system becomes complicated and the installation work becomes complicated. On the other hand, in the second embodiment described above, the viewpoint coordinates and the position and orientation of the room mirror are detected by a coordinate system fixed to the host vehicle with the predetermined location moving with the vehicle as the origin. The viewpoint detection means does not need to move in conjunction with the rearview mirror, and the system is simplified. Therefore, the viewpoint detection means is well suited for retrofitting to a finished vehicle and improves versatility.
<第3の実施形態>
第1及び第2の実施形態では、視点位置を検出し、その視点位置からXYZ座標系の原点を視線と仮定していた。しかし、視点位置はユーザの体の任意の1点であるので、実際にユーザの視線がルームミラーへ向いているとは限らない。そこで、本実施形態では、視点位置だけではなく、ユーザの視線の方向も考慮した画像表示装置を説明する。
<Third Embodiment>
In the first and second embodiments, the viewpoint position is detected, and the origin of the XYZ coordinate system is assumed to be the line of sight from the viewpoint position. However, since the viewpoint position is an arbitrary point on the user's body, the user's line of sight is not always directed to the room mirror. Therefore, in the present embodiment, an image display apparatus that considers not only the viewpoint position but also the direction of the user's line of sight will be described.
図6は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、画像表示用ディスプレイ10004、視点位置検出手段10005、位置姿勢検出手段10006、及び視線方向検出手段10007から構成される。視線方向検出手段10007以外は、図4と同様である。   FIG. 6 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, and an image display. A display 10004, a viewpoint position detection unit 10005, a position and orientation detection unit 10006, and a line-of-sight direction detection unit 10007 are configured. Except for the line-of-sight direction detection means 10007, it is the same as FIG.
視線方向検出手段10007は、ユーザの視線がどの方向を向いているかを検出する。ここでいう視線は、利き目の光軸、左右光軸の中間の軸、または顔の向き(この場合眼球の運動は誤差として無視)が考えられる。また、人間の注視領域(視線の周辺)に重なる場合でもよい。これらは、例えば、ユーザの顔画像からユーザの顔の向きや目の向いている方向から視線を取得することができる。また、例えば、特許文献10に開示のような公知の車両用視線方向計測装置を用いても視線を表わす情報を取得することができる。   The line-of-sight direction detection means 10007 detects in which direction the user's line of sight is directed. The line of sight here may be the optical axis of the dominant eye, an intermediate axis between the left and right optical axes, or the orientation of the face (in this case, eye movement is ignored as an error). Moreover, it may be a case where it overlaps with a human gaze area (around the line of sight). For example, the line of sight can be acquired from the face image of the user and the direction of the user's face and the direction of the eyes. Further, for example, information representing the line of sight can also be obtained using a known vehicle gaze direction measuring device as disclosed in Patent Document 10.
さて、上記の実施形態より視点位置、ルームミラーの位置、ルームミラーの大きさも分かっている。よって、視点位置を始点として視線方向に直線を延ばした場合、ルームミラーの位置、ルームミラーの大きさを考慮したときに、その直線がルームミラー面と交差するか否かを判定することができる。この判定結果より、視線がルームミラーと交差する場合にはルームミラーに画像を表示させ、交差しない場合には画像を表示させない若しくはスクリーンセイバーや壁紙等を表示するように制御する。   From the above embodiment, the viewpoint position, the position of the room mirror, and the size of the room mirror are also known. Therefore, when a straight line is extended in the line-of-sight direction starting from the viewpoint position, it is possible to determine whether or not the straight line intersects the room mirror surface when considering the position of the room mirror and the size of the room mirror. . From this determination result, control is performed so that when the line of sight intersects the room mirror, an image is displayed on the room mirror, and when the line of sight does not intersect, no image is displayed or a screen saver, wallpaper, or the like is displayed.
以上より、ユーザがルームミラーを見た場合のみルームミラーに画像を表示させることができるので、経済的にも効率よく表示させることができる。
<第4の実施形態>
本実施形態は、第2の実施形態の変形例である。本実施形態では、ルームミラーのディスプレイに仮想視点画像を表示させる場合に、運転者の死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させる。このように表示が制御されることによってあたかも車体が半透明になったような像がルームミラーで観察され、視線を動かしても追随的にこの状態が維持される。
As described above, since the image can be displayed on the room mirror only when the user looks at the room mirror, it can be displayed economically and efficiently.
<Fourth Embodiment>
This embodiment is a modification of the second embodiment. In this embodiment, when a virtual viewpoint image is displayed on the display of the room mirror, a landscape on the other side that is originally blocked by the portion is displayed on the portion that becomes the blind spot of the driver. By controlling the display in this way, an image as if the vehicle body is translucent is observed with the rearview mirror, and this state is maintained following the movement of the line of sight.
図7は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、画像表示用ディスプレイ10004、視点位置検出手段10005、位置姿勢検出手段10006、及び死角領域認識手段10008から構成される。死角領域認識手段10008以外は、図4と同様である。   FIG. 7 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, and an image display. A display 10004, a viewpoint position detection unit 10005, a position and orientation detection unit 10006, and a blind spot area recognition unit 10008 are configured. Except for the blind spot area recognition means 10008, it is the same as FIG.
死角領域認識手段10008は、視点位置検出手段10005により検出された運転者の視点から、その運転者の死角となる部分(死角領域)を認識するための手段である。
図8は、本実施形態におけるルームミラー10002に表示される画像の表示形態を示す。図8(a)は、画像表示用ディスプレイ10004を使用しない場合のハーフミラーによって表示される反射像、すなわち車両のリアウィンドウ方向の景観を示す。ハーフミラーに表示される反射像は、図8(a)に示すように、運転席や助手席やリアシート、リアウィンドウ枠があるため、これらがルームミラー越しに後方を見ている運転者にとって死角となっているため、この死角の向こう側の景観は見通し不能となっている。
The blind spot area recognizing means 10008 is a means for recognizing a part (dead spot area) that becomes a blind spot of the driver from the viewpoint of the driver detected by the viewpoint position detecting means 10005.
FIG. 8 shows a display form of an image displayed on the room mirror 10002 in the present embodiment. FIG. 8A shows a reflected image displayed by a half mirror when the image display 10004 is not used, that is, a landscape in the rear window direction of the vehicle. As shown in FIG. 8A, the reflected image displayed on the half mirror has a driver's seat, a passenger seat, a rear seat, and a rear window frame, which are blind spots for the driver who is looking behind the rear mirror. Therefore, the landscape beyond this blind spot is not visible.
図8(b)は、本発明を用いて、ハーフミラーに表示されるようにリアウィンドウ方向の景観を、カメラ101で取得した画像情報に基づいて、画像表示用ディスプレイ10004に表示させ、かつ、運転者の死角となって見通し不能な景観に対応する仮想視点画像を表示させた様子を示す。図8(b)では、図8(a)で示した運転席、助手席やリアシート、リアウィンドウ枠のために生じる死角のため、見ることができなかった部分の視野が充足されるように表示されている。   FIG. 8 (b) uses the present invention to display the landscape in the rear window direction on the image display 10004 based on the image information acquired by the camera 101 so as to be displayed on the half mirror, and The state which displayed the virtual viewpoint image corresponding to the scenery which becomes a driver's blind spot and cannot be seen is shown. In FIG. 8 (b), display is made so that the field of view that could not be seen due to the blind spots caused by the driver's seat, front passenger seat, rear seat, and rear window frame shown in FIG. 8 (a) is satisfied. Has been.
また、どこが死角に相当するかを示すために、死角となって見通し不能な景観に対応する部分と、そうでない部分とを区別することができるような表示形態となっている。この表示形態は、例えば、図8(b)に示すように、死角を生じさせている部分をワイヤーフレーム或いは半透明にして、その部分に死角の映像を重畳させてもよいし、他の部分と異なる色で区別するようにしてもよいし、強調表示させるようにしてもよい。   Moreover, in order to show what corresponds to a blind spot, it is a display form which can distinguish the part corresponding to the landscape which becomes a blind spot and cannot be seen, and the part which is not so. In this display form, for example, as shown in FIG. 8 (b), the part causing the blind spot may be made into a wire frame or translucent, and the image of the blind spot may be superimposed on the part. They may be distinguished by different colors or may be highlighted.
さて、図8(b)について、さらに詳述する。上記より、視点位置とルームミラー10002の位置姿勢が得られるので、その視点位置とルームミラー10002の位置姿勢とに応じた仮想的な反射像(仮想視点視点)を生成して、画像表示用ディスプレイ10004に表示させることができる。それにより、図8(a)の表示形態を実現することができる。なお、ここで、生成される仮想視点画像は、自車両に関する情報(車載の物品、シート、フロントピラー、リアピラー等)を考慮しないで生成される画像であり、表示手段に表示されるときには左右反転される。   Now, FIG. 8B will be described in further detail. From the above, since the viewpoint position and the position and orientation of the room mirror 10002 are obtained, a virtual reflection image (virtual viewpoint viewpoint) corresponding to the viewpoint position and the position and orientation of the room mirror 10002 is generated, and the image display 10004 can be displayed. Thereby, the display form of FIG. 8A can be realized. Here, the generated virtual viewpoint image is an image generated without taking into consideration information related to the own vehicle (vehicle-mounted articles, seats, front pillars, rear pillars, etc.), and when displayed on the display means, it is horizontally reversed. Is done.
次に、図8(b)の表示形態を実現するためには、運転者の死角となる部分を特定するための情報が必要である。そこで、死角領域認識手段10008では、CAD(Computer Aided Design)のデータを利用することにより、視点位置検出手段10005により検出した運転者の視点位置と車両のCADデータから、運転者の視点からの死角領域を求める。そして、この死角領域の情報と上記で取得した仮想視点情報(どの方向を向いているかという情報も含んでいてもよい)が表示形態制御手段10001に送信される。   Next, in order to realize the display form of FIG. 8B, information for specifying a part that becomes a blind spot of the driver is necessary. Therefore, the blind spot area recognizing unit 10008 uses CAD (Computer Aided Design) data to calculate the blind spot from the viewpoint of the driver from the viewpoint position of the driver and the CAD data of the vehicle detected by the viewpoint position detecting unit 10005. Find the area. Then, the information on the blind spot area and the virtual viewpoint information acquired as described above (which may include information indicating which direction it is directed) are transmitted to the display form control unit 10001.
表示形態制御手段10001では、自車両に関する情報を考慮しないで生成された仮想視点画像において、CADデータより得られた運転者の視点からの死角領域となる部分には、本来死角となって見通し不能な景観に対応する仮想視点画像と、元々死角でない景観とを区別できるように、例えば、死角となって見通し不能な景観をワイヤーフレームで表示させてもよいし、他の部分と異なる色で区別するようにしてもよいし、強調表示させるようにしてもよい。   In the display form control means 10001, in the virtual viewpoint image generated without considering the information about the host vehicle, the part that becomes the blind spot area from the viewpoint of the driver obtained from the CAD data is originally a blind spot and cannot be seen. In order to distinguish a virtual viewpoint image corresponding to a natural landscape and a landscape that is not originally a blind spot, for example, a landscape that becomes a blind spot and cannot be seen may be displayed in a wire frame, or distinguished by a color different from other parts Or may be highlighted.
また、CADデータを用いないで死角領域を区別する方法として、自車両に関する情報を考慮しないで生成した仮想視点画像と、自車両に関する情報を考慮して生成した仮想視点画像とを算出し、この2つの仮想視点画像の差分を求めることで死角領域が得られる。そして、この死角領域の情報に基づいてその死角となって本来見ることができない景観に対応する部分を、例えばワイヤーフレーム等で表示させる。   In addition, as a method of distinguishing the blind spot area without using CAD data, a virtual viewpoint image generated without considering information about the host vehicle and a virtual viewpoint image generated considering information about the host vehicle are calculated. A blind spot area can be obtained by obtaining a difference between two virtual viewpoint images. Then, based on the information on the blind spot area, the part corresponding to the scenery that cannot be seen as the blind spot is displayed with, for example, a wire frame.
以上より、このように表示が制御されることによってあたかも車体が半透明になったような像がルームミラーで観察され、視線を動かしても追随的にこの状態が維持される。このようなことを実現した従来例はない。例えば、特許文献4にはディスプレイ内蔵ルームミラーが開示されているが、本実施形態のようなものを実現したものではない。   As described above, by controlling the display in this way, an image as if the vehicle body is translucent is observed with the rearview mirror, and this state is maintained following the movement of the line of sight. There is no conventional example that achieves this. For example, Patent Document 4 discloses a display-equipped room mirror, but it does not realize the present embodiment.
<第5の実施形態>
本実施形態では、上記の何れかの実施形態における画像表示装置において、車外にある注目されるべき物体や注意が喚起されるべき物体を認識した場合には、ディスプレイにその旨の警告を表示する。
<Fifth Embodiment>
In this embodiment, when the image display device in any of the above embodiments recognizes an object to be noticed or an object to be alerted outside the vehicle, a warning to that effect is displayed on the display. .
図9は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、視点相対位置検出手段10003、画像表示用ディスプレイ10004、及び注目物体認識手段10009から構成される。注目物体認識手段10009以外は、図1と同様である。   FIG. 9 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, a viewpoint relative position. It comprises detection means 10003, an image display display 10004, and a target object recognition means 10009. Except for the object-of-interest recognition means 10009, it is the same as FIG.
注目物体認識手段10009は、例えば、車外に設けたステレオセンサーである。ステレオセンサーにより、対象となる物体までの距離を求めることができ、これを所定時間単位でサンプリングすることにより、時間変化における物体の移動状態を検出することができるので、対向車両と自車両との衝突の可能性を判定することが可能である。   The attention object recognition unit 10009 is, for example, a stereo sensor provided outside the vehicle. The distance to the target object can be obtained by the stereo sensor, and by sampling this at a predetermined time unit, the moving state of the object over time can be detected. It is possible to determine the possibility of a collision.
表示形態制御手段10001では、例えば、注目物体認識手段10009により検出された対向車が異常な速度で接近してきた場合には、画像表示用ディスプレイ10004での表示画像に警告表示を重畳して表示にする。このとき、警告表示は、(特定の)色、マーク、吹き出し等または音声であって良い。   In the display form control unit 10001, for example, when an oncoming vehicle detected by the attention object recognition unit 10009 approaches at an abnormal speed, a warning display is superimposed on the display image on the image display display 10004 for display. To do. At this time, the warning display may be a (specific) color, a mark, a balloon, or the like or a voice.
<第6の実施形態>
本実施形態では、上記の何れかの実施形態における画像表示装置において、車内の危険状態、または注意が喚起されるべき状態を認識した場合には、ディスプレイにその旨の警告を表示する。
<Sixth Embodiment>
In the present embodiment, in the image display device according to any one of the embodiments described above, when a dangerous state in the vehicle or a state that requires attention is recognized, a warning to that effect is displayed on the display.
図10は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、視点相対位置検出手段10003、画像表示用ディスプレイ10004、及び車内状態認識手段10010から構成される。車内状態認識手段10010以外は、図1と同様である。   FIG. 10 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, a viewpoint relative position. It comprises a detection means 10003, an image display display 10004, and an in-vehicle state recognition means 10010. Except for the in-vehicle state recognition means 10010, it is the same as FIG.
車内状態認識手段10010は、車内の状態を認識するためのあらゆる手段である。例えば、座席に圧力センサーを設置しておくことで、その上に座っている人の状態を推定することができる。これにより、座っている人が動かなくなったら睡眠していると推定したり、重心が車外に出そうな重心である場合には車外に体の一部がでていると推定することもできる。また、車内に設置したカメラで搭乗者の動作を撮影し、所定の動作パターンを検出することにより、その搭乗者がどうような状態であるかを推定することができる。また、車内に温度センサーを取り付けて車内温度が異常であるかを検出してもよい。   The in-vehicle state recognition means 10010 is any means for recognizing the in-vehicle state. For example, by installing a pressure sensor on the seat, it is possible to estimate the state of a person sitting on the seat. Thereby, when the person who sits stops moving, it can be estimated that he is sleeping, or when the center of gravity is likely to go out of the vehicle, it can be estimated that a part of the body is out of the vehicle. Moreover, it is possible to estimate the state of the occupant by photographing the occupant's motion with a camera installed in the vehicle and detecting a predetermined motion pattern. In addition, a temperature sensor may be attached in the vehicle to detect whether the vehicle temperature is abnormal.
表示形態制御手段10001は、車内状態認識手段10010の検出結果に基づいて搭乗者の状態が推定されるので、その推定結果が搭乗者にとって危険な状態であれば、画像表示用ディスプレイ10004にその旨の警告表示を重畳して表示させることができる。
以上より、警告が表示されれば、運転者は速やかに自動車を停車させることができるので、未然に事故等を防止することができる。
Since the display form control unit 10001 estimates the passenger's state based on the detection result of the in-vehicle state recognition unit 10010, if the estimation result is a dangerous state for the passenger, the display type display unit 10004 indicates that fact. Can be displayed superimposed.
As described above, if the warning is displayed, the driver can promptly stop the vehicle, so that an accident or the like can be prevented in advance.
<第7の実施形態>
本実施形態では、リアウィンドウが汚れていて、目視やルームミラーの反射像で車両後方を確認することが困難な場合に、その後方の仮想視点画像をルームミラーのディスプレイに表示させる。
<Seventh Embodiment>
In the present embodiment, when the rear window is dirty and it is difficult to confirm the rear of the vehicle by visual observation or a reflection image of the rearview mirror, the rear virtual viewpoint image is displayed on the rearview mirror display.
図11は、本実施形態における画像表示装置10000を示す。同図において、画像表示装置10000は、複数台のカメラ101、カメラパラメータテーブル103、空間再構成手段104、空間データバッファ105、視点変換手段106、表示形態制御手段10001、ルームミラー10002、視点相対位置検出手段10003、画像表示用ディスプレイ10004、及び後方視野状況認識手段10011から構成される。後方視野状況認識手段10011以外は、図1と同様である。   FIG. 11 shows an image display device 10000 in the present embodiment. In the figure, an image display device 10000 includes a plurality of cameras 101, a camera parameter table 103, a spatial reconstruction unit 104, a spatial data buffer 105, a viewpoint conversion unit 106, a display form control unit 10001, a room mirror 10002, a viewpoint relative position. It comprises a detection means 10003, an image display 10004, and a rear visual field situation recognition means 10011. Except for the rear visual field situation recognition unit 10011, the configuration is the same as that shown in FIG.
後方視野状況認識手段10011は、リアウィンドウの状態を検出するためのものである。例えば、リアウィンドウの脇にカメラを設置しておき、リアウィンドウを随時撮影する。そして、汚れる前のリアウィンドウの画像と随時撮影したリアウィンドウの画像との差分を求め、その差分が所定の閾値より大きい場合に、リアウィンドウが汚れていると判断してもよい。また、車内からリアウィンドウに対して光を照射し、汚れている場合には、それに当たって反射されるので、その反射光をセンサーにより検出するようにしてもよい。   The rear visual field situation recognition means 10011 is for detecting the state of the rear window. For example, a camera is installed beside the rear window, and the rear window is photographed as needed. Then, the difference between the image of the rear window before being soiled and the image of the rear window photographed at any time may be obtained, and if the difference is larger than a predetermined threshold, it may be determined that the rear window is soiled. In addition, when the rear window is irradiated with light from the inside of the vehicle and is dirty, it is reflected by hitting it, so the reflected light may be detected by a sensor.
このように、リアウィンドウが汚れて、リアウィンドウを通して後方の景観が見にくい場合には、リア方向の画像(例えば、リア方向の車外の仮想視点画像や車両後部に設置したカメラにより取得した後部画像等)をルームミラー10002に表示させるようにする。   In this way, when the rear window is dirty and it is difficult to see the rear landscape through the rear window, a rear direction image (for example, a rear viewpoint image obtained by a virtual viewpoint image outside the vehicle or a camera installed at the rear of the vehicle, etc. ) Is displayed on the room mirror 10002.
以上より、リアウィンドウが汚れて、リアウィンドウを通して後方の景観が見にくい場合にもリア方向の様子を認識することができるので、安全に運転することができる。
<第8の実施形態>
この実施形態は、ルームミラー10002の反射面を構成するハーフミラーとして、外部から供給される駆動信号に応じて反射率が変化するようになされた光学素子を適用し、所要に応じてこのハーフミラーを全反射ミラーとして機能させたり、半透過ミラーとして機能させたり、或いはまた略々完全に透明にしたりするものである。
As described above, since the rear window can be recognized even when the rear window is dirty and it is difficult to see the rear landscape through the rear window, it is possible to drive safely.
<Eighth Embodiment>
In this embodiment, an optical element whose reflectivity is changed according to a drive signal supplied from the outside is applied as a half mirror constituting the reflection surface of the rearview mirror 10002, and this half mirror is used as required. Is made to function as a total reflection mirror, to function as a semi-transmission mirror, or to be almost completely transparent.
外部から供給される駆動信号(印加電圧)に応じて自己の透明度(反射率)が変化する光学素子としては、例えば、特許文献11に記載のものを適用することができる図12は、この実施形態におけるルームミラー10002から観察される画像乃至視野の様子を示す図である。   As an optical element whose own transparency (reflectance) changes according to a drive signal (applied voltage) supplied from the outside, for example, the one described in Patent Document 11 can be applied. It is a figure which shows the mode thru | or the mode of a visual field observed from the room mirror 10002 in a form.
図12(a)は、画像表示用ディスプレイ10004が非発光状態にあるときに、ハーフミラーが全反射ミラー(反射率100%)として機能するように駆動信号を印加した状態を表すものである。図示のように、この状態ではルームミラー10002によって、従来の通常のこの種のミラーと同様に、同ミラーより(自車の前後方向で見て)後方の視野が反射像として観察される。   FIG. 12A shows a state where a drive signal is applied so that the half mirror functions as a total reflection mirror (reflectance 100%) when the image display 10004 is in a non-light emitting state. As shown in the drawing, in this state, the rear view field (viewed in the front-rear direction of the host vehicle) is observed as a reflected image by the room mirror 10002, as in the case of this type of conventional mirror.
図12(b)は、画像表示用ディスプレイ10004の輝度が外部の輝度と略々同等の環境にあるときに、ハーフミラーによる反射像と画像表示用ディスプレイ10004による表示画像とが重複して観察されるように駆動信号を印加した状態を表す図である。このときには、ハーフミラーの反射率は略50%である。   In FIG. 12B, when the brightness of the image display display 10004 is in an environment substantially equal to the external brightness, the reflected image by the half mirror and the display image by the image display display 10004 are observed in an overlapping manner. It is a figure showing the state which applied the drive signal so that. At this time, the reflectance of the half mirror is approximately 50%.
図12(c)は、画像表示用ディスプレイ10004の輝度が外部の輝度を越えるような環境にあるときに、専らこの画像表示用ディスプレイ10004による表示画像が観察されるように駆動信号を印加した状態を表す図である。このときには、ハーフミラーの反射率は略0%である。   FIG. 12C shows a state in which a drive signal is applied so that a display image on the image display display 10004 is exclusively observed when the brightness of the image display display 10004 exceeds the external brightness. FIG. At this time, the reflectance of the half mirror is approximately 0%.
図13は、図12について上述したように駆動されるハーフミラーを備えたルームミラー10002の構成とその駆動手段の構成を示す図である。ルームミラー10002については、その断面が概念的に図示されるように、ハーフミラーとしての反射率可変ミラー201の背後に画像表示用ディスプレイとして機能する液晶表示パネル202が配置され、この液晶表示パネル202では光源203からの光が導光板204によって導かれ発光表示が行われる。   FIG. 13 is a diagram showing the configuration of a room mirror 10002 provided with a half mirror driven as described above with reference to FIG. 12 and the configuration of its driving means. As for the rearview mirror 10002, a liquid crystal display panel 202 functioning as an image display display is disposed behind the variable reflectivity mirror 201 as a half mirror so that the cross section thereof is conceptually illustrated. Then, the light from the light source 203 is guided by the light guide plate 204 and light emission display is performed.
更に、ルームミラー10002の上辺近傍の適所には照度センサ205が設けられて外部の輝度が検出されるように構成されている。反射率可変ミラー201にはハーフミラー駆動手段としてのミラードライバ206から駆動信号としての電圧が印加されて図12について説明したように駆動される。   Further, an illuminance sensor 205 is provided at an appropriate position near the upper side of the room mirror 10002 so that external luminance is detected. A voltage as a drive signal is applied to the reflectivity variable mirror 201 from a mirror driver 206 as a half mirror drive unit, and the reflectivity mirror 201 is driven as described with reference to FIG.
また、液晶表示パネル202には液晶ドライバ207から駆動信号が供給されて目的とする表示が行われる。光源203にはバックライトドライブコントローラ208から所要の駆動電力が供給される。ミラードライバ206、液晶ドライバ207、及び、バックライトドライブコントローラ208は、表示調節装置209によって各相互に適切な動作を行うように統括的に制御される。   In addition, a driving signal is supplied from the liquid crystal driver 207 to the liquid crystal display panel 202 to perform a desired display. Necessary driving power is supplied from the backlight drive controller 208 to the light source 203. The mirror driver 206, the liquid crystal driver 207, and the backlight drive controller 208 are collectively controlled by the display adjustment device 209 so as to perform appropriate operations with each other.
この表示調節装置209に照度センサ205によって検出された外部の輝度を表す信号が供給され、この輝度の値が勘案されて、図12(b)及び図12(c)について上述したように、外部の輝度と液晶表示パネル202(画像表示用ディスプレイ10004)の明るさとの関係で、反射と表示との関係が切り換え制御される。尚、この表示調節装置209を既述の表示形態制御手段10001と一体のものとして構成することは推奨される。   A signal representing the external luminance detected by the illuminance sensor 205 is supplied to the display adjusting device 209, and the value of the luminance is taken into account, and as described above with reference to FIGS. The relationship between reflection and display is controlled by switching between the brightness of the display and the brightness of the liquid crystal display panel 202 (image display display 10004). Note that it is recommended that the display adjusting device 209 be configured integrally with the display form control means 10001 described above.
なお、上記の第1〜第8の実施形態は可能な限り、相互に組み合わせることができるので、用途に応じて様々な実施形態が存在する。
図14は、第1〜第8の実施形態における画像表示装置10000のハードウェア環境の構成ブロック図である。同図において画像表示装置10000は、少なくとも、例えば、中央処理装置(CPU)等の制御装置10080と、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、または大容量記憶装置等の記憶装置10081と、出力I/F(インターフェース、以下同じ)10082、入力I/F10083、通信I/F10084及びこれらを接続するバス10085から構成され、それに、出力手段107や、入力I/Fまたは通信I/Fに接続される各種の装置がある。
In addition, since said 1st-8th embodiment can be mutually combined as much as possible, various embodiment exists according to a use.
FIG. 14 is a block diagram showing the hardware environment of the image display apparatus 10000 according to the first to eighth embodiments. In the figure, an image display device 10000 includes at least a control device 10080 such as a central processing unit (CPU), and a storage device 10081 such as a read only memory (ROM), a random access memory (RAM), or a mass storage device. And an output I / F (interface, the same applies hereinafter) 10082, an input I / F 10083, a communication I / F 10084, and a bus 10085 for connecting them, to which output means 107, an input I / F or a communication I / F There are various devices connected to the.
入力I/Fに接続される装置としては、例えば、カメラ101、車内用カメラ、ステレオセンサー及び各種センサー、キーボードやマウス等の入力装置、CD−ROMやDVD等の可搬型記憶媒体の読み取り装置、その他周辺機器等が挙げられる。
通信I/F10084に接続される装置としては、例えば、カーナビゲーションシステムや、インターネット又はGPSと接続する通信機器である。なお、通信メディアとしては、インターネット、LAN、WAN、専用線、有線、無線等の通信網であってよい。
As an apparatus connected to the input I / F, for example, a camera 101, an in-vehicle camera, a stereo sensor and various sensors, an input device such as a keyboard and a mouse, a reading device for a portable storage medium such as a CD-ROM and a DVD, Other peripheral devices are listed.
Examples of the device connected to the communication I / F 10084 include a car navigation system and a communication device connected to the Internet or GPS. Note that the communication medium may be a communication network such as the Internet, a LAN, a WAN, a dedicated line, a wired line, and a wireless line.
記憶装置10081の一例としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、上記の実施形態で述べたフローのプログラム、各種テーブル(例えば、各種設定値が格納されるテーブル等)、CADデータ等が格納されている。このプログラムは、制御装置10080によって読み込まれ、フローの各処理が実行される。   As an example of the storage device 10081, various types of storage devices such as a hard disk and a magnetic disk can be used. The flow program described in the above embodiment, various tables (for example, a table storing various setting values, etc.) ), CAD data and the like are stored. This program is read by the control device 10080, and each process of the flow is executed.
このプログラムは、プログラム提供者側から通信I/F10084を介して、インターネット経由で提供され、記憶装置10081に格納されてもよいし、また市販され、流通している可搬型記憶媒体に格納され、読み取り装置にセットされて、制御装置によって実行されることも可能である。可搬型記憶媒体としてはCD−ROM、DVD、フレキシブルディスク、光ディスク、光磁気ディスク、ICカードなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置によって読み取られる。   This program may be provided from the program provider via the communication I / F 10084 via the Internet and stored in the storage device 10081, or may be stored in a commercially available portable storage medium, It can also be set in the reader and executed by the controller. Various types of storage media such as CD-ROM, DVD, flexible disk, optical disk, magneto-optical disk, and IC card can be used as the portable storage medium, and the program stored in such a storage medium can be read by a reading device. Read by.
また、入力装置には、キーボード、マウス、または電子カメラ、マイク、スキャナ、センサー、タブレットなどを用いることが可能である。さらに、その他の周辺機器も接続することができる。入力装置には、ディスプレイ10004、スピーカ等を利用することができる。   As the input device, a keyboard, a mouse, an electronic camera, a microphone, a scanner, a sensor, a tablet, or the like can be used. In addition, other peripheral devices can be connected. As the input device, a display 10004, a speaker, or the like can be used.
なお、上述した各実施形態において、複数の撮像装置は、それらによって、いわゆる3眼ステレオカメラを構成するように用いても、あるいは4眼ステレオカメラを構成するように用いてもよい。このように3眼あるいは4眼ステレオカメラを用いると、3次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている(例えば、非特許文献1)。特に複数カメラを2方向の基線長を持つように配置すると、より複雑なシーンで3次元再構成が可能になることが知られている。また1つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。   In each of the above-described embodiments, the plurality of imaging devices may be used so as to configure a so-called trinocular stereo camera or may be used so as to configure a four-eye stereo camera. Thus, it is known that when a three-eye or four-eye stereo camera is used, a more reliable and stable processing result can be obtained in a three-dimensional reconstruction process or the like (for example, Non-Patent Document 1). In particular, it is known that when a plurality of cameras are arranged so as to have a baseline length in two directions, three-dimensional reconstruction can be performed in a more complicated scene. If a plurality of cameras are arranged in one baseline length direction, a so-called multi-baseline stereo camera can be realized, and more accurate stereo measurement can be performed.
第1の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 1st Embodiment. 第1の実施形態における仮想視点画像の表示フローを示す図である。It is a figure which shows the display flow of the virtual viewpoint image in 1st Embodiment. 第1の実施形態における視点位置とルームミラーの位置関係を説明するための図である。It is a figure for demonstrating the positional relationship of the viewpoint position and room mirror in 1st Embodiment. 第2の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 2nd Embodiment. 第2の実施形態における視点位置とルームミラーの位置関係を説明するための図である。である。It is a figure for demonstrating the positional relationship of the viewpoint position and room mirror in 2nd Embodiment. It is. 第3の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 3rd Embodiment. 第4の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 4th Embodiment. 第3の実施形態におけるルームミラーに表示される画像の表示形態を示す図である。It is a figure which shows the display form of the image displayed on the room mirror in 3rd Embodiment. 第5の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 5th Embodiment. 第6の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 6th Embodiment. 第7の実施形態における画像表示装置を示す図である。It is a figure which shows the image display apparatus in 7th Embodiment. 第8の実施形態におけるルームミラーから観察される画像乃至視野の様子を示す図である。It is a figure which shows the mode thru | or the state of a visual field observed from the room mirror in 8th Embodiment. 図12のように機能するルームミラーの構成とその駆動手段の構成を示す図である。It is a figure which shows the structure of the room mirror which functions like FIG. 12, and the structure of the drive means. 第1〜第8の実施形態における画像表示装置のハードウェア環境の構成ブロック図である。It is a block diagram of the hardware environment of the image display apparatus in the first to eighth embodiments.
符号の説明Explanation of symbols
101 カメラ
103 カメラパラメータテーブル
104 空間再構成手段
105 空間データバッファ
106 視点変換手段
107 表示手段
201 反射率可変ミラー
202 液晶表示パネル
203 光源
204 導光板
205 照度センサ
206 ミラードライバ
207 液晶ドライバ
208 バックライトドライブコントローラ
209 表示調節装置
10000 画像表示装置
10001 表示形態制御手段
10002 ルームミラー
10003 視点相対位置検出手段
10004 画像表示用ディスプレイ
10005 視点位置検出手段
10006 位置姿勢検出手段
10007 視線方向検出手段
10008 死角領域認識手段
10009 注目物体認識手段
10010 注目物体認識手段
10011 後方視野状況認識手段
10080 制御装置
10081 記憶装置
10082 出力I/F
10083 入力I/F
10084 通信I/F
10085 バス

DESCRIPTION OF SYMBOLS 101 Camera 103 Camera parameter table 104 Spatial reconstruction means 105 Spatial data buffer 106 View point conversion means 107 Display means 201 Reflectivity variable mirror 202 Liquid crystal display panel 203 Light source 204 Light guide plate 205 Illuminance sensor 206 Mirror driver 207 Liquid crystal driver 208 Backlight drive controller 209 Display adjustment device 10000 Image display device 10001 Display form control means 10002 Room mirror 10003 Viewpoint relative position detection means 10004 Image display display 10005 Viewpoint position detection means 10006 Position / attitude detection means 10007 Gaze direction detection means 10008 Blind area recognition means 10009 Attention object Recognizing means 10010 Attention object recognizing means 10011 Rear visual field situation recognizing means 10080 Controller 0081 memory 10082 outputs I / F
10083 Input I / F
10084 Communication I / F
10085 Bus

Claims (10)

  1. 車室内の所定位置に配され反射面がハーフミラーによって構成され該ハーフミラーの背後にハーフミラーの前面側から観察可能に画像を表示する画像表示用ディスプレイが設けられたルームミラーと、
    前記ルームミラー上に定義された座標系における視点座標を検出する視点相対位置検出手段と、
    前記視点相対位置検出手段によって検出された前記視点座標に基づいて前記画像表示用ディスプレイでの画像表示形態を制御する表示形態制御手段と、
    を備えたことを特徴とする画像表示装置。
    A room mirror provided with an image display that is arranged at a predetermined position in the passenger compartment and whose reflection surface is configured by a half mirror and that displays an image so as to be observable from the front side of the half mirror behind the half mirror;
    Viewpoint relative position detecting means for detecting viewpoint coordinates in a coordinate system defined on the room mirror;
    Display form control means for controlling an image display form on the image display based on the viewpoint coordinates detected by the viewpoint relative position detection means;
    An image display device comprising:
  2. 前記視点相対位置検出手段は、前記ルームミラーに設置されていることを特徴とする請求項1に記載の画像表示装置。   The image display apparatus according to claim 1, wherein the viewpoint relative position detection unit is installed in the room mirror.
  3. 車室内の所定位置に配され反射面がハーフミラーによって構成され該ハーフミラーの背後にハーフミラーの前面側から観察可能に画像を表示する画像表示用ディスプレイが設けられたルームミラーと、
    前記ルームミラーの位置姿勢を検出する位置姿勢検出手段と、
    観察者の視点位置を検出する視点位置検出手段と、
    前記位置姿勢検出手段によって検出されたルームミラーの位置姿勢及び前記視点位置検出手段によって検出された観察者の視点位置に基づいて前記画像表示用ディスプレイでの画像表示形態を制御する表示形態制御手段と、
    を備えたことを特徴とする画像表示装置。
    A room mirror provided with an image display that is arranged at a predetermined position in the passenger compartment and whose reflection surface is configured by a half mirror and that displays an image so as to be observable from the front side of the half mirror behind the half mirror;
    Position and orientation detection means for detecting the position and orientation of the room mirror;
    Viewpoint position detecting means for detecting the viewpoint position of the observer;
    Display form control means for controlling the image display form on the image display based on the position and orientation of the room mirror detected by the position and orientation detection means and the viewpoint position of the observer detected by the viewpoint position detection means; ,
    An image display device comprising:
  4. 視線方向検出手段を更に備え、視線方向が、ミラー面と交差する場合にのみ画像表示することを特徴とする請求項1または3に記載の画像表示装置。   The image display device according to claim 1, further comprising a line-of-sight direction detection unit, wherein an image is displayed only when the line-of-sight direction intersects the mirror surface.
  5. 前記画像表示用ディスプレイは、車外を撮像する撮像手段の出力である画像情報を表示可能になされ、前記表示形態制御手段は、前記位置姿勢検出手段によって検出されたルームミラーの位置姿勢及び前記視点位置検出手段によって検出された観察者の当該視点位置に基づいて前記観察者の死角となる観察領域を認識する死角領域認識手段を有し、該死角領域認識手段によって認識された死角となる観察領域に対応する車外の画像を前記画像表示用ディスプレイに表示するように画像表示形態を制御するように構成されたものであることを特徴とする請求項3に記載の画像表示装置。   The image display is capable of displaying image information that is an output of an imaging unit that captures the outside of the vehicle, and the display form control unit is configured to detect the position and orientation of the room mirror and the viewpoint position detected by the position and orientation detection unit. A blind spot area recognizing means for recognizing an observation area that becomes the blind spot of the observer based on the viewpoint position of the observer detected by the detection means; and the observation area that becomes the blind spot recognized by the blind spot area recognition means The image display device according to claim 3, wherein the image display device is configured to control an image display form so as to display a corresponding image outside the vehicle on the image display.
  6. 表示形態制御手段は、注目されるべき乃至は注意が喚起されるべき物体を認識するように別途に設けられた注目物体認識手段からの出力に基づいて前記画像表示用ディスプレイでの表示画像に警告表示を重畳して表示可能に構成されたものであることを特徴とする請求項1または3に記載の画像表示装置。   The display form control means warns the display image on the image display display based on the output from the attention object recognition means separately provided so as to recognize the object to be noticed or to be alerted. The image display device according to claim 1, wherein the image display device is configured to be capable of being displayed by superimposing displays.
  7. 表示形態制御手段は、車内の危険状態乃至は注意が喚起されるべき状態を認識するように別途に設けられた車内状態認識手段からの出力に基づいて前記画像表示用ディスプレイでの表示画像に警告表示を重畳して表示可能に構成されたものであることを特徴とする請求項1または3に記載の画像表示装置。   The display form control means warns the display image on the image display display based on the output from the in-vehicle state recognizing means separately provided so as to recognize a dangerous state in the vehicle or a state to be alerted. The image display device according to claim 1, wherein the image display device is configured to be capable of being displayed by superimposing displays.
  8. 表示形態制御手段は、リアウィンドウの汚れ状況を認識するように別途に設けられた後方視野状況認識手段からの出力に基づいて前記画像表示用ディスプレイにリアウィンドウからの後方視野の画像を表示可能に構成されたものであることを特徴とする請求項1に記載の画像表示装置。   The display form control means can display the image of the rear view from the rear window on the image display based on the output from the rear view condition recognition means provided separately so as to recognize the dirt situation of the rear window. The image display device according to claim 1, wherein the image display device is configured.
  9. 前記ハーフミラーは外部から供給される駆動信号に応じて反射率が変化するようになされたものであることを特徴とする請求項1または3に記載の画面表示装置。   The screen display device according to claim 1, wherein the half mirror has a reflectivity that changes according to a drive signal supplied from outside.
  10. 前記ハーフミラーに対し前記駆動信号を供給するためのハーフミラー駆動手段が更に設けられ、該ハーフミラー駆動手段は、前記画像表示用ディスプレイが非発光状態にあるときには前記ハーフミラーが全反射ミラーとして機能するように駆動信号を印加し、前記画像表示用ディスプレイの輝度が外部の輝度と略々同等の環境にあるときには前記ハーフミラーによる反射像と画像表示用ディスプレイによる表示画像とが重複して観察されるように駆動信号を印加し、前記画像表示用ディスプレイの輝度が外部の輝度を越えるような環境にあるときには専ら画像表示用ディスプレイによる表示画像が観察されるように駆動信号を印加するように構成されたものであることを特徴とする請求項9に記載の画面表示装置。

    Half mirror drive means for supplying the drive signal to the half mirror is further provided, and the half mirror drive means functions as a total reflection mirror when the image display is in a non-light emitting state. When the drive signal is applied and the brightness of the image display is in an environment substantially equal to the external brightness, the reflected image by the half mirror and the display image by the image display are observed in an overlapping manner. The drive signal is applied so that the drive signal is applied so that the display image on the image display display is exclusively observed when the brightness of the image display display exceeds the external brightness. The screen display device according to claim 9, wherein the screen display device is a screen display device.

JP2004152709A 2004-05-24 2004-05-24 Image display device Expired - Fee Related JP4323377B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004152709A JP4323377B2 (en) 2004-05-24 2004-05-24 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004152709A JP4323377B2 (en) 2004-05-24 2004-05-24 Image display device

Publications (2)

Publication Number Publication Date
JP2005335410A JP2005335410A (en) 2005-12-08
JP4323377B2 true JP4323377B2 (en) 2009-09-02

Family

ID=35489465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004152709A Expired - Fee Related JP4323377B2 (en) 2004-05-24 2004-05-24 Image display device

Country Status (1)

Country Link
JP (1) JP4323377B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105667260A (en) * 2014-12-04 2016-06-15 丰田自动车株式会社 Anti-dazzling apparatus

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293909A (en) * 2005-04-14 2006-10-26 Denso Corp Driver sight line direction detecting device
JP4911732B2 (en) * 2007-01-16 2012-04-04 パイオニア株式会社 Vehicle display device, vehicle display method, and vehicle display program
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP4946682B2 (en) * 2007-07-10 2012-06-06 株式会社デンソー Vehicle travel support device
JP2009078597A (en) * 2007-09-25 2009-04-16 Denso Corp Rear side confirmation system
JP5115136B2 (en) * 2007-10-16 2013-01-09 株式会社デンソー Vehicle rear monitoring device
US8624977B2 (en) 2008-02-20 2014-01-07 Clarion Co., Ltd. Vehicle peripheral image displaying system
KR100892503B1 (en) * 2008-03-19 2009-04-10 현대자동차주식회사 Room mirror for automobile
JP4930728B2 (en) * 2008-03-31 2012-05-16 株式会社エクォス・リサーチ Display device
JP5118605B2 (en) * 2008-10-30 2013-01-16 クラリオン株式会社 Vehicle periphery image display system
JP2010183170A (en) 2009-02-03 2010-08-19 Denso Corp Display apparatus for vehicle
JP5108837B2 (en) * 2009-07-13 2012-12-26 クラリオン株式会社 Vehicle blind spot image display system and vehicle blind spot image display method
US9204108B2 (en) * 2009-12-07 2015-12-01 Clarion Co., Ltd. Vehicle periphery monitoring system
US20120249789A1 (en) * 2009-12-07 2012-10-04 Clarion Co., Ltd. Vehicle peripheral image display system
JP2012136192A (en) * 2010-12-27 2012-07-19 Ypk:Kk In-vehicle electronic device
JP2013541915A (en) * 2010-12-30 2013-11-14 ワイズ オートモーティブ コーポレーションWise Automotive Corporation Blind Spot Zone Display Device and Method
KR101417383B1 (en) * 2012-10-31 2014-07-08 현대자동차주식회사 Apparatus and method for image control of room-mirror
JP6364702B2 (en) * 2013-03-29 2018-08-01 アイシン精機株式会社 Image display control device, image display system, and display unit
JPWO2015162910A1 (en) * 2014-04-24 2017-04-13 パナソニックIpマネジメント株式会社 In-vehicle display device, control method for in-vehicle display device, and program
CN106233720A (en) * 2014-04-25 2016-12-14 松下知识产权经营株式会社 Image processing apparatus, the control method of image processing apparatus, program, display device
EP3170699A4 (en) * 2014-07-14 2017-05-24 Panasonic Intellectual Property Management Co., Ltd. Electron mirror device
JPWO2016017114A1 (en) * 2014-07-31 2017-05-25 パナソニックIpマネジメント株式会社 Electronic mirror device
JP6384188B2 (en) 2014-08-12 2018-09-05 ソニー株式会社 Vehicle display device, display control method, and rear monitoring system
JP6446925B2 (en) * 2014-09-05 2019-01-09 アイシン精機株式会社 Image display control device and image display system
WO2016047367A1 (en) * 2014-09-25 2016-03-31 株式会社Jvcケンウッド Mirror device having display function, and method for changing direction of mirror device having display function
US20170313252A1 (en) * 2014-10-07 2017-11-02 Panasonic Intellectual Property Management Co., Ltd. Electronic mirror device
JP2016141303A (en) * 2015-02-03 2016-08-08 株式会社デンソー Visual field support device
JP2017034453A (en) * 2015-07-31 2017-02-09 富士通テン株式会社 Image processing apparatus, image display system, and image processing method
US10503989B2 (en) 2015-09-28 2019-12-10 Kyocera Corporation Image processing apparatus, imaging apparatus, camera monitor system, and image processing method
JP2017195491A (en) * 2016-04-20 2017-10-26 アイシン精機株式会社 Mirror display device
WO2018125870A1 (en) * 2016-12-27 2018-07-05 Gentex Corporation Rear vision system with eye-tracking
JP2019175133A (en) * 2018-03-28 2019-10-10 パナソニックIpマネジメント株式会社 Image processing device, image display system, and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105667260A (en) * 2014-12-04 2016-06-15 丰田自动车株式会社 Anti-dazzling apparatus

Also Published As

Publication number Publication date
JP2005335410A (en) 2005-12-08

Similar Documents

Publication Publication Date Title
US10718943B2 (en) Large mirror inside an autonomous vehicle
US10542244B2 (en) Vehicle vision system with customized display
US9467679B2 (en) Vehicle periphery monitoring device
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
CN105376526B (en) The head-up display of dynamic calibration
US9164281B2 (en) Volumetric heads-up display with dynamic focal plane
US9479740B2 (en) Image generating apparatus
US20140336876A1 (en) Vehicle vision system
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
US8885045B2 (en) Device and method for monitoring vehicle surroundings
US7457456B2 (en) Image generation method and device
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
DE102014115037A1 (en) Vision-based object recognition and highlighting in vehicle image display systems
JP3031013B2 (en) Visual information providing device
US9672432B2 (en) Image generation device
EP1701306B1 (en) Driving support system
JP3300334B2 (en) Image processing device and monitoring system
JP6148887B2 (en) Image processing apparatus, image processing method, and image processing system
JP6497158B2 (en) Display device, moving body
US20150331487A1 (en) Infotainment system
KR101491170B1 (en) Vehicle surrounding view display system
US6809704B2 (en) Reduction of blind spots by using display screens
US10302940B2 (en) Head-up display
US8570188B2 (en) Driver vision support system and vehicle including the system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees