JP4321258B2 - Display control device - Google Patents

Display control device Download PDF

Info

Publication number
JP4321258B2
JP4321258B2 JP2003427172A JP2003427172A JP4321258B2 JP 4321258 B2 JP4321258 B2 JP 4321258B2 JP 2003427172 A JP2003427172 A JP 2003427172A JP 2003427172 A JP2003427172 A JP 2003427172A JP 4321258 B2 JP4321258 B2 JP 4321258B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
mirror
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003427172A
Other languages
Japanese (ja)
Other versions
JP2005191655A (en
Inventor
敦 佐藤
和昭 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2003427172A priority Critical patent/JP4321258B2/en
Publication of JP2005191655A publication Critical patent/JP2005191655A/en
Application granted granted Critical
Publication of JP4321258B2 publication Critical patent/JP4321258B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Description

この発明は、車両に搭載された表示制御装置に係り、詳しくは、見通しの悪い交差点等に差し掛かったときに使用するブラインドコーナーモニタ機能を有する表示制御装置に関するものである。   The present invention relates to a display control device mounted on a vehicle, and more particularly to a display control device having a blind corner monitor function used when an intersection with poor visibility is reached.

従来、見通しの悪い交差点などを通過する際、安全を確保するために、いわゆるブラインドコーナーモニタと称される装置が用いられている。このブラインドコーナーモニタとは、見通しの悪い交差点等に車が差し掛かったときに、使用者がスイッチを入れ、かつ、車速が低速である場合に起動する。   Conventionally, a so-called blind corner monitor has been used to ensure safety when passing an intersection with poor visibility. This blind corner monitor is activated when the user switches on and the vehicle speed is low when the vehicle approaches an intersection with poor visibility.

そして、車両前方において左右方向に向けられたカメラから、車両の位置する道路に交差する道路の状況を映した画像を取得し、その画像を車内のディスプレイに表示するものである。このような装置は、交差点や道路が屈曲し、塀などの障害物で進行方向の状況が、運転席から視認しづらい場所などで用いられる。   And the image which reflected the condition of the road which cross | intersects the road where a vehicle is located is acquired from the camera turned to the left-right direction in front of a vehicle, and the image is displayed on the display in a vehicle. Such a device is used in places where intersections and roads are bent, and obstacles such as fences make it difficult to visually recognize the situation in the direction of travel from the driver's seat.

通常、このような見通しの悪い交差点などには、カーブミラーと称される鏡が、コーナ部分に設置されている。交差する道路から交差点に進入する車両は、カーブミラーを介して進入しようとしている道路の状況を把握することができる。   Usually, a mirror called a curve mirror is installed at a corner portion at such an intersection with poor visibility. A vehicle that enters the intersection from an intersecting road can grasp the situation of the road that is about to enter via the curve mirror.

また、カーブミラーの形状は、凸面鏡となっており、カーブミラーに映し出される像は、正像に比較して湾曲した形に映し出される。
特開2003−127772
Further, the shape of the curve mirror is a convex mirror, and the image projected on the curve mirror is projected in a curved shape as compared with the normal image.
JP 2003-127772 A

しかし、特許文献1に代表される従来のブラインドコーナーモニタは、図7に示されているように、カメラで撮像した映像がそのままモニターに表示される。つまり、このモニターに表示される画像l0、r0は、カメラ視点で撮像された画像が表示されるので、直接肉眼で認識した画像とは異なる。その結果、運転者においては、その表示画面に慣れるまで、モニターに映っている移動体や障害物との距離感や方向などを直感的には把握することが難しいという問題があった。   However, in the conventional blind corner monitor typified by Patent Document 1, as shown in FIG. 7, the image captured by the camera is displayed on the monitor as it is. That is, the images l0 and r0 displayed on the monitor are different from images recognized directly with the naked eye because images captured from the camera viewpoint are displayed. As a result, there has been a problem that it is difficult for the driver to intuitively grasp the sense of distance and direction from a moving object or an obstacle displayed on the monitor until he / she gets used to the display screen.

また、魚眼レンズを用いて外部画像を取得するブラインドコーナーモニタでは、広い範囲の映像情報を取得できる利点がある一方、歪みが大きいために、正像変換とよばれる歪み補正をする画像処理が必要となる。   In addition, a blind corner monitor that acquires an external image using a fisheye lens has the advantage of being able to acquire a wide range of video information. On the other hand, because of the large distortion, image processing that corrects distortion called normal image conversion is required. Become.

さらに、見通しの悪い交差点に差し掛かる度に、ブラインドコーナーモニタのスイッチを入れる必要があり、操作が煩わしいという欠点もあった。   Furthermore, it is necessary to switch on the blind corner monitor every time an intersection with poor visibility is reached, and there is a disadvantage that the operation is troublesome.

この発明は、交差点等の死角を映し出すブラインドコーナーモニタにおいて、より直感的に外部状況を把握できる画像を表示する表示制御装置を提供することを目的とする。   An object of the present invention is to provide a display control device that displays an image that allows the user to more intuitively understand an external situation in a blind corner monitor that displays a blind spot such as an intersection.

以上のような問題を解決する本発明は、以下のような構成を有する。   The present invention for solving the above problems has the following configuration.

(1)車両前方の画像を撮像する撮像手段と、
前記撮像手段で撮像された画像を、カーブミラーの湾曲形状に対応させて画像処理を行う画像処理手段と、
前記画像処理手段が画像処理した画像を、カーブミラーを模した図形中のミラー部分に表示する表示手段と、を備えることを特徴とする表示制御装置。
(1) imaging means for capturing an image in front of the vehicle;
An image processing unit that performs image processing on an image captured by the imaging unit in correspondence with a curved shape of a curve mirror;
A display control apparatus comprising: display means for displaying an image image-processed by the image processing means on a mirror portion in a figure simulating a curve mirror.

(2) 前記撮像手段で撮像する画像は、魚眼レンズで撮像された画像であることを特徴とする上記(1)に記載の表示制御装置。   (2) The display control apparatus according to (1), wherein the image captured by the imaging unit is an image captured by a fisheye lens.

)車両の現在位置を検出する現在位置検出手段と、
地図データと、前記表示手段を表示する予め地点登録された地点とが記憶された地図データ記憶手段と、
前記車両の速度を検出する車速検出手段と、を備え、
前記表示手段は、前記検出した現在位置と前記地点登録された場所とが一致し、かつ前記車速が所定値以下だった場合、前記撮像した画像を前記図形中のミラー部分に表示することを特徴とする上記(1)又は(2)に記載の表示制御装置。
( 3 ) current position detecting means for detecting the current position of the vehicle;
Map data storage means for storing map data and pre-registered points for displaying the display means;
Vehicle speed detecting means for detecting the speed of the vehicle,
The display means displays the captured image on a mirror portion in the figure when the detected current position matches the registered location and the vehicle speed is equal to or lower than a predetermined value. The display control device according to (1) or (2) .

請求項1に記載の発明によれば、撮像手段によって取得された車外状況の画像が、カーブミラーを模した図形中のミラー部分に表示されので、画像に示されている車外状況を、カーブミラーを見る際と同じ感覚で把握することができる。このため、画像を介して得られる対象物との方向感覚や距離感覚が、カーブミラーを介して把握する場合と近似し、より正確に画像に映し出された対象物との距離感や方向感覚を得ることができる。
特に、取得された画像が、画像処理により、カーブミラーに映し出される像に合致するように処理されるため、カーブミラーを視認した場合と同じ像が表示画面に表示される。これにより、カーブミラーを見る際と同様の感覚で表示画像から、対象物との距離や方向を把握することができる。
According to the invention described in claim 1, the image of the outside conditions acquired by the imaging means, since the curved mirror that is displayed on the mirror portion in the figure that imitates the outside situation is shown in the image, the curve It can be grasped with the same feeling as when looking at the mirror. For this reason, the sense of direction and distance to the object obtained through the image is similar to the case of grasping through the curve mirror, and the sense of distance and direction from the object projected on the image is more accurately represented. Obtainable.
In particular , since the acquired image is processed by image processing so as to match the image displayed on the curve mirror, the same image as when the curve mirror is viewed is displayed on the display screen. Accordingly, the distance and direction from the target object can be grasped from the display image with the same feeling as when viewing the curve mirror.

請求項2に記載の発明によれば、撮像手段で撮像する画像は、魚眼レンズで撮像された画像であるので、表示画面に表示される像は、カーブミラーに映し出される像と同様に湾曲し、カーブミラーの像に、近づいた状態となる。この為、正像変換等の装置に対する処理負荷が大きい画像処理を行う必要がなくなる。また、使用者は、より正確に画像に映し出された対象物との距離感や方向感覚を把握することができる。   According to the second aspect of the present invention, since the image captured by the imaging unit is an image captured by the fisheye lens, the image displayed on the display screen is curved similarly to the image displayed on the curve mirror, It will be close to the image of the curve mirror. For this reason, it is not necessary to perform image processing with a large processing load on the apparatus such as normal image conversion. In addition, the user can grasp the sense of distance and the sense of direction with respect to the object projected on the image more accurately.

請求項に記載の発明によれば、以前に画像を抽出表示した地点を予め記憶しておき、現在位置検出手段によって、同地点に差し掛かった場合には、自動的に表示をすることによって、画像表示装置の起動操作をする必要がなくなり、煩わしさが軽減される。 According to the third aspect of the present invention, the point where the image has been extracted and displayed in advance is stored in advance, and when the current position is detected by the current position detecting means, the point is automatically displayed. There is no need to perform an activation operation of the image display device, and the troublesomeness is reduced.

以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。図1は本発明の表示制御装置1の構成を示すブロック図である。表示制御装置1は、画像処理を行う演算処理装置12と、車体に取り付けられた撮像手段としてのカメラ13と、車速検出手段としての車速センサ11と、画像を表示する表示手段としての表示装置14と、画像等の記憶手段としての主記憶装置16と、流力手段18とを備え、これらの装置は、システムバス17を介して相互に接続されている。撮像手段として機能するカメラ13は、図2に示されているように、本実施形態では、車両の前端中央部において、レンズの光軸が車両の中心線に一致するように、前方へ向けて配置されている。カメラ13は、魚眼レンズ130を有し、この魚眼レンズ130を介して車両前方の画像を取得する。魚眼レンズ130の画角は、180°であり、車両前側の左右方向の画像も含めて、広範囲の画像の取得が可能である。カメラ13は、A/D変換器131を介してシステムバス17に接続される。カメラ13から出力された画像信号は、画像処理を行うためにA/D変換器131によってデジタル信号に変換される。また、接続されたカメラ13が、デジタル信号出力が可能なものである場合には、A/D変換器131は不要である。カメラ13は、車両前端部の左右端にそれぞれ設けられていてもよい。この場合には、必ずしも魚眼レンズを用いなくともよい。カメラ13には、例えば、CCD素子や、CMOS素子が用いられ、電気信号として画像が取得される。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing a configuration of a display control apparatus 1 of the present invention. The display control device 1 includes an arithmetic processing device 12 that performs image processing, a camera 13 that is attached to a vehicle body as an imaging unit, a vehicle speed sensor 11 that is a vehicle speed detection unit, and a display device 14 that is a display unit that displays an image. And a main storage device 16 as a storage means for images and the like, and a fluid force means 18, which are connected to each other via a system bus 17. As shown in FIG. 2, the camera 13 functioning as an imaging unit is directed forward in this embodiment so that the optical axis of the lens coincides with the center line of the vehicle at the center of the front end of the vehicle. Has been placed. The camera 13 has a fisheye lens 130 and acquires an image in front of the vehicle via the fisheye lens 130. The angle of view of the fisheye lens 130 is 180 °, and a wide range of images can be acquired, including images in the left-right direction on the front side of the vehicle. The camera 13 is connected to the system bus 17 via the A / D converter 131. The image signal output from the camera 13 is converted into a digital signal by the A / D converter 131 for image processing. Further, when the connected camera 13 is capable of outputting a digital signal, the A / D converter 131 is not necessary. The camera 13 may be provided at each of the left and right ends of the vehicle front end. In this case, it is not always necessary to use a fisheye lens. For example, a CCD element or a CMOS element is used for the camera 13, and an image is acquired as an electric signal.

また、システムバス17には、インターフェース15を介して、ナビゲーション装置3からの画像情報が供給され、該画像情報は、表示装置14に表示される。   In addition, image information from the navigation device 3 is supplied to the system bus 17 via the interface 15, and the image information is displayed on the display device 14.

表示手段としての表示装置14は、例えば液晶ディスプレイ等で構成され、表示画像データメモリ166に格納された合成画像が表示される。表示装置14では、必要な場合には、D/A変換を行い、画像を画面に出力する。   The display device 14 as a display means is configured by a liquid crystal display, for example, and displays a composite image stored in the display image data memory 166. If necessary, the display device 14 performs D / A conversion and outputs an image to the screen.

車速センサ11は、自車の車速度を検出し、検出値をインターフェース111、及びシステムバス17を介して演算処理装置12に供給する。   The vehicle speed sensor 11 detects the vehicle speed of the host vehicle and supplies the detected value to the arithmetic processing device 12 via the interface 111 and the system bus 17.

主記憶装置16は、カメラ13が映した画像を記憶する装置で、例えば、ハードディスクドライブ装置や、メモリーチップなどにより構成される。主記憶装置16は、画像データを記録する画像データメモリ16Aと、地点データ記憶手段としての地点データメモリ16Bとを有している。画像データメモリ16Aは、カメラ13の取得した画像をそのまま記録するカメラ画像データメモリ161、カメラ13で撮像された画像から一部を切り出して抽出された画像を記録する抽出データメモリ162と、抽出データメモリ162に記録された画像に画像処理を行った画像を記録する画像変換データメモリ164、カーブミラーを模した図形(形状)のマスク画像を記録したマスク画像データメモリ165、カーブミラーを模した図形とカメラが撮像した画像とを重畳した表示画像を記録する表示画像データメモリ166を有している。   The main storage device 16 is a device that stores an image projected by the camera 13, and includes, for example, a hard disk drive device, a memory chip, or the like. The main storage device 16 has an image data memory 16A for recording image data and a spot data memory 16B as spot data storage means. The image data memory 16A includes a camera image data memory 161 that records an image acquired by the camera 13 as it is, an extraction data memory 162 that records an image extracted by cutting out a part of the image captured by the camera 13, and extracted data. An image conversion data memory 164 for recording an image obtained by performing image processing on an image recorded in the memory 162, a mask image data memory 165 for recording a mask image of a figure (shape) imitating a curve mirror, and a figure imitating a curve mirror And a display image data memory 166 for recording a display image in which the image captured by the camera is superimposed.

地図データ記憶手段としての登録地点データメモリ16Bは、地図データと、入力装置18からの地点入力又は使用者が本表示制御装置を使用した地点とを記憶する装置であり、緯度経度が記憶される。この地図データはナビゲーション装置3に含まれる地図データを用いてもよい。   The registered point data memory 16B as map data storage means is a device that stores map data and a point input from the input device 18 or a point at which the user uses the display control device, and stores latitude and longitude. . As this map data, map data included in the navigation device 3 may be used.

入力装置18は、例えばキーボードやマウスからなり、主に本装置を起動させるためのスイッチとして機能する。また、本装置を自動で起動させるための地点データを入力し、登録地点データメモリ16Bへ記憶させる為のものでもある。入力装置18は表示装置14と組み合わせタッチパネルとして機能してもよい。   The input device 18 is composed of, for example, a keyboard and a mouse, and mainly functions as a switch for starting up the device. Moreover, it is also for inputting the point data for starting this apparatus automatically, and making it memorize | store in the registration point data memory 16B. The input device 18 may function as a combination touch panel with the display device 14.

演算処理装置12は、中央処理装置[CPU(Central Processing Unit)]121と、リードオンリーメモリ[ROM]122と、ランダムアクセスメモリ[RAM]123とを備えている。中央処理装置121は、カメラ13で取得した画像の画像処理、ナビゲーション装置3から取得した現在位置が、登録地点データ16Bに記憶された登録位置に合致するか否かの判断などの処理を行う。画像処理としては、例えば、カメラ13で取得した魚眼レンズによる画像を魚眼レンズ画像データメモリ161に格納し、この画像から、マスク画像データ165に記憶されたカーブミラー形状に沿った画像を切り出して抽出し、この画像を抽出データメモリ162に格納し、抽出された画像に対して、画像処理を行う。この画像処理は、カーブミラーの湾曲像に合致した画像となる様に、歪みを補正する歪み補正処理、カーブミラーの姿勢に合致するように、画像全体を回転させ、カーブミラーの傾きにあわせて表示する表示角度補正処理などがある。   The arithmetic processing unit 12 includes a central processing unit [CPU (Central Processing Unit)] 121, a read-only memory [ROM] 122, and a random access memory [RAM] 123. The central processing unit 121 performs processing such as image processing of an image acquired by the camera 13 and determination of whether or not the current position acquired from the navigation device 3 matches the registered position stored in the registered spot data 16B. As the image processing, for example, an image obtained by the fisheye lens acquired by the camera 13 is stored in the fisheye lens image data memory 161, and an image along the curve mirror shape stored in the mask image data 165 is cut out and extracted from this image. This image is stored in the extracted data memory 162, and image processing is performed on the extracted image. This image processing is a distortion correction process that corrects distortion so that the image matches the curved image of the curve mirror, and the entire image is rotated so that it matches the posture of the curve mirror. There is a display angle correction process to be displayed.

さらにこのように画像処理された画像に対して、カーブミラーの枠を合成し、ディスプレイに表示された画像が、あたかもカーブミラーを映した画像と見えるように画像を合成する、画像合成処理などが行われる。   Furthermore, the image of the image processed in this way is combined with the frame of the curve mirror, and the image displayed on the display is combined with the image so that it looks like the image of the curve mirror. Done.

また、演算処理装置12は、ナビゲーション装置3からの画像データを受け取り、表示装置14に表示する。また、演算処理装置12は、入力装置18からの起動スイッチオンにより、画像処理された画像を表示装置14に表示する際には、ナビゲーション装置3からの画像データを表示せず、カメラ画像を処理したブラインドコーナーモニタとして作用させる。この際、ブラインドコーナーモニタとして使用した地点を登録地点データとして記憶し、次に同じ地点を自車が通過した際には、車速が低速である場合に限り、自動的にブラインドコーナーモニタとしての機能をオンにし、表示装置14のディスプレイ画面に、画像処理したカメラ画像を表示する。   Further, the arithmetic processing device 12 receives the image data from the navigation device 3 and displays it on the display device 14. Further, when displaying the image-processed image on the display device 14 by turning on the activation switch from the input device 18, the arithmetic processing device 12 processes the camera image without displaying the image data from the navigation device 3. Act as a blind corner monitor. At this time, the spot used as the blind corner monitor is stored as registered spot data, and when the vehicle passes through the same spot next time, it automatically functions as a blind corner monitor only when the vehicle speed is low. Is turned on, and the imaged camera image is displayed on the display screen of the display device 14.

ナビゲーション装置3は、GPS装置、地磁気センサ、操舵センサ、測距センサなどにより車両の現在位置を検出する現在位置検出装置(現在位置検出手段)と、地図データを記憶した地図データメモリと、現在値から設定された目的までの経路を探索する経路探索装置などを有しており、記憶されている地図データから、現在位置を含む地図データ(画像データ)を抽出し、その地図データ上の現在位置に対応する地点に、自車を象徴するマークを表示して、表示装置14に表示する画像データを生成する。ナビゲーション装置3から供給されるデータには、表示装置14に表示するための画像データと、現在位置に関する緯度・経度データが含まれる。   The navigation device 3 includes a current position detecting device (current position detecting means) for detecting the current position of the vehicle by a GPS device, a geomagnetic sensor, a steering sensor, a distance measuring sensor, a map data memory storing map data, a current value It has a route search device that searches for a route from to the set destination, extracts map data (image data) including the current position from the stored map data, and the current position on the map data A mark symbolizing the own vehicle is displayed at a point corresponding to, and image data to be displayed on the display device 14 is generated. The data supplied from the navigation device 3 includes image data to be displayed on the display device 14 and latitude / longitude data regarding the current position.

以上のように構成された本発明の表示制御装置1の作用を図3に示されているフローチャートに基づき説明する。   The operation of the display control apparatus 1 of the present invention configured as described above will be described based on the flowchart shown in FIG.

演算処理装置12は、入力装置18の始動スイッチがオンされたか判断し(ステップS101)。図示しないが、始動スイッチがオンされると、ナビゲーション装置3から現在位置(緯度・経度)を取得し、取得した現在位置を登録地点データ16B格納し、ステップS107の処理へ移行する。オンされていない場合には、ナビゲーション装置3から現在位置情報を取得する(ステップS103)。取得した現在位置情報が、登録地点データメモリ16Bに蓄積されている地点に合致するか判断し(ステップS105)、合致しない場合にはリターンされる。合致する場合、又は始動スイッチがオンされた場合には、車速センサ11から供給された値に基づいて、車速が低速であるか判断する(ステップS107)。低速であるかの判断基準は、例えば、車両が交差点などに進入し、進路変更をするために安全な速度よりも低いか、という判断基準である。この速度より大きい場合には、交差点を直進することが予想され、ブラインドコーナーモニタを使用する必要がないからである。この場合には、リターンされる。   The arithmetic processing unit 12 determines whether the start switch of the input device 18 is turned on (step S101). Although not shown, when the start switch is turned on, the current position (latitude / longitude) is acquired from the navigation device 3, the acquired current position is stored in the registration point data 16B, and the process proceeds to step S107. If it is not turned on, the current position information is acquired from the navigation device 3 (step S103). It is determined whether or not the acquired current position information matches the point stored in the registration point data memory 16B (step S105). If they match, or if the start switch is turned on, it is determined whether the vehicle speed is low based on the value supplied from the vehicle speed sensor 11 (step S107). The criterion for determining whether the vehicle is at a low speed is, for example, a criterion for determining whether the vehicle is lower than a safe speed for entering an intersection and changing the course. If it is greater than this speed, it is expected to go straight through the intersection and there is no need to use a blind corner monitor. In this case, it is returned.

低速とは、例えば、時速5km/h以下の場合である。この他、さらに、ステップS105の後に、ウインカがオンされたか、という判断を加えてもよい。進路を変更する蓋然性が高いと判断されるからである。   The low speed is, for example, a case where the speed is 5 km / h or less. In addition, after step S105, it may be determined whether the turn signal is turned on. This is because it is determined that the probability of changing the course is high.

低速走行と判断された場合には、表示処理が行われる(ステップS109)。図4は、表示処理を示すフローチャートである。カメラ13の撮像を開始し、本実施形態では、図5に示されているような、魚眼レンズで撮像された画像G0を取得し、カメラ画像データメモリ161に格納する。魚眼レンズ画像では、車両の中心線(画像の中央)を中心にして左側の領域は、車両の左側の状況を映しており、右側の領域の画像は、車両の右側の状況を映している。そして、左側領域画像を左側モニタ画像として、右側領域画像を右側モニタ画像として、抽出する(ステップS203)。この際、図5に破線で示されているように、マスク画像データ165に記憶されたカーブミラー形状に沿うように、予め楕円形の画像L1、R1として抽出する。本実施形態でのカーブミラー形状は、楕円形であるが、カーブミラー形状が、例えば長方形の場合、その形状に沿うように長方形画像として抽出してもよい。これらの画像は、抽出データメモリ162に、それぞれ格納される。   If it is determined that the vehicle is traveling at a low speed, a display process is performed (step S109). FIG. 4 is a flowchart showing the display process. Imaging of the camera 13 is started, and in this embodiment, an image G0 captured with a fisheye lens as shown in FIG. 5 is acquired and stored in the camera image data memory 161. In the fisheye lens image, the left area reflects the situation on the left side of the vehicle centered on the center line of the vehicle (the center of the image), and the image on the right area shows the situation on the right side of the vehicle. Then, the left region image is extracted as the left monitor image, and the right region image is extracted as the right monitor image (step S203). At this time, as indicated by a broken line in FIG. 5, the images are extracted in advance as elliptical images L1 and R1 so as to follow the curved mirror shape stored in the mask image data 165. Although the curve mirror shape in this embodiment is an ellipse, when the curve mirror shape is a rectangle, for example, it may be extracted as a rectangular image along the shape. These images are stored in the extracted data memory 162, respectively.

さらに、抽出された画像全体を回転させる画像処理をおこなう(ステップS205)。本実施形態におけるカーブミラーは、高い位置から、下方に向けて配置されているため、カーブミラー全体は、斜め下方を向いている。また、カーブミラーを使って交差する道路を視認するためには、カーブミラーの斜め側方から、映された像を見る必要がある。このような位置から見られる像は、観察者の位置に近い側から遠い側へ向けて画像が傾斜する。そこで、カーブミラーの像に、魚眼レンズで取得した画像を近づけるために、取得された像を、カメラ位置に近い部分の像から遠い位置の像へ向けて下方に傾斜するように、画像全体を回転させる処理を行う。   Further, image processing for rotating the entire extracted image is performed (step S205). Since the curve mirror in this embodiment is arranged downward from a high position, the entire curve mirror is directed obliquely downward. In addition, in order to visually recognize the intersecting road using the curve mirror, it is necessary to see the projected image from an oblique side of the curve mirror. The image seen from such a position is inclined toward the side farther from the side closer to the viewer's position. Therefore, in order to bring the image acquired with the fisheye lens closer to the image of the curve mirror, the entire image is rotated so that the acquired image is tilted downward toward the image far from the image near the camera position. To perform the process.

具体的には、左側の画像は、左回転、右側の画像は右回転させる。回転角度は、道路形状や車両位置により異なるが、本実施形態では0〜45°の範囲が実用的である。   Specifically, the left image is rotated to the left, and the right image is rotated to the right. Although the rotation angle varies depending on the road shape and the vehicle position, a range of 0 to 45 ° is practical in the present embodiment.

また、マスク画像データ165に記憶されたカーブミラー形状が高い位置から下方に向けて配置されておらず、画面(地面)に対して平行に向けられている場合、このステップS205は必要ない。   Further, when the curve mirror shape stored in the mask image data 165 is not arranged downward from a high position and is directed parallel to the screen (ground), this step S205 is not necessary.

本実施形態では、魚眼レンズを用いたカメラを使用しているが、もし魚眼レンズを用いていない通常のレンズを用いたカメラを使用する場合には、取得した画像がカーブミラーに沿うように、回転した画像に対して、画像補正を行う(ステップS207)。魚眼レンズ画像は、画像周端部分の歪みが大きく、中央の歪みは少ない。この歪みの差によって、画像自体は凸面鏡に映された像に近似した画像となっている。従って、魚眼レンズ画像自体が、凸面鏡であるカーブミラーに映し出された像に近似しているため、魚眼レンズを用いた場合、このステップS207は、必要ない。しかし、カーブミラーに映される像と、通常のレンズで撮影した画像とは、合致していないので、カーブミラーに映される像に画像を合致させるために、画像補正を行い、よりカーブミラーの像に近づける。魚眼レンズを用いた場合には、この補正処理必要がないので、演算処理装置12の負担は、抑えられている。これらの処理が終わった画像L2、R2は、画像変換データメモリ164に格納される。このステップS203からステップS207の処理により、本発明の画像処理手段が構成される。   In this embodiment, a camera using a fisheye lens is used. However, if a camera using a normal lens that does not use a fisheye lens is used, the acquired image is rotated along a curved mirror. Image correction is performed on the image (step S207). The fisheye lens image has a large distortion at the periphery of the image and a small distortion at the center. Due to the difference in distortion, the image itself is an image that approximates the image projected on the convex mirror. Accordingly, since the fisheye lens image itself approximates an image projected on a curved mirror that is a convex mirror, this step S207 is not necessary when a fisheye lens is used. However, the image projected on the curve mirror and the image taken with the normal lens do not match, so image correction is performed to make the image match the image projected on the curve mirror, and the curve mirror Close to the image. When a fisheye lens is used, this correction process is not necessary, so that the burden on the arithmetic processing unit 12 is suppressed. The images L 2 and R 2 that have undergone these processes are stored in the image conversion data memory 164. The processing from step S203 to step S207 constitutes the image processing means of the present invention.

次に、マスク画像を合成する(ステップS209)。マスク画像は、マスク画像データメモリ165に予め格納されているカーブミラー枠52L、52Rの画像である。この枠の中に、画像処理された変換画像データメモリ164に格納されていた画像L2、R2を重ね合わせて、図6に示されているような、最終的な表示画像を作成する(ステップS209)。作成された表示画像は、表示画像データメモリ166に格納される。   Next, a mask image is synthesized (step S209). The mask image is an image of the curve mirror frames 52L and 52R stored in advance in the mask image data memory 165. In this frame, the images L2 and R2 stored in the converted image data memory 164 subjected to the image processing are superimposed to create a final display image as shown in FIG. 6 (step S209). ). The created display image is stored in the display image data memory 166.

表示画像データメモリ166から画像データを読み取り、表示装置14のディスプレイ画面141に表示する(ステップS211)。   Image data is read from the display image data memory 166 and displayed on the display screen 141 of the display device 14 (step S211).

以上のような表示処理が連続で行われ、動画として表示装置14に、車両の前方部分の左側画像L2と右側画像R2が表示される。   The display process as described above is continuously performed, and the left image L2 and the right image R2 of the front portion of the vehicle are displayed on the display device 14 as moving images.

このような処理(ステップS109)の後、終了トリガーがあるか否か判断する(ステップS111)。終了トリガーは、例えば、使用者によりスイッチオフ、車速がステップS107で判定する速度より高くなった場合、登録地点よりも所定距離離れた場合などが挙げられる。このような終了トリガーがあった場合には、リターンし、終了トリガが無い場合にはステップS107へリターンする。   After such processing (step S109), it is determined whether there is an end trigger (step S111). Examples of the end trigger include switching off by the user, the case where the vehicle speed is higher than the speed determined in step S107, and the case where the predetermined distance from the registration point is set. If there is such an end trigger, the process returns. If there is no end trigger, the process returns to step S107.

表示制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of a display control apparatus. 表示制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of a display control apparatus. 表示制御装置の作用を示すフローチャートである。It is a flowchart which shows the effect | action of a display control apparatus. 表示処理を示すフローチャートである。It is a flowchart which shows a display process. 魚眼レンズによる画像を示す平面図である。It is a top view which shows the image by a fisheye lens. 処理された画像が表示されたディスプレイ画面を示す平面図である。It is a top view which shows the display screen on which the processed image was displayed. 従来のブラインドコーナーモニタの画像構成を示す平面図である。It is a top view which shows the image structure of the conventional blind corner monitor.

符号の説明Explanation of symbols

1 表示制御装置
12 演算処理装置
13 カメラ
130 魚眼レンズ
14 表示装置
16 主記憶装置
DESCRIPTION OF SYMBOLS 1 Display control apparatus 12 Arithmetic processing apparatus 13 Camera 130 Fisheye lens 14 Display apparatus 16 Main memory

Claims (3)

車両前方の画像を撮像する撮像手段と、
前記撮像手段で撮像された画像を、カーブミラーの湾曲形状に対応させて画像処理を行う画像処理手段と、
前記画像処理手段が画像処理した画像を、カーブミラーを模した図形中のミラー部分に表示する表示手段と、を備えることを特徴とする表示制御装置。
Imaging means for capturing an image in front of the vehicle;
An image processing unit that performs image processing on an image captured by the imaging unit in correspondence with a curved shape of a curve mirror;
A display control apparatus comprising: display means for displaying an image image-processed by the image processing means on a mirror portion in a figure simulating a curve mirror.
前記撮像手段で撮像する画像は、魚眼レンズで撮像された画像であることを特徴とする請求項1に記載の表示制御装置。 The display control apparatus according to claim 1, wherein the image captured by the imaging unit is an image captured by a fisheye lens. 車両の現在位置を検出する現在位置検出手段と、
地図データと、前記表示手段を表示する予め地点登録された地点とが記憶された地図データ記憶手段と、
前記車両の速度を検出する車速検出手段と、を備え、
前記表示手段は、前記検出した現在位置と前記地点登録された場所とが一致し、かつ前記車速が所定値以下だった場合、前記撮像した画像を前記図形中のミラー部分に表示することを特徴とする請求項1又は2に記載の表示制御装置。
Current position detecting means for detecting the current position of the vehicle;
Map data storage means for storing map data and pre-registered points for displaying the display means;
Vehicle speed detecting means for detecting the speed of the vehicle,
The display means displays the captured image on a mirror portion in the figure when the detected current position matches the registered location and the vehicle speed is equal to or lower than a predetermined value. The display control apparatus according to claim 1 or 2 .
JP2003427172A 2003-12-24 2003-12-24 Display control device Expired - Fee Related JP4321258B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003427172A JP4321258B2 (en) 2003-12-24 2003-12-24 Display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003427172A JP4321258B2 (en) 2003-12-24 2003-12-24 Display control device

Publications (2)

Publication Number Publication Date
JP2005191655A JP2005191655A (en) 2005-07-14
JP4321258B2 true JP4321258B2 (en) 2009-08-26

Family

ID=34786523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003427172A Expired - Fee Related JP4321258B2 (en) 2003-12-24 2003-12-24 Display control device

Country Status (1)

Country Link
JP (1) JP4321258B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288440A (en) * 2006-04-14 2007-11-01 Fujifilm Corp Bicycle communication system
JP2008308063A (en) * 2007-06-15 2008-12-25 Pioneer Electronic Corp Navigation apparatus, display control method and program
JP6380002B2 (en) 2014-10-28 2018-08-29 アイシン精機株式会社 Perimeter monitoring device
JP7181589B2 (en) * 2018-11-26 2022-12-01 国立大学法人 筑波大学 Video processing system and video processing device

Also Published As

Publication number Publication date
JP2005191655A (en) 2005-07-14

Similar Documents

Publication Publication Date Title
US10733462B2 (en) Travel assistance device and computer program
JP5117003B2 (en) Driving assistance device
US7482949B2 (en) Parking assist method and a parking assist apparatus
JP4855158B2 (en) Driving assistance device
JP3886376B2 (en) Vehicle perimeter monitoring system
US11511627B2 (en) Display device and computer program
JP4815993B2 (en) Parking support method and parking support device
JP4432801B2 (en) Driving assistance device
JP5798392B2 (en) Parking assistance device
JP4981566B2 (en) Driving support device and driving support method
EP3466763B1 (en) Vehicle monitor system
JP4946682B2 (en) Vehicle travel support device
JP2008280026A (en) Driving assistance device
KR20080020956A (en) Method of operating a night-view system in a vehicle and corresponding night-view system
JP2008018760A (en) Driving support device
JP2009211624A (en) Driving support device, driving support method, and computer program
JP6805974B2 (en) Driving support device and computer program
JP4936060B2 (en) Vehicle travel support device
JP4797849B2 (en) Driving support image display system and in-vehicle device
JP5156307B2 (en) In-vehicle camera system
JP6136238B2 (en) Driving support system, driving support method, and computer program
JP5885619B2 (en) Driving assistance device
JP4321258B2 (en) Display control device
JP2006273190A (en) On-vehicle navigation device
JP4731173B2 (en) Automotive electronic devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140612

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees