JP3431678B2 - Ambient situation display device for vehicles - Google Patents

Ambient situation display device for vehicles

Info

Publication number
JP3431678B2
JP3431678B2 JP01762894A JP1762894A JP3431678B2 JP 3431678 B2 JP3431678 B2 JP 3431678B2 JP 01762894 A JP01762894 A JP 01762894A JP 1762894 A JP1762894 A JP 1762894A JP 3431678 B2 JP3431678 B2 JP 3431678B2
Authority
JP
Japan
Prior art keywords
vehicle
moving body
image
screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01762894A
Other languages
Japanese (ja)
Other versions
JPH07223487A (en
Inventor
高広 前村
哲志 御室
正 菅原
善紀 見市
忠夫 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP01762894A priority Critical patent/JP3431678B2/en
Publication of JPH07223487A publication Critical patent/JPH07223487A/en
Application granted granted Critical
Publication of JP3431678B2 publication Critical patent/JP3431678B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、サイドミラーやルーム
ミラーといった鏡類に代えてテレビカメラ及びディスプ
レイを用いて車両の周囲状況を表示しうる、車両用周囲
状況表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle ambient condition display device capable of displaying a vehicle ambient condition by using a television camera and a display instead of mirrors such as side mirrors and room mirrors.

【0002】[0002]

【従来の技術】一般に、自動車では、ドライバが直接視
界によって視認できない車両の側方や後方の状況につい
ては、ミラー方式の間接視界によって把握するようにな
っており、このような間接視界を通じて車両の周囲の状
況に合致した適切な運転を行なえるようになっている。
2. Description of the Related Art Generally, in an automobile, the situation of the side or rear of the vehicle, which cannot be visually recognized by the driver in the direct field of view, is grasped by the indirect field of view of the mirror system. It is designed so that you can drive appropriately according to the surrounding conditions.

【0003】例えば、図15はこのようなミラー方式の
間接視界視認装置を示す図であり、図示するように、車
両の外部には車両の左右後方の状況を映し出すドアミラ
ー71,72又はフェンダミラー73,74といった左
右のサイドミラーが設置され、また、車室内には車両の
後方の状況を映し出すルームミラー75が設置されてい
る。ドライバは、これらのミラー類による間接視界によ
って車両の周囲の状況を把握しながら適切に運転を行な
うことができる。なお、図15中、76,77は左右の
ドアに設けられたウィンドゥガラス、78はフロントウ
ィンドゥガラスである。
For example, FIG. 15 is a view showing such a mirror type indirect view visualizing device, and as shown in the drawing, door mirrors 71, 72 or fender mirrors 73 for displaying the left and right rear conditions of the vehicle on the outside of the vehicle. , 74, left and right side mirrors are installed, and a room mirror 75 that reflects the situation behind the vehicle is installed in the passenger compartment. The driver can appropriately drive while grasping the situation around the vehicle from the indirect field of view by these mirrors. In FIG. 15, reference numerals 76 and 77 are window glasses provided on the left and right doors, and 78 is a front window glass.

【0004】また、この一方で、例えばバス等の車両で
あってミラー方式の間接視界では後方の視界を確保しに
くい構造の車両では、車両のバックビューをテレビカメ
ラで撮影してこれを車内の例えば符号79A又は79B
で示すような位置に設置された表示器(モニタ)の画面
に表示することで視界を得るカメラ間接視界も出現して
いる。
On the other hand, in the case of a vehicle such as a bus having a structure in which it is difficult to secure the rear view in the indirect view of the mirror system, the back view of the vehicle is photographed by the television camera and the rear view is taken. For example, reference numeral 79A or 79B
An indirect view of a camera, which is obtained by displaying on the screen of a display (monitor) installed at a position as shown in, appears.

【0005】[0005]

【発明が解決しようとする課題】ところで、ミラー方式
の間接視界では、視野に限度があって死角を十分に縮小
することが困難である。また、サイドミラーの場合には
車体の外部にミラーが大きく突出するため、車体のフラ
ッシュサーフィス化の妨げにもなっている。さらに、何
れのミラーもウィンドゥガラス76,77,78を通し
た視界となるので、ウィンドゥガラス76,77,78
の汚れや曇り更にはウィンドゥガラス76,77,78
に付着した水滴等が視界の妨げになる場合がある。
By the way, in the indirect visual field of the mirror system, it is difficult to sufficiently reduce the blind spot due to the limited field of view. Further, in the case of a side mirror, the mirror largely projects to the outside of the vehicle body, which hinders the vehicle body from becoming a flash surface. Furthermore, since all the mirrors have a view through the window glass 76, 77, 78, the window glass 76, 77, 78
Dirty and cloudy, and even wind glass 76, 77, 78
Water droplets, etc., that have adhered to may hinder the visibility.

【0006】そこで、このようなミラー方式の間接視界
に代えて、上述のカメラ間接視界を利用することが考え
られる。すなわち、ドアミラー71,72又はフェンダ
ミラー73,74といった左右のサイドミラーに相当す
るカメラ間接視界や、ルームミラー75に相当するカメ
ラ間接視界を設けて、従来より設置されているサイドミ
ラー71,72又は73,74やルームミラー74を省
略しうるのである。
Therefore, it is conceivable to use the above-mentioned camera indirect field of view instead of such a mirror type indirect field of view. That is, the camera indirect view corresponding to the left and right side mirrors such as the door mirrors 71 and 72 or the fender mirrors 73 and 74 and the camera indirect view corresponding to the room mirror 75 are provided, and the side mirrors 71 and 72 that have been conventionally installed or The 73, 74 and the room mirror 74 can be omitted.

【0007】このようなカメラ間接視界により、視野を
広げて死角等を小さくしたり、間接視界確保のための車
体の外部への突出物を小さくしたり、さらに、ウィンド
ゥガラスの汚れ等に関係なく良好な間接視界を確保でき
る。しかしながら、このようカメラ間接視界を用いる場
合、死角等を小さくして視野を広げると表示器に映され
る画像情報が多くなって、逆に表示器に映し出された映
像中の危険な要因(例えば、走行する他の車両や歩行者
等の移動体)を即座に認識することが困難になるという
課題がある。
With such an indirect field of view of the camera, the field of view is widened to reduce blind spots and the like, the protrusion to the outside of the vehicle body for securing the indirect field of view is reduced, and the window glass is not affected by dirt. A good indirect view can be secured. However, in the case of using the indirect view of the camera as described above, if the blind spots are reduced and the field of view is widened, the amount of image information displayed on the display increases, and on the contrary, a dangerous factor in the image displayed on the display (for example, However, there is a problem in that it becomes difficult to immediately recognize other vehicles that run and moving bodies such as pedestrians.

【0008】本発明は、このような課題に鑑み創案され
たもので、死角等を小さくできて間接視界確保のための
車体の外部への突出を小さくできるとともに確実に視認
できてしかも間接視界中の危険な要因を即座に認識する
ことができるようにした、車両用周囲状況表示装置を提
供することを目的とする。
The present invention was devised in view of the above problems, and it is possible to reduce the blind spots and the like so that the protrusion of the vehicle body to the outside to secure the indirect field of view can be reduced, and it is possible to surely visually recognize the field of view. It is an object of the present invention to provide a vehicle surroundings display device capable of immediately recognizing the dangerous factor of.

【0009】[0009]

【課題を解決するための手段】このため、請求項1記載
の本発明の車両用周囲状況表示装置は、車両に装備され
該車両の周囲状況を画像情報として検出する撮像手段
と、該車両の室内に装備され該撮像手段で検出された車
両の周囲状況を画面上に画像表示する画像表示手段と、
該車両の周囲で該車両に対して相対移動する移動体を検
出する移動体検出手段と、該移動体検出手段からの情報
に基づいて、該移動体の該画面上での位置を計算し、該
画面中の該移動体の存在する画像領域に強調表示を加え
る強調表示手段とから構成され、該強調表示手段が、該
画面を予め複数の領域に区画して、該移動体の存在する
画面領域について該強調表示を加えるように構成され
いることを特徴としている。
Therefore, the vehicular surrounding condition display device of the present invention according to claim 1 is provided in a vehicle, and an image sensing means for detecting the surrounding condition of the vehicle as image information, and an image sensing means of the vehicle. An image display unit which is installed in the room and displays an image of the surrounding condition of the vehicle detected by the image pickup unit on the screen;
A moving body detection unit that detects a moving body that relatively moves with respect to the vehicle around the vehicle, and a position of the moving body on the screen is calculated based on information from the moving body detection unit, is composed of a highlighting means for applying highlight to the image area in the presence of the moving body in said screen, the said strong tone display means, said
The screen is divided into a plurality of areas in advance so that the moving body exists.
It is characterized in that the highlighted display is added to the screen area .

【0010】また、請求項2記載の本発明の車両用周囲
状況表示装置は、請求項1記載の構成において、該移動
体検出手段が、該移動体の存在とともに該移動体の自車
両に対する危険度を検出するものであり、該強調表示手
段が、該画面を予め複数の領域に区画して、該移動体の
存在する画面領域について、該移動体の危険度に応じ
て、該強調表示を加えるように構成されていることを特
徴としている。
According to a second aspect of the present invention, there is provided the vehicle surrounding condition display apparatus according to the first aspect, wherein the moving body detecting means detects the presence of the moving body and the danger of the moving body to the own vehicle. The highlighting means divides the screen into a plurality of areas in advance to detect the degree of movement of the moving body.
It is characterized in that the highlighted display is added to the existing screen area according to the degree of danger of the moving body.

【0011】[0011]

【作用】上述の請求項1又は2記載の本発明の車両用周
囲状況表示装置では、車両に装備された撮像手段によ
り、車両の周囲状況が画像情報として検出されて、該車
両の室内に装備された画像表示手段により、該撮像手段
で検出された車両の周囲状況が画面上に画像表示され
る。
In the vehicle surroundings display device of the present invention as set forth in claim 1 or 2 , the surroundings of the vehicle are detected as image information by the image pickup means mounted on the vehicle, and the vehicle surroundings is mounted inside the vehicle. The surrounding state of the vehicle detected by the image pickup means is displayed as an image on the screen by the image display means.

【0012】そして、移動体検出手段が、該車両の周囲
で該車両に対して相対移動する移動体を検出すると、こ
の検出情報に基づいて、強調表示手段が、該移動体の該
画面上での位置を計算し、該画面中の該移動体の存在す
る画像領域に強調表示を加える。したがって、該車両の
周囲に移動体が存在すると、画像表示手段の画面上に
は、車両の周囲の生の画像情報に、この画像情報中の移
動体の存在領域に強調表示が加入された状態で状況が表
示される。
Then, when the moving body detecting means detects a moving body which moves relatively to the vehicle around the vehicle, the highlighting means displays the moving body on the screen of the moving body based on the detected information. Position is calculated, and highlighting is added to the image area in which the moving body exists in the screen. Therefore, when a moving object exists around the vehicle, the live image information around the vehicle is highlighted on the screen of the image display means in the area where the moving object exists in the image information. The status is displayed with.

【0013】特に、請求項1記載の本発明の車両用周囲
状況表示装置では、該強調表示手段が、該画面を予め複
数の領域に区画して、該移動体の存在する該画面領域に
ついて強調表示を加える。また、請求項2記載の本発明
の車両用周囲状況表示装置では、請求項1記載の構成に
おいて、該移動体検出手段が、該移動体の存在とともに
該移動体の自車両に対する危険度を検出し、該強調表示
手段が、該画面を予め複数の領域に区画して、該移動体
の存在する画面領域について、該移動体の危険度に応じ
て、該強調表示を加えるようにする。
Particularly, in the vehicle surrounding condition display device according to the present invention, the highlighting means divides the screen into a plurality of areas in advance, and highlights the screen area in which the moving body exists. Add a display. Further, in the vehicle surrounding condition display device of the present invention according to claim 2 , the configuration according to claim 1 is provided.
The moving body detecting means detects the presence of the moving body and the degree of danger of the moving body with respect to the host vehicle, and the highlighting means divides the screen into a plurality of areas in advance to detect the moving body.
With respect to the screen area where is present, the highlighted display is added according to the degree of danger of the moving body.

【0014】[0014]

【実施例】以下、図面により、本発明の一実施例として
の車両用周囲状況表示装置について説明すると、図1は
その構成を模式的に示すブロック図、図2はその強調表
示にかかる画像領域の区画例を示す図、図3〜6はその
撮像手段及び画像表示手段の配置例を示す図、図7〜1
2はその画像表示手段の取付構造の一例を示す図、図1
3はその画像信号の合成過程を模式的に示す図、図14
はその構成の変形例を模式的に示すブロック図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A vehicle surrounding condition display device as an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram schematically showing the structure thereof, and FIG. 2 is an image region related to its highlighted display. 7 to 1 are diagrams showing an example of the section of FIG.
2 is a view showing an example of the mounting structure of the image display means, FIG.
3 is a diagram schematically showing a process of synthesizing the image signal, FIG.
FIG. 7 is a block diagram schematically showing a modified example of the configuration.

【0015】図1に示すように、本車両用周囲状況表示
装置は、車両の周囲状況を画像情報として検出する撮像
手段10と、撮像手段10で検出された車両の周囲状況
を画面上に画像として表示する画像表示手段20と、車
両に対して相対移動する移動体を検出する移動体検出手
段30Aと、画面中の移動体の存在領域に強調表示を加
える強調表示手段40とをそなえている。なお、移動体
とは、自車両に対して相対的に移動するものなので、自
車両が動いていれば、道路上等に停止しているものも移
動体とみなす。
As shown in FIG. 1, the present vehicle ambient condition display device displays an image of the vehicle ambient condition detected by the image capturing means 10 for detecting the vehicle ambient condition as image information on a screen. The image display means 20 for displaying as, the moving body detecting means 30A for detecting a moving body moving relatively to the vehicle, and the highlighting means 40 for highlighting the existing area of the moving body in the screen. . Note that the moving body is a moving body relative to the own vehicle, so if the own vehicle is moving, a moving body that is stopped on the road or the like is also regarded as a moving body.

【0016】撮像手段10は、複数(この例では3個)
のテレビカメラ11,12,13からなる。第1のテレ
ビカメラ(テレビカメラNo.1)11は、図3に示すよう
に、自動車の車体の左フェンダ部において車両後方へ向
けて設置された左サイド用カメラであり、カメラ視野は
符号11Aで示すような領域となる。第2のテレビカメ
ラ(テレビカメラNo.2)12は、図3に示すように、自
動車の車体の右フェンダ部において車両後方へ向けて設
置された右サイド用カメラであり、カメラ視野は符号1
2Aで示すような領域となる。第3のテレビカメラ(テ
レビカメラNo.3)13は、図4に示すように、自動車の
車体(ボディ)1の後部において車両後方へ向けて設置
された後方用カメラであり、カメラ視野は符号13Aで
示すような領域となる。これらのテレビカメラ11,1
2,13は、いずれも左右又は上下に対をなした2つの
CCDカメラからなるステレオカメラであって、これら
のテレビカメラ11,12,13の画像情報信号61
A,61B,61Cに基づいて、各画像内の対象物まで
の距離を測定できるようになっている。そして、画像情
報としては各ステレオカメラの一方のカメラの画像信号
61A,61B,61Cが表示手段20に送られるよう
になっている。
A plurality of image pickup means 10 (three in this example)
It consists of TV cameras 11, 12, and 13. As shown in FIG. 3, the first TV camera (TV camera No. 1) 11 is a camera for the left side installed toward the rear of the vehicle in the left fender portion of the body of the vehicle, and the field of view of the camera is 11A. The area becomes as shown in. As shown in FIG. 3, the second TV camera (TV camera No. 2) 12 is a right side camera installed toward the rear of the vehicle in the right fender portion of the vehicle body, and the camera field of view is 1
The area becomes as shown by 2A. As shown in FIG. 4, the third TV camera (TV camera No. 3) 13 is a rear camera installed in the rear part of the body 1 of the automobile toward the rear of the vehicle. The area becomes as shown by 13A. These TV cameras 11,1
Reference numerals 2 and 13 are stereo cameras each of which is composed of two CCD cameras which are paired in the left and right directions or the top and bottom directions, and the image information signals 61 of the television cameras 11, 12, and 13 are provided.
The distance to the object in each image can be measured based on A, 61B, and 61C. Then, as the image information, the image signals 61A, 61B, 61C of one of the stereo cameras are sent to the display means 20.

【0017】なお、例えば第3のテレビカメラ13に代
えて、又は、第1〜3のテレビカメラ11,12,13
に加えて、図3に示すように、車両の前部に符号14
A,15Aで示すような撮影領域で左右方向を撮影でき
るテレビカメラ14,15を設けてもよい。或いは、こ
のテレビカメラ14,15に代えて、図5に示すよう
に、鏡面17A,17Bを通じて符号16A,16Bで
示すような撮影領域で左右方向を撮影できるテレビカメ
ラ16を設けてもよい。この場合のテレビカメラ14,
15,16もステレオカメラを用いてもよい。
Incidentally, for example, instead of the third television camera 13, or the first to third television cameras 11, 12, 13 are provided.
In addition, as shown in FIG.
Television cameras 14 and 15 capable of shooting in the left-right direction in a shooting area indicated by A and 15A may be provided. Alternatively, instead of the television cameras 14 and 15, as shown in FIG. 5, a television camera 16 capable of shooting in the left and right direction in a shooting area indicated by reference numerals 16A and 16B through mirror surfaces 17A and 17B may be provided. TV camera 14 in this case,
A stereo camera may be used for 15 and 16.

【0018】表示手段20も、撮像手段10の各テレビ
カメラ11,12,13と対応するように複数(この例
では3個)のテレビモニタ21,22,23をそなえて
いる。第1のテレビモニタ(表示器No.1)21の画面
(ディスプレイ)21Aは、図3及び図6に示すよう
に、車室内のインストルメントパネル2の左端の左フロ
ントピラー3の基部近傍に設けられた左サイド用ディス
プレイである。第2のテレビモニタ(表示器No.2)22
の画面(ディスプレイ)23Aは、図3及び図6に示す
ように、車室内のインストルメントパネル2の右端の右
フロントピラー4の基部近傍に設けられた右サイド用デ
ィスプレイである。第3のテレビモニタ(表示器No.3)
23の画面(ディスプレイ)23Aは、図6に示すよう
に、車室内のインストルメントパネル2の中央部に設け
られた後方用ディスプレイである。何れのディスプレイ
21A,22B,23Cもその高さレベルをドライバが
常時視認するメータクラスタの高さ程度に設定されてお
り、且つ、その画面がほぼドライバの視点に向かうよう
に設置されている。
The display means 20 is also provided with a plurality (three in this example) of television monitors 21, 22 and 23 so as to correspond to the television cameras 11, 12, and 13 of the image pickup means 10. The screen (display) 21A of the first TV monitor (display No. 1) 21 is provided near the base of the left front pillar 3 at the left end of the instrument panel 2 in the vehicle compartment, as shown in FIGS. 3 and 6. It is a display for the left side. Second TV monitor (Display No. 2) 22
The screen (display) 23A is a right side display provided near the base of the right front pillar 4 at the right end of the instrument panel 2 in the vehicle compartment, as shown in FIGS. 3 and 6. Third TV monitor (display No.3)
A screen (display) 23A of 23 is a rear display provided in the central portion of the instrument panel 2 in the vehicle compartment, as shown in FIG. The height level of any of the displays 21A, 22B, and 23C is set to the height of the meter cluster that the driver always visually recognizes, and the screen is installed so as to almost face the viewpoint of the driver.

【0019】これらの各ディスプレイ21A,22B,
23Cに表示される画像(映像)は、サイドミラー又は
ルームミラーに変わる間接視界としてのものなので、鏡
の中の像と同様に左右を反転させる必要があり、ここで
は、撮像手段10と表示手段20との間に、画面の左右
を反転させる回路(画面反転手段)50が設けられてい
る。勿論、この画面反転手段50も、符号51,52,
53で示すように、各カメラ11,12,13及びテレ
ビモニタ21,22,23に対応して設けられる。
Each of these displays 21A, 22B,
The image (video) displayed on 23C is an indirect field of view that changes to a side mirror or a room mirror, so it is necessary to reverse the left and right like the image in the mirror. Here, the image pickup means 10 and the display means are used. A circuit (screen reversing means) 50 for reversing the left and right of the screen is provided between the circuit and 20. Of course, the screen reversing means 50 also has reference numerals 51, 52,
As indicated by 53, the cameras 11, 12, 13 and the television monitors 21, 22, 23 are provided correspondingly.

【0020】なお、テレビカメラ14,15やテレビカ
メラ16を付加する場合には、専用のテレビモニタを設
けるか、又は、上述のテレビモニタ21,22,23の
何れかの画面を切り替えてこれらのカメラ14,15,
16からの画像情報を表示できるように構成する。これ
らのカメラ14,15,16の場合には、特に鏡の像に
代わるものではないので画面反転手段は省略できる。
When the television cameras 14 and 15 or the television camera 16 are added, a dedicated television monitor is provided, or one of the above-mentioned television monitors 21, 22 and 23 is switched to switch between these screens. Cameras 14, 15,
It is configured so that the image information from 16 can be displayed. In the case of these cameras 14, 15 and 16, the screen reversing means can be omitted since they do not replace the mirror image.

【0021】移動体検出手段30Aは、テレビカメラ1
1,12,13でとらえる画像中の移動体(特に、車両
に接近してくるような移動体)を検出するものである
が、ここでは、テレビカメラ11,12,13として、
画像内の対象物までの距離を測定できるステレオカメラ
が用いられているので、移動体検出手段30Aは、これ
らのテレビカメラ11,12,13と、これらのテレビ
カメラ11,12,13からの画像信号61A,61
B,61Cを処理して画像中の移動体を検出する処理手
段(移動体検出用CPU)31とから構成されている。
この移動体検出用CPU31では、各ディスプレイ21
A,22B,23Cに表示される画面を例えば図2に示
すように縦横に区画して、区画された各領域(エリア)
中で、自車両が注意すべき移動体が存在するか否かを判
断して、この結果を信号62として強調表示手段40に
出力するようになっている。ただし、図2には、縦横5
つずつに区画した例を示しているが、区画数はこれに限
定されるものではない。
The moving body detecting means 30A is a television camera 1.
The moving objects (particularly, moving objects approaching a vehicle) in the images captured by the cameras 1, 12, 13 are detected, but here, as the TV cameras 11, 12, 13,
Since a stereo camera capable of measuring the distance to the object in the image is used, the moving body detection means 30A includes the television cameras 11, 12, and 13 and the images from the television cameras 11, 12, and 13. Signals 61A, 61
It is composed of a processing means (moving body detecting CPU) 31 for processing B and 61C to detect a moving body in the image.
In the moving object detection CPU 31, each display 21
The screens displayed on A, 22B, and 23C are vertically and horizontally partitioned, for example, as shown in FIG.
Among them, the own vehicle determines whether or not there is a moving body to be noted, and outputs the result as a signal 62 to the highlighting means 40. However, in FIG.
Although an example in which each section is divided is shown, the number of sections is not limited to this.

【0022】特に、この実施例の移動体検出用CPU3
1では、自車両から移動体までの距離と移動体の自車両
への接近距離とに応じて、対象の移動体の注意要求度を
算出して、各領域において自車両が注意すべき移動体が
存在するか否かの情報信号に、注意すべき移動体が存在
する場合には、この注意要求度に応じた信号を加えて、
信号62として強調表示手段40に出力するようになっ
ている。この注意要求度は、例えば自車両から移動体ま
での距離が近いほど高くなり、例えば移動体の接近速度
が大きいほど高くなる。
In particular, the moving object detecting CPU 3 of this embodiment
In 1, the moving demand that the own vehicle should pay attention to in each region is calculated by calculating the attention request degree of the target moving body in accordance with the distance from the own vehicle to the moving body and the approaching distance of the moving body to the own vehicle. If there is a moving object to be noted in the information signal indicating whether or not exists, add a signal according to this attention request degree,
The signal 62 is output to the highlighting means 40. The degree of attention request increases, for example, as the distance from the vehicle to the moving body is shorter, and for example, as the approaching speed of the moving body is higher.

【0023】強調表示手段40は、移動体検出用CPU
31からの信号62に基づいて強調領域画面を作成する
処理手段(強調領域画面作成用CPU)41と、テレビ
カメラ11,12,13からの画像信号61a,61
b,61cに強調領域画面作成用CPU41からの画像
信号63A,63B,63Cを重ねるように合成する画
像信号合成手段42とから構成されている。
The highlighting means 40 is a CPU for detecting a moving body.
Processing means (CPU for creating highlighted area screen) 41 that creates an highlighted area screen based on a signal 62 from 31 and image signals 61a, 61 from the television cameras 11, 12, 13.
b and 61c, and image signal synthesizing means 42 for synthesizing the image signals 63A, 63B, and 63C from the CPU 41 for creating the emphasized area screen so as to be superimposed.

【0024】強調領域画面作成用CPU41では、区画
された各領域について注意すべき移動体が存在する場合
にはその注意要求度に応じた強調表示画像を作成する。
この注意要求度に応じた強調表示画像とは、例えば注意
要求度が低いとその画像領域にドライバに注意を喚起さ
せる強調色(例えば赤色系統や黄色系統の色)を連続点
灯させて、注意要求度が一定以上高くなると、これを点
滅させ、以後は、注意要求度が高くなるにしたがって点
滅速度を速くしていくことが考えられる。また、注意要
求度が高くなるにしたがって強調領域の輝度を高くして
いくことや、色相を変化させていくことなども考えられ
る。
The CPU 41 for creating an emphasized area screen creates an emphasized image in accordance with the degree of attention request when there is a moving body to be noted in each divided area.
The emphasized image corresponding to the attention request level is, for example, when the attention request level is low, an emphasis color (for example, a red color or a yellow color) that alerts the driver to the image area is continuously turned on, and the attention request is displayed. It is conceivable that when the degree becomes higher than a certain level, this is made to blink, and thereafter, the blinking rate becomes faster as the degree of attention request becomes higher. It is also conceivable to increase the luminance of the emphasized area and change the hue as the degree of attention demand increases.

【0025】また、強調領域画面作成用CPU41で
は、各視界(テレビカメラ11,12,13に応じた視
界)毎に、強調表示すべき移動体があれば合成指令信号
64を出力しながら強調表示画像信号63A又は63B
又は63Cを出力し、強調表示すべき移動体がなければ
合成指令信号64は出力しないようになっている。画像
信号合成手段42では、各視界毎に、合成処理を行なう
か行なわないかを切り替えるスイッチ機能が設けられ、
強調領域画面作成用CPU41から合成指令信号64が
出力されなければ、合成処理を行なわないでテレビカメ
ラ11又は12又は13からの画像信号61a,61
b,61cをそのままテレビモニタ21又は22又は2
3側(実際には、画面反転手段51又は52又は53)
へ出力するようになっている。そして、強調領域画面作
成用CPU41から合成指令信号64が出力された視界
については、テレビカメラ11又は12又は13からの
画像信号61a又は61b又は61cに強調領域画面作
成用CPU41からの強調表示画像信号63A又は63
B又は63Cを合成して、テレビモニタ21又は22又
は23側へ出力するようになっている。
In addition, the CPU 41 for creating a highlighted area screen displays a composite command signal 64 if there is a moving object to be highlighted for each field of view (field of view corresponding to the television cameras 11, 12, 13). Image signal 63A or 63B
Alternatively, 63C is output, and if there is no moving object to be highlighted, the composite command signal 64 is not output. The image signal synthesizing means 42 is provided with a switch function for switching whether to perform the synthesizing process for each field of view.
If the compositing command signal 64 is not output from the CPU 41 for creating the highlighted area screen, the compositing process is not performed and the image signals 61a, 61 from the television camera 11 or 12 or 13 are sent.
b, 61c as they are as TV monitor 21 or 22 or 2
3 side (actually, screen inversion means 51 or 52 or 53)
It is designed to output to. Then, regarding the field of view in which the synthesis command signal 64 is output from the emphasis area screen creation CPU 41, the emphasis display image signal from the emphasis area screen creation CPU 41 is added to the image signal 61a or 61b or 61c from the television camera 11 or 12 or 13. 63A or 63
B or 63C is combined and output to the television monitor 21 or 22 or 23 side.

【0026】ところで、左サイド用ディスプレイ21A
及び右サイド用ディスプレイ22Aについてのインスト
ルメントパネルへ2への取付構造を、例えば左サイド用
ディスプレイ21Aを例に具体的に説明する。図7,8
に示すように、このディスプレイ21Aは、車室内のイ
ンストルメントパネル2の左端(左フロントピラー3の
基部近傍)2Aに設けられるが、液晶式の薄型ディスプ
レイであって、止め金5A,5Bによって固定されてい
る。
By the way, the left side display 21A
Further, the mounting structure of the right side display 22A to the instrument panel 2 will be specifically described by taking the left side display 21A as an example. 7 and 8
As shown in, the display 21A is provided at the left end (near the base of the left front pillar 3) 2A of the instrument panel 2 in the vehicle interior, but is a liquid crystal type thin display and is fixed by the clasps 5A and 5B. Has been done.

【0027】すなわち、インストルメントパネル2は、
図9に示すように、ボディ側の基板1A上に樹脂製等の
表皮材2Bを被覆した構造になっているが、止め金5
A,5Bはこれらの基板1Aと表皮材2Bとの間に形成
された溝に基端を枢支されている。これらの止め金5
A,5Bのディスプレイ21Aの側端面への対抗面に
は、ゴム等の可撓性材料で形成された弾性突起(この例
では球面突起)5Hがそなえられており、ディスプレイ
21Aの側端面にはこれらの弾性突起5Hが嵌入する凹
部21Bが形成されている。ディスプレイ21Aは、そ
の両側端面の凹部21Bへ弾性突起5Hを嵌入され、こ
れらの弾性突起5Hを通じて止め金5A,5Bで両側か
ら弾性的に挟持されることで固定されている。
That is, the instrument panel 2 is
As shown in FIG. 9, the body side substrate 1A is covered with a skin material 2B made of resin or the like.
The base ends of A and 5B are pivotally supported in the groove formed between the substrate 1A and the skin material 2B. These clasps 5
An elastic projection (a spherical projection in this example) 5H formed of a flexible material such as rubber is provided on the surface of A and 5B facing the side end surface of the display 21A, and the side end surface of the display 21A is provided. A recess 21B into which these elastic protrusions 5H are fitted is formed. The display 21A is fixed by fitting the elastic projections 5H into the recesses 21B on both end surfaces thereof and elastically sandwiching the stoppers 5A and 5B from both sides through the elastic projections 5H.

【0028】止め金5A,5Bは、図9に示すように、
ディスプレイ21Aの側端面から離隔する方向へ撓むこ
とができるが、これらの止め金5A,5Bは、図10に
示すように、アーム5C,5Dからなるリンク機構に結
合されている。すなわち、アーム5C,5Dは相互にピ
ン5Gでピン結合され、止め金5A,5Bは、これらの
アーム5C,5Dにそれぞれピン5E,5Fによりピン
結合されている。そして、アーム5C,5Dのピン結合
部(即ち、ピン5G)が、ディスプレイ21A上部のボ
ディ側(即ち、基板1A側)との間に介装されたにスプ
リング5Jを通じて、矢印Fで示すように上方へ付勢さ
れている。このスプリング5Jの付勢力Fにより、アー
ム5C,5Dの外端部(即ち、ピン5E,5F)は互い
に接近する方向F1,F2へ付勢され、この付勢力F
1,F2により、止め金5A,5Bもディスプレイ21
Aの側端面へ接近する方向へ付勢されている。
The stopper plates 5A and 5B are, as shown in FIG.
The stoppers 5A and 5B can be bent in a direction away from the side end surface of the display 21A, but these stopper plates 5A and 5B are connected to a link mechanism composed of arms 5C and 5D, as shown in FIG. That is, the arms 5C and 5D are pin-coupled to each other by the pin 5G, and the stopper plates 5A and 5B are pin-coupled to the arms 5C and 5D by the pins 5E and 5F, respectively. Then, as shown by an arrow F, the pin coupling portion (that is, the pin 5G) of the arms 5C and 5D is inserted between the body side (that is, the substrate 1A side) of the upper portion of the display 21A and the spring 5J. It is biased upward. The urging force F of the spring 5J urges the outer ends of the arms 5C and 5D (that is, the pins 5E and 5F) in directions F1 and F2 approaching each other.
1 and F2, the stoppers 5A and 5B are also displayed on the display 21.
It is urged in a direction approaching the side end surface of A.

【0029】したがって、ディスプレイ21Aを止め金
5A,5Bの相互間へ手前から(図8,9中の下方か
ら)嵌め込むと、スプリング5Jが引き延ばされつつ、
アーム5C,5Dが開度を増して、アーム5C,5Dの
外端部が相互に離隔して、止め金5A,5Bも図9に鎖
線で示すようにディスプレイ21Aの側端面から離隔す
る方向へ駆動されて、止め金5A,5Bの各弾性突起5
Hが、ディスプレイ21Aの側端面の凹部21Bに嵌合
したところで、図9に実線で示すようにディスプレイ2
1Aが装着されるように構成されているのである。
Therefore, when the display 21A is fitted between the stoppers 5A and 5B from the front side (from below in FIGS. 8 and 9), the spring 5J is stretched,
The arms 5C and 5D increase in opening degree, the outer ends of the arms 5C and 5D are separated from each other, and the stoppers 5A and 5B are also separated from the side end surface of the display 21A as shown by a chain line in FIG. When driven, each elastic protrusion 5 of the stopper plates 5A and 5B is driven.
When H is fitted into the concave portion 21B of the side end surface of the display 21A, the display 2 as shown by the solid line in FIG.
1A is configured to be mounted.

【0030】また、アーム5C,5Dを相互に結合する
ピン5Gには、リボン5Kの一端が結合されており、こ
のリボン5Kの他端は、図7に示すように、ディスプレ
イ21Aの下部から、車室内側へ露出している。そし
て、このリボン5Kの他端を下方へ引っ張ると、アーム
5C,5Dが開度を増して、アーム5C,5Dの外端部
が相互に離隔して、止め金5A,5Bも図9に鎖線で示
すようにディスプレイ21Aの側端面から離隔する方向
へ駆動されて、ディスプレイ21Aの挟持が解除され、
ディスプレイ21Aの取外が可能になるように構成され
ている。
Further, one end of a ribbon 5K is connected to a pin 5G for connecting the arms 5C and 5D to each other, and the other end of the ribbon 5K is, as shown in FIG. It is exposed to the passenger compartment. When the other end of the ribbon 5K is pulled downward, the arms 5C and 5D increase in opening degree, the outer ends of the arms 5C and 5D are separated from each other, and the stopper plates 5A and 5B are also shown by chain lines in FIG. As shown by, the display 21A is driven in a direction away from the side end surface of the display 21A, the clamp of the display 21A is released,
The display 21A is configured to be removable.

【0031】右サイド用ディスプレイ22Aもこれと同
様に構成され、また、ディスプレイ23A等他のディス
プレイもこれと同様に構成することができる。また、左
右のサイド用ディスプレイ21A,22Aについては車
室内のドアトリム6に設けてもよい。つまり、左サイド
用ディスプレイ21Aを例に説明すると、例えば図1
1,12に示すように、車室内のドアトリム6の左フロ
ントピラー3の基部近傍6Aにディスプレイ21Aを設
ける。また、この場合にも、ディスプレイ21Aの取付
け構造は上述のものを適用できる。右サイド用ディスプ
レイ22Aもこれと同様に構成される。
The display 22A for the right side is also constructed in the same manner, and other displays such as the display 23A can be constructed in the same manner. The left and right side displays 21A and 22A may be provided on the door trim 6 in the vehicle compartment. That is, when the display 21A for the left side is described as an example, for example, FIG.
As shown in FIGS. 1 and 12, a display 21A is provided near the base portion 6A of the left front pillar 3 of the door trim 6 in the vehicle interior. Also in this case, the above-mentioned mounting structure can be applied to the display 21A. The right side display 22A is also configured in the same manner.

【0032】本発明の第1実施例としての車両用周囲状
況表示装置は、上述のように構成されているので、以下
のようにして車両の周囲状況が表示される。つまり、撮
像手段10の各テレビカメラ11,12,13が、それ
ぞれ自動車左後方の状況,右後方の状況,車両中心の後
方の状況の各間接視界を撮影して、画像信号61a,6
1b,61cを出力する。
Since the vehicle surrounding condition display apparatus according to the first embodiment of the present invention is configured as described above, the vehicle surrounding condition is displayed as follows. That is, each of the TV cameras 11, 12, and 13 of the image pickup means 10 photographs the indirect visual field of the situation of the left rear of the vehicle, the situation of the right rear, and the situation of the rear of the vehicle center, and the image signals 61a, 6a.
1b and 61c are output.

【0033】このようなテレビカメラ11,12,13
によるカメラ間接視界では、レンズの選択等により広角
な視野を設定できるので、各間接視界において視野を広
げてなどして死角を減少させることができる。また、各
テレビカメラ11,12,13には、極めて小型のCC
Dカメラが用いられているので、車体の外部への突出を
極めて小さくできて、車体のフラッシュサーフィス化を
促進でき、より空力抵抗が少なく安全性の高い車体表面
を構成できるようになる。
Such television cameras 11, 12, 13
In the indirect field of view of the camera, since a wide-angle field of view can be set by selecting a lens or the like, it is possible to reduce the blind spot by expanding the field of view in each indirect field of view. In addition, each TV camera 11, 12, 13 has a very small CC
Since the D camera is used, the protrusion of the vehicle body to the outside can be made extremely small, the flash surface of the vehicle body can be promoted, and a highly safe vehicle body surface with less aerodynamic resistance can be constructed.

【0034】各テレビカメラ11,12,13からの画
像信号61a,61b,61cは、強調表示手段40の
画像信号合成手段42に送られるが、このとき、各テレ
ビカメラ11,12,13でとらえた画面内に、強調表
示すべき移動体がなければ、移動体検出用CPU31か
ら自車両が注意すべき移動体が存在する旨の信号は出力
されず、強調領域画面作成用CPU41が合成指令信号
64を出力しないので、強調表示手段40の画像信号合
成手段42では画像合成されることなく撮像手段10の
画像信号61a,61b,61cがそのまま画面反転手
段51,52,53を介して画面反転処理されて各テレ
ビモニタ21,22,23側へ送られる。したがって、
ディスプレイ21A,22A,23Aには各テレビモニ
タ21,22,23で撮影された実写映像のみが表示さ
れる。テレビモニタ23の場合を例に示すと、例えば図
13の(A)のような画面が、ディスプレイ23Aに表
示される。なお、符号7は移動体としての車両である。
The image signals 61a, 61b, 61c from the respective television cameras 11, 12, 13 are sent to the image signal synthesizing means 42 of the highlighting means 40. At this time, the television signals 11, 12, 13 are captured. If there is no moving body to be highlighted in the displayed screen, the moving body detecting CPU 31 does not output a signal indicating that there is a moving body to which the own vehicle should be noted, and the emphasizing area screen creating CPU 41 outputs the synthesis command signal. Since 64 is not output, the image signal combining means 42 of the highlighting means 40 does not combine the images, and the image signals 61a, 61b, 61c of the image pickup means 10 are directly processed by the screen inverting means 51, 52, 53 for screen inversion processing. It is then sent to the television monitors 21, 22, 23 side. Therefore,
The displays 21A, 22A, and 23A display only the actual images taken by the television monitors 21, 22, and 23. Taking the case of the television monitor 23 as an example, for example, a screen as shown in FIG. 13A is displayed on the display 23A. Reference numeral 7 is a vehicle as a moving body.

【0035】このようなカメラ間接視界は、ウィンドゥ
ガラスを通した視界ではないので、ウィンドゥガラスの
汚れや曇り更や付着した水滴等が視界の妨げになること
はなく、常に視認しやすい間接視界を確保できる。ま
た、各ディスプレイ21A,22A,23Aは高さレベ
ルをドライバが常時視認するメータクラスタの高さ程度
に設定され、また、ドアミラーよりも近い視野内にあ
り、且つ、その画面がほぼドライバの視点に向かうよう
に設置されているので、ドライバはこれらのディスプレ
イ21A,22A,23Aを、大きな視線の移動を要す
ることなく、容易に視認できて、この点でも安全な運転
に大きく寄与する。
Since such an indirect view of the camera is not a view through the window glass, dirt, cloudiness, water drops, etc. attached to the window do not hinder the view, and the indirect view is always easy to see. Can be secured. Further, the height level of each of the displays 21A, 22A, and 23A is set to the height of the meter cluster that the driver always visually recognizes, and is in a field of view closer than the door mirror, and the screen is almost in the driver's viewpoint. Since the display 21A, 22A, and 23A are installed so as to face, the driver can easily visually recognize these displays 21A, 22A, and 23A without having to move a large line of sight, which also greatly contributes to safe driving.

【0036】また、この実施例では、特に省略していな
いが、ディスプレイ23Aを設けることで、ルームミラ
ー75を省略することができ、この場合、フロントウィ
ンドゥの視認領域を拡大させて、間接視界の領域を向上
させることができる。一方、各テレビカメラ11,1
2,13でとらえた画面内に、強調表示すべき移動体が
あれば、移動体検出用CPU31から自車両が注意すべ
き移動体が存在する旨の信号が出力され、強調領域画面
作成用CPU41から合成指令信号64と強調表示画像
信号63A又は63B又は63Cが出力される。このた
め、画像信号合成手段42では所要の画像合成が行なわ
れ、撮像手段10の画像信号61a,61b,61cに
強調表示画像信号63A又は63B又は63Cが付加さ
れた上で、面反転手段51,52,53を介して画面反
転処理されて各テレビモニタ21,22,23側へ送ら
れる。例えば、車両中心の後方を映す画面上に、図13
の(B)に斜線で示すような領域に強調表示8が加えら
れると、テレビモニタ23の場合、例えば図13の
(C)に示すような画面が、ディスプレイ23Aに表示
される。なお、この図13の(B),(C)に示すもの
では、強調領域の区画を縦が2分され横が4分された8
区画と便宜的に少ない区画にして示している。
In this embodiment, although not particularly omitted, the rearview mirror 75 can be omitted by providing the display 23A. In this case, the visual recognition area of the front window is enlarged and the indirect field of view is increased. The area can be improved. On the other hand, each TV camera 11, 1
If there is a moving body to be highlighted in the screens captured by 2 and 13, the moving body detecting CPU 31 outputs a signal indicating that there is a moving body to which the own vehicle should pay attention, and the CPU 41 for creating the highlighted area screen. Outputs a combination command signal 64 and a highlighted display image signal 63A, 63B or 63C. Therefore, the image signal synthesizing means 42 performs the required image synthesizing, adds the highlighted display image signal 63A or 63B or 63C to the image signals 61a, 61b and 61c of the image pickup means 10, and then the surface inverting means 51, The screen is inverted through 52 and 53 and sent to the television monitors 21, 22 and 23. For example, on the screen showing the rear of the vehicle center,
When the highlighted display 8 is added to the area indicated by the shaded area in (B), the screen as shown in (C) of FIG. 13 is displayed on the display 23A in the case of the television monitor 23. In addition, in the structure shown in (B) and (C) of FIG. 13, the division of the emphasis region is divided into two vertically and four horizontally.
For the sake of convenience, the number of sections is shown as a small number.

【0037】図13の(B),(C)に示す強調表示8
の領域は、注意要求度に応じて、例えば注意要求度が低
いと所定の警告色(例えば赤色系統や黄色系統の色)を
連続点灯させて、注意要求度が一定以上高い場合には点
滅させ、注意要求度が高くなるにしたがって点滅速度を
速くしていく。これにより、死角等を小さくするために
視野を広げることで表示器に映される画像情報が多くな
った場合でも、表示器に映し出された映像中の危険な要
因(例えば、走行する他の車両や歩行者等の移動体)を
即座に認識することができるので、ドライバが周囲の状
況を速やかに把握しながら安全な運転を行ないやすくな
る。
Highlighting 8 shown in FIGS. 13B and 13C.
In the area of, for example, a predetermined warning color (for example, a reddish or yellowish color) is continuously lit when the attention demand is low, and blinks when the attention demand is higher than a certain level. , The blinking speed increases as the attention demand increases. As a result, even if the amount of image information displayed on the display device is increased by widening the field of view to reduce the blind spots, a dangerous factor in the image displayed on the display device (for example, another vehicle running). And a moving body such as a pedestrian) can be immediately recognized, which facilitates the driver to drive safely while quickly grasping the surrounding situation.

【0038】また、この実施例では、テレビカメラ1
1,12,13として画像内の対象物までの距離を測定
できるステレオカメラを用いているので、移動体検出手
段30Aをこれらのステレオカメラを利用した構成にで
き、移動体検出手段30Aにかかるコストを低減でき
て、また、撮像手段10で検出された車両の周囲状況の
画面領域と、移動体を検出する画面領域とを容易に一致
させることができ、移動体の検出や強調表示を加えるこ
とをより容易で的確に行なえる。
Also, in this embodiment, the television camera 1
Since a stereo camera capable of measuring the distance to the object in the image is used as 1, 12, and 13, the moving body detection unit 30A can be configured to use these stereo cameras, and the cost of the moving body detection unit 30A can be increased. In addition, the screen area of the surroundings of the vehicle detected by the image pickup unit 10 and the screen area for detecting the moving body can be easily matched, and the moving body can be detected and highlighted. Can be done more easily and accurately.

【0039】このように、撮像手段10にステレオカメ
ラを用いると、例えば、自動操舵や自動ブレーキ等の車
両の自動制御にこのステレオカメの情報を利用すること
もでき、種々の装備をそなえた車両の製造コストの抑制
に貢献しうる。勿論、必ずしもこの実施例のように撮像
手段10にステレオカメラを用いる必要はなく、例えば
図14に示す移動体検出手段30Bのように、テレビカ
メラ11,12,13をステレオカメラカメラでない単
一カメラとし、この一方で、移動体についての情報を得
る他のセンサ類32を設けて、ステレオカメラの情報か
らの情報に代えて、これらのセンサ類32の除法から画
像中の移動体について危険度を検出するように構成して
もよい。これらのセンサ類32としては、撮像手段10
としてのカメラとは別個のテレビカメラを用いる他、例
えば超音波の反射を用いるものやレーダレーザを用いる
ものやパッシブ三角距離センサを用いるもの等が考えら
れる。
As described above, when the stereo camera is used as the image pickup means 10, for example, the information of the stereo camera can be used for automatic control of the vehicle such as automatic steering and automatic braking, and the vehicle is equipped with various equipments. Can contribute to the suppression of manufacturing cost. Of course, it is not always necessary to use a stereo camera for the image pickup means 10 as in this embodiment, and a single camera which is not a stereo camera camera, such as the moving object detection means 30B shown in FIG. On the other hand, on the other hand, other sensors 32 for obtaining information about the moving body are provided, and instead of the information from the information of the stereo camera, the degree of danger about the moving body in the image is calculated from the division of these sensors 32. It may be configured to detect. The image pickup means 10 is used as these sensors 32.
In addition to using a television camera separate from the above camera, for example, one using reflection of ultrasonic waves, one using a radar laser, one using a passive triangular distance sensor, and the like are conceivable.

【0040】なお、撮像手段10としてのテレビカメラ
や表示手段としてのテレビモニタの数や配置形態は上述
の実施例のものに限定されるものでなく、少なくともテ
レビカメラからの画像信号に強調領域の画像信号を合成
して表示するという表示形態を用いることにより、種々
の間接視界の向上に寄与しうるものである。また、移動
体がある時の強調表示は、単に対応する領域を点灯させ
るだけであったり、一定速度で点滅させるだけとして、
危険度による強調度合いの変更まで行なわなくてもよ
く、この場合でも、映像中の危険な要因の認識を即座に
行なえる効果は得られる。
The number and arrangement of the television cameras as the image pickup means 10 and the television monitors as the display means are not limited to those in the above-mentioned embodiment, and at least the image signal from the television camera has an emphasized area. By using a display mode in which image signals are combined and displayed, it is possible to contribute to the improvement of various indirect visual fields. In addition, highlighting when there is a moving object is to simply turn on the corresponding area or blink at a constant speed,
It is not necessary to change the degree of emphasis depending on the degree of risk, and even in this case, the effect of being able to immediately recognize a dangerous factor in the image can be obtained.

【0041】[0041]

【発明の効果】以上詳述したように、請求項1,2記載
の本発明の車両用周囲状況表示装置によれば、車両に装
備され該車両の周囲状況を画像情報として検出する撮像
手段と、該車両の室内に装備され該撮像手段で検出され
た車両の周囲状況を画面上に画像表示する画像表示手段
と、該車両の周囲で該車両に対して相対移動する移動体
を検出する移動体検出手段と、該移動体検出手段からの
情報に基づいて、該移動体の該画面上での位置を計算
し、該画面中の該移動体の存在する画像領域に強調表示
を加える強調表示手段とから構成されていることによ
り、間接視界の視野領域を広げて死角を縮小させながら
も、ドライバに多くの間接視界を与えながら、且つ、注
意すべき移動体に対しては十分な注意を喚起させること
ができるようになり、安全で円滑な車両の運転に大きく
貢献しうる効果がある。また、ガラス等を介した視界で
なくなるので、常に視認性の良好な視界が確保される利
点もある。
As described in detail above, according to the vehicle ambient condition display device of the present invention as set forth in claims 1 and 2, an image pickup means mounted on the vehicle for detecting the vehicle ambient condition as image information. An image display means mounted in a room of the vehicle for displaying an image of a surrounding condition of the vehicle detected by the image pickup means on a screen, and a movement for detecting a moving body moving relative to the vehicle around the vehicle. Highlighting for calculating the position of the moving body on the screen based on the information from the body detecting unit and the moving body detecting unit, and adding highlighting to the image area where the moving body exists in the screen Since it is configured by means and means, while widening the field of view of the indirect field of view and reducing the blind spot, while giving a large amount of indirect field of view to the driver, sufficient attention should be paid to the moving body to be careful of. It will be possible to evoke, There is an effect that can greatly contribute to safe and smooth driving of the vehicle. Further, since the field of view through the glass or the like is lost, there is an advantage that a field of view with good visibility is always ensured.

【0042】特に、請求項記載の本発明の車両用周囲
状況表示装置によれば、該強調表示手段が、該画面を予
め複数の領域に区画して、該移動体の存在する画面領域
について該強調表示を加えるように構成されていること
により、簡素な構成で移動体に対する注意喚起を行な
え、また、注意すべき移動体の検出をより応答よく行な
え、上記の効果を容易で確実に得られるようになる
[0042] In particular, according to the ambient condition display apparatus for a vehicle of the present invention described in claim 1, said highlighting means, in advance divided into a plurality of regions of said screen, the screen area in the presence of the mobile body by being configured to apply said strong tone display, perform the alert for the mobile with a simple configuration, also, the detection of the moving body to be noted more done good response, ensures easy the above effects You will get it .

【0043】また、請求項2記載の本発明の車両用周囲
状況表示装置によれば、該移動体検出手段が、該移動体
の存在とともに該移動体の自車両に対する危険度を検出
して、該強調表示手段が、該画面を予め複数の領域に区
画して、該移動体の存在する画面領域について、該移動
体の危険度に応じて、該強調表示を加えるように構成さ
れていることにより、移動体の危険度に応じて注意喚起
を行なえ、ドライバは移動体に対する危険をより的確に
把握できるようになる。また、死角等を小さくするため
に視野を広げることで表示器に映される画像情報が多く
なった場合でも、表示器に映し出された映像中の危険な
要因(例えば、走行する他の車両や歩行者等の移動体)
を即座に認識することができるようになる。
According to the vehicle surrounding condition display device of the present invention, the moving body detecting means detects the presence of the moving body and the degree of danger of the moving body with respect to the own vehicle. The highlighting means divides the screen into a plurality of areas in advance.
The screen area in which the moving body is present is configured to add the highlighting according to the degree of danger of the moving body, so that the user can be alerted according to the degree of danger of the moving body. , The driver can more accurately understand the danger to the moving body. Also, to reduce blind spots, etc.
There is much image information displayed on the display by expanding the field of view
Even if it happens, there is a danger in the image displayed on the display.
Factors (for example, moving vehicles such as other vehicles or pedestrians)
You will be able to recognize immediately.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例としての車両用周囲状況表示
装置の構成を模式的に示すブロック図である。
FIG. 1 is a block diagram schematically showing a configuration of a vehicle surrounding condition display device as an embodiment of the present invention.

【図2】本発明の一実施例としての車両用周囲状況表示
装置の強調表示にかかる画像領域の区画例を示す図であ
る。
FIG. 2 is a diagram showing an example of division of an image area for highlighting of a vehicle surroundings display device as one embodiment of the present invention.

【図3】本発明の一実施例としての車両用周囲状況表示
装置の撮像手段及び画像表示手段の配置例を示す車両の
模式的平面図である。
FIG. 3 is a schematic plan view of a vehicle showing an arrangement example of the image pickup means and the image display means of the vehicle surrounding situation display device as one embodiment of the present invention.

【図4】本発明の一実施例としての車両用周囲状況表示
装置の撮像手段の配置例を示す車両の模式的平面図であ
る。
FIG. 4 is a schematic plan view of a vehicle showing an arrangement example of image pickup means of the vehicle surrounding situation display device as one embodiment of the present invention.

【図5】本発明の一実施例としての車両用周囲状況表示
装置の撮像手段の他の配置例を示す車両の模式的平面図
である。
FIG. 5 is a schematic plan view of a vehicle showing another arrangement example of the image pickup means of the vehicle surrounding situation display device as one embodiment of the present invention.

【図6】本発明の一実施例としての車両用周囲状況表示
装置の画像表示手段の配置例を示す車室内の斜視図であ
る。
FIG. 6 is a perspective view of the interior of the vehicle showing an arrangement example of the image display means of the vehicle surrounding condition display device as one embodiment of the present invention.

【図7】本発明の一実施例としての車両用周囲状況表示
装置の画像表示手段の取付構造の一例を示す車室内の要
部斜視図である。
FIG. 7 is a perspective view of a main part of the vehicle interior showing an example of a mounting structure of the image display means of the vehicle surrounding condition display device as one embodiment of the present invention.

【図8】本発明の一実施例としての車両用周囲状況表示
装置の画像表示手段の取付構造の一例を示す模式的な断
面図であり、図7のA−A断面図である。
8 is a schematic cross-sectional view showing an example of the mounting structure of the image display means of the vehicle surrounding condition display device as one embodiment of the present invention, and is a cross-sectional view taken along line AA of FIG.

【図9】本発明の一実施例としての車両用周囲状況表示
装置の画像表示手段の取付構造の一例を示す模式的な断
面図であり、図8,図12のB部拡大図である。
FIG. 9 is a schematic cross-sectional view showing an example of the mounting structure of the image display means of the vehicle surrounding condition display apparatus as one embodiment of the present invention, and is an enlarged view of the B portion in FIGS. 8 and 12.

【図10】本発明の一実施例としての車両用周囲状況表
示装置の画像表示手段の取付構造の一例を示す模式的な
正面図である。
FIG. 10 is a schematic front view showing an example of the mounting structure of the image display means of the vehicle surroundings display device as one embodiment of the present invention.

【図11】本発明の一実施例としての車両用周囲状況表
示装置の画像表示手段の取付構造の他の例を示す車室内
の要部斜視図である。
FIG. 11 is a perspective view of a main part of the vehicle interior showing another example of the mounting structure of the image display means of the vehicle surrounding condition display device as one embodiment of the present invention.

【図12】本発明の一実施例としての車両用周囲状況表
示装置の画像表示手段の取付構造の他の例を示す模式的
な断面図であり、図11のC−C断面図である。
12 is a schematic cross-sectional view showing another example of the mounting structure of the image display means of the vehicle surrounding condition display device as one embodiment of the present invention, which is a cross-sectional view taken along line CC of FIG.

【図13】本発明の一実施例としての車両用周囲状況表
示装置の画像信号の合成過程を模式的に示す図であり、
(A)は撮像手段で検出された車両の周囲状況の生の画
面(映像画面)、(B)は画像領域に加える強調表示を
示す画面、(C)は車両の周囲状況の生の画面に強調表
示を合成した合成画面である。
FIG. 13 is a diagram schematically showing a process of synthesizing image signals of a vehicle surrounding condition display device as one embodiment of the present invention,
(A) is a raw screen (video screen) of the surroundings of the vehicle detected by the image pickup means, (B) is a screen showing highlighting added to the image area, (C) is a raw screen of the surroundings of the vehicle It is a compositing screen in which highlighting is composed.

【図14】本発明の一実施例としての車両用周囲状況表
示装置の構成の変形例を模式的に示すブロック図であ
る。
FIG. 14 is a block diagram schematically showing a modified example of the configuration of the vehicle surroundings display device as one embodiment of the present invention.

【図15】従来の車両用周囲状況表示装置に相当するミ
ラー方式の間接視界視認装置を示す模式図である。
FIG. 15 is a schematic view showing a mirror type indirect view visualizing device corresponding to a conventional vehicle surrounding condition display device.

【符号の説明】[Explanation of symbols]

1 車体(ボディ) 1A ボディ側の基板 2 インストルメントパネル 2A インストルメントパネル2の左端(左フロントピ
ラー3の基部近傍) 2B 表皮材 3 左フロントピラー 4 右フロントピラー 5A,5B 止め金 5C,5D アーム 5E,5F,5G ピン 5H 弾性突起 5J スプリング 5K リボン 6 ドアトリム6 6A ドアトリム6の左フロントピラー3の基部近傍 7 移動体 8 強調表示 10 撮像手段 11 第1のテレビカメラ(テレビカメラNo.1) 12 第2のテレビカメラ(テレビカメラNo.2) 13 第3のテレビカメラ(テレビカメラNo.3) 14〜16 テレビカメラ 11A〜16A カメラの視野 17A,17B 鏡面 20 画像表示手段 21 第1のテレビモニタ(表示器No.1) 21A 左サイド用ディスプレイ 21B 凹部 22 第2のテレビモニタ(表示器No.2) 22A 右サイド用ディスプレイ 23 第3のテレビモニタ(表示器No.3) 23A 後方用ディスプレイ 30A,30B 移動体検出手段 31 処理手段(移動体検出用CPU) 32 移動体についての情報を得るセンサ類 40 強調表示手段 41 処理手段(強調領域画面作成用CPU) 42 画像信号合成手段 50,51,52,53 画面反転手段 61A,61B,61C 画像情報信号(ステレオ画像
のもの) 61a,61b,61c 画像情報信号(単一画像のも
の) 62 移動体検出信号 63A,63B,63C 画像信号 64 合成指令信号 F,F1,F2 スプリング5Jによる付勢力
1 Body (body) 1A Body-side board 2 Instrument panel 2A Left end of instrument panel 2 (near the base of left front pillar 3) 2B Skin material 3 Left front pillar 4 Right front pillar 5A, 5B Clasp 5C, 5D Arm 5E, 5F, 5G Pin 5H Elastic projection 5J Spring 5K Ribbon 6 Door trim 6 6A Near the base of the left front pillar 3 of the door trim 7 Moving body 8 Highlighting display 10 Image pickup means 11 First TV camera (TV camera No. 1) 12 Second television camera (television camera No. 2) 13 Third television camera (television camera No. 3) 14 to 16 Television cameras 11A to 16A Field of view 17A, 17B of camera 17 Mirror surface 20 Image display means 21 First television monitor (Display No. 1) 21A Left side display 21B Recess 22 Second TV model Nita (display device No. 2) 22A Right side display 23 Third television monitor (display device No. 3) 23A Rear display 30A, 30B Moving body detecting means 31 Processing means (moving body detecting CPU) 32 Moving body Sensors for obtaining information about 40 Highlighting means 41 Processing means (CPU for highlighting area screen creation) 42 Image signal synthesizing means 50, 51, 52, 53 Screen inverting means 61A, 61B, 61C Image information signals (stereo image ones) ) 61a, 61b, 61c Image information signal (single image) 62 Moving object detection signal 63A, 63B, 63C Image signal 64 Combined command signal F, F1, F2 Energizing force by spring 5J

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G01V 8/10 H04N 5/445 Z G06T 1/00 7/18 J H04N 5/445 G01V 9/04 S 7/18 G06F 15/62 380 (72)発明者 菅原 正 東京都港区芝五丁目33番8号 三菱自動 車工業株式会社内 (72)発明者 見市 善紀 東京都港区芝五丁目33番8号 三菱自動 車工業株式会社内 (72)発明者 田中 忠夫 東京都港区芝五丁目33番8号 三菱自動 車工業株式会社内 (56)参考文献 特開 平5−155298(JP,A) 特開 平3−84491(JP,A) 特開 昭60−231193(JP,A) 実開 平4−29447(JP,U) (58)調査した分野(Int.Cl.7,DB名) B60R 1/00 B60R 21/00 G01V 9/04 G06F 15/62 380 H04N 5/445 H04N 7/18 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI G01V 8/10 H04N 5/445 Z G06T 1/00 7/18 J H04N 5/445 G01V 9/04 S 7/18 G06F 15 / 62 380 (72) Inventor Tadashi Sugawara 5-3-8 Shiba 5-3, Minato-ku, Tokyo Within Mitsubishi Automobile Industry Co., Ltd. (72) Inventor Yoshinori 5-33-8 Shiba, Minato-ku, Tokyo Mitsubishi Automobile Industry Incorporated (72) Inventor Tadao Tanaka 5-3 33-8 Shiba, Minato-ku, Tokyo Inside Mitsubishi Motors Corporation (56) Reference JP-A-5-155298 (JP, A) JP-A-3-84491 (JP, A) JP-A-60-231193 (JP, A) Actual Kaihei 4-29447 (JP, U) (58) Fields investigated (Int.Cl. 7 , DB name) B60R 1/00 B60R 21 / 00 G01V 9/04 G06F 15/62 380 H04N 5/445 H04N 7/18

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 車両に装備され該車両の周囲状況を画像
情報として検出する撮像手段と、 該車両の室内に装備され該撮像手段で検出された車両の
周囲状況を画面上に画像表示する画像表示手段と、 該車両の周囲で該車両に対して相対移動する移動体を検
出する移動体検出手段と、 該移動体検出手段からの情報に基づいて、該移動体の該
画面上での位置を計算し、該画面中の該移動体の存在す
る画像領域に強調表示を加える強調表示手段とから構成
され、 該強調表示手段が、 該画面を予め複数の領域に区画して、該移動体の存在す
る画面領域について該強調表示を加えるように構成され
ていることを特徴とする、車両用周囲状況表示装置。
1. An image pickup device mounted on a vehicle for detecting the surrounding condition of the vehicle as image information, and an image mounted on the inside of the vehicle for displaying the surrounding condition of the vehicle detected by the image pickup device on a screen. A display means, a moving body detecting means for detecting a moving body moving relative to the vehicle around the vehicle; and a position of the moving body on the screen based on information from the moving body detecting means. And highlighting means for adding highlighting to the image area where the moving body is present in the screen, wherein the highlighting means divides the screen into a plurality of areas in advance, And a surrounding area display device for a vehicle, wherein the highlighting is added to a screen area in which
【請求項2】 該移動体検出手段が、該移動体の存在と
ともに該移動体の自車両に対する危険度を検出するもの
であり、 該強調表示手段が、該画面を予め複数の領域に区画し
て、該移動体の存在する画面領域について、該移動体の
危険度に応じて、該強調表示を加えるように構成されて
いることを特徴とする、請求項1記載の車両用周囲状況
表示装置。
2. Those moving body detecting means detects the risk with respect to the vehicle of the moving body with the presence of a moving body
The highlighting means divides the screen into a plurality of areas in advance.
Te, the present screen area moving body, in accordance with the risk of the moving body, is configured to apply a reinforcing grayscale display
The ambient condition display device for a vehicle according to claim 1, wherein:
JP01762894A 1994-02-14 1994-02-14 Ambient situation display device for vehicles Expired - Fee Related JP3431678B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01762894A JP3431678B2 (en) 1994-02-14 1994-02-14 Ambient situation display device for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01762894A JP3431678B2 (en) 1994-02-14 1994-02-14 Ambient situation display device for vehicles

Publications (2)

Publication Number Publication Date
JPH07223487A JPH07223487A (en) 1995-08-22
JP3431678B2 true JP3431678B2 (en) 2003-07-28

Family

ID=11949136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01762894A Expired - Fee Related JP3431678B2 (en) 1994-02-14 1994-02-14 Ambient situation display device for vehicles

Country Status (1)

Country Link
JP (1) JP3431678B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7230524B2 (en) 2003-03-20 2007-06-12 Matsushita Electric Industrial Co., Ltd. Obstacle detection device
JP2008238927A (en) * 2007-03-27 2008-10-09 Denso Corp Display device of vehicle peripheral image

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0948282A (en) * 1995-08-08 1997-02-18 Mazda Motor Corp Indirect visual confirmation device for vehicle
JPH0971198A (en) * 1995-09-06 1997-03-18 Mazda Motor Corp Obstacle confirming device
JP3402023B2 (en) * 1995-10-18 2003-04-28 日産自動車株式会社 Rear side vehicle alert system
JPH1024801A (en) * 1996-07-10 1998-01-27 Nec Eng Ltd Side confirmation device to be mounted on vehicle
JP3464368B2 (en) * 1997-07-25 2003-11-10 矢崎総業株式会社 Rear side monitoring device for vehicles
JPH11126300A (en) * 1997-10-21 1999-05-11 Mazda Motor Corp Lane deviation warning device for vehicle
DE19841915A1 (en) * 1998-09-14 2000-03-16 Bosch Gmbh Robert Electronically assisted reverse drive system
JP3298851B2 (en) * 1999-08-18 2002-07-08 松下電器産業株式会社 Multi-function vehicle camera system and image display method of multi-function vehicle camera
JP3855552B2 (en) * 1999-08-26 2006-12-13 松下電工株式会社 Obstacle monitoring device around the vehicle
JP4660872B2 (en) * 2000-02-09 2011-03-30 ソニー株式会社 Driving support device and driving support method
EP1167120B1 (en) 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
DE10059313A1 (en) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Arrangement and method for monitoring the surroundings of a vehicle
KR20040003216A (en) * 2002-07-02 2004-01-13 기아자동차주식회사 A system for monitoring driving-dead space related to a front piller of vehicle
JP4222183B2 (en) * 2003-10-29 2009-02-12 株式会社デンソー Vehicle peripheral image display device
JP4586416B2 (en) * 2004-05-20 2010-11-24 日産自動車株式会社 Driving assistance device
JP2006157748A (en) * 2004-12-01 2006-06-15 Nippon Seiki Co Ltd Indicating unit for vehicle
JP4462036B2 (en) 2005-01-06 2010-05-12 株式会社デンソー Liquid crystal display
JP4720979B2 (en) * 2005-03-28 2011-07-13 日本精機株式会社 Vehicle monitoring device
JP4468859B2 (en) * 2005-06-06 2010-05-26 アルパイン株式会社 Image composition apparatus and composition method
DE102006047777A1 (en) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtual spotlight for marking objects of interest in image data
JP4946300B2 (en) * 2006-09-20 2012-06-06 マツダ株式会社 Driving support device for vehicle
JP4986070B2 (en) * 2008-03-19 2012-07-25 マツダ株式会社 Ambient monitoring device for vehicles
WO2013038509A1 (en) * 2011-09-13 2013-03-21 トヨタ自動車株式会社 Vehicle periphery monitoring apparatus, and vehicle periphery monitoring system
JP6084434B2 (en) 2012-10-31 2017-02-22 クラリオン株式会社 Image processing system and image processing method
JP2016048839A (en) 2014-08-27 2016-04-07 株式会社小糸製作所 Electronic control unit and video system for vehicle
JP6262644B2 (en) * 2014-12-19 2018-01-17 日立建機株式会社 Work machine ambient monitoring device
KR102451091B1 (en) 2015-07-08 2022-10-05 엘지이노텍 주식회사 Apparatus and method for providing the moving body around vehicle, and recording medium for recording program performing the method
JP2017204828A (en) * 2016-05-13 2017-11-16 いすゞ自動車株式会社 Image display device
US11651179B2 (en) 2017-02-20 2023-05-16 3M Innovative Properties Company Optical articles and systems interacting with the same
JP6886106B2 (en) * 2017-03-29 2021-06-16 テイ・エス テック株式会社 Electronic mirror systems, automotive doors and automotive
JP2018191061A (en) * 2017-04-28 2018-11-29 アイシン精機株式会社 Periphery monitoring device
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
JP7226930B2 (en) * 2018-06-07 2023-02-21 フォルシアクラリオン・エレクトロニクス株式会社 Calibration device and electronic mirror system
JP7340806B2 (en) * 2018-12-28 2023-09-08 株式会社Ridge-i Image inspection equipment, image inspection systems, and image inspection programs
JP2020138553A (en) * 2019-02-26 2020-09-03 本田技研工業株式会社 Vehicle display arranging structure
JP6620381B1 (en) * 2019-03-08 2019-12-18 済南惠満汽車用品有限公司 Automotive ceiling liner decorative panel
CN218198109U (en) * 2019-10-23 2023-01-03 索尼公司 Mobile device
CN112277805A (en) * 2020-10-30 2021-01-29 湖南行必达网联科技有限公司 Vehicle monitoring system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7230524B2 (en) 2003-03-20 2007-06-12 Matsushita Electric Industrial Co., Ltd. Obstacle detection device
JP2008238927A (en) * 2007-03-27 2008-10-09 Denso Corp Display device of vehicle peripheral image

Also Published As

Publication number Publication date
JPH07223487A (en) 1995-08-22

Similar Documents

Publication Publication Date Title
JP3431678B2 (en) Ambient situation display device for vehicles
US6496117B2 (en) System for monitoring a driver's attention to driving
US20040004541A1 (en) System for monitoring a dead zone related to a front pillar of a vehicle
EP2579231A1 (en) Image processing apparatus for vehicle
US10846833B2 (en) System and method for visibility enhancement
US20180015879A1 (en) Side-view mirror camera system for vehicle
EP2062778B1 (en) Lane Change Control System
JPH0236417B2 (en)
JP4200343B2 (en) Monitor device
US10836315B2 (en) Mirror display system with blind spot display
JP3731303B2 (en) Vehicle periphery monitoring device
JP3464368B2 (en) Rear side monitoring device for vehicles
JP2019188855A (en) Visual confirmation device for vehicle
JP3033390B2 (en) Vehicle image display device
KR102061210B1 (en) Side front blind area display apparatus for vehicle and the method thereof
CN216184804U (en) Driving assistance system and vehicle
JP3865856B2 (en) Vehicle driving support device
KR101849326B1 (en) Camera system for vehicle
US11661008B2 (en) Device for displaying lateral rear images of vehicle and method therefor
CN113386669A (en) Driving assistance system and vehicle
US11584299B2 (en) Driver-assisting system for an industrial vehicle
JP7194890B2 (en) car mirror device
KR102311954B1 (en) Automotive blind spot video output device
JP6878109B2 (en) Image display device
KR20230097916A (en) Display for automatic emergency braking system of medium and large commercial vehicles

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20001205

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090523

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100523

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100523

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees