JP3894322B2 - Vehicle visibility monitoring system - Google Patents

Vehicle visibility monitoring system Download PDF

Info

Publication number
JP3894322B2
JP3894322B2 JP2003278283A JP2003278283A JP3894322B2 JP 3894322 B2 JP3894322 B2 JP 3894322B2 JP 2003278283 A JP2003278283 A JP 2003278283A JP 2003278283 A JP2003278283 A JP 2003278283A JP 3894322 B2 JP3894322 B2 JP 3894322B2
Authority
JP
Japan
Prior art keywords
display symbol
detection
display
vehicle
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003278283A
Other languages
Japanese (ja)
Other versions
JP2005045602A (en
Inventor
直哉 東
俊昌 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2003278283A priority Critical patent/JP3894322B2/en
Publication of JP2005045602A publication Critical patent/JP2005045602A/en
Application granted granted Critical
Publication of JP3894322B2 publication Critical patent/JP3894322B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両周辺を撮像する車両に装着されたカメラによる画像情報と、車両に装着された障害物検知センサの検知情報により、車両周辺の状況を監視する車両用視界モニタシステムに関する。   The present invention relates to a vehicular field of view monitor system for monitoring a situation around a vehicle based on image information from a camera mounted on the vehicle that images the vehicle periphery and detection information of an obstacle detection sensor mounted on the vehicle.

従来、走行時に自己車両の周辺状況を見ながら車両を運転する運転者支援のための装置として、周辺状況をを監視するとともにその情報を運転者に提示するモニタシステムが考案されている。このようなモニタシステムの例として、図１５に示すような表示画面１００を有するものが知られている。この表示画面１００は、２領域に分割されている。１つは、自己車両１０３に装着された走行体の廻りの障害物を検知する各障害物検知センサ１０４の検知情報を表示するセンサ情報表示領域１０１である。他の１つは、自己車両１０３周辺、例えば後方を撮像するカメラによる画像情報を表示する映像情報表示領域１０２であり、この領域には走行領域を示すガイド線１０５、１０６が同時に表示される（例えば、特許文献１参照）。   2. Description of the Related Art Conventionally, as a device for supporting a driver who drives a vehicle while looking at the surrounding situation of the own vehicle during traveling, a monitor system that monitors the surrounding situation and presents the information to the driver has been devised. As an example of such a monitor system, one having a display screen 100 as shown in FIG. 15 is known. The display screen 100 is divided into two areas. One is a sensor information display area 101 that displays detection information of each obstacle detection sensor 104 that detects an obstacle around the traveling body mounted on the host vehicle 103. The other one is a video information display area 102 that displays image information from a camera that captures the vicinity of the host vehicle 103, for example, the rear, and guide lines 105 and 106 indicating the traveling area are simultaneously displayed in this area ( For example, see Patent Document 1).

また、従来の他のモニタシステムとして、図１６に示すような表示画面２００を有するものが知られている。この表示画面２００は、車両周辺を映し出すカメラ画像の上に、走行領域を示すガイド線２０５、２０６を表示するとともに、車両に装着された障害物検知センサの検知情報をセンサ情報表示領域２０２〜２０４に重畳して表示する。検知情報が、距離に応じて表示色を変えるなどして表示画面のカメラ画像の上に映し出されるため、運転者が視覚的に車両周辺の安全状況を比較的、把握、理解しやすい。   As another conventional monitor system, one having a display screen 200 as shown in FIG. 16 is known. The display screen 200 displays guide lines 205 and 206 indicating a travel area on a camera image that displays the periphery of the vehicle, and also displays detection information of an obstacle detection sensor mounted on the vehicle in sensor information display areas 202 to 204. Superimposed on the display. Since the detection information is displayed on the camera image on the display screen by changing the display color according to the distance, it is relatively easy for the driver to visually understand and understand the safety situation around the vehicle.

また、従来の他のモニタシステムとして、図１７に示すような表示画面３００を有するものが知られている。このモニタシステムでは、車両の操舵角に対応して車両が進行する移動予測軌跡を表示画面に重畳して表示している。例えば、図１７（ａ）に示すように、車のハンドルが左方向に操舵された場合、車両周辺を映し出すカメラ画像の上に、車両の操舵角に対応して車両が進行する移動予測軌跡３０１、３０２を重畳して表示している。同じく、図１７（ｂ）（ｃ）に示すように、右方向操舵、及び直進操舵に対応してそれぞれ、移動予測軌跡３０３、３０４、及び移動予測軌跡３０１を表示している（例えば、特許文献２参照）。
特公平２−５６８７６号公報 特開２００２−１９４９２号公報 As another conventional monitor system, one having a display screen 300 as shown in FIG. 17 is known. In this monitor system, a predicted movement trajectory that the vehicle travels in accordance with the steering angle of the vehicle is displayed superimposed on the display screen. For example, as shown in FIG. 17A, when the steering wheel of the vehicle is steered leftward, a movement prediction trajectory 301 in which the vehicle travels in accordance with the steering angle of the vehicle on the camera image that displays the periphery of the vehicle. , 302 are superimposed and displayed. Similarly, as shown in FIGS. 17B and 17C, movement prediction trajectories 303 and 304 and movement prediction trajectory 301 are displayed in correspondence with rightward steering and straight steering, respectively (for example, Patent Literatures). 2).
Japanese Patent Publication No. 2-56876 JP 2002-19492 A

しかしながら、上述した図１５や特許文献１に示されるようなモニタシステムにおいては、車両周辺を映し出すカメラによる画像と障害物検知センサの検知情報とを分割した表示画面に別個に表示しているため、表示画面を見ても、表示画面のどの位置の障害物を検知していて、その障害物がどの距離に存在しているかなどについて、運転者が視覚的に、瞬時に車両周辺の安全状況を把握、理解しにくいという問題がある。   However, in the monitor system as shown in FIG. 15 and Patent Document 1 described above, the image displayed by the camera that displays the periphery of the vehicle and the detection information of the obstacle detection sensor are separately displayed on the display screen. Even if you look at the display screen, the driver visually confirms the safety situation around the vehicle, such as where the obstacle is on the display screen and what distance the obstacle is located. There is a problem that it is difficult to grasp and understand.

また、上述した図１６に示されるようなモニタシステムにおいても、表示画面のどの位置の障害物を検知していて、その障害物がどの距離に存在しているかなどについて、瞬時に把握、理解しにくいという上記同様の問題がある。   In the monitor system as shown in FIG. 16 described above, it is possible to instantly grasp and understand the position of the obstacle on the display screen and the distance at which the obstacle is present. There is the same problem as above.

また、上述した図１７や特許文献２に示されるようなモニタシステムにおける移動予測軌跡線は、路面上に投影した位置に線画像として表示されるものである。しかしながら、実際の走行中に現れる障害物は、通常、立体的な高さを有しており、路面上に投影された移動予測軌跡線だけでは、運転者に障害物の存在による回避動作の判断や、該行動を判断・実行させるには十分でないという問題がある。   Moreover, the movement prediction trajectory line in the monitor system as shown in FIG. 17 and Patent Document 2 described above is displayed as a line image at a position projected on the road surface. However, obstacles that appear during actual driving usually have a three-dimensional height, and the driver can determine avoidance actions due to the presence of obstacles only with the predicted movement trajectory line projected on the road surface. In addition, there is a problem that it is not enough to judge and execute the action.

本発明は、上記課題を解消するものであって、簡単な構成により運転者に視覚的に、瞬時に車両周辺の安全／危険状況を把握、理解させ、また回避行動を実行させることができる車両用視界モニタシステムを提供することを目的とする。   The present invention solves the above-described problem, and allows a driver to visually and instantly grasp and understand a safety / danger situation around the vehicle and to perform an avoidance action with a simple configuration. An object of the present invention is to provide a visual field monitor system.

上記課題を達成するために、請求項１の発明は、車両周辺を撮像する車両に装着されたカメラにより撮像された画像と、前記車両に装着された複数の障害物検知センサの検知情報とを、前記車両周辺の状況を監視するため表示モニタの表示画面に表示する当該車両に装着された車両用視界モニタシステムにおいて、前記複数の障害物検知センサの検出範囲は、各センサの指向性によりセンサ検知領域として区分され、前記障害物検知センサが障害物を検知した検知情報と、前記車両の操舵角に対応して当該車両が進行する移動予測軌跡範囲の情報とを、路面上から垂直方向に起立する表示シンボルに変換して、このシンボルと前記撮像された画像とを重畳して前記表示モニタの表示画面に表示し、前記検知情報を変換した表示シンボルは、その位置が障害物の検知距離に対応する画面上であって前記各センサ検知領域を区分する検知範囲情報シンボルの間に表示される車両用視界モニタシステムである。 To achieve the above object, a first aspect of the invention, a captured image Ri by the camera mounted on the vehicle for imaging a peripheral vehicle, detection information of a plurality of obstacle detection sensor mounted on the vehicle preparative, in the vehicle vision monitoring system mounted on the vehicle to be displayed on the display screen of the display monitor for monitoring the situation around the vehicle, detecting range of the plurality of obstacle detection sensor, the directivity of each sensor by being partitioned as a sensor detection region, a detection information in which the obstacle detection sensor detects an obstacle, and information of the movement prediction path range to which the vehicle corresponding to the steering angle of the vehicle progresses, perpendicularly from the road surface is converted to the display symbol standing direction, is displayed on the display screen of the display monitor by superimposing a symbol and the captured image, display symbols converting the sensing information, its Position is a vehicle for vision monitoring system that appears between the detection range information symbols for distinguishing the respective sensor detection area A on the screen corresponding to the detection distance of the obstacle.

請求項２の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを用いるものである。   According to a second aspect of the present invention, in the vehicular field of view monitor system according to the first aspect, a square, elliptical, or circular detection display symbol is used as the display symbol of the detection information.

請求項３の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記検知情報の表示シンボルとして、内部の透過率を選択した検知表示シンボルを用いるものである。   According to a third aspect of the invention, in the vehicular field of view monitor system according to the first aspect, a detection display symbol in which an internal transmittance is selected is used as a display symbol of the detection information.

請求項４の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記検知情報の表示シンボルとして、内部の透過率を選択した検知表示シンボルを用い、その検知表示シンボル内の透過率は、表示シンボル中央側ほど透過率を下げ、外側ほど透過率を上げて、段階的又は連続的に透過率が異なるグラジュエーションを施して表示するものである。   According to a fourth aspect of the present invention, in the vehicle vision monitoring system according to the first aspect, a detection display symbol in which an internal transmittance is selected is used as a display symbol of the detection information, and the transmittance in the detection display symbol is The transmittance is lowered toward the center of the display symbol, and the transmittance is increased toward the outer side, and gradations with different transmittances are applied step by step or continuously.

請求項５の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記検知情報の表示シンボルとして、前記検知情報に応じて点滅表示する検知表示シンボルを用いるものである。   According to a fifth aspect of the present invention, in the vehicle vision monitor system according to the first aspect, a detection display symbol that blinks in accordance with the detection information is used as the display symbol of the detection information.

請求項６の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記検知情報の表示シンボルとして、前記検知情報を表す検知表示シンボルに、複数の前記検知表示シンボル間を補間する検知補間表示シンボルを加えた連続的なシンボルを用いるものである。   According to a sixth aspect of the present invention, in the vehicle vision monitoring system according to the first aspect of the present invention, as a display symbol of the detection information, a detection interpolation that interpolates between the plurality of detection display symbols to a detection display symbol representing the detection information. It uses continuous symbols plus display symbols.

請求項７の発明は、請求項１に記載の車両用視界モニタシステムにおいて、複数の前記検知情報に対し、複数の検知シンボルを複合した連続的な１個の検知表示シンボルを前記表示シンボルとして用いるものである。   According to a seventh aspect of the present invention, in the visual field monitoring system for a vehicle according to the first aspect, one continuous detection display symbol obtained by combining a plurality of detection symbols is used as the display symbol for the plurality of detection information. Is.

請求項８の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボルを用いるものである。   According to an eighth aspect of the present invention, in the vehicular field of view monitoring system according to the first aspect, a trajectory display symbol corresponding to a predicted motion trajectory line is used as the display symbol of the predicted motion trajectory range.

請求項９の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いるものである。   According to a ninth aspect of the present invention, in the visual field monitoring system for a vehicle according to the first aspect, a virtual movement prediction trajectory line arranged outside the movement prediction trajectory line by a predetermined width is used as a display symbol of the movement prediction trajectory range. The corresponding continuous virtual trajectory display symbol is used.

請求項１０の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボル、又は、進行する移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用い、さらに、その表示シンボルと、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルとを併せて、前記表示画面に前記画像を透過させて重畳して表示するものである。   According to a tenth aspect of the present invention, in the vehicular field of view monitoring system according to the first aspect, as a display symbol of the movement prediction locus range, a locus display symbol corresponding to a movement prediction locus line or a moving movement prediction locus line that progresses. A continuous virtual trajectory display symbol corresponding to a virtual movement predicted trajectory line arranged outside by a predetermined width is used, and the display symbol and a vertical direction from the road surface to a position corresponding to a predetermined distance from the vehicle In addition to a distance display symbol that stands on the screen, the image is transmitted and superimposed on the display screen.

請求項１１の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡線範囲内に、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルを、前記表示画面に前記画像を透過させて重畳して表示するものである。   The invention according to claim 11 is the vehicle field of view monitoring system according to claim 1, wherein the distance display stands in the vertical direction from the road surface at a position corresponding to a predetermined distance from the vehicle within the movement predicted trajectory line range. The symbol is displayed by superimposing the image on the display screen.

請求項１２の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボルと、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルとを用い、さらに、これらの表示シンボルと、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルとを併せて、それらのシンボル内の透過率を選択して前記表示画面に前記画像に重畳して表示するものである。   According to a twelfth aspect of the present invention, in the vehicle vision monitoring system according to the first aspect, as a display symbol of the movement prediction locus range, a locus display symbol corresponding to a movement prediction locus line and a predetermined of the movement prediction locus line. Continuous virtual trajectory display symbols corresponding to the virtual movement predicted trajectory lines arranged outside the width are used, and further, these display symbols and a vertical direction from the road surface to a position corresponding to a predetermined distance from the vehicle In addition to the distance display symbols that stand up, the transmittance within these symbols is selected and displayed on the display screen so as to be superimposed on the image.

請求項１３の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する連続的な軌跡表示シンボル、又は、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いて表示し、さらに、検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、これらのシンボルが重複する場合には、検知表示シンボルを優先して表示するものである。   According to a thirteenth aspect of the present invention, in the vehicle vision monitoring system according to the first aspect, as the display symbol of the movement prediction locus range, a continuous locus display symbol corresponding to a movement prediction locus line or the movement prediction locus. Displayed using a continuous virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line arranged on the outer side by a predetermined width of the line, and further, as a display symbol of detection information, a rectangular shape, an elliptical shape, or a circular shape The detection display symbols are displayed, and when these symbols overlap, the detection display symbols are displayed with priority.

請求項１４の発明は、請求項１に記載の車両用視界モニタシステムにおいて、前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する連続的な軌跡表示シンボル、又は、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いて表示し、さらに、検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、これらのシンボルが重複する場合には、検知表示シンボルを優先して表示するとともに、運転者にハンドル操作方向を促すハンドル操作方向表示シンボルを表示するものである。   According to a fourteenth aspect of the present invention, in the vehicle vision monitoring system according to the first aspect, as a display symbol of the movement prediction locus range, a continuous locus display symbol corresponding to a movement prediction locus line or the movement prediction locus. Displayed using a continuous virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line arranged on the outer side by a predetermined width of the line, and further, as a display symbol of detection information, a rectangular shape, an elliptical shape, or a circular shape If these symbols overlap, the detection display symbols are displayed with priority, and the steering wheel operation direction display symbols that prompt the driver to operate the steering wheel are displayed.

本発明は、複数個の障害物検知センサが検知した検知情報と車両の操舵角に対応して車両が進行する移動予測軌跡範囲の情報を、路面上から垂直方向に起立する表示シンボルに変換して車両周辺の映像に重畳して表示モニタの表示画面に表示するので、また、各障害物検知センサの検出範囲（以下、検知範囲ともいう）が、各センサの指向性によりセンサ検知領域として区分され、このようなセンサによる検知情報を変換した表示シンボルを、その位置が区分された障害物の検知範囲と検知距離に対応するシンボルにして表示するので、車両の運転者への視覚的な情報提供が立体的かつ明確に行われ、表示モニタの表示画面のどの位置の障害物が検知されていて、その障害物がどの距離に存在しているかなどについて、運転者に視覚的に瞬時に車両周辺の安全状況や危険状況を把握、理解させることができ、また、運転者は、安全のための回避行動を実行することができる。 The present invention converts detection information detected by a plurality of obstacle detection sensors and information of a predicted movement trajectory range in which the vehicle travels in accordance with the steering angle of the vehicle into display symbols that stand vertically from the road surface. And is displayed on the display screen of the display monitor so that the detection range of each obstacle detection sensor (hereinafter also referred to as the detection range) is classified as a sensor detection area according to the directivity of each sensor. Since the display symbol converted from the detection information by such a sensor is displayed as a symbol corresponding to the detection range and detection distance of the obstacle whose position is classified , visual information to the driver of the vehicle is displayed. providing is performed three-dimensionally and clear, what obstacles positions have been detected in the display screen of the display monitor, for and whether the obstacle is present in any distance, visually instantaneously to the driver Understand the safety conditions and dangerous situations around the vehicle, it is possible to understand, also, the driver, it is possible to perform the avoidance behavior for safety.

また、請求項２の発明によれば、検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを用いるので、そのシンボルの単純・明快性により、素早い視認が可能となる。   According to the second aspect of the present invention, since a detection display symbol having a square shape, an ellipse shape, or a circular shape is used as the detection information display symbol, quick recognition is possible due to the simplicity and clarity of the symbol. .

また、請求項３の発明によれば、検知情報の表示シンボルとして、内部の透過率を選択した検知表示シンボルを用いるので、シンボルを透過した車両周辺映像を視認でき、従って、センサの検知した障害物位置を映像上で容易に把握できる。   According to the invention of claim 3, since the detection display symbol with the internal transmittance selected is used as the display symbol of the detection information, the vehicle peripheral image that has transmitted the symbol can be visually recognized, and accordingly, the obstacle detected by the sensor The object position can be easily grasped on the image.

また、請求項４の発明によれば、検知情報の表示シンボルとして、内部の透過率を中央側ほど下げ、外側ほど上げた検知表示シンボルを用いるので、シンボルを透過した車両周辺映像を視認でき、また、シンボルの中央部の位置からセンサの検知した障害物位置を局所的（高精度）に容易に把握できる。   In addition, according to the invention of claim 4, as the detection information display symbol, the internal transmittance is lowered toward the center side, and the detection display symbol raised toward the outside is used. Further, the position of the obstacle detected by the sensor can be easily grasped locally (with high accuracy) from the position of the central portion of the symbol.

また、請求項５の発明によれば、検知情報の表示シンボルとして、検知情報に応じて点滅表示する検知表示シンボルを用いるので、運転者の注意喚起を確実にできる。   According to the invention of claim 5, since the detection display symbol that blinks in accordance with the detection information is used as the display symbol of the detection information, the driver's attention can be ensured.

また、請求項６の発明によれば、検知情報の表示シンボルとして、検知情報を表す複数の検知表示シンボルにそのシンボル間を補間した検知補間表示シンボルを加えた連続的なシンボルを用いるので、個別表示に比べ表示がより立体的であり障害物を一体的に認識できる。   Further, according to the invention of claim 6, since a continuous symbol obtained by adding a detection interpolation display symbol obtained by interpolating between symbols to a plurality of detection display symbols representing detection information is used as a display information display symbol. The display is more three-dimensional than the display, and obstacles can be recognized integrally.

また、請求項７の発明によれば、複数の検知シンボルを複合した連続的な１個の検知表示シンボルを表示シンボルとして用いるので、上記同様障害物を一体的に認識できる。   According to the seventh aspect of the present invention, since one continuous detection display symbol obtained by combining a plurality of detection symbols is used as a display symbol, obstacles can be integrally recognized as described above.

また、請求項８の発明によれば、移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボルを用いるので、車両周辺映像とこのシンボルにより自車の進行方向を認識でき、障害物予測等が確実となる。   Further, according to the invention of claim 8, since the trajectory display symbol corresponding to the motion predicted trajectory line is used as the display symbol of the motion predicted trajectory range, the traveling direction of the host vehicle can be recognized from the vehicle peripheral image and this symbol, Obstacle prediction will be ensured.

また、請求項９の発明によれば、移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線の外側に仮想移動予測軌跡線に対応する仮想軌跡表示シンボルを用いるので、このシンボルにより、段階的（予備的）な障害物予測ができ、また、移動予測軌跡線の予測誤差の対処ができる。   According to the invention of claim 9, since the virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line is used outside the movement predicted trajectory line as the display symbol of the movement predicted trajectory range, Preliminary obstacle prediction can be performed, and the prediction error of the movement prediction trajectory line can be dealt with.

また、請求項１０の発明によれば、移動予測軌跡線に対応する軌跡表示シンボル、又は、仮想移動予測軌跡線に対応する仮想軌跡表示シンボルと自車から所定の距離に位置する路面から起立する距離表示シンボルとを車両周辺画像を透過させて表示するので、立体的な表示により車両からの距離を把握し易くなる。   According to the tenth aspect of the present invention, a trajectory display symbol corresponding to the movement predicted trajectory line or a virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line and a road surface located at a predetermined distance from the own vehicle are raised. Since the distance display symbol is displayed through the vehicle periphery image, the distance from the vehicle can be easily grasped by the three-dimensional display.

また、請求項１１の発明によれば、自車から所定の距離に位置する路面から起立する距離表示シンボルを、車両周辺画像を透過させて表示するので、透過した周辺画像情報ともに立体的な表示により、車両からの距離を把握し易くなる。   According to the eleventh aspect of the present invention, since the distance display symbol standing from the road surface located at a predetermined distance from the own vehicle is displayed through the vehicle peripheral image, the transmitted peripheral image information is displayed in a stereoscopic manner. This makes it easier to grasp the distance from the vehicle.

また、請求項１２の発明によれば、移動予測軌跡線に対応する軌跡表示シンボルと、仮想移動予測軌跡線に対応する仮想軌跡表示シンボルと、自車から所定の距離に位置する路面から起立する距離表示シンボルとを、各シンボル内の透過率を選択して車両周辺画像上に表示するので、各表示シンボルの重要度に応じて透過率の順位付けを行うことができ、効果的な視認性が得られる。   According to the twelfth aspect of the present invention, a trajectory display symbol corresponding to the movement predicted trajectory line, a virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line, and a road surface located at a predetermined distance from the own vehicle are raised. Since the distance display symbols are displayed on the vehicle peripheral image by selecting the transmittance within each symbol, the transmittance can be ranked according to the importance of each display symbol, and effective visibility Is obtained.

また、請求項１３の発明によれば、移動予測軌跡線に対応する軌跡表示シンボル、又は、仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボル、さらに、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、その際、検知表示シンボルを優先して表示するので、障害物回避行動の必要性を優先的に認識できる。   According to the invention of claim 13, a trajectory display symbol corresponding to the movement predicted trajectory line, or a continuous virtual trajectory display symbol corresponding to the virtual movement predicted trajectory line, and further, a quadrangular shape, an elliptical shape, or a circle Since the shape detection display symbol is displayed and the detection display symbol is displayed with priority, the necessity of the obstacle avoidance action can be recognized with priority.

また、請求項１４の発明によれば、移動予測軌跡線に対応する軌跡表示シンボル、又は、仮想移動予測軌跡線に対応する仮想軌跡表示シンボル、さらに、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、その際、検知表示シンボルを優先するとともに、ハンドル操作方向を促すハンドル操作方向表示シンボルを表示するので、運転者は、ハンドル操作方向表示シンボルの画面上への出現により障害物回避動作の必要性を直ちに認識して、回避動作を行うことができる。   According to the fourteenth aspect of the present invention, the locus display symbol corresponding to the movement prediction locus line, the virtual locus display symbol corresponding to the virtual movement prediction locus line, and the detection of the quadrangular, elliptical, or circular shape. A display symbol is displayed. At this time, the detection display symbol is given priority, and a steering wheel operation direction display symbol for prompting the steering wheel operation direction is displayed. Therefore, the driver can obstruct the obstacle by the appearance of the steering wheel operation direction display symbol on the screen. It is possible to immediately recognize the necessity of the avoidance operation and perform the avoidance operation.

以下、本発明の一実施形態に係る車両用視界モニタシステムについて、図面を参照して説明する。図１は本発明のシステム構成を示す。車両用視界モニタシステム１は、車両に搭載して用いられ、これを車載した車両の運転手に、自車両周辺の画像情報（視界情報）、障害物検知情報、及び自車の走行状態情報を視覚的及び聴覚的に提示し、運転手の車両運転を支援する。車両用視界モニタシステム１は、情報処理、周辺回路のコントロールを行う制御部１０を有している。すなわち、制御部１０は、送受信回路１１を介して障害物検知センサ１２からの検知情報の信号取得、及び障害物検知センサ１２の制御を行う。また、制御部１０は、操舵角や、走行速度などの車両状態信号を車両信号部１３から取得する。さらに、制御部１０は、映像コントロール回路１５を介して、車両周辺を撮像するカメラ１４から車両周辺画像情報を取得する。   DESCRIPTION OF EMBODIMENTS Hereinafter, a vehicle visibility monitor system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the system configuration of the present invention. The vehicle visibility monitor system 1 is used by being mounted on a vehicle, and the driver of the vehicle on which the vehicle visibility monitor system 1 is provided with image information (view information) around the host vehicle, obstacle detection information, and driving state information of the host vehicle. It is presented visually and audibly to assist the driver in driving the vehicle. The vehicle visibility monitor system 1 includes a control unit 10 that performs information processing and control of peripheral circuits. That is, the control unit 10 acquires a signal of detection information from the obstacle detection sensor 12 and controls the obstacle detection sensor 12 via the transmission / reception circuit 11. In addition, the control unit 10 acquires a vehicle state signal such as a steering angle and a traveling speed from the vehicle signal unit 13. Further, the control unit 10 acquires vehicle periphery image information from the camera 14 that images the vehicle periphery via the video control circuit 15.

制御部１０は、上述の取得信号を運転手に視覚的に把握し易いシンボルに変換処理して、映像コントロール回路１５を介して、画像とともに表示モニタ１６の表示画面に表示する。また、制御部１０は、複数個のセンサ１２のうち、どの部位のセンサが検知したかを判別し、その情報を音声出力回路１７を介してスピーカ１８により音声で報知出力する。   The control unit 10 converts the acquired signal into a symbol that can be easily grasped visually by the driver, and displays the acquired signal together with the image on the display screen of the display monitor 16 via the video control circuit 15. Further, the control unit 10 determines which part of the plurality of sensors 12 has been detected, and outputs the information by voice through the speaker 18 via the voice output circuit 17.

次に、障害物検知センサ１２及びカメラ１４について説明する。図２（ａ）（ｂ）は障害物検知センサ１２とカメラ１４の車両への装着状況を示す。図３は障害物検知センサ１２とカメラ１４が前方を走行する車両を捉えた状況を示す。３個の車両用障害物検知センサ１２ａ，１２ｂ，１２ｃが、車両２の前方バンパ２１に装着されている。また、カメラ１４は、バンパ２１よりも高い位置に装着されている。障害物検知センサ１２は、例えば、超音波を用いるセンサ（超音波検知器）である。超音波検知器は、超音波を利用してセンシングを行うものであり、超音波パルス信号を、間欠的に送信し、周辺に存在する障害物からの反射波を受信することで、物体までの距離及び位置を検知するものである。超音波検知器は検知範囲が限定できることや距離が測定できるという特徴から、従来より車載用障害物検知器などに用いられている。図２（ａ）に示すように、各障害物検知センサ１２ａ〜１２ｃの検出範囲は、センサの指向性により、センサ検知領域４１ａ〜４１ｃのように区分される。   Next, the obstacle detection sensor 12 and the camera 14 will be described. 2A and 2B show how the obstacle detection sensor 12 and the camera 14 are mounted on the vehicle. FIG. 3 shows a situation in which the obstacle detection sensor 12 and the camera 14 capture a vehicle traveling in front. Three vehicle obstacle detection sensors 12 a, 12 b and 12 c are mounted on the front bumper 21 of the vehicle 2. The camera 14 is mounted at a position higher than the bumper 21. The obstacle detection sensor 12 is, for example, a sensor (ultrasonic detector) that uses ultrasonic waves. The ultrasonic detector performs sensing using ultrasonic waves, intermittently transmits ultrasonic pulse signals, and receives reflected waves from obstacles existing in the vicinity. The distance and position are detected. Ultrasonic detectors have been conventionally used for in-vehicle obstacle detectors because of the feature that the detection range can be limited and the distance can be measured. As shown in FIG. 2A, the detection ranges of the obstacle detection sensors 12a to 12c are divided into sensor detection areas 41a to 41c according to the directivity of the sensors.

また、カメラの上下方向の視界αは、図２（ｂ）に示すように、カメラ１４の略水平高さ位置延長線と走行路面２５の間の車両２の直近進行方向前方である。カメラ１４で撮像された映像信号は、センサ検知情報が重畳されて、ＴＶモニタなどの表示画面に合成画像として出力され、車両運転手に提示される。   Further, the vertical field of view α of the camera is the front in the latest traveling direction of the vehicle 2 between the substantially horizontal height position extension line of the camera 14 and the traveling road surface 25 as shown in FIG. The video signal captured by the camera 14 is superimposed with sensor detection information, output as a composite image on a display screen such as a TV monitor, and presented to the vehicle driver.

また、車両の操舵角及び走行速度（走行状態情報）から求められる、車両が進行する移動予測軌跡線が、路面位置から垂直方向に起立して見えるように、複数個の立体的な軌跡表示シンボル、例えば面や囲み線などによって表示される。また、本システムは、車両の操舵角に応じて車両が進行する移動予測軌跡線範囲内に、自車両からの距離に対応して路面上から垂直方向に起立する複数個の立体的な距離表示シンボル（面、囲み線など）を表示して、どの障害物検知センサが表示モニタの表示画面内のどの位置の障害物を検知していて、その障害物がどの距離に存在しているかなどについて、運転者が視覚的に、瞬時に車両周辺の安全状況を把握、理解しやすいシステムを提供するものである。 In addition, a plurality of three-dimensional trajectory display symbols are obtained so that the movement predicted trajectory line, which is obtained from the vehicle steering angle and the traveling speed (traveling state information) , appears to stand upright from the road surface position. For example, it is displayed by a surface or a surrounding line. In addition, the system displays a plurality of three-dimensional distance displays that stand in the vertical direction on the road surface in accordance with the distance from the host vehicle within the range of the predicted trajectory line in which the vehicle travels according to the steering angle of the vehicle. Displaying symbols (surfaces, encircling lines, etc.), which obstacle detection sensor detects which position on the display screen of the display monitor, and at which distance the obstacle exists It provides a system that allows the driver to visually grasp and understand the safety situation around the vehicle instantly.

通常、走行する車両の進行方向の路面上に存在する物体は、全て障害物である。そこで、車両前方の障害物が車両前方の障害物検知センサで検出される。障害物の位置は、図３に示されるように、自車から、例えば先行する車両２２の後尾までの距離ｄが障害物検知センサ１２によって測定される。また、表示画面上の位置は、カメラ１４の路面からの高さｈと前述の距離ｄ（図中の矢印Ｄの路面への射影距離）との関係から求められる。 Normally, all objects present on the road surface in the traveling direction of a traveling vehicle are all obstacles. Therefore, an obstacle in front of the vehicle is detected by an obstacle detection sensor in front of the vehicle. As for the position of the obstacle, as shown in FIG. 3, a distance d from the own vehicle to the rear of the preceding vehicle 22 is measured by the obstacle detection sensor 12. The position on the display screen is obtained from the relationship between the height h of the camera 14 from the road surface and the above-mentioned distance d (projection distance of the arrow D in the figure to the road surface).

次に、障害物検知センサ１２の検知情報の表示について説明する。図４，図５は走行方向前方に他車両を障害物として検知した場合の表示モニタ１６の表示画面８を示す。障害物検知センサ１２が検知した検知情報は、路面上から垂直方向に起立する表示シンボルに変換され、そのシンボルと車両周辺画像とが重畳して表示モニタの表示画面に表示される。検知情報の表示シンボルとして、面や囲み線などからなる、四角形状、楕円形状、又は円形状の検知表示シンボルが用いられる。図４において、周辺画像として、前方を走行又は前方に停止している車両２２，２３が撮像されて、表示画面８上に表示されている。   Next, display of detection information of the obstacle detection sensor 12 will be described. 4 and 5 show the display screen 8 of the display monitor 16 when another vehicle is detected as an obstacle ahead of the traveling direction. The detection information detected by the obstacle detection sensor 12 is converted into a display symbol that stands vertically from the road surface, and the symbol and the vehicle peripheral image are superimposed and displayed on the display screen of the display monitor. As a display symbol of detection information, a quadrangular, elliptical, or circular detection display symbol composed of a surface or a surrounding line is used. In FIG. 4, the vehicles 22 and 23 traveling in front or stopped in front are captured as peripheral images and displayed on the display screen 8.

また、この表示画面８には、前述の３個の障害物検知センサ１２ａ，１２ｂ，１２ｃに対応して、その検知条件がシンボルとして表示されている。すなわち、検知範囲情報シンボル４３〜４６によって、各センサの検知領域が区分して表示される。また、検知距離情報シンボル４７，４８によって、検知距離の目安が所定の間隔で、見やすく表示されている。これらのシンボルは、路面や周辺画像に重畳されて表示されている。   The display screen 8 displays the detection conditions as symbols corresponding to the three obstacle detection sensors 12a, 12b, and 12c described above. That is, the detection area of each sensor is displayed by being divided by the detection range information symbols 43 to 46. In addition, the detection distance information symbols 47 and 48 display an indication of the detection distance at a predetermined interval for easy viewing. These symbols are displayed superimposed on the road surface and surrounding images.

前述の車両２２，２３は、自車にとって障害物であり、障害物検知センサによって検知される。そして、その検知情報は、図４の表示画面８に示されるように、四角の検知表示シンボル３１，３２によって表示されている。検知表示シンボル３１，３２は、障害物の広がり（検知範囲）、と位置（検知距離）を表しており、表示画像上で対応する路面位置から垂直方向に起立して見えるように表示されている。例えば、車両２２が障害物として検知され、その検知範囲が検知範囲情報シンボル４３と４４の間であり、その位置が検知距離情報シンボル４８の位置であるので、これらの検知範囲と検知距離に対応する画面上に検知シンボル３１が表示される。その高さは、例えば、検知距離に基づいて遠くでは低く、近くでは高く設定される。   The vehicles 22 and 23 described above are obstacles to the own vehicle, and are detected by an obstacle detection sensor. The detection information is displayed by square detection display symbols 31 and 32 as shown in the display screen 8 of FIG. The detection display symbols 31 and 32 represent the spread (detection range) and position (detection distance) of the obstacle, and are displayed so as to stand upright in the vertical direction from the corresponding road surface position on the display image. . For example, since the vehicle 22 is detected as an obstacle, its detection range is between the detection range information symbols 43 and 44, and its position is the position of the detection distance information symbol 48, it corresponds to these detection ranges and detection distances. A detection symbol 31 is displayed on the screen. For example, the height is set to be low in the distance and high in the vicinity based on the detection distance.

また、検知表示シンボルの形状は、図５に示されるように、円形の検知表示シンボルを用いることもできる。使用するセンサの種類や検知エリア形状に適した形状のシンボルを選択すればよい。図４、図５に示したような障害物検知情報の表示の結果、車両の運転者は、表示モニタの表示画面内のどの位置の障害物が検知されていて、その障害物がどの距離に存在しているかなどについて、視覚的に瞬時に把握でき、車両周辺の安全／危険状況を理解して走行運転をすることができる。   Further, as the shape of the detection display symbol, a circular detection display symbol can be used as shown in FIG. What is necessary is just to select the symbol of the shape suitable for the kind of sensor to be used, or a detection area shape. As a result of the display of the obstacle detection information as shown in FIG. 4 and FIG. 5, the driver of the vehicle has detected the position of the obstacle on the display screen of the display monitor, and at what distance the obstacle has been detected. Whether it exists or not can be visually grasped instantaneously, and the vehicle can be driven while understanding the safety / dangerous situation around the vehicle.

次に、検知表示シンボルの他の例を説明する。図６、図７は検知表示シンボルの他の例を示す。これらの図に示される検知シンボル３４，３５は、表示シンボル内の透過率を選択して画像情報上に重ねて透過した画像を表示するものであり、表示シンボル内の透過率を、表示シンボル中央側ほど透過率を下げ、外側ほど透過率を上げて、段階的、又は連続的に透過率が変化するようにグラジュエーション処理を施したものである。一般に、障害物検知センサには、超音波センサや電波式センサが用いられるが、このようなセンサは、検知領域の内部における障害物の位置を詳細に限定することが困難であり、また、検知する対象障害物からの反射強度によってその検知領域の広がりが変化する。 Next, another example of the detection display symbol will be described. 6 and 7 show other examples of detection display symbols. The detection symbols 34 and 35 shown in these figures select the transmittance in the display symbol and display an image that has been transmitted over the image information, and the transmittance in the display symbol is displayed at the center of the display symbol. The transmittance is lowered toward the side, the transmittance is increased toward the outside, and a gradation process is performed so that the transmittance changes stepwise or continuously. In general, an ultrasonic sensor or a radio wave sensor is used as the obstacle detection sensor. However, it is difficult to limit the position of the obstacle in the detection area in detail. The extent of the detection area varies depending on the reflection intensity from the target obstacle.

また、一般に、センサ指向性に基づいてセンサ正面中央で反射強度が高い分布を有するので、前出の図２（ａ）に示すように、各障害物検知センサ１２ａ〜１２ｃの検出範囲は、センサ検知領域４１ａ〜４１ｃのように区分される。そこで、上述のグラジュエーション処理を施した表示シンボルによる表示は、どのセンサが障害物を検知したかということを示し、障害物の存在位置と、表示モニタの表示画面内のシンボル表示位置との整合性が良い。 In general, since the distribution of the reflection intensity is high at the center of the front of the sensor based on the sensor directivity, the detection ranges of the obstacle detection sensors 12a to 12c are as shown in FIG. The detection areas 41a to 41c are divided. Therefore, the display by the display symbol subjected to the above-described gradation processing indicates which sensor has detected the obstacle, and the position of the obstacle and the symbol display position in the display screen of the display monitor are displayed. Good consistency.

また、このような検知表示シンボル３４，３５、及び前出の図４，図５に示した検知シンボル３１〜３３のように、表示モニタの表示画面内に面や囲み線などで検知情報（検知範囲、検知距離）を運転手に提示する場合、複数個の障害物検知センサが検知した各検知シンボルを危険度に応じて表示状態を変化させ、例えば点滅させて表示することにより支援効果が上げられる。   Further, like the detection display symbols 34 and 35 and the detection symbols 31 to 33 shown in FIGS. 4 and 5, the detection information (detection) is displayed on the display screen of the display monitor. (Range, detection distance) when presenting to the driver, the display effect of each detected symbol detected by a plurality of obstacle detection sensors is changed according to the degree of danger, for example, blinking to display the support effect. It is done.

次に、複数個の検知表示シンボルの処置について２例を説明する。図８、図９はそれぞれ隣り合う２個のセンサによる障害物検知状態を示す。つまり、前出の図２（ａ）に示したように、車両用視界モニタシステムは、例えば、障害物検知センサを３つ備えており、左の障害物検知センサ１２ａと中央の障害物検知センサ１２ｂが、前方において左カーブ走行中の車両の後部を、それぞれの検出範囲内で障害物として検知している。この状態で、前方の車両は、自車両に対して左側に傾いており、従って、前方車両までの距離は、相対的に左側で近く中央で遠くなっている。そして、左の障害物検知センサ１２ａは、相対的に障害物を近くに検知し、中央の障害物検知センサ１２ｂは障害物を遠くに検知している。このように検知距離の異なる２個の検知表示シンボルを、より効果的に表示する２つの方法のうち、１つは、図８に示すように、隣り合う２個のセンサによる検知シンボル３６，３７に対して、両表示シンボル間を補間する検知補間表示シンボル３８を設けて、全体として連続的な検知表示シンボルを形成し、カメラによる画像上に表示するものである。 Next, two examples of treatment of a plurality of detection display symbols will be described. 8 and 9 show an obstacle detection state by two adjacent sensors. That is, as shown in FIG. 2A, the vehicular field-of-view monitor system includes, for example, three obstacle detection sensors, the left obstacle detection sensor 12a and the central obstacle detection sensor. 12b detects the rear part of the vehicle traveling on the left curve ahead as an obstacle within each detection range. In this state, the vehicle ahead is tilted to the left with respect to the host vehicle, and therefore the distance to the vehicle ahead is relatively closer to the left and farther from the center. The left obstacle detection sensor 12a relatively detects the obstacle, and the central obstacle detection sensor 12b detects the obstacle far. Of the two methods for more effectively displaying the two detection display symbols having different detection distances as described above, one is detection symbols 36 and 37 by two adjacent sensors as shown in FIG. On the other hand, a detection interpolation display symbol 38 for interpolating between both display symbols is provided to form a continuous detection display symbol as a whole and displayed on the image by the camera.

他の１つは、図９に示すように、２このセンサの検知情報を連続的な１個の検知表示シンボル３９として、カメラによる画像上に表示するものである。   The other one, as shown in FIG. 9, displays the detection information of the two sensors as one continuous detection display symbol 39 on the image by the camera.

上述のような複数の検知情報に対する検知シンボル表示方法は、両方とも複数個の障害物検知センサが検知した検知情報を、個々に表示するよりも立体的にかつ一体的に表示でき、運転者への注意喚起に有効である。   The detection symbol display method for a plurality of detection information as described above can both display the detection information detected by the plurality of obstacle detection sensors in a three-dimensional and integrated manner, rather than displaying them individually. It is effective for alerting.

次に、自車の走行状態情報に係る表示について説明する。図１０、図１１は移動予測軌跡線と仮想移動予測軌跡線の例を示す。図１０において、車両の操舵角及び走行速度に応じて自車両が進行する移動予測軌跡線５１、５２が算出され、その移動予測軌跡線５１、５２に沿って、路面上から垂直方向に起立する立体的な面、囲み線などによる軌跡表示シンボル５３、５４が画像上に表示される。軌跡表示シンボル５３，５４を表示した時点での移動予測軌跡範囲５０が、その軌跡表示シンボル５３，５４の内部として表示される。   Next, the display concerning the traveling state information of the own vehicle will be described. 10 and 11 show examples of the movement prediction trajectory line and the virtual movement prediction trajectory line. In FIG. 10, movement predicted trajectory lines 51 and 52 on which the host vehicle travels are calculated according to the steering angle and traveling speed of the vehicle, and rises vertically from the road surface along the predicted movement trajectory lines 51 and 52. Trajectory display symbols 53 and 54 such as a three-dimensional surface and a surrounding line are displayed on the image. The movement predicted trajectory range 50 at the time when the trajectory display symbols 53 and 54 are displayed is displayed as the inside of the trajectory display symbols 53 and 54.

このように、移動予測軌跡範囲５０が立体的に表示されるため、進行可能範囲を把握し易すくなる。また、図１１において、車両の操舵角及び走行速度に応じて自車両が進行する移動予測軌跡線５１，５２から所定の幅ａだけ外側に配置される仮想移動予測軌跡線６１，６２が算出され、この軌跡線に沿って、路面上から垂直方向に起立する立体的な面、囲み線などによる仮想軌跡表示シンボル６３，６４が、画像上に表示される。移動予測軌跡範囲５０に余裕幅を考慮した仮想進行範囲を立体的に表示することができる。   Thus, since the movement prediction locus range 50 is displayed in three dimensions, it becomes easy to grasp the advanceable range. Further, in FIG. 11, virtual movement predicted trajectory lines 61 and 62 arranged outside a predetermined width a are calculated from movement predicted trajectory lines 51 and 52 in which the host vehicle travels according to the steering angle and traveling speed of the vehicle. The virtual trajectory display symbols 63 and 64 are displayed on the image along the trajectory line, such as a three-dimensional surface standing upright from the road surface, a surrounding line, and the like. The virtual travel range in consideration of the margin width can be displayed in the movement predicted trajectory range 50 in a three-dimensional manner.

次に、距離表示シンボルについて説明する。図１２は距離表示シンボルの例を示している。車両が進行する移動予測軌跡範囲５０に、自車両からの所定の距離に対応して路面上から垂直方向に起立する複数個の立体的な面、囲み線などによる距離表示シンボル５５が、画像上に表示される。このような路面上に立体的に表示した距離表示シンボルによって、移動予測軌跡範囲５０における自車両から障害物等までの距離を把握し易くなる。   Next, the distance display symbol will be described. FIG. 12 shows an example of the distance display symbol. In the movement predicted trajectory range 50 where the vehicle travels, a distance display symbol 55 made up of a plurality of three-dimensional surfaces, encircling lines and the like standing upright from the road surface corresponding to a predetermined distance from the host vehicle is displayed on the image. Is displayed. Such a distance display symbol displayed three-dimensionally on the road surface makes it easy to grasp the distance from the vehicle to the obstacle in the movement predicted trajectory range 50.

次に、各種表示シンボルを複合する場合の処理を説明する。図１３は軌跡表示シンボルと検知表示シンボルの複合例を示す。路面から垂直方向に起立する連続的に立体的な軌跡表示シンボル５３上に、検知表示シンボル３０が重複する場合、検知表示シンボル３０を優先して表示している。このような表示シンボルの表示方法によると、軌跡表示シンボル５３，５４（又は仮想軌跡表示シンボル）によって移動予測軌跡範囲５０を立体的に囲った空間内に、障害物が突出して検知された場合、その障害物の存在及び位置が立体的、視覚的に表示されるので、運転者にとって障害物の把握が容易となる。   Next, processing when various display symbols are combined will be described. FIG. 13 shows a composite example of a trajectory display symbol and a detection display symbol. When the detection display symbol 30 overlaps on the continuous three-dimensional trajectory display symbol 53 that stands in the vertical direction from the road surface, the detection display symbol 30 is preferentially displayed. According to such a display symbol display method, when an obstacle protrudes and is detected in a space three-dimensionally surrounding the movement predicted trajectory range 50 by the trajectory display symbols 53 and 54 (or virtual trajectory display symbols), Since the presence and position of the obstacle are displayed three-dimensionally and visually, the driver can easily grasp the obstacle.

次に、運転者への操作判断支援について説明する。図１４は障害物回避動作の支援の例を示す。軌跡表示シンボル５３，５４（又は仮想軌跡表示シンボル）上に、検知表示シンボル３０が重複する場合、その検知表示シンボル３０を優先して表示するとともに、運転者にハンドル操作方向を促すハンドル操作方向表示シンボル７２を表示する。検知表示シンボル３０は障害物を表しており、移動予測軌跡範囲５０に存在すれば、自車と障害物が衝突するので、ハンドル操作によってこれを回避する必要がある。そこで、車両用視界モニタシステムは、画面表示の時点で、検知表示シンボル３０を点Ｐでかすめる新たな軌跡表示シンボル７０が表示されるように、矢印７１に示す方向へのハンドル操作をハンドル操作方向表示シンボル７２を表示して促す。運転者は、ハンドル操作方向表示シンボル７２の画面上への出現により障害物回避動作の必要性を直ちに認識して、その回避を行うことができる。   Next, operation determination support for the driver will be described. FIG. 14 shows an example of support for obstacle avoidance operation. When the detection display symbol 30 overlaps the trajectory display symbols 53 and 54 (or virtual trajectory display symbol), the detection display symbol 30 is displayed with priority, and the steering wheel operation direction is displayed to prompt the driver to operate the steering wheel. The symbol 72 is displayed. The detection display symbol 30 represents an obstacle. If the detection display symbol 30 exists in the movement predicted locus range 50, the own vehicle and the obstacle collide with each other, and it is necessary to avoid this by operating the steering wheel. Therefore, the vehicle visibility monitor system changes the handle operation in the direction indicated by the arrow 71 so that a new trajectory display symbol 70 for fading the detection display symbol 30 at the point P is displayed at the time of screen display. Display symbol 72 is displayed and prompted. The driver can immediately recognize the necessity of the obstacle avoiding operation by the appearance of the steering wheel operation direction display symbol 72 on the screen, and can perform the avoidance.

なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、各種の表示シンボルの表示方法として、表示シンボルの種別によって表示色を固定し、又は変化させることができる。上記実施形態の説明において、障害物検知センサは、自車両の前方に３個の例を示したが、これに限らず、車両後方、側方等に任意の種類の任意の数のセンサを備えて用いることができる。また、カメラ及び表示される画像も、前方だけに限らず後方や側方にカメラを設けて、それらの画像を表示することができる。また、個々の表示シンボルについて、それぞれ、又は各表示シンボルの種別について、シンボルの透過率を調整して、周辺画像情報を透過させ、又は、互いのシンボル間で透過順位を調整して、より視認性を上げるようにしてもよい。   The present invention is not limited to the above-described configuration, and various modifications can be made. For example, as a display method of various display symbols, the display color can be fixed or changed depending on the type of display symbol. In the description of the above embodiment, three examples of obstacle detection sensors are shown in front of the host vehicle. Can be used. Further, the camera and the displayed image are not limited to the front side, and a camera can be provided on the rear side or the side to display these images. In addition, for each display symbol or for each display symbol type, the symbol transmittance is adjusted to transmit the peripheral image information, or the transparency ranking is adjusted between the symbols to make the display more visible. You may make it raise.

本発明の一実施形態に係る車両用視界モニタシステムの、ブロック構成図。1 is a block configuration diagram of a vehicle vision monitor system according to an embodiment of the present invention. （ａ）は同上車両用視界モニタシステムにおけるカメラ及び障害物検知センサを説明する車両の平面図、（ｂ）は同側面図。(A) is a top view of the vehicle explaining the camera and obstacle detection sensor in a vehicle vision monitoring system same as the above, (b) is the side view. 同上車両用視界モニタシステムにおけるカメラ及び障害物検知センサの撮像と車両検知の状況を説明する車両側面図。The vehicle side view explaining the situation of the imaging of a camera and an obstacle detection sensor, and a vehicle detection in a vehicle vision monitoring system same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面の図。The figure of the display screen of the display monitor of a visual field monitor system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面の他の図。The other figure of the display screen of the display monitor of the visual field monitor system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 同上車両用視界モニタシステムの表示モニタの表示画面のさらに他の図。The further another figure of the display screen of the display monitor of a visual field monitoring system for vehicles same as the above. 従来の視界モニタシステムの例を示す表示画面。The display screen which shows the example of the conventional visual field monitor system. 従来の視界モニタシステムの例を示す表示画面。The display screen which shows the example of the conventional visual field monitor system. （ａ）〜（ｂ）は従来の視界モニタシステムの例を示す表示画面。(A)-(b) is a display screen which shows the example of the conventional visual field monitor system.

符号の説明Explanation of symbols

１ 車両用視界モニタシステム
２ 車両
４，４ａ，４ｂ，４ｃ，１２ 障害物検知センサ
６，１４ カメラ
８ 表示画面
１６ 表示モニタ
２５ 路面
３１〜３７，３９ 検知表示シンボル
３８ 検知補間表示シンボル
５０ 移動予測軌跡範囲
５３，５４ 軌跡表示シンボル
５５ 距離表示シンボル
６３，６４ 仮想軌跡表示シンボル
７２ ハンドル操作方向表示シンボル DESCRIPTION OF SYMBOLS 1 Vehicle visibility monitor system 2 Vehicle 4, 4a, 4b, 4c, 12 Obstacle detection sensor 6, 14 Camera 8 Display screen 16 Display monitor 25 Road surface 31-37, 39 Detection display symbol 38 Detection interpolation display symbol 50 Movement prediction locus Range 53, 54 Trajectory display symbol 55 Distance display symbol 63, 64 Virtual trajectory display symbol 72 Handle operation direction display symbol

Claims (14)

車両周辺を撮像する車両に装着されたカメラにより撮像された画像と、前記車両に装着された複数の障害物検知センサの検知情報とを、前記車両周辺の状況を監視するため表示モニタの表示画面に表示する当該車両に装着された車両用視界モニタシステムにおいて、
前記複数の障害物検知センサの検出範囲は、各センサの指向性によりセンサ検知領域として区分され、
前記障害物検知センサが障害物を検知した検知情報と、前記車両の操舵角に対応して当該車両が進行する移動予測軌跡範囲の情報とを、路面上から垂直方向に起立する表示シンボルに変換して、このシンボルと前記撮像された画像とを重畳して前記表示モニタの表示画面に表示し、
前記検知情報を変換した表示シンボルは、その位置が障害物の検知距離に対応する画面上であって前記各センサ検知領域を区分する検知範囲情報シンボルの間に表示されることを特徴とする車両用視界モニタシステム。 A captured image Ri by the camera mounted on the vehicle for imaging a peripheral vehicle, and detection information of a plurality of obstacle detection sensor mounted on the vehicle, the display monitor for monitoring the situation around the vehicle in view monitoring system for a vehicle mounted on the vehicle to be displayed on the display screen,
The detection range of the plurality of obstacle detection sensors is classified as a sensor detection area according to the directivity of each sensor,
Converting the detection information the obstacle detection sensor detects an obstacle, and information of the movement prediction path range to which the vehicle corresponding to the steering angle of the vehicle progresses, a display symbol standing perpendicularly from the road surface Then, this symbol and the captured image are superimposed and displayed on the display screen of the display monitor ,
Display symbols converting the sensing information, the vehicle whose position is characterized Rukoto appears between the detection range information symbols for distinguishing the respective sensor detection area A on the screen corresponding to the detection distance of the obstacle Visibility monitor system. 前記検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicle field-of-view monitor system according to claim 1, wherein a detection display symbol having a square shape, an elliptical shape, or a circular shape is used as a display symbol for the detection information. 前記検知情報の表示シンボルとして、内部の透過率を選択した検知表示シンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicle vision monitoring system according to claim 1, wherein a detection display symbol in which an internal transmittance is selected is used as a display symbol of the detection information. 前記検知情報の表示シンボルとして、内部の透過率を選択した検知表示シンボルを用い、その検知表示シンボル内の透過率は、表示シンボル中央側ほど透過率を下げ、外側ほど透過率を上げて、段階的又は連続的に透過率が異なるグラジュエーションを施して表示する請求項１に記載の車両用視界モニタシステム。   As a display symbol of the detection information, a detection display symbol in which an internal transmittance is selected is used, and the transmittance in the detection display symbol is such that the transmittance is lowered toward the center of the display symbol and the transmittance is increased toward the outside. The vehicle vision monitoring system according to claim 1, wherein the display is subjected to gradation with different transmittances continuously or continuously. 前記検知情報の表示シンボルとして、前記検知情報に応じて点滅表示する検知表示シンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicle vision monitoring system according to claim 1, wherein a detection display symbol that blinks in accordance with the detection information is used as the display symbol of the detection information. 前記検知情報の表示シンボルとして、前記検知情報を表す検知表示シンボルに、複数の前記検知表示シンボル間を補間する検知補間表示シンボルを加えた連続的なシンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicle field of view according to claim 1, wherein a continuous symbol obtained by adding a detection interpolation display symbol for interpolating between the plurality of detection display symbols to the detection display symbol representing the detection information is used as the detection information display symbol. Monitor system. 複数の前記検知情報に対し、複数の検知シンボルを複合した連続的な１個の検知表示シンボルを前記表示シンボルとして用いる請求項１に記載の車両用視界モニタシステム。   The vehicular visibility monitor system according to claim 1, wherein a single continuous detection display symbol obtained by combining a plurality of detection symbols is used as the display symbol for the plurality of detection information. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicular visibility monitor system according to claim 1, wherein a trajectory display symbol corresponding to a predicted motion trajectory line is used as the display symbol of the predicted motion trajectory range. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いる請求項１に記載の車両用視界モニタシステム。   The vehicular field of view according to claim 1, wherein a continuous virtual trajectory display symbol corresponding to a virtual motion predicted trajectory line arranged outside a predetermined width of the motion predicted trajectory line is used as the display symbol of the movement predicted trajectory range. Monitor system. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボル、又は、進行する移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用い、さらに、その表示シンボルと、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルとを併せて、前記表示画面に前記画像を透過させて重畳して表示する請求項１に記載の車両用視界モニタシステム。   As the display symbol of the movement prediction trajectory range, a trajectory display symbol corresponding to the movement prediction trajectory line, or a continuous movement corresponding to a virtual movement prediction trajectory line arranged outside a predetermined width of the moving movement prediction trajectory line. A virtual trajectory display symbol is used, and the display symbol is combined with a distance display symbol that stands vertically from the road surface at a position corresponding to a predetermined distance from the vehicle, and the image is transmitted through the display screen. The vehicle vision monitoring system according to claim 1, wherein the field of view monitoring system is superimposed and displayed. 前記移動予測軌跡線範囲内に、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルを、前記表示画面に前記画像を透過させて重畳して表示する請求項１に記載の車両用視界モニタシステム。   A distance display symbol that stands in a vertical direction from a road surface at a position corresponding to a predetermined distance from the vehicle is displayed on the display screen so as to be superimposed on the display screen while the image is transmitted. The vehicle vision monitoring system according to claim 1. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する軌跡表示シンボルと、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルとを用い、さらに、これらの表示シンボルと、前記車両から所定の距離に対応する位置に路面上から垂直方向に起立する距離表示シンボルとを併せて、それらのシンボル内の透過率を選択して前記表示画面に前記画像に重畳して表示する請求項１に記載の車両用視界モニタシステム。   As the display symbol of the movement prediction locus range, a locus display symbol corresponding to the movement prediction locus line and a continuous virtual locus corresponding to a virtual movement prediction locus line arranged outside the movement prediction locus line by a predetermined width. In addition, these display symbols are combined with a distance display symbol that stands in a vertical direction from the road surface at a position corresponding to a predetermined distance from the vehicle, and the transmittance within these symbols is selected. The vehicle field-of-view monitor system according to claim 1, wherein the image is displayed on the display screen so as to be superimposed on the image. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する連続的な軌跡表示シンボル、又は、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いて表示し、さらに、検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、これらのシンボルが重複する場合には、検知表示シンボルを優先して表示する請求項１に記載の車両用視界モニタシステム。   As a display symbol of the movement prediction locus range, a continuous locus display symbol corresponding to the movement prediction locus line, or a continuous corresponding to a virtual movement prediction locus line arranged outside a predetermined width of the movement prediction locus line. A virtual virtual trajectory display symbol is displayed, and furthermore, a detection display symbol of a square shape, an ellipse shape, or a circular shape is displayed as a detection information display symbol. The vehicle vision monitoring system according to claim 1, wherein the symbol is displayed with priority. 前記移動予測軌跡範囲の表示シンボルとして、移動予測軌跡線に対応する連続的な軌跡表示シンボル、又は、前記移動予測軌跡線の所定の幅だけ外側に配置される仮想移動予測軌跡線に対応する連続的な仮想軌跡表示シンボルを用いて表示し、さらに、検知情報の表示シンボルとして、四角形状、楕円形状、又は円形状の検知表示シンボルを表示し、これらのシンボルが重複する場合には、検知表示シンボルを優先して表示するとともに、運転者にハンドル操作方向を促すハンドル操作方向表示シンボルを表示する請求項１に記載の車両用視界モニタシステム。
As a display symbol of the movement prediction locus range, a continuous locus display symbol corresponding to the movement prediction locus line, or a continuous corresponding to a virtual movement prediction locus line arranged outside a predetermined width of the movement prediction locus line. A virtual virtual trajectory display symbol is displayed, and furthermore, a detection display symbol of a square shape, an ellipse shape, or a circular shape is displayed as a detection information display symbol. The vehicle vision monitoring system according to claim 1, wherein a symbol is preferentially displayed and a steering wheel operation direction display symbol for prompting a driver to operate the steering wheel is displayed.
JP2003278283A 2003-07-23 2003-07-23 Vehicle visibility monitoring system Expired - Fee Related JP3894322B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003278283A JP3894322B2 (en) 2003-07-23 2003-07-23 Vehicle visibility monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003278283A JP3894322B2 (en) 2003-07-23 2003-07-23 Vehicle visibility monitoring system

Publications (2)

Publication Number Publication Date
JP2005045602A JP2005045602A (en) 2005-02-17
JP3894322B2 true JP3894322B2 (en) 2007-03-22

Family

ID=34264743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003278283A Expired - Fee Related JP3894322B2 (en) 2003-07-23 2003-07-23 Vehicle visibility monitoring system

Country Status (1)

Country Link
JP (1) JP3894322B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11077794B2 (en) 2019-07-16 2021-08-03 Aisin Seiki Kabushiki Kaisha Vehicle periphery display device
US11180084B2 (en) 2019-07-16 2021-11-23 Aisin Seiki Kabushiki Kaisha Vehicle periphery display device
US11620834B2 (en) 2019-09-12 2023-04-04 Aisin Corporation Periphery monitoring device

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005018408A1 (en) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Method and device for evaluating distance measuring data of a distance measuring system of a motor vehicle
JP4774849B2 (en) * 2005-07-27 2011-09-14 日産自動車株式会社 Vehicle obstacle display device
JP4769528B2 (en) * 2005-09-14 2011-09-07 富士通テン株式会社 Parking assistance device
JP4760272B2 (en) * 2005-09-30 2011-08-31 アイシン精機株式会社 Vehicle periphery monitoring device and sensor unit
JP2007137111A (en) * 2005-11-15 2007-06-07 Matsushita Electric Works Ltd Periphery monitoring device for vehicle
JP5217152B2 (en) * 2006-11-14 2013-06-19 アイシン精機株式会社 Vehicle periphery display device
JP4876938B2 (en) * 2007-01-29 2012-02-15 パナソニック株式会社 Driving support apparatus, method and program
JP5636609B2 (en) * 2008-05-08 2014-12-10 アイシン精機株式会社 Vehicle periphery display device
JP4623394B2 (en) * 2008-05-08 2011-02-02 アイシン精機株式会社 Vehicle periphery display device
JP4900372B2 (en) * 2008-12-04 2012-03-21 株式会社デンソー Vehicle periphery monitoring device
US8217773B2 (en) 2008-12-04 2012-07-10 Denso Corporation Field watch apparatus
JP4840438B2 (en) * 2008-12-04 2011-12-21 株式会社デンソー Vehicle periphery monitoring device
JP2013091331A (en) * 2010-02-26 2013-05-16 Panasonic Corp Drive assistance device
DE102011105884B4 (en) * 2011-06-28 2019-02-21 Volkswagen Aktiengesellschaft Method and device for parking a vehicle
JP2014000921A (en) * 2012-06-20 2014-01-09 Aisin Seiki Co Ltd Vehicle periphery monitoring device, vehicle periphery monitoring method and program
JP2014004930A (en) * 2012-06-25 2014-01-16 Aisin Seiki Co Ltd Parking support device, parking support method, and parking support program
GB2510167B (en) * 2013-01-28 2017-04-19 Jaguar Land Rover Ltd Vehicle path prediction and obstacle indication system and method
JP6115296B2 (en) * 2013-05-07 2017-04-19 株式会社デンソー Driving assistance device
JP2015226146A (en) * 2014-05-27 2015-12-14 学校法人関東学院 Three-dimensional monitoring device
JP2016175549A (en) * 2015-03-20 2016-10-06 株式会社デンソー Safety confirmation support device, safety confirmation support method
KR101743766B1 (en) * 2015-04-30 2017-06-15 해성옵틱스(주) Apparatus and method for preventing optical illusion of a vehicle having audio video bridging system
JP6776058B2 (en) * 2016-08-26 2020-10-28 シャープ株式会社 Autonomous driving vehicle control device, autonomous driving vehicle control system and autonomous driving vehicle control method
JP6781035B2 (en) * 2016-12-19 2020-11-04 京セラ株式会社 Imaging equipment, image processing equipment, display systems, and vehicles
WO2018105417A1 (en) * 2016-12-09 2018-06-14 京セラ株式会社 Imaging device, image processing device, display system, and vehicle
JP6762863B2 (en) * 2016-12-09 2020-09-30 京セラ株式会社 Imaging equipment, image processing equipment, display systems, and vehicles
JP7381992B2 (en) * 2019-11-12 2023-11-16 三菱自動車工業株式会社 Driving support device
JP7296490B2 (en) * 2020-09-09 2023-06-22 京セラ株式会社 Display control device and vehicle
JP7007438B2 (en) * 2020-09-09 2022-01-24 京セラ株式会社 Imaging equipment, image processing equipment, display equipment, display systems, and vehicles
JP2021007255A (en) * 2020-10-07 2021-01-21 京セラ株式会社 Imaging device, image processing apparatus, display system, and vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11077794B2 (en) 2019-07-16 2021-08-03 Aisin Seiki Kabushiki Kaisha Vehicle periphery display device
US11180084B2 (en) 2019-07-16 2021-11-23 Aisin Seiki Kabushiki Kaisha Vehicle periphery display device
US11620834B2 (en) 2019-09-12 2023-04-04 Aisin Corporation Periphery monitoring device

Also Published As

Publication number Publication date
JP2005045602A (en) 2005-02-17

Similar Documents

Publication Publication Date Title
JP3894322B2 (en) Vehicle visibility monitoring system
JP6265179B2 (en) Display device
EP1696669B1 (en) Vehicle surrounding monitoring device
EP2068189B1 (en) Head-up display device for vehicle
EP2281720B1 (en) In-vehicle image display device
US9073482B2 (en) Image display system, image processing apparatus, and image display method
JP6307895B2 (en) Vehicle periphery monitoring device
JP5962927B2 (en) Overhead image generation apparatus, overhead image generation method, and overhead image generation program
EP2541525B1 (en) Vehicle surroundings monitoring device
JP6379779B2 (en) Vehicle display device
US11321911B2 (en) Method for representing the surroundings of a vehicle
US20170228605A1 (en) Parking assistance apparatus
WO2007015446A1 (en) Device for monitoring around vehicle and method for monitoring around vehicle
JP2012527681A (en) Lane departure detection method and apparatus using vehicle periphery image
JP3941770B2 (en) Collision possibility judgment device
JP5605606B2 (en) Parking assistance device
JP7077616B2 (en) Display control device and display control method
JP2007221200A (en) Vehicle periphery monitoring system
JP3960153B2 (en) Vehicle periphery monitoring device
WO2011013813A1 (en) In-vehicle device and image processing program
JP5617396B2 (en) Driving assistance device
JP2013161440A (en) Vehicle surroundings monitoring device
KR20100021046A (en) Display device for vehicle and method for controlling the same
JP2019220019A (en) Periphery monitoring device
JP2012090087A (en) Driving assist apparatus using vehicle periphery image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061205

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3894322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees