JP5110343B2 - Driving assistance device - Google Patents

Driving assistance device Download PDF

Info

Publication number
JP5110343B2
JP5110343B2 JP2005286499A JP2005286499A JP5110343B2 JP 5110343 B2 JP5110343 B2 JP 5110343B2 JP 2005286499 A JP2005286499 A JP 2005286499A JP 2005286499 A JP2005286499 A JP 2005286499A JP 5110343 B2 JP5110343 B2 JP 5110343B2
Authority
JP
Japan
Prior art keywords
vehicle
vertical plane
line
reference vertical
monitor screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005286499A
Other languages
Japanese (ja)
Other versions
JP2007091157A (en
Inventor
健 林
一矢 渡邊
健次 三浦
準 天野
智晴 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2005286499A priority Critical patent/JP5110343B2/en
Publication of JP2007091157A publication Critical patent/JP2007091157A/en
Application granted granted Critical
Publication of JP5110343B2 publication Critical patent/JP5110343B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置に関し、特に車庫入れ駐車などの後進時の所望位置での停車を容易にする運転支援装置に関する。   The present invention relates to a driving support device that supports driving of a vehicle by displaying a captured image of a vehicle traveling direction on a monitor screen, and in particular, a driving support device that facilitates stopping at a desired position during backward movement such as garage parking. About.

車庫入れ駐車時の運転を支援するために、車体の周囲にCCDカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたモニタ画面上に車両周辺の周辺画像を鳥瞰図的に表示して運転者に周囲の状況を知らせる装置が知られている(例えば、特許文献1参照。)。この従来技術では、車両から車両周辺の障害物や目標物などの物体までの距離を正確に測定できることが前提となる。しかし、車両周辺に存在する物体はその都度によって千差万別であり、そのような物体に対する距離を測定するためには複雑な距離測定システムが要求される。しかも、得られた距離情報から鳥瞰図を生成するために要求される演算負荷も大きく、そのような運転支援装置を一般的な車両に採用することは難しい。   In order to support driving during parking in the garage, a CCD camera and a distance sensor for measuring the distance are installed around the vehicle body, the situation around the vehicle is detected, and the vehicle periphery is displayed on a monitor screen provided in the vehicle interior. There is known a device for displaying a surrounding image in a bird's eye view and notifying the driver of the surrounding situation (see, for example, Patent Document 1). This prior art assumes that the distance from the vehicle to an object such as an obstacle or target around the vehicle can be accurately measured. However, the objects present around the vehicle are different in every case, and a complicated distance measuring system is required to measure the distance to such an object. In addition, the calculation load required to generate a bird's eye view from the obtained distance information is large, and it is difficult to employ such a driving support device for a general vehicle.

また、距離測定システムを省き、駐車走行時にカメラによって取得された後方撮影画像に、ステアリングセンサによって得られたステアリング角度に基づいて求められた車両の走行予想軌跡を重ねて表示する駐車補助装置も知られている(例えば、特許文献2参照。)。この技術によれば、車両が後進時に後方路上のどの位置を通るかを走行予想軌跡で確認できるので、駐車等の運転操作がバックミラーだけに頼る運転に較べ楽になる。しかしながら、空き地や荷捌き場に車両を後進駐車させる時には、駐車走行の奥行き側に壁などの障害物や荷捌き用プラットフォームなどの路上対象物が存在することが多い。よって、車両後部に設けられているドアがそのような路上対象物との干渉なしに開放することができるかどうか、あるいは車両後部から突き出した積荷が路上対象物を乗り越えることができるかどうか、といったような車両と路上対象物との間の高さレベルを考慮した運転判断にはあまり役に立たない。
特開平7−17328号公報(段落番号0013−0016、図2) 特開2004−142741号公報(段落番号0006−0012、図13)
In addition, a parking assist device that omits the distance measurement system and displays the vehicle travel prediction trajectory obtained based on the steering angle obtained by the steering sensor on the rear shot image acquired by the camera during parking travel is displayed. (For example, see Patent Document 2). According to this technology, it is possible to check the position on the rear road when the vehicle travels backward by using the predicted traveling locus, so that the driving operation such as parking is easier than driving relying only on the rearview mirror. However, when a vehicle is parked backward in a vacant lot or a cargo handling area, there are many obstacles such as walls and road objects such as a cargo handling platform on the depth side of the parking run. Therefore, whether the door provided at the rear of the vehicle can be opened without such interference with the road object, or whether the load protruding from the rear of the vehicle can get over the road object, etc. It is not very useful for driving judgment in consideration of the height level between the vehicle and the road object.
Japanese Patent Laid-Open No. 7-17328 (paragraph numbers 0013-0016, FIG. 2) JP 2004-142741 A (paragraph number 0006-0012, FIG. 13)

上記実状に鑑み、本発明の課題は、装備的かつコスト的な負担を伴う距離測定システムを必要とせずに、車両と路上対象物との間の高さレベルを考慮した運転判断に関する有効な支援を行うことができる運転支援装置を提供することである。   In view of the above situation, the object of the present invention is to provide an effective support for driving determination in consideration of the height level between the vehicle and the object on the road without requiring a distance measuring system with equipment and cost burden. It is providing the driving assistance device which can perform.

上記課題を解決するため、本発明による、車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置では、車両に設けられている縦軸芯周りで開閉揺動するバックドアの開放により最大に後方に突出した下端部、あるいは前記車両に設けられている横軸芯周りで開閉揺動するハッチバックドアの開放により最大に後方に突出した下端部である注目部の前記車両走行方向の位置に対応した位置における車幅方向に平行な基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示するとともに、前記基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示する。 In order to solve the above-described problems, in the driving support device according to the present invention that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen, the vehicle is opened and closed around a longitudinal axis provided in the vehicle. to the lower end portion projecting up behind by opening the back door, or the target part is a lower part that projects up to the rear by the opening of the hatchback door for opening and closing swing about the horizontal axis provided on said vehicle An intersection line between a reference vertical plane parallel to the vehicle width direction at a position corresponding to the position in the vehicle traveling direction and the ground is displayed on the monitor screen as a baseline, and the ground height of the target portion on the reference vertical plane Is displayed on the monitor screen.

この構成では、例えば後進走行時に注目部として予め定義しておいた車両後部の突出部(車両から一方向に突出するた注目部の一例)の地上高さを後方周辺の撮影画像を映し出しているモニタ画面で確認できるように、車両走行方向の所定位置に立てた車幅方向に平行な基準鉛直面を考える。この基準鉛直面における注目部(突出部)の地上高さを示すラインがレベルラインとして、そして、この基準鉛直面と地面との交線がベースラインとしてモニタ画面に撮影画像に重ね合わせて表示される。例えば、撮影画像において車両の走行先に写っている何らかの対象物(路上対象物)の位置と基準鉛直面の位置が一致すると、その対象物と注目部(突出部)の高さ関係の目安がレベルラインによって示されることになる。その際、ベースラインは対象物の位置と基準鉛直面の位置を一致しているかどうかを確認する指標として用いられる。対象物が直立壁体で、注目部が車両後部から突出した積荷の後端とし、基準鉛直面を積荷の後端位置に設定すると、モニタ画面上において直立壁体の地上設置ラインとベースラインが一致するところが車両に搭載された積荷の後端が直立壁体に接触する位置となるので、その手前で車両を停止することで壁際ぎりぎりの駐車が実現する。さらに重要なことは、その時点でモニタ画面においてレベルラインが直立壁体の頂部の上に表示されているなら、この積荷が直立壁体を乗り越えながら車両がさらに後進できるという目安を得ることができる。注目部を積荷の後端ではなく、バックドアと定義すれば、運転者は直立壁体に対してバックドアが開放可能な駐車位置を容易に知ることができる。つまり、本発明による運転支援装置では、車両から一方向に突出する注目部として定義するもの及びこの注目部に対応する基準鉛直面の位置を適宜選択することで、車両と路上対象物との間の高さレベルを考慮した、後進や前進に関係なく車両走行における運転判断に関する有効な支援を行うことができる。   In this configuration, for example, a rear captured image of the height of the ground of a protruding portion of the rear portion of the vehicle (an example of the attention portion protruding in one direction from the vehicle) previously defined as the attention portion when traveling backward is displayed. Consider a reference vertical plane parallel to the vehicle width direction set at a predetermined position in the vehicle traveling direction so that it can be confirmed on the monitor screen. A line indicating the ground height of the target portion (projection) on the reference vertical plane is displayed as a level line, and an intersection line between the reference vertical plane and the ground is displayed as a base line superimposed on the monitor image. The For example, if the position of a certain object (on-road object) reflected in the travel destination of the vehicle in the photographed image matches the position of the reference vertical plane, an indication of the height relationship between the object and the target part (protruding part) is obtained. It will be indicated by the level line. At that time, the baseline is used as an index for confirming whether the position of the object matches the position of the reference vertical plane. When the object is an upright wall, the target part is the rear end of the load protruding from the rear of the vehicle, and the reference vertical plane is set to the rear end position of the load, the ground installation line and the base line of the upright wall are displayed on the monitor screen. Since the rear end of the load loaded on the vehicle comes into contact with the upright wall body, the vehicle is stopped in front of the vehicle so that parking at the edge of the wall is realized. More importantly, if the level line is displayed on the top of the upright wall on the monitor screen at that time, you can get an indication that the vehicle can move further back while the load gets over the upright wall. . If the attention part is defined not as the rear end of the load but as the back door, the driver can easily know the parking position where the back door can be opened with respect to the upright wall. In other words, in the driving support device according to the present invention, the object defined between the vehicle and the object on the road is appropriately selected by defining what is defined as the target portion protruding in one direction from the vehicle and the position of the reference vertical plane corresponding to the target portion. In consideration of the height level of the vehicle, it is possible to provide effective support for driving determination in vehicle travel regardless of reverse travel or forward travel.

本発明では、基準鉛直面を正確に設定することが路上対象物との間の高さレベルを正確に把握するために重要である。このため、前記撮影画像内の走行障害物といった地上設置物の地面位置に前記ベースラインを合わせるために前記ベースラインは前記モニタ画面上で位置調整可能とする。この位置調整されたベースラインに基づいて前記レベルラインの位置が調整されるように構成するならば、大きな利益が得られる。基準鉛直面と地上面との交線を表しているベースラインをモニタ画面上で調整することで正確にベースラインを撮影画像中の所望の位置に合わせることで、結果的に基準鉛直面を撮影画像中の所望の対象物の位置に正確に合わせることが可能となるからである。   In the present invention, it is important to accurately set the reference vertical plane in order to accurately grasp the height level with the object on the road. For this reason, in order to align the base line with the ground position of a ground installation such as a traveling obstacle in the captured image, the position of the base line can be adjusted on the monitor screen. A great advantage can be obtained if the level line is adjusted based on the position-adjusted baseline. By adjusting the baseline representing the intersection line between the reference vertical plane and the ground surface on the monitor screen, the baseline is accurately aligned with the desired position in the captured image, and as a result, the reference vertical plane is captured. This is because it is possible to accurately match the position of the desired object in the image.

このようにモニタ画面上でベースラインの位置調整ができれば、モニタ画面で比較的遠くに写っている地上設置物の地面位置にベースラインを合わせることで、レベルラインの位置を修正することができる。その際表示されるレベルラインと地上設置物の頂部を比較することで、地上設置物の高さと車両注目部の高さの関係を予め把握することができるという運転支援にとって非常に有効な利点ももたらす。   If the position of the base line can be adjusted on the monitor screen in this way, the level line position can be corrected by aligning the base line with the ground position of the ground installation that is relatively distant from the monitor screen. By comparing the level line displayed at that time and the top of the ground installation, it is possible to grasp in advance the relationship between the height of the ground installation and the height of the vehicle attention part. Bring.

より実践的な実施形態の1つとして、前記注目部が車両に設けられている縦軸芯周りで開閉揺動するバックドアの開放により最大に後方に突出した下端部である場合、前記ベースラインが前記撮影画像内の路上対象物の地上位置に達した時に運転者の操作によって入力される指令をトリガーとして前記基準鉛直面と前記バックドアの開閉揺動軌跡との交わり位置によって決定されるバックドアの開放限界をサイドラインとして前記モニタ画面に表示する構成が提案される。
この構成では、前記注目部をバックドアの開放により最大に後方に突出した下端部とし、バックドアの開閉軌跡中の最遠端が路上対象物(例えば直立壁体)と衝突する直前、つまりバックドアが全開できる位置まで後進した後、運転者運転者の指令によって、バックドアの開閉角度に応じてさらに後進できる位置が示される。即ち、後進すればするほどバックドアが開放できなくなる度合いを示すことになるサイドラインが表示される。この結果、要求されるバックドアの開閉度を確保するための停車位置を容易に知ることができる。
As one of the more practical embodiments, when the target portion is a lower end portion that protrudes rearward to the maximum by opening a back door that opens and closes around a longitudinal axis provided in the vehicle, the baseline Is determined by the intersection position of the reference vertical plane and the opening / closing swing locus of the back door, triggered by a command input by the driver's operation when the road object reaches the ground position in the captured image. A configuration is proposed in which the door opening limit is displayed on the monitor screen as a side line.
In this configuration, the target portion is a lower end portion that protrudes rearward at the maximum when the back door is opened, and the farthest end in the open / close locus of the back door collides with an object on the road (for example, an upright wall), that is, the back After the vehicle has moved backward to a position where the door can be fully opened, a position where the vehicle can further move backward is indicated according to the command of the driver. That is, a side line is displayed that indicates the degree to which the back door cannot be opened as it moves backward. As a result, the stop position for ensuring the required degree of opening and closing of the back door can be easily known.

さらに別な実践的な実施形態の1つでは、前記注目部が車両に設けられている横軸芯周りで開閉揺動するハッチバックドアの開放により最大に後方に突出した下端部である場合、前記ベースラインが前記撮影画像内の路上対象物の地上位置に達した時に運転者の操作によって入力される指令をトリガーとして前記基準鉛直面と前記ハッチバックドアの開閉揺動軌跡との交わり位置によって決定されるハッチバックドアの開閉可能限界位置を前記レベルラインによって表す。
この構成では、前記注目部をハッチバックドアの開放により最大に後方に突出した下端部とする。ハッチバックドアの開閉軌跡中の最遠端が路上対象物(例えば直立壁体)と衝突する直前、つまりハッチバックドアが全開できる位置まで後進した後、運転者の指令によって、ハッチバックドアの開閉角度に応じてさらに後進できる位置が示される。言い換えればその後進位置でハッチバックドアが開放できる範囲がレベルラインによって表示される。このため、要求されるハッチバックドアの開閉度に応じて停車位置を容易に決定することができる。
In yet another practical embodiment, when the target portion is a lower end portion that protrudes rearward to the maximum by opening a hatchback door that opens and closes around a horizontal axis provided in the vehicle, When the baseline reaches the ground position of the object on the road in the photographed image, it is determined by the intersection position of the reference vertical plane and the opening / closing swing trajectory of the hatchback door using a command input by the driver's operation as a trigger. The openable / closable limit position of the hatchback door is represented by the level line.
In this structure, the said attention part is made into the lower end part which protruded back most by opening | release of a hatchback door. Depending on the driver's command, depending on the opening / closing angle of the hatchback door, immediately after the farthest end of the opening / closing locus of the hatchback door collides with an object on the road (for example, an upright wall), that is, after moving backward to a position where the hatchback door can be fully opened Will indicate the position where you can go further. In other words, the level line indicates the range in which the hatchback door can be opened in the reverse position. For this reason, the stop position can be easily determined according to the required opening / closing degree of the hatch back door.

本発明による運転支援装置では、基準鉛直面におけるベースラインとレベルラインで規定される領域が所定の注目部と任意の地上設置物との間の高さレベルの目安を運転者が把握する際の重要な指標になる。よって、この領域を撮影画像上で明確化するために、前記ベースラインと前記レベルラインを含む半透明平面が前記撮影画像に重ね合わせて表示されるように構成することも提案される。このような半透明平面は、撮影画面が明るい場合は該当領域の明度を下げることで、また撮影画面が暗い場合は該当領域の明度を上げることで簡単に実現できるし、勿論色相等の変更によって実現することも可能である。   In the driving support device according to the present invention, the area defined by the base line and the level line on the reference vertical plane is used when the driver grasps the standard of the height level between the predetermined target portion and an arbitrary ground installation. It becomes an important indicator. Therefore, in order to clarify this region on the photographed image, it is also proposed that the translucent plane including the base line and the level line is displayed so as to be superimposed on the photographed image. Such a translucent plane can be easily realized by lowering the brightness of the corresponding area when the shooting screen is bright, or by increasing the brightness of the corresponding area when the shooting screen is dark, and of course by changing the hue etc. It can also be realized.

まず、本発明による運転支援装置の原理を図1に示された模式図を用いて説明する。この模式図では、車両としての自動車10には、後方確認のために後方を撮影視野としたカメラ1が車両後部に搭載される。車両内部の運転者から見やすい位置にはカメラ1からの撮影画像を表示するモニタ30が設置されている。前方確認のためには前方を撮影視野としたカメラ1を車両前部に搭載するとよい。この自動車10は、車両後部に後方に突出した部分を備えており、この後方突出部分をここでは注目部20と称する。この注目部20は、構造的に車両後部に形成されている突出部であってもよいし、ピックアップトラックなどの荷台に積み込まれた積荷であってもよい。さらには縦軸芯周りに開閉揺動するバックドアや横軸芯周りに開閉揺動するハッチバック、正確にはそれらの開閉揺動跡もその範疇に入るものである。また、この発明による運転支援装置は、車両走行方向(ここでは後進方向)の撮影画像をモニタ画面に表示することにより車両の運転を支援するために、後進時の注目部20と路上対象物との干渉をチェックするものである。よって、注目部20においても特にその最下端で最後端の点(注目点20aと呼ぶ)が重要となる。   First, the principle of the driving support apparatus according to the present invention will be described with reference to the schematic diagram shown in FIG. In this schematic diagram, an automobile 10 as a vehicle is mounted with a camera 1 at the rear of the vehicle with a rear view field for confirmation of the rear. A monitor 30 that displays a photographed image from the camera 1 is installed at a position that is easy to see from the driver inside the vehicle. In order to confirm the front, it is preferable to mount the camera 1 with the front in the field of view on the front of the vehicle. The automobile 10 includes a rearward projecting portion at the rear of the vehicle, and this rear projecting portion is referred to as an attention portion 20 here. The target portion 20 may be a projecting portion that is structurally formed at the rear of the vehicle, or may be a load loaded on a loading platform such as a pickup truck. Furthermore, a back door that opens and closes around the vertical axis and a hatchback that opens and closes around the horizontal axis, and precisely the opening and closing traces thereof, also fall within the category. Further, the driving support device according to the present invention displays the captured image of the vehicle traveling direction (here, the backward direction) on the monitor screen to assist the driving of the vehicle, and the attention unit 20 and the road object during the backward traveling This is to check for interference. Therefore, also in the attention part 20, the last point at the lowest end (referred to as the attention point 20a) is particularly important.

カメラ1は、その下限として自動車10のバンパー12を含む自動車後方の十分離れた地面2を撮影範囲とする画角を持つように設定されている。カメラ1は自動車10に固定されているので、カメラ1による撮影画像におけるバンパー12の位置は不変である。このバンパー位置をわかりやすく示す適当な色付けされた(例えば赤)太いラインを撮影画像に重ね合わせ描画してモニタ画面に表示しておくことができる。このバンパー位置を示すラインをバンパーライン31と呼ぶことにする。   The camera 1 is set so as to have an angle of view with a shooting range of the ground 2 sufficiently behind the vehicle including the bumper 12 of the vehicle 10 as a lower limit. Since the camera 1 is fixed to the automobile 10, the position of the bumper 12 in the image captured by the camera 1 is unchanged. An appropriate colored (for example, red) thick line indicating the bumper position in an easy-to-understand manner can be superimposed on the captured image and displayed on the monitor screen. A line indicating the bumper position is referred to as a bumper line 31.

さらに、注目部20、特にその最下端の最後端である注目点20aを通るか、あるいはその注目点20aから所定距離離れた点を通り、地面2に対して鉛直で車両横断面に平行な鉛直面(以後これを基準鉛直面と呼ぶ)3を設定する。図1(a)に示すように、この基準鉛直面3と地面2との交線をベースライン32としてモニタ画面に表示する。併せて、この基準鉛直面3における注目部20、詳しくは注目部20の注目点20aの地上高さを示すレベルライン33を前記撮影画像に重ね合わせ描画してモニタ画面に表示する。基準鉛直面3が注目点20aを通るように設定された場合、ベースライン32は注目点20aの地面2への鉛直投影した位置を示すラインとなる。モニタ画面上に写っている路上対象物(例えば走行障害物)の地上位置にベースライン32に達した時の車両の位置は、図1(b)で示すように、車両後方突出部として定義されている注目部20の注目点20aと路上対象物とが一致する位置となる。さらに、路上対象物がほぼ直立しているとすれば、この時点のモニタ画面において路上対象物の頂部(最高部)に対してレベルライン33が上回っていると、注目部20が路上対象物を乗り越えてさらに後進することが可能であると判断することができる。この場合、バンパーライン31が路上対象物の地上位置(地面ライン)に達するまで後進することができる。これに対して、路上対象物の頂部に対してレベルライン33が下回っていると(図1(b)参照)、注目部20と路上対象物が衝突するのでそれ以上後進することが不可能であると判断することができる。   Furthermore, the vertical part that is perpendicular to the ground 2 and parallel to the vehicle cross section passes through the attention part 20, particularly the attention point 20a that is the rearmost end of the lowest part, or passes through a point that is a predetermined distance away from the attention point 20a. A plane (hereinafter referred to as a reference vertical plane) 3 is set. As shown in FIG. 1A, the intersection line between the reference vertical plane 3 and the ground 2 is displayed as a base line 32 on the monitor screen. At the same time, the target portion 20 on the reference vertical plane 3, specifically, a level line 33 indicating the ground height of the target point 20 a of the target portion 20 is overlaid on the captured image and displayed on the monitor screen. When the reference vertical plane 3 is set so as to pass through the point of interest 20a, the base line 32 is a line indicating the position of the point of interest 20a vertically projected onto the ground 2. As shown in FIG. 1B, the position of the vehicle when the base line 32 is reached at the ground position of an object on the road (for example, a traveling obstacle) shown on the monitor screen is defined as a vehicle rearward protruding portion. The target point 20a of the target unit 20 is the position where the object on the road matches. Furthermore, if the road object is almost upright, if the level line 33 exceeds the top (highest part) of the road object on the monitor screen at this time, the attention unit 20 moves the road object over the road object. It is possible to determine that it is possible to get over and go further. In this case, the vehicle can move backward until the bumper line 31 reaches the ground position (ground line) of the object on the road. On the other hand, if the level line 33 is below the top of the object on the road (see FIG. 1 (b)), the target part 20 and the object on the road collide, so it is impossible to move backward further. It can be judged that there is.

基準鉛直面3の位置を任意に設定可能とした場合、路上対象物に向かって後進するに先立って路上対象物の高さを判断することができる。図2に示されているように、まずモニタ画面上でベースラインを路上対象物の地上位置(地面ライン)に一致させるように調整する。つまり、基準鉛直面3を路上対象物の位置に設定することで、予め路上対象物と注目部20の干渉関係をおおまかに知ることができる。   When the position of the reference vertical plane 3 can be arbitrarily set, the height of the road object can be determined before the vehicle moves backward toward the road object. As shown in FIG. 2, first, the base line is adjusted on the monitor screen so as to coincide with the ground position (ground line) of the object on the road. That is, by setting the reference vertical plane 3 to the position of the road object, the interference relationship between the road object and the attention unit 20 can be roughly known in advance.

従って、上述した原理に基づく運転支援装置では、自動車10に定義されている何らかの後部突出部としての注目部20(より正確には注目点20a)の位置に基づき基準鉛直面3と地面2との交線をベースライン32としてモニタ画面に表示する。さらに、この基準鉛直面3における注目部20の地上高さを示すレベルライン33をモニタ画面に表示することで、走行延長上に存在する路上対象部と車両部分との干渉関係を運転者が容易に把握することが可能となる。    Therefore, in the driving support device based on the above-described principle, the reference vertical surface 3 and the ground 2 are determined based on the position of the attention portion 20 (more precisely, the attention point 20a) as some rear protrusion defined in the automobile 10. The intersection line is displayed as a baseline 32 on the monitor screen. Furthermore, the level line 33 indicating the ground height of the target portion 20 on the reference vertical plane 3 is displayed on the monitor screen, so that the driver can easily understand the interference relationship between the on-road target portion and the vehicle portion existing on the travel extension. It becomes possible to grasp.

このような運転支援装置を構成するためには、自動車10の走行方向周辺を撮影するカメラ1とその撮影画像を表示するモニタ30の装備が前提となる。本発明による運転支援装置の中核部は、図3に示すように、一般に車載パソコンと呼ばれるコントローラ5内にハードウエア又はソフトウエアあるいはその両方で構築される。コントローラ5内には運転支援装置以外の種々の機能のための機能要素が構築される。本発明に特に関係するものとして、運転者による操作指令を可能にする操作入力部51、自動車1の走行距離を演算する走行距離演算部52、入出力インタフェース53を介して送られてきたコマンドやデータに基づいて自動車1における注目部20の定義設定を行いベースライン32とレベルライン33と必要な場合付加的にバンパーライン31を生成する運転支援モジュール60、この運転支援モジュール60から送られてきたベースライン32とレベルライン33等の情報に基づいてカメラ1からの撮影画像の適切な位置にベースライン32とレベルライン33といった運転支援の指標を重ね合わせる合成部54、この合成部54から転送された撮影画像データをビデオ信号に変換してモニタ30に送り出すビデオ制御部55などが挙げられる。   In order to configure such a driving support apparatus, it is assumed that the camera 1 that captures the periphery of the traveling direction of the automobile 10 and the monitor 30 that displays the captured image are provided. As shown in FIG. 3, the core part of the driving support apparatus according to the present invention is constructed by hardware and / or software in a controller 5 generally called an in-vehicle personal computer. In the controller 5, functional elements for various functions other than the driving support device are constructed. As particularly related to the present invention, an operation input unit 51 that enables an operation command by a driver, a travel distance calculation unit 52 that calculates a travel distance of the automobile 1, a command sent via an input / output interface 53, Based on the data, the driving support module 60 that sets the definition of the attention unit 20 in the automobile 1 and generates the base line 32, the level line 33, and, if necessary, the bumper line 31, is sent from the driving support module 60. Based on information such as the base line 32 and the level line 33, a combining unit 54 that superimposes driving support indexes such as the base line 32 and the level line 33 on an appropriate position of the captured image from the camera 1 is transferred from the combining unit 54. A video control unit 55 that converts the captured image data into a video signal and sends it to the monitor 30; It is.

操作入力部51は、通常モニタ画面に装着されたタッチパネルによって作り出されるキーマトリックスを用いて、後でその機能は説明される修正ボタン51aや方向キー51bやセットボタン51cが構築される。もちろん別個に設置されるハードウエアボタンやコントローラ5のGUIによって作り出されるソフトウエアボタンを採用しても良い。   The operation input unit 51 uses a key matrix created by a touch panel normally mounted on a monitor screen, and a correction button 51a, a direction key 51b, and a set button 51c whose functions will be described later are constructed. Of course, hardware buttons installed separately or software buttons created by the GUI of the controller 5 may be adopted.

運転支援モジュール60には、注目部20(注目点20a)を定義してそれらの座標位置を入力データに基づいて決定する注目部定義部61と、定義された注目部20の座標位置を格納しておく注目部位置情報テーブル62と、前述した基準鉛直面3を設定する基準鉛直面設定部63と、設定された基準鉛直面3に基づいてベースライン32の撮影画面上の位置等を演算してベースライン32に関する描画情報を生成して合成部54に与えるベースライン生成部64と、設定された基準鉛直面3に基づいてレベルライン33の撮影画面上の位置等を演算してレベルライン33に関する描画情報を生成して合成部54に与えるレベルライン生成部65と、本発明の必須要件ではないがバンパーライン31に関する描画情報を生成して合成部54に与えるバンパーライン生成部66が備えられている。ベースライン生成部64とレベルライン生成部65とにはそれぞれ、その中核機能要素として撮影画像におけるベースラインの位置を演算するベースライン位置演算部64aと、撮影画像におけるレベルラインの位置を演算するレベルライン位置演算部65aが含まれている。ベースライン生成部64には、モニタ画面上で撮影画像とともに表示されているベースライン32を動かすことにより基準鉛直面3の設定位置を変更するベースライン調整部64bも含まれている。このため、少なくともベースライン32は合成部54において撮影画像に対してレイヤー合成すると都合がよい。   The driving support module 60 stores the attention part definition part 61 that defines the attention part 20 (attention point 20a) and determines the coordinate position thereof based on the input data, and the coordinate position of the defined attention part 20 is stored. A target portion position information table 62 to be stored, a reference vertical surface setting unit 63 for setting the reference vertical surface 3 described above, and a position of the baseline 32 on the photographing screen based on the set reference vertical surface 3. The base line generation unit 64 that generates drawing information related to the base line 32 and supplies the drawing information to the combining unit 54, and calculates the position of the level line 33 on the photographing screen based on the set reference vertical plane 3 and the level line 33 A level line generation unit 65 that generates drawing information relating to the combination unit 54 and generates the drawing information related to the bumper line 31 although it is not an essential requirement of the present invention. Bumper line generator 66 providing is provided. Each of the baseline generation unit 64 and the level line generation unit 65 has a baseline position calculation unit 64a that calculates the position of the baseline in the captured image as a core functional element, and a level that calculates the position of the level line in the captured image. A line position calculation unit 65a is included. The baseline generation unit 64 also includes a baseline adjustment unit 64b that changes the set position of the reference vertical plane 3 by moving the baseline 32 displayed together with the captured image on the monitor screen. For this reason, it is convenient to combine at least the base line 32 with the captured image in the combining unit 54.

特殊な例として、注目部20が縦軸芯周りで開閉揺動するバックドアの場合、直立壁体のような路上障害物との距離に応じてバックドアの開閉可能な角度が異なってくる。本装置では、そのようなケースでのバックドアの限界開閉度合いをモニタに表示される2つのサイドラインの動きで示すことができる。そのために、例えば、車両と路上障害物との距離及びドア軌跡データとに基づいてこのサイドラインに関する情報を生成して合成部54に与えるサイドライン生成部67をオプショナルな機能として備えることができる。   As a special example, when the target portion 20 is a back door that opens and closes around the vertical axis, the angle at which the back door can be opened and closed varies depending on the distance from the obstacle on the road such as an upright wall. In this apparatus, the limit opening / closing degree of the back door in such a case can be indicated by the movement of two side lines displayed on the monitor. For this purpose, for example, a sideline generation unit 67 that generates information on the sideline based on the distance between the vehicle and the obstacle on the road and the door locus data and supplies the information to the combining unit 54 can be provided as an optional function.

また、本発明による運転支援時において重要な役割を果たすベースライン32とレベルライン33の関係をモニタ画面上で目立たせるために、ベースライン32を下辺とするとともにレベルライン33を上辺とする矩形平面領域(矩形形状は一例である)を作成することができる。さらに、この矩形平面領域を半透明化して、つまり撮影画像が見える程度でその他の領域と異なる視覚変化(明度差、色相差など)を作り出すような機能を合成部54に与えても良い。   In order to make the relationship between the base line 32 and the level line 33 that play an important role in driving support according to the present invention stand out on the monitor screen, a rectangular plane having the base line 32 as the lower side and the level line 33 as the upper side. A region (rectangular shape is an example) can be created. Furthermore, a function of making the rectangular plane region semi-transparent, that is, creating a visual change (lightness difference, hue difference, etc.) different from other regions as long as the captured image can be seen may be given to the combining unit 54.

次に、本発明による運転支援装置が種々の自動車に適用された実施例を図面を用いて説明する。
〔実施例1〕
この実施例では、本発明が適用されている自動車1は後部に荷台を有するピックアップトラックのようなものであり、荷台より後方に飛び出している積荷の後端の下端部が注目部20ないしは注目点20aとして定義される。このため、この実施例では、注目部20の位置は荷台の積荷によって異なるため、その都度注目部定義部61によって再定義される。つまり、荷台から後方に突き出す荷物を積み込む毎に操作入力部51を通じて入力された注目部情報に基づいて注目部定義部61が注目部20の車両における座標位置を決定して注目部位置情報テーブル62に記録することになる。荷台内に収まる積荷の場合荷台の後端が注目部20となるので予めメーカサイドで設定されている注目部(荷台後端)位置情報を用いるようにするとよい。
Next, embodiments in which the driving support apparatus according to the present invention is applied to various automobiles will be described with reference to the drawings.
[Example 1]
In this embodiment, the automobile 1 to which the present invention is applied is like a pickup truck having a cargo bed at the rear, and the lower end of the rear end of the cargo that protrudes rearward from the cargo bed is the attention portion 20 or the attention point. 20a. For this reason, in this embodiment, since the position of the attention part 20 differs depending on the load on the loading platform, it is redefined by the attention part definition part 61 each time. In other words, the attention portion definition section 61 determines the coordinate position of the attention portion 20 in the vehicle based on the attention portion information input through the operation input portion 51 every time a load protruding backward from the loading platform is loaded, and the attention portion position information table 62. Will be recorded. In the case of a load that fits in the loading platform, the rear end of the loading platform becomes the attention portion 20, so it is preferable to use position information on the attention portion (rear loading end) set in advance on the manufacturer side.

積荷の後端の下端部が注目部20として定義されるケースでの本運転支援装置の作用を図4の模式的説明図と図5のフローチャートを用いて説明する。
まず、注目部20が定義されているかどうかチェックし(#01)、定義されていない場合注目部20に関する情報、例えば積荷の荷台後端からの突出量などを入力する(#02)。入力された注目部20に関する情報に基づいて注目部位置情報が注目部位置情報テーブル62に記録される(#03)。車庫入れ駐車等の目的で、後進走行に入ると、モニタ30に車両後方の撮影画像を表示するために後方周辺を撮影するカメラ1が作動する(#04)。ここでは、まず、注目部位置情報テーブル62から読み出された位置情報を用いて基準鉛直面設定部63が注目部20である積荷後端の下端部を通る基準鉛直面3を設定するので、この基準鉛直面3の設定情報を用いてベースライン位置演算部64aがベースライン32の位置を演算し(#05)、レベルライン位置演算部65aがレベルライン33の位置を演算する(#06)。この各ライン位置の演算はカメラ1によって取得される撮影画像座標において車両からの所定距離だけ離れた地面上の点がどの位置にくるかという演算であり、これは図4の模式図から明らかなようにカメラパラメータやカメラ光軸における地面までの距離などによって規定される射影行列を用いて簡単に演算できる。ベースライン位置とレベルライン位置が求められると、ベースライン生成部64とレベルライン生成部65はそれぞれベースライン32やレベルライン33の幅や長さや色などの属性値を付与して合成部54に送ることにより、撮影画像に重ね合わせた状態でベースライン32とレベルライン33がモニタ30に表示される(#07)。なお、この運転支援装置にはバンパーライン生成部66が備えられているので、バンパーライン31もモニタ30に表示される。
The operation of the present driving support device in the case where the lower end portion of the rear end of the load is defined as the attention portion 20 will be described with reference to the schematic explanatory view of FIG. 4 and the flowchart of FIG.
First, it is checked whether or not the attention part 20 is defined (# 01). If not, information on the attention part 20 such as the amount of protrusion of the cargo from the rear end of the loading platform is input (# 02). Based on the input information about the attention part 20, attention part position information is recorded in the attention part position information table 62 (# 03). When the vehicle starts to travel backward for the purpose of parking in a garage or the like, the camera 1 that captures the rear periphery is activated in order to display a captured image of the rear of the vehicle on the monitor 30 (# 04). Here, first, the reference vertical plane setting unit 63 sets the reference vertical plane 3 that passes through the lower end of the rear end of the load, which is the target section 20, using the position information read from the target section position information table 62. The baseline position calculation unit 64a calculates the position of the baseline 32 using the setting information of the reference vertical plane 3 (# 05), and the level line position calculation unit 65a calculates the position of the level line 33 (# 06). . The calculation of each line position is the calculation of the position of a point on the ground that is a predetermined distance away from the vehicle in the captured image coordinates acquired by the camera 1, and this is apparent from the schematic diagram of FIG. Thus, the calculation can be easily performed using the projection matrix defined by the camera parameters and the distance to the ground in the camera optical axis. When the base line position and the level line position are obtained, the base line generation unit 64 and the level line generation unit 65 give attribute values such as the width, length, and color of the base line 32 and the level line 33 to the synthesis unit 54, respectively. By sending the image, the base line 32 and the level line 33 are displayed on the monitor 30 while being superimposed on the photographed image (# 07). In addition, since this bumper line generation part 66 is provided in this driving assistance device, the bumper line 31 is also displayed on the monitor 30.

運転者は、このモニタ30のモニタ画面で後方の様子をチェックしながら車両を後進させる。その後進走行方向の延長上に障害物や荷捌きプラットフォームといった路上対象物が存在する場合、その路上対象物の直前に車両の後端である注目部20が位置するように車両を停止する必要がある。このため注目部20の投影地上位置としてのベースライン32が路上対象物(図4のモニタ画面において二点鎖線で示されている)の地上位置の直前にくるまで後進してから、停車する(#08)。モニタ画面上での路上対象物と注目部20の高さレベルを正確にするためには、ベースライン32を路上対象物の地上位置に正確に合わせる必要がある。熟練していない運転者にとって停止位置がばらつくのは避けられないので、その停止位置のソフト的な修正のためにベースライン調整部64bの機能が利用される。つまり、ベースライン32と路上対象物の地上位置がずれていると判断した場合(#09Yes分岐)、ベースライン32の調整を通じての基準鉛直面3の移動修正を操作入力部51に用意されている修正ボタン51aによって開始する。ベースライン32の位置調整は方向キー51bの操作によってモニタ画面上で移動するベースライン32を見ながらベースライン32と路上対象物の地上位置が一致するまで行う。これにより、ベースライン32の位置が修正される(#10)。基準鉛直面設定部63が基準鉛直面3の設定位置を変更し、それに対応したレベルライン33の位置をレベルライン位置演算部65aが再演算して、更新されたレベルライン情報を合成部34に送り出すので、モニタ画面には正確に路上対象物の前面に立てられた基準鉛直面3における注目部20の高さレベルがレベルライン33として表示される(#11)。これにより、注目部20と路上対象物との高さレベルの比較を容易に把握することが可能となる。   The driver moves the vehicle backward while checking the state of the rear on the monitor screen of the monitor 30. When there is an object on the road such as an obstacle or a handling platform on the extension in the subsequent traveling direction, it is necessary to stop the vehicle so that the attention portion 20 that is the rear end of the vehicle is positioned immediately before the object on the road. is there. Therefore, the vehicle moves backward until the baseline 32 as the projected ground position of the attention unit 20 comes just before the ground position of the road object (indicated by a two-dot chain line in the monitor screen of FIG. 4), and then stops ( # 08). In order to make the height level of the road object and the target portion 20 on the monitor screen accurate, it is necessary to accurately match the baseline 32 with the ground position of the road object. Since it is inevitable that the stop position varies for an unskilled driver, the function of the baseline adjustment unit 64b is used for software correction of the stop position. That is, when it is determined that the ground position of the base line 32 and the object on the road is shifted (# 09 Yes branch), movement correction of the reference vertical plane 3 through adjustment of the base line 32 is prepared in the operation input unit 51. This is started by the correction button 51a. The position of the base line 32 is adjusted until the ground position of the object on the road matches the base line 32 while viewing the base line 32 moving on the monitor screen by operating the direction key 51b. Thereby, the position of the baseline 32 is corrected (# 10). The reference vertical plane setting unit 63 changes the set position of the reference vertical plane 3, and the level line position calculation unit 65 a recalculates the position of the level line 33 corresponding thereto, and the updated level line information is sent to the synthesis unit 34. Since it is sent out, the height level of the target portion 20 in the reference vertical plane 3 set up in front of the object on the road accurately is displayed as a level line 33 on the monitor screen (# 11). Thereby, it becomes possible to easily grasp the comparison of the height level between the attention portion 20 and the road object.

このモニタ画面でレベルライン33が路上対象物の頂部を下回っている場合(図4(b))(#12No分岐)、さらなる後進は注目部20と路上対象物との衝突を引き起こすので、その位置で駐車する(#13)。逆に、レベルライン33が路上対象物の頂部を上回っている場合(図4(c))(#12Yes分岐)、注目部20が路上対象物を乗り越えのでさらなる後進が可能となる。例えば路上対象物の地上位置にバンパーライン31を合わせるぎりぎりの駐車位置まで後進することができる(#14)。   If the level line 33 is below the top of the road object on this monitor screen (FIG. 4 (b)) (# 12 No branch), further reverse will cause the target 20 and the road object to collide. Park at # 13. On the contrary, when the level line 33 exceeds the top of the road object (FIG. 4C) (# 12 Yes branch), the attention unit 20 gets over the road object, so that further backward movement is possible. For example, it is possible to reverse the vehicle to the bare parking position where the bumper line 31 is aligned with the ground position of the road object (# 14).

上述した説明では、ベースラインの調整(結果的には基準鉛直面3の移動)は、路上対象物の地上位置にベースライン32を合わせる停止精度のばらつきを補償するために用いられていたが、この機能は遠くにある路上対象物と注目部20との高さ比較の目安を得るために用いることも可能である。つまり、上記ステップ#07でのベースライン32の表示に続いて、運転者が操作入力部51に用意されている目安ボタン(図示されていない;修正ボタン51aと兼用してもよい)を押すことで目安モードに入って、方向キー51bを操作して、ベースライン32を遠く離れた路上対象物の地上位置にもっていき、その際表示されるレベルライン33と路上対象物の頂部を比較することで注目部20が路上対象物に干渉するかどうかの目安を予め知ることができる(図6参照)。目安を知った後、通常のモードに切り換えて、ステップ#08以後の後進を行うならば、運転者は余裕をもって自動車10を後進させることができる。   In the above description, the adjustment of the baseline (as a result, the movement of the reference vertical plane 3) has been used to compensate for variations in stopping accuracy that align the baseline 32 with the ground position of the object on the road. This function can also be used to obtain an indication of the height comparison between a distant road object and the target portion 20. That is, following the display of the baseline 32 in step # 07, the driver presses a guide button (not shown; may also be used as the correction button 51a) prepared in the operation input unit 51. To enter the reference mode, and operate the direction key 51b to bring the base line 32 to the ground position of the road object far away, and compare the level line 33 displayed at that time with the top of the road object. Thus, it is possible to know in advance whether or not the attention unit 20 interferes with the road object (see FIG. 6). After knowing the guideline, if the vehicle is switched to the normal mode and the vehicle moves backward after step # 08, the driver can move the vehicle 10 backward with a margin.

〔実施例2〕
この実施例では、本発明が適用されている自動車1は後部に縦軸周りの観音開き式バックドアを有するRV車のようなものである。バックドアを閉めた状態では車両後端部はバンパー12もしくはバックドアとなるが、バックドアの開閉を考慮すると、車両後端部は開放されたバックドアとなる。このため、ここでは、開放により最大に後方に突出したバックドアの下端部が基本的な注目部20ないしは注目点20aとして定義される。このため、この実施例では、注目部20の位置等はバックドアの設計値によって決まるため、注目部20は予め注目部定義部61で定義されている。しかしながら、バックドアの後方突出量は開閉角度によって異なるため、注目部位置情報テーブル62にはそのドア軌跡データが記録されており、必要に応じて、そのドア軌跡データによって規定されるバックドアの下端部の位置が特別な注目部20ないしは注目点20aとして定義される。
[Example 2]
In this embodiment, the automobile 1 to which the present invention is applied is like an RV car having a double-sided back door around the vertical axis at the rear. When the back door is closed, the rear end of the vehicle is the bumper 12 or the back door. However, when opening and closing of the back door is taken into consideration, the rear end of the vehicle is an open back door. For this reason, here, the lower end portion of the back door that protrudes rearward at the maximum by opening is defined as the basic attention portion 20 or the attention point 20a. For this reason, in this embodiment, since the position of the attention part 20 is determined by the design value of the back door, the attention part 20 is previously defined by the attention part definition part 61. However, since the rearward protrusion amount of the back door varies depending on the opening / closing angle, the door locus data is recorded in the attention portion position information table 62, and, if necessary, the lower end of the back door defined by the door locus data. The position of the part is defined as a special attention part 20 or attention point 20a.

縦軸周りの観音開き式バックドアの下端部が注目部20として定義されるケースでの本運転支援装置の作用を図7、8の模式的説明図と図9のフローチャートを用いて説明する。
このケースでは、注目部20は予めメーカサイドで定義されているので注目部20に関する情報を入力する必要がないので、実施例1の説明に用いられた図5によるフローチャートのステップ#01〜#03は省略される。車庫入れ駐車等の目的で、後進走行に入ると、モニタ30に車両後方の撮影画像を表示するために後方周辺を撮影するカメラ1が作動する(#21)。同時に、注目部位置情報テーブル62から読み出されたドア軌跡データに基づき最大に後方に突出するバックドアの下端部を注目部20として、基準鉛直面設定部63が注目部20であるバックドアの下端部を通る基準鉛直面3を設定する。この基準鉛直面3の設定情報を用いてベースライン位置演算部64aがベースライン32の位置を演算し(#22)、レベルライン位置演算部65aがレベルライン33の位置を演算する(#23)。これにより、図7(a)に示されるように、モニタ画面に撮影画像とともに表示されるベースライン32とレベルライン33を見ながら(#24)、路上対象物の地上位置にベースライン32を合わせるように停車する(#25)。その後、必要に応じて行われるベースライン32の調整作業は、実施例1と同様に、ベースライン32と路上対象物の地上位置がずれていると判断した場合に行われる(#26Yes分岐)。修正ボタン51aの操作をトリガーとして行われるこのベースライン調整作業では、運転者の方向キー51bのマニュアル操作によりベースライン32の位置が調整される(#27)。これによって基準鉛直面設定部63が基準鉛直面3の設定位置を変更し、それに対応したレベルライン33の位置をレベルライン位置演算部65aが再演算して、更新されたレベルライン情報を合成部34に送り出すので、モニタ画面には正確に路上対象物の前面に立てられた基準鉛直面3における注目部20の高さレベルがレベルライン33として表示される(#28)。この時点で、注目部20の高さレベルを表すレベルライン33と路上対象物との高さレベルの正確な比較を行うことになるので、最初からレベルライン33をベースライン32と同時にモニタ表示するのではなく、ベースライン調整作業の後、又はベースライン調整が不必要な場合セットボタン51cのような別なボタンの操作によって初めてレベルライン33を表示するようにしてもよい。
The operation of the present driving support apparatus in the case where the lower end portion of the double-spread type back door around the vertical axis is defined as the attention portion 20 will be described with reference to the schematic explanatory diagrams of FIGS. 7 and 8 and the flowchart of FIG.
In this case, since the attention part 20 is defined in advance by the manufacturer, there is no need to input information relating to the attention part 20, so steps # 01 to # 03 of the flowchart according to FIG. 5 used for explaining the first embodiment. Is omitted. When the vehicle starts to travel backward for the purpose of parking in a garage or the like, the camera 1 that captures the rear periphery is activated to display a captured image of the rear of the vehicle on the monitor 30 (# 21). At the same time, the lower end portion of the back door that protrudes rearward at the maximum based on the door locus data read from the attention position information table 62 is the attention portion 20, and the reference vertical plane setting portion 63 is the attention portion 20 of the back door. A reference vertical plane 3 passing through the lower end is set. The baseline position calculation unit 64a calculates the position of the baseline 32 using the setting information of the reference vertical plane 3 (# 22), and the level line position calculation unit 65a calculates the position of the level line 33 (# 23). . Accordingly, as shown in FIG. 7A, the base line 32 is adjusted to the ground position of the road object while looking at the base line 32 and the level line 33 displayed together with the captured image on the monitor screen (# 24). (# 25). Thereafter, the adjustment work of the baseline 32 performed as necessary is performed when it is determined that the ground position of the base line 32 and the object on the road is shifted as in the first embodiment (# 26 Yes branch). In this baseline adjustment operation performed using the operation of the correction button 51a as a trigger, the position of the baseline 32 is adjusted by manual operation of the driver's direction key 51b (# 27). As a result, the reference vertical plane setting unit 63 changes the setting position of the reference vertical plane 3, and the level line position calculation unit 65a recalculates the position of the level line 33 corresponding thereto, and the updated level line information is synthesized. Therefore, the height level of the target portion 20 on the reference vertical plane 3 set up in front of the road object is displayed as a level line 33 (# 28). At this time, since the level line 33 representing the height level of the target portion 20 is accurately compared with the height level of the object on the road, the level line 33 is displayed on the monitor simultaneously with the base line 32 from the beginning. Instead, the level line 33 may be displayed only after the baseline adjustment operation or by operating another button such as the set button 51c when the baseline adjustment is unnecessary.

いずれにしても、モニタ画面上で路上対象物の地上位置とベースライン32が一致している停車位置はバックドアを完全開閉可能なだけのスペースを路上対象物との間に設けた位置である。また、その際のレベルライン33と路上対象物の頂部の比較で、バックドアの完全開閉を保証しながらさらに後進できる可能性、つまりバックドアが路上対象物を乗り越えることで自由に開閉できる可能性を把握することができる。
例えば、このモニタ画面でレベルライン33が路上対象物の頂部を上回っている場合(#29Yes分岐)、バックドアの開閉が路上対象物によって妨げられることなしにさらな
る後進が可能となるので、例えば路上対象物の地上位置にバンパーライン31を合わせるぎりぎりの駐車位置まで後進することができる(#30)。
In any case, the stop position where the ground position of the object on the road and the base line 32 coincide with each other on the monitor screen is a position where a space enough to completely open and close the back door is provided between the object on the road. . Also, by comparing the level line 33 and the top of the object on the road at that time, there is a possibility that the vehicle can be moved backward while guaranteeing complete opening and closing of the back door, that is, the possibility that the back door can open and close freely by getting over the object on the road Can be grasped.
For example, if the level line 33 is above the top of the road object on this monitor screen (# 29 Yes branch), the backdoor can be opened and closed without being hindered by the road object. It is possible to reverse the vehicle to the last parking position where the bumper line 31 is aligned with the ground position of the object (# 30).

レベルライン33が路上対象物の頂部を下回っている場合(図7(b))(#12No分岐)、これ以上の後進はバックドアの開放角度が路上対象物によって制限されることを意味する。図8に示されているように、この更なる後進とバックドアの限界開放角度の関係を運転者が容易に把握できるように、モニタ画面にサイドライン34が表示される。このサイドライン34の表示に際して、図8に示された模式図から理解できるように、ベースライン32を路上対象物の地上位置に合わせた後の車両の移動距離に合わせて基準鉛直面3を移動させる(#31)。この車両移動距離情報は走行距離演算部52から得られる。設定し直された基準鉛直面3とバックドアの開閉軌跡との交わり部をサイドライン34のための注目部としてサイドライン生成部67で演算し、サイドライン34に関する描画情報を合成部54に送り、モニタ画面にサイドライン34を表示する(#32)。ここでサイドラインによって示されるバックドアの開閉度にまだ十分に満足できる場合(図8(a)、#33Yes分岐)、さらに後進する(#34)。このバックドアの開閉度をチェックしながらの後進は、サイドライン34によって順次変化するバックドアの開閉度に満足できる限り、バンパーライン31が路上対象物の地上位置に一致するまで続けることができる。車両の後退に際して、モニタ画面上ではサイドラインが路上対象物の両縁部に近づいていく。この両者が一致した位置が後退限界位置である。バックドアの開閉度が所望限界に達した場合(#33No分岐)又はバンパーライン31が路上対象物の地上位置に一致した場合(#35Yes分岐)、その位置で駐車することになる(#36)。   When the level line 33 is below the top of the road object (FIG. 7B) (# 12 No branch), further reverse travel means that the opening angle of the back door is limited by the road object. As shown in FIG. 8, a side line 34 is displayed on the monitor screen so that the driver can easily grasp the relationship between the further reverse and the limit opening angle of the back door. When the side line 34 is displayed, as can be understood from the schematic diagram shown in FIG. 8, the reference vertical plane 3 is moved in accordance with the moving distance of the vehicle after the base line 32 is adjusted to the ground position of the object on the road. (# 31). This vehicle travel distance information is obtained from the travel distance calculation unit 52. The intersection of the re-set reference vertical plane 3 and the backdoor opening / closing locus is calculated as a target portion for the side line 34 by the side line generation unit 67, and drawing information regarding the side line 34 is sent to the synthesis unit 54. The side line 34 is displayed on the monitor screen (# 32). Here, when the back door opening / closing degree indicated by the side line is still sufficiently satisfied (FIG. 8 (a), # 33 Yes branch), the vehicle further moves backward (# 34). The backward movement while checking the degree of opening / closing of the back door can be continued until the bumper line 31 coincides with the ground position of the object on the road as long as the degree of opening / closing of the back door which is sequentially changed by the side line 34 can be satisfied. When the vehicle moves backward, the side line approaches the both edges of the road object on the monitor screen. The position where both coincide is the retreat limit position. When the open / closed degree of the back door reaches the desired limit (# 33 No branch) or when the bumper line 31 coincides with the ground position of the object on the road (# 35 Yes branch), the vehicle is parked at that position (# 36). .

〔実施例3〕
この実施例では、本発明が適用されている自動車1は後部に横軸周りに開閉するハッチバックドアを有するものである。ハッチバックドアを閉めた状態では車両後端部はバンパー12もしくはハッチバックドアとなるが、ハッチバックドアの開閉を考慮すると、車両後端部は開放されたハッチバックドアとなる。このため、ここでは、開放により最大に後方に突出した開閉位置でのハッチバックドアの下端部が基本的な注目部20ないしは注目点20aとして定義される。このため、この実施例でも、実施例2と同様に、注目部20の位置等はバハッチックドアの設計値によって決まるため、注目部20は予め注目部定義部61で定義されている。ハッチバックドアの後方突出量も開閉角度によって異なるため、注目部位置情報テーブル62にはそのドア軌跡データが記録されており、必要に応じて、そのドア軌跡データによって規定されるハッチバックドアの下端部の位置が特別な注目部20ないしは注目点20aとして定義される。
Example 3
In this embodiment, an automobile 1 to which the present invention is applied has a hatchback door that opens and closes around a horizontal axis at the rear part. When the hatchback door is closed, the rear end of the vehicle is the bumper 12 or the hatchback door. However, considering the opening and closing of the hatchback door, the rear end of the vehicle is an open hatchback door. For this reason, here, the lower end portion of the hatchback door at the open / close position that protrudes rearward to the maximum by opening is defined as the basic attention portion 20 or the attention point 20a. For this reason, in this embodiment as well, as in the second embodiment, since the position of the attention portion 20 is determined by the design value of the bachac door, the attention portion 20 is defined in advance by the attention portion definition portion 61. Since the rearward projection amount of the hatchback door also varies depending on the opening / closing angle, the door locus data is recorded in the attention portion position information table 62, and if necessary, the lower end portion of the hatchback door defined by the door locus data is recorded. The position is defined as a special attention part 20 or attention point 20a.

横軸周りに開閉するハッチバックドアの下端部が注目部20として定義されるケースでの本運転支援装置の作用を図10、11の模式的説明図と図12のフローチャートを用いて説明する。
このケースは、実施例2のケースと類似しているので、異なっている点を説明する。ベースライン32をモニタ表示する過程、ベースラインを路上対象物の地上位置に合わせる過程、及び必要に応じて行われるベースラインの調整過程は、実施例2と同様であり、図12のフローチャートにおいても同じステップ番号を付与して、その説明は省略する。なお、図10から明らかなように、注目部位置情報テーブル62から読み出されたドア軌跡データに基づき最大に後方に突出するハッチバックドアの下端部を最初の注目部20としているので、基準鉛直面設定部63は初期段階においてこの注目部20であるハッチバックドアの下端部を通る基準鉛直面3を設定している。
The operation of the present driving support apparatus in the case where the lower end portion of the hatchback door that opens and closes around the horizontal axis is defined as the attention portion 20 will be described with reference to the schematic explanatory diagrams of FIGS. 10 and 11 and the flowchart of FIG.
Since this case is similar to the case of the second embodiment, different points will be described. The process of displaying the baseline 32 on the monitor, the process of adjusting the baseline to the ground position of the object on the road, and the process of adjusting the baseline performed as necessary are the same as in the second embodiment. The same step number is assigned and description thereof is omitted. As is apparent from FIG. 10, the lower end portion of the hatchback door that protrudes rearward at the maximum based on the door trajectory data read from the attention portion position information table 62 is the first attention portion 20, so that the reference vertical plane The setting unit 63 sets the reference vertical plane 3 that passes through the lower end portion of the hatchback door that is the attention unit 20 in the initial stage.

必要に応じて実行されるベースライン調整も終えた段階では、図10(b)に示されているように、ベースライン32は路上対象物の地上位置に一致した状態でモニタ表示されている。ここまで位置関係では、注目部20である水平に開放されたハッチバックドアの後端部を示すレベルライン33はモニタ画面を外れるているので表示されない。もしレベルライン33がモニタ画面内に入っている場合でもこの段階まではレベルライン33の必要性は余りないので、あえて表示させなくてもよい。   At the stage where the baseline adjustment executed as necessary is completed, the baseline 32 is displayed on the monitor in a state where it matches the ground position of the object on the road, as shown in FIG. In the positional relationship so far, the level line 33 indicating the rear end portion of the hatchback door opened horizontally, which is the attention portion 20, is not displayed because it is off the monitor screen. Even if the level line 33 is included in the monitor screen, there is not much necessity for the level line 33 until this stage, so it is not necessary to display it.

いずれにしても、モニタ画面上で路上対象物の地上位置とベースライン332が一致している停車位置はハッチバックドアを完全開閉可能なだけのスペースを路上対象物との間
にあけた位置である。この位置よりさらに後進した場合、路上対象物の頂部の高さに応じてハッチバックドアが開閉可能な角度、つまり開閉度が制限されることになる。このため、セットボタン51のような別なボタンの操作をトリガーとして、後進に伴って変化するこの路上対象物の頂部の高さとハッチバックドアの開閉度の関係を運転者が容易に把握できるように、基準鉛直面3を路上対象物の地上位置に合わせて設定し、その基準鉛直面3とハッチバックドアの開閉軌跡との交わり部を注目部20として求められたレベルライン33がモニタ画面に表示されることがこの実施例の重要な点である。なお、求められたレベルライン33の表示位置がモニタ画面から外れている場合にも、図11(a)に示すように、モニタ画面の最上部に仮表示させておく。
In any case, the stop position where the ground position of the object on the road and the base line 332 coincide with each other on the monitor screen is a position where a space enough to completely open and close the hatchback door is provided between the object on the road. . When the vehicle further moves backward from this position, the angle at which the hatchback door can be opened and closed, that is, the degree of opening and closing, is limited according to the height of the top of the road object. Therefore, as a trigger operation of another button, such as the set button 51 a, so that the driver of the opening and closing of the relationship between the height and the hatchback door of the top of the road object that varies with reverse travel can be easily grasped In addition, the reference vertical plane 3 is set in accordance with the ground position of the object on the road, and the level line 33 obtained with the intersection of the reference vertical plane 3 and the opening / closing locus of the hatchback door as the attention portion 20 is displayed on the monitor screen. This is an important point of this embodiment. In the case where the display position of the level lines 33 obtained is off the monitor screen also, as shown in FIG. 11 (a), allowed to provisionally displayed at the top of the monitor screen.

従って、この基準鉛直面3は、図11に示された模式図から理解できるように、車両の移動距離に合わせて移動することになるので、基準鉛直面3の移動にともなって注目部20の位置も見直される(#41)。この車両移動距離情報は走行距離演算部52から得られる。この注目部20の高さレベルを示すレベルライン33の位置はレベルライン位置演算部65aで演算される。レベルライン33に関する描画情報を合成部54に送り、モニタ画面にレベルライン33を表示する(#42)。ここでレベルライン33によって示されるハッチバックドアの開閉度にまだ満足できる場合(#43Yes分岐)、さらに後進する(#44)。このハッチバックドアの開閉度をチェックしながらの後進は、ハッチバックドアの開閉度に満足できる限り、バンパーライン31が路上対象物の地上位置に一致するまで続けることができる。バックドアの開閉度が所望限界に達した場合(#43No分岐)又はバンパーライン31が路上対象物の地上位置に一致した場合(#45Yes分岐)、その位置で駐車することになる(#46)。   Accordingly, as can be understood from the schematic diagram shown in FIG. 11, the reference vertical plane 3 moves in accordance with the moving distance of the vehicle. The position is also reviewed (# 41). This vehicle travel distance information is obtained from the travel distance calculation unit 52. The position of the level line 33 indicating the height level of the target portion 20 is calculated by the level line position calculation unit 65a. Drawing information related to the level line 33 is sent to the combining unit 54, and the level line 33 is displayed on the monitor screen (# 42). If the hatchback door opening / closing degree indicated by the level line 33 is still satisfactory (# 43 Yes branch), the vehicle further moves backward (# 44). The backward movement while checking the opening / closing degree of the hatchback door can be continued until the bumper line 31 coincides with the ground position of the object on the road as long as the opening / closing degree of the hatchback door can be satisfied. When the open / closed degree of the back door reaches the desired limit (# 43 No branch) or when the bumper line 31 coincides with the ground position of the object on the road (# 45 Yes branch), the vehicle is parked at that position (# 46). .

上述したように、本発明による運転支援装置を自動車等の車両に搭載されているカメラ−モニタシステムは、駐車時などの走行において気になる車両部分を注目部として前もってあるいはその都度設定するとともに、カメラ1の視野内における地面2に基準鉛直面3である演算用仮想面を立てるという考えを導入するしたものである。本システムであれば、その注目部の地上位置と高さレベルを表すベースラインとレベルラインの座標位置が簡単に演算して求められ、そのベースラインとレベルラインがモニタ画面上で撮影画像に重ね合わせて表示されるので、運転者は注目部と路上対象物の立体的な位置関係を簡単にかつ正確に把握することができる。   As described above, the camera-monitor system in which the driving support device according to the present invention is mounted on a vehicle such as an automobile sets the vehicle part that is anxious in traveling such as parking as an attention part in advance or each time, This is the introduction of the idea of setting up a virtual surface for calculation which is the reference vertical plane 3 on the ground 2 in the field of view of the camera 1. With this system, the base line representing the ground position and height level of the target part and the coordinate position of the level line are obtained by simple calculation, and the base line and the level line are superimposed on the captured image on the monitor screen. Since they are displayed together, the driver can easily and accurately grasp the three-dimensional positional relationship between the target portion and the road object.

本発明による運転支援装置における基本原理を説明する模式図Schematic diagram illustrating the basic principle of the driving support device according to the present invention. 本発明による運転支援装置における基準鉛直面の移動に関する基本原理を説明する模式図Schematic diagram for explaining the basic principle regarding the movement of the reference vertical plane in the driving assistance device according to the present invention. 本発明による運転支援装置のための機能ブロック図Functional block diagram for a driving assistance device according to the present invention 本発明による運転支援装置の第1実施例の説明図Explanatory drawing of 1st Example of the driving assistance device by this invention 本発明による運転支援装置の第1実施例における運転支援の流れを示すフローチャートThe flowchart which shows the flow of the driving assistance in 1st Example of the driving assistance apparatus by this invention. 本発明による運転支援装置の第1実施例における基準鉛直面の移動の説明図Explanatory drawing of the movement of the reference | standard vertical surface in 1st Example of the driving assistance device by this invention 本発明による運転支援装置の第2実施例の説明図Explanatory drawing of 2nd Example of the driving assistance device by this invention 本発明による運転支援装置の第2実施例におけるバックドア開閉限界を表すサイドライン表示の説明図Explanatory drawing of the sideline display showing the back door opening-and-closing limit in 2nd Example of the driving assistance device by this invention. 本発明による運転支援装置の第2実施例における運転支援の流れを示すフローチャートThe flowchart which shows the flow of the driving assistance in 2nd Example of the driving assistance apparatus by this invention. 本発明による運転支援装置の第3実施例の説明図Explanatory drawing of 3rd Example of the driving assistance device by this invention 本発明による運転支援装置の第3実施例におけるハッチバックドア開閉限界を表すレベルラインの説明図Explanatory drawing of the level line showing the hatch back door opening / closing limit in 3rd Example of the driving assistance device by this invention 本発明による運転支援装置の第3実施例における運転支援の流れを示すフローチャートThe flowchart which shows the flow of the driving assistance in 3rd Example of the driving assistance device by this invention.

符号の説明Explanation of symbols

1:車両(自動車)
2:地面
3:基準鉛直面
10:カメラ
20:注目部
30:モニタ
31:バンパーライン
32:ベースライン
33:レベルライン
34:サイドライン
54:合成部
61:注目部定義部
62:注目部位置情報テーブル
63:基準鉛直面設定部
64:ベースライン生成部
65:レベルライン生成部
1: Vehicle (car)
2: ground 3: reference vertical plane 10: camera 20: attention part 30: monitor 31: bumper line 32: base line 33: level line 34: side line 54: composition part 61: attention part definition part 62: attention part position information Table 63: Reference vertical plane setting unit 64: Baseline generation unit 65: Level line generation unit

Claims (5)

車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置において、
前記車両に設けられている縦軸芯回りで開閉揺動するバックドアの突出した側の下端部を注目部とし、
前記注目部が最大に後方に突出した位置に車幅方向に平行な基準鉛直面を設定するとともに、
前記基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示し、
前記車両の移動によって前記ベースラインが路上対象物の位置に近付いたとき、運転者が前記ベースラインの位置を指定し、
その後の前記車両の移動に際して、前記基準鉛直面は前記指定された位置に固定され、
前記バックドアを前記固定された基準鉛直面まで開放させた場合の、前記固定された基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示することを特徴とする運転支援装置。
In a driving support device that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen,
The lower end portion on the protruding side of the back door that opens and closes around the longitudinal axis provided in the vehicle is the attention portion,
While setting the reference vertical plane parallel to the vehicle width direction at the position where the attention part protrudes backward to the maximum,
The intersection line between the reference vertical plane and the ground is displayed on the monitor screen as a baseline,
When the baseline approaches the position of the object on the road due to the movement of the vehicle, the driver designates the position of the baseline,
During the subsequent movement of the vehicle, the reference vertical plane is fixed at the designated position,
An operation characterized by displaying, on the monitor screen, a level line indicating the ground height of the part of interest in the fixed reference vertical plane when the back door is opened to the fixed reference vertical plane. Support device.
前記基準鉛直面と前記バックドアの開閉揺動軌跡との交わり位置によって決定されるバックドアの開放限界をサイドラインとして前記モニタ画面に表示することを特徴とする請求項1に記載の運転支援装置。 2. The driving support device according to claim 1, wherein an opening limit of the back door determined by an intersection position of the reference vertical plane and the back door opening / closing swing locus is displayed on the monitor screen as a side line. . 車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置において、
前記車両に設けられている横軸芯回りで開閉揺動するハッチバックドアの突出した側の下端部を注目部とし、
前記注目部が最大に後方に突出した位置に車幅方向に平行な基準鉛直面を設定するとともに、
前記基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示し、
前記車両の移動によって前記ベースラインが路上対象物の位置に近付いたとき、運転者が前記ベースラインの位置を指定し、
その後の前記車両の移動に際して、前記基準鉛直面は前記指定された位置に固定され、
前記ハッチバックドアを前記固定された基準鉛直面まで開放させた場合の、前記固定された基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示することを特徴とする運転支援装置。
In a driving support device that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen,
The lower end portion on the protruding side of the hatchback door that opens and closes around the horizontal axis provided in the vehicle is the attention portion,
While setting the reference vertical plane parallel to the vehicle width direction at the position where the attention part protrudes backward to the maximum,
The intersection line between the reference vertical plane and the ground is displayed on the monitor screen as a baseline,
When the baseline approaches the position of the object on the road due to the movement of the vehicle, the driver designates the position of the baseline,
During the subsequent movement of the vehicle, the reference vertical plane is fixed at the designated position,
An operation characterized by displaying on the monitor screen a level line indicating the ground height of the portion of interest in the fixed reference vertical plane when the hatchback door is opened to the fixed reference vertical plane. Support device.
前記撮影画像内の路上対象物の地上位置に前記ベースラインを合わせるために前記ベースラインは前記モニタ画面上で位置調整可能であり、この位置調整されたベースラインに基づいて前記レベルラインの位置が調整されることを特徴とする請求項1〜3のいずれか一項に記載の運転支援装置。 The base line can be adjusted on the monitor screen in order to align the base line with the ground position of the object on the road in the photographed image, and the position of the level line can be determined based on the adjusted base line. It adjusts, The driving assistance apparatus as described in any one of Claims 1-3 characterized by the above-mentioned. 前記ベースラインと前記レベルラインを含む半透明平面が前記撮影画像に重ね合わせて表示されることを特徴とする請求項1〜4のいずれか一項に記載の運転支援装置。 The driving assistance apparatus according to any one of claims 1 to 4 , wherein a translucent plane including the base line and the level line is displayed so as to be superimposed on the captured image.
JP2005286499A 2005-09-30 2005-09-30 Driving assistance device Expired - Fee Related JP5110343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005286499A JP5110343B2 (en) 2005-09-30 2005-09-30 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005286499A JP5110343B2 (en) 2005-09-30 2005-09-30 Driving assistance device

Publications (2)

Publication Number Publication Date
JP2007091157A JP2007091157A (en) 2007-04-12
JP5110343B2 true JP5110343B2 (en) 2012-12-26

Family

ID=37977355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005286499A Expired - Fee Related JP5110343B2 (en) 2005-09-30 2005-09-30 Driving assistance device

Country Status (1)

Country Link
JP (1) JP5110343B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049821A1 (en) * 2007-10-16 2009-04-23 Daimler Ag Method for calibrating an arrangement with at least one omnidirectional camera and an optical display unit
JP5386762B2 (en) * 2010-03-04 2014-01-15 株式会社小松製作所 Rear view display system for transport vehicles
JP5380735B2 (en) * 2010-03-19 2014-01-08 株式会社小松製作所 Rear view display system for transport vehicles
US9321400B2 (en) 2010-06-15 2016-04-26 Aisin Seiki Kabushiki Kaisha Drive assist device
JP2013100057A (en) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd Driving support device
CN103358995B (en) * 2013-07-17 2016-03-02 胡扬智 Reversing shooting range finding debug system, adjustment method and reversing shooting distance measuring equipment (DME)
JP2015226146A (en) * 2014-05-27 2015-12-14 学校法人関東学院 Three-dimensional monitoring device
WO2017056989A1 (en) * 2015-09-30 2017-04-06 アイシン精機株式会社 Image processing device for vehicles
JP6575445B2 (en) * 2015-09-30 2019-09-18 アイシン精機株式会社 Image processing apparatus for vehicle
US20210309149A1 (en) * 2018-07-26 2021-10-07 Nec Corporation Driving support device and driving support method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345554A (en) * 2003-05-23 2004-12-09 Clarion Co Ltd Vehicle rearward monitoring device and vehicle rearward monitoring system

Also Published As

Publication number Publication date
JP2007091157A (en) 2007-04-12

Similar Documents

Publication Publication Date Title
JP5110343B2 (en) Driving assistance device
KR100785724B1 (en) Recording medium, parking support apparatus and parking support screen
US8205704B2 (en) Parking assist apparatus
KR100481248B1 (en) Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it
US7068289B2 (en) Rearview monitoring apparatus for vehicle
JP4904997B2 (en) Parking support method and parking support device
EP1452390B1 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
JP5284206B2 (en) Driving support device and navigation device
US10625782B2 (en) Surroundings monitoring apparatus
JP4623396B2 (en) Vehicle periphery display device
KR101270602B1 (en) Method for providing around view of vehicle
US11161462B2 (en) Method for assisting a driver of a vehicle/trailer combination in maneuvering the vehicle/trailer combination, driver assistance system as well as motor vehicle
WO2018131263A1 (en) Periphery monitoring device
JP2007237857A (en) Parking assist device
JP2004240480A (en) Operation support device
KR101980966B1 (en) Method and device for representing the surroundings of a motor vehicle
KR101278064B1 (en) Method for providing of vehicle parking assistant image and system for providing thereof
JP2015020495A (en) Vehicle drive device
JP3977042B2 (en) Rear view display device for vehicle
JP2007091047A (en) Vehicle parking assisting device
JP7284458B2 (en) parking assist device
JPH02299944A (en) Rear confirming device mounted on car
JP2017149398A (en) Parking support device and parking support method
KR20190069645A (en) Vehicle and controlling method thereof
JP4596254B2 (en) Driving assistance device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5110343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees