JP5110343B2 - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP5110343B2 JP5110343B2 JP2005286499A JP2005286499A JP5110343B2 JP 5110343 B2 JP5110343 B2 JP 5110343B2 JP 2005286499 A JP2005286499 A JP 2005286499A JP 2005286499 A JP2005286499 A JP 2005286499A JP 5110343 B2 JP5110343 B2 JP 5110343B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vertical plane
- line
- reference vertical
- monitor screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置に関し、特に車庫入れ駐車などの後進時の所望位置での停車を容易にする運転支援装置に関する。 The present invention relates to a driving support device that supports driving of a vehicle by displaying a captured image of a vehicle traveling direction on a monitor screen, and in particular, a driving support device that facilitates stopping at a desired position during backward movement such as garage parking. About.
車庫入れ駐車時の運転を支援するために、車体の周囲にCCDカメラや距離測定を行う距離センサを設け、車両の周辺の様子を探知し、車両の室内に設けられたモニタ画面上に車両周辺の周辺画像を鳥瞰図的に表示して運転者に周囲の状況を知らせる装置が知られている(例えば、特許文献1参照。)。この従来技術では、車両から車両周辺の障害物や目標物などの物体までの距離を正確に測定できることが前提となる。しかし、車両周辺に存在する物体はその都度によって千差万別であり、そのような物体に対する距離を測定するためには複雑な距離測定システムが要求される。しかも、得られた距離情報から鳥瞰図を生成するために要求される演算負荷も大きく、そのような運転支援装置を一般的な車両に採用することは難しい。 In order to support driving during parking in the garage, a CCD camera and a distance sensor for measuring the distance are installed around the vehicle body, the situation around the vehicle is detected, and the vehicle periphery is displayed on a monitor screen provided in the vehicle interior. There is known a device for displaying a surrounding image in a bird's eye view and notifying the driver of the surrounding situation (see, for example, Patent Document 1). This prior art assumes that the distance from the vehicle to an object such as an obstacle or target around the vehicle can be accurately measured. However, the objects present around the vehicle are different in every case, and a complicated distance measuring system is required to measure the distance to such an object. In addition, the calculation load required to generate a bird's eye view from the obtained distance information is large, and it is difficult to employ such a driving support device for a general vehicle.
また、距離測定システムを省き、駐車走行時にカメラによって取得された後方撮影画像に、ステアリングセンサによって得られたステアリング角度に基づいて求められた車両の走行予想軌跡を重ねて表示する駐車補助装置も知られている(例えば、特許文献2参照。)。この技術によれば、車両が後進時に後方路上のどの位置を通るかを走行予想軌跡で確認できるので、駐車等の運転操作がバックミラーだけに頼る運転に較べ楽になる。しかしながら、空き地や荷捌き場に車両を後進駐車させる時には、駐車走行の奥行き側に壁などの障害物や荷捌き用プラットフォームなどの路上対象物が存在することが多い。よって、車両後部に設けられているドアがそのような路上対象物との干渉なしに開放することができるかどうか、あるいは車両後部から突き出した積荷が路上対象物を乗り越えることができるかどうか、といったような車両と路上対象物との間の高さレベルを考慮した運転判断にはあまり役に立たない。
上記実状に鑑み、本発明の課題は、装備的かつコスト的な負担を伴う距離測定システムを必要とせずに、車両と路上対象物との間の高さレベルを考慮した運転判断に関する有効な支援を行うことができる運転支援装置を提供することである。 In view of the above situation, the object of the present invention is to provide an effective support for driving determination in consideration of the height level between the vehicle and the object on the road without requiring a distance measuring system with equipment and cost burden. It is providing the driving assistance device which can perform.
上記課題を解決するため、本発明による、車両走行方向の撮影画像をモニタ画面に表示することにより車両の運転を支援する運転支援装置では、車両に設けられている縦軸芯周りで開閉揺動するバックドアの開放により最大に後方に突出した下端部、あるいは前記車両に設けられている横軸芯周りで開閉揺動するハッチバックドアの開放により最大に後方に突出した下端部である注目部の前記車両走行方向の位置に対応した位置における車幅方向に平行な基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示するとともに、前記基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示する。 In order to solve the above-described problems, in the driving support device according to the present invention that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen, the vehicle is opened and closed around a longitudinal axis provided in the vehicle. to the lower end portion projecting up behind by opening the back door, or the target part is a lower part that projects up to the rear by the opening of the hatchback door for opening and closing swing about the horizontal axis provided on said vehicle An intersection line between a reference vertical plane parallel to the vehicle width direction at a position corresponding to the position in the vehicle traveling direction and the ground is displayed on the monitor screen as a baseline, and the ground height of the target portion on the reference vertical plane Is displayed on the monitor screen.
この構成では、例えば後進走行時に注目部として予め定義しておいた車両後部の突出部(車両から一方向に突出するた注目部の一例)の地上高さを後方周辺の撮影画像を映し出しているモニタ画面で確認できるように、車両走行方向の所定位置に立てた車幅方向に平行な基準鉛直面を考える。この基準鉛直面における注目部(突出部)の地上高さを示すラインがレベルラインとして、そして、この基準鉛直面と地面との交線がベースラインとしてモニタ画面に撮影画像に重ね合わせて表示される。例えば、撮影画像において車両の走行先に写っている何らかの対象物(路上対象物)の位置と基準鉛直面の位置が一致すると、その対象物と注目部(突出部)の高さ関係の目安がレベルラインによって示されることになる。その際、ベースラインは対象物の位置と基準鉛直面の位置を一致しているかどうかを確認する指標として用いられる。対象物が直立壁体で、注目部が車両後部から突出した積荷の後端とし、基準鉛直面を積荷の後端位置に設定すると、モニタ画面上において直立壁体の地上設置ラインとベースラインが一致するところが車両に搭載された積荷の後端が直立壁体に接触する位置となるので、その手前で車両を停止することで壁際ぎりぎりの駐車が実現する。さらに重要なことは、その時点でモニタ画面においてレベルラインが直立壁体の頂部の上に表示されているなら、この積荷が直立壁体を乗り越えながら車両がさらに後進できるという目安を得ることができる。注目部を積荷の後端ではなく、バックドアと定義すれば、運転者は直立壁体に対してバックドアが開放可能な駐車位置を容易に知ることができる。つまり、本発明による運転支援装置では、車両から一方向に突出する注目部として定義するもの及びこの注目部に対応する基準鉛直面の位置を適宜選択することで、車両と路上対象物との間の高さレベルを考慮した、後進や前進に関係なく車両走行における運転判断に関する有効な支援を行うことができる。 In this configuration, for example, a rear captured image of the height of the ground of a protruding portion of the rear portion of the vehicle (an example of the attention portion protruding in one direction from the vehicle) previously defined as the attention portion when traveling backward is displayed. Consider a reference vertical plane parallel to the vehicle width direction set at a predetermined position in the vehicle traveling direction so that it can be confirmed on the monitor screen. A line indicating the ground height of the target portion (projection) on the reference vertical plane is displayed as a level line, and an intersection line between the reference vertical plane and the ground is displayed as a base line superimposed on the monitor image. The For example, if the position of a certain object (on-road object) reflected in the travel destination of the vehicle in the photographed image matches the position of the reference vertical plane, an indication of the height relationship between the object and the target part (protruding part) is obtained. It will be indicated by the level line. At that time, the baseline is used as an index for confirming whether the position of the object matches the position of the reference vertical plane. When the object is an upright wall, the target part is the rear end of the load protruding from the rear of the vehicle, and the reference vertical plane is set to the rear end position of the load, the ground installation line and the base line of the upright wall are displayed on the monitor screen. Since the rear end of the load loaded on the vehicle comes into contact with the upright wall body, the vehicle is stopped in front of the vehicle so that parking at the edge of the wall is realized. More importantly, if the level line is displayed on the top of the upright wall on the monitor screen at that time, you can get an indication that the vehicle can move further back while the load gets over the upright wall. . If the attention part is defined not as the rear end of the load but as the back door, the driver can easily know the parking position where the back door can be opened with respect to the upright wall. In other words, in the driving support device according to the present invention, the object defined between the vehicle and the object on the road is appropriately selected by defining what is defined as the target portion protruding in one direction from the vehicle and the position of the reference vertical plane corresponding to the target portion. In consideration of the height level of the vehicle, it is possible to provide effective support for driving determination in vehicle travel regardless of reverse travel or forward travel.
本発明では、基準鉛直面を正確に設定することが路上対象物との間の高さレベルを正確に把握するために重要である。このため、前記撮影画像内の走行障害物といった地上設置物の地面位置に前記ベースラインを合わせるために前記ベースラインは前記モニタ画面上で位置調整可能とする。この位置調整されたベースラインに基づいて前記レベルラインの位置が調整されるように構成するならば、大きな利益が得られる。基準鉛直面と地上面との交線を表しているベースラインをモニタ画面上で調整することで正確にベースラインを撮影画像中の所望の位置に合わせることで、結果的に基準鉛直面を撮影画像中の所望の対象物の位置に正確に合わせることが可能となるからである。 In the present invention, it is important to accurately set the reference vertical plane in order to accurately grasp the height level with the object on the road. For this reason, in order to align the base line with the ground position of a ground installation such as a traveling obstacle in the captured image, the position of the base line can be adjusted on the monitor screen. A great advantage can be obtained if the level line is adjusted based on the position-adjusted baseline. By adjusting the baseline representing the intersection line between the reference vertical plane and the ground surface on the monitor screen, the baseline is accurately aligned with the desired position in the captured image, and as a result, the reference vertical plane is captured. This is because it is possible to accurately match the position of the desired object in the image.
このようにモニタ画面上でベースラインの位置調整ができれば、モニタ画面で比較的遠くに写っている地上設置物の地面位置にベースラインを合わせることで、レベルラインの位置を修正することができる。その際表示されるレベルラインと地上設置物の頂部を比較することで、地上設置物の高さと車両注目部の高さの関係を予め把握することができるという運転支援にとって非常に有効な利点ももたらす。 If the position of the base line can be adjusted on the monitor screen in this way, the level line position can be corrected by aligning the base line with the ground position of the ground installation that is relatively distant from the monitor screen. By comparing the level line displayed at that time and the top of the ground installation, it is possible to grasp in advance the relationship between the height of the ground installation and the height of the vehicle attention part. Bring.
より実践的な実施形態の1つとして、前記注目部が車両に設けられている縦軸芯周りで開閉揺動するバックドアの開放により最大に後方に突出した下端部である場合、前記ベースラインが前記撮影画像内の路上対象物の地上位置に達した時に運転者の操作によって入力される指令をトリガーとして前記基準鉛直面と前記バックドアの開閉揺動軌跡との交わり位置によって決定されるバックドアの開放限界をサイドラインとして前記モニタ画面に表示する構成が提案される。
この構成では、前記注目部をバックドアの開放により最大に後方に突出した下端部とし、バックドアの開閉軌跡中の最遠端が路上対象物(例えば直立壁体)と衝突する直前、つまりバックドアが全開できる位置まで後進した後、運転者運転者の指令によって、バックドアの開閉角度に応じてさらに後進できる位置が示される。即ち、後進すればするほどバックドアが開放できなくなる度合いを示すことになるサイドラインが表示される。この結果、要求されるバックドアの開閉度を確保するための停車位置を容易に知ることができる。
As one of the more practical embodiments, when the target portion is a lower end portion that protrudes rearward to the maximum by opening a back door that opens and closes around a longitudinal axis provided in the vehicle, the baseline Is determined by the intersection position of the reference vertical plane and the opening / closing swing locus of the back door, triggered by a command input by the driver's operation when the road object reaches the ground position in the captured image. A configuration is proposed in which the door opening limit is displayed on the monitor screen as a side line.
In this configuration, the target portion is a lower end portion that protrudes rearward at the maximum when the back door is opened, and the farthest end in the open / close locus of the back door collides with an object on the road (for example, an upright wall), that is, the back After the vehicle has moved backward to a position where the door can be fully opened, a position where the vehicle can further move backward is indicated according to the command of the driver. That is, a side line is displayed that indicates the degree to which the back door cannot be opened as it moves backward. As a result, the stop position for ensuring the required degree of opening and closing of the back door can be easily known.
さらに別な実践的な実施形態の1つでは、前記注目部が車両に設けられている横軸芯周りで開閉揺動するハッチバックドアの開放により最大に後方に突出した下端部である場合、前記ベースラインが前記撮影画像内の路上対象物の地上位置に達した時に運転者の操作によって入力される指令をトリガーとして前記基準鉛直面と前記ハッチバックドアの開閉揺動軌跡との交わり位置によって決定されるハッチバックドアの開閉可能限界位置を前記レベルラインによって表す。
この構成では、前記注目部をハッチバックドアの開放により最大に後方に突出した下端部とする。ハッチバックドアの開閉軌跡中の最遠端が路上対象物(例えば直立壁体)と衝突する直前、つまりハッチバックドアが全開できる位置まで後進した後、運転者の指令によって、ハッチバックドアの開閉角度に応じてさらに後進できる位置が示される。言い換えればその後進位置でハッチバックドアが開放できる範囲がレベルラインによって表示される。このため、要求されるハッチバックドアの開閉度に応じて停車位置を容易に決定することができる。
In yet another practical embodiment, when the target portion is a lower end portion that protrudes rearward to the maximum by opening a hatchback door that opens and closes around a horizontal axis provided in the vehicle, When the baseline reaches the ground position of the object on the road in the photographed image, it is determined by the intersection position of the reference vertical plane and the opening / closing swing trajectory of the hatchback door using a command input by the driver's operation as a trigger. The openable / closable limit position of the hatchback door is represented by the level line.
In this structure, the said attention part is made into the lower end part which protruded back most by opening | release of a hatchback door. Depending on the driver's command, depending on the opening / closing angle of the hatchback door, immediately after the farthest end of the opening / closing locus of the hatchback door collides with an object on the road (for example, an upright wall), that is, after moving backward to a position where the hatchback door can be fully opened Will indicate the position where you can go further. In other words, the level line indicates the range in which the hatchback door can be opened in the reverse position. For this reason, the stop position can be easily determined according to the required opening / closing degree of the hatch back door.
本発明による運転支援装置では、基準鉛直面におけるベースラインとレベルラインで規定される領域が所定の注目部と任意の地上設置物との間の高さレベルの目安を運転者が把握する際の重要な指標になる。よって、この領域を撮影画像上で明確化するために、前記ベースラインと前記レベルラインを含む半透明平面が前記撮影画像に重ね合わせて表示されるように構成することも提案される。このような半透明平面は、撮影画面が明るい場合は該当領域の明度を下げることで、また撮影画面が暗い場合は該当領域の明度を上げることで簡単に実現できるし、勿論色相等の変更によって実現することも可能である。 In the driving support device according to the present invention, the area defined by the base line and the level line on the reference vertical plane is used when the driver grasps the standard of the height level between the predetermined target portion and an arbitrary ground installation. It becomes an important indicator. Therefore, in order to clarify this region on the photographed image, it is also proposed that the translucent plane including the base line and the level line is displayed so as to be superimposed on the photographed image. Such a translucent plane can be easily realized by lowering the brightness of the corresponding area when the shooting screen is bright, or by increasing the brightness of the corresponding area when the shooting screen is dark, and of course by changing the hue etc. It can also be realized.
まず、本発明による運転支援装置の原理を図1に示された模式図を用いて説明する。この模式図では、車両としての自動車10には、後方確認のために後方を撮影視野としたカメラ1が車両後部に搭載される。車両内部の運転者から見やすい位置にはカメラ1からの撮影画像を表示するモニタ30が設置されている。前方確認のためには前方を撮影視野としたカメラ1を車両前部に搭載するとよい。この自動車10は、車両後部に後方に突出した部分を備えており、この後方突出部分をここでは注目部20と称する。この注目部20は、構造的に車両後部に形成されている突出部であってもよいし、ピックアップトラックなどの荷台に積み込まれた積荷であってもよい。さらには縦軸芯周りに開閉揺動するバックドアや横軸芯周りに開閉揺動するハッチバック、正確にはそれらの開閉揺動跡もその範疇に入るものである。また、この発明による運転支援装置は、車両走行方向(ここでは後進方向)の撮影画像をモニタ画面に表示することにより車両の運転を支援するために、後進時の注目部20と路上対象物との干渉をチェックするものである。よって、注目部20においても特にその最下端で最後端の点(注目点20aと呼ぶ)が重要となる。
First, the principle of the driving support apparatus according to the present invention will be described with reference to the schematic diagram shown in FIG. In this schematic diagram, an
カメラ1は、その下限として自動車10のバンパー12を含む自動車後方の十分離れた地面2を撮影範囲とする画角を持つように設定されている。カメラ1は自動車10に固定されているので、カメラ1による撮影画像におけるバンパー12の位置は不変である。このバンパー位置をわかりやすく示す適当な色付けされた(例えば赤)太いラインを撮影画像に重ね合わせ描画してモニタ画面に表示しておくことができる。このバンパー位置を示すラインをバンパーライン31と呼ぶことにする。
The
さらに、注目部20、特にその最下端の最後端である注目点20aを通るか、あるいはその注目点20aから所定距離離れた点を通り、地面2に対して鉛直で車両横断面に平行な鉛直面(以後これを基準鉛直面と呼ぶ)3を設定する。図1(a)に示すように、この基準鉛直面3と地面2との交線をベースライン32としてモニタ画面に表示する。併せて、この基準鉛直面3における注目部20、詳しくは注目部20の注目点20aの地上高さを示すレベルライン33を前記撮影画像に重ね合わせ描画してモニタ画面に表示する。基準鉛直面3が注目点20aを通るように設定された場合、ベースライン32は注目点20aの地面2への鉛直投影した位置を示すラインとなる。モニタ画面上に写っている路上対象物(例えば走行障害物)の地上位置にベースライン32に達した時の車両の位置は、図1(b)で示すように、車両後方突出部として定義されている注目部20の注目点20aと路上対象物とが一致する位置となる。さらに、路上対象物がほぼ直立しているとすれば、この時点のモニタ画面において路上対象物の頂部(最高部)に対してレベルライン33が上回っていると、注目部20が路上対象物を乗り越えてさらに後進することが可能であると判断することができる。この場合、バンパーライン31が路上対象物の地上位置(地面ライン)に達するまで後進することができる。これに対して、路上対象物の頂部に対してレベルライン33が下回っていると(図1(b)参照)、注目部20と路上対象物が衝突するのでそれ以上後進することが不可能であると判断することができる。
Furthermore, the vertical part that is perpendicular to the
基準鉛直面3の位置を任意に設定可能とした場合、路上対象物に向かって後進するに先立って路上対象物の高さを判断することができる。図2に示されているように、まずモニタ画面上でベースラインを路上対象物の地上位置(地面ライン)に一致させるように調整する。つまり、基準鉛直面3を路上対象物の位置に設定することで、予め路上対象物と注目部20の干渉関係をおおまかに知ることができる。
When the position of the reference
従って、上述した原理に基づく運転支援装置では、自動車10に定義されている何らかの後部突出部としての注目部20(より正確には注目点20a)の位置に基づき基準鉛直面3と地面2との交線をベースライン32としてモニタ画面に表示する。さらに、この基準鉛直面3における注目部20の地上高さを示すレベルライン33をモニタ画面に表示することで、走行延長上に存在する路上対象部と車両部分との干渉関係を運転者が容易に把握することが可能となる。
Therefore, in the driving support device based on the above-described principle, the reference
このような運転支援装置を構成するためには、自動車10の走行方向周辺を撮影するカメラ1とその撮影画像を表示するモニタ30の装備が前提となる。本発明による運転支援装置の中核部は、図3に示すように、一般に車載パソコンと呼ばれるコントローラ5内にハードウエア又はソフトウエアあるいはその両方で構築される。コントローラ5内には運転支援装置以外の種々の機能のための機能要素が構築される。本発明に特に関係するものとして、運転者による操作指令を可能にする操作入力部51、自動車1の走行距離を演算する走行距離演算部52、入出力インタフェース53を介して送られてきたコマンドやデータに基づいて自動車1における注目部20の定義設定を行いベースライン32とレベルライン33と必要な場合付加的にバンパーライン31を生成する運転支援モジュール60、この運転支援モジュール60から送られてきたベースライン32とレベルライン33等の情報に基づいてカメラ1からの撮影画像の適切な位置にベースライン32とレベルライン33といった運転支援の指標を重ね合わせる合成部54、この合成部54から転送された撮影画像データをビデオ信号に変換してモニタ30に送り出すビデオ制御部55などが挙げられる。
In order to configure such a driving support apparatus, it is assumed that the
操作入力部51は、通常モニタ画面に装着されたタッチパネルによって作り出されるキーマトリックスを用いて、後でその機能は説明される修正ボタン51aや方向キー51bやセットボタン51cが構築される。もちろん別個に設置されるハードウエアボタンやコントローラ5のGUIによって作り出されるソフトウエアボタンを採用しても良い。
The
運転支援モジュール60には、注目部20(注目点20a)を定義してそれらの座標位置を入力データに基づいて決定する注目部定義部61と、定義された注目部20の座標位置を格納しておく注目部位置情報テーブル62と、前述した基準鉛直面3を設定する基準鉛直面設定部63と、設定された基準鉛直面3に基づいてベースライン32の撮影画面上の位置等を演算してベースライン32に関する描画情報を生成して合成部54に与えるベースライン生成部64と、設定された基準鉛直面3に基づいてレベルライン33の撮影画面上の位置等を演算してレベルライン33に関する描画情報を生成して合成部54に与えるレベルライン生成部65と、本発明の必須要件ではないがバンパーライン31に関する描画情報を生成して合成部54に与えるバンパーライン生成部66が備えられている。ベースライン生成部64とレベルライン生成部65とにはそれぞれ、その中核機能要素として撮影画像におけるベースラインの位置を演算するベースライン位置演算部64aと、撮影画像におけるレベルラインの位置を演算するレベルライン位置演算部65aが含まれている。ベースライン生成部64には、モニタ画面上で撮影画像とともに表示されているベースライン32を動かすことにより基準鉛直面3の設定位置を変更するベースライン調整部64bも含まれている。このため、少なくともベースライン32は合成部54において撮影画像に対してレイヤー合成すると都合がよい。
The driving
特殊な例として、注目部20が縦軸芯周りで開閉揺動するバックドアの場合、直立壁体のような路上障害物との距離に応じてバックドアの開閉可能な角度が異なってくる。本装置では、そのようなケースでのバックドアの限界開閉度合いをモニタに表示される2つのサイドラインの動きで示すことができる。そのために、例えば、車両と路上障害物との距離及びドア軌跡データとに基づいてこのサイドラインに関する情報を生成して合成部54に与えるサイドライン生成部67をオプショナルな機能として備えることができる。
As a special example, when the
また、本発明による運転支援時において重要な役割を果たすベースライン32とレベルライン33の関係をモニタ画面上で目立たせるために、ベースライン32を下辺とするとともにレベルライン33を上辺とする矩形平面領域(矩形形状は一例である)を作成することができる。さらに、この矩形平面領域を半透明化して、つまり撮影画像が見える程度でその他の領域と異なる視覚変化(明度差、色相差など)を作り出すような機能を合成部54に与えても良い。
In order to make the relationship between the
次に、本発明による運転支援装置が種々の自動車に適用された実施例を図面を用いて説明する。
〔実施例1〕
この実施例では、本発明が適用されている自動車1は後部に荷台を有するピックアップトラックのようなものであり、荷台より後方に飛び出している積荷の後端の下端部が注目部20ないしは注目点20aとして定義される。このため、この実施例では、注目部20の位置は荷台の積荷によって異なるため、その都度注目部定義部61によって再定義される。つまり、荷台から後方に突き出す荷物を積み込む毎に操作入力部51を通じて入力された注目部情報に基づいて注目部定義部61が注目部20の車両における座標位置を決定して注目部位置情報テーブル62に記録することになる。荷台内に収まる積荷の場合荷台の後端が注目部20となるので予めメーカサイドで設定されている注目部(荷台後端)位置情報を用いるようにするとよい。
Next, embodiments in which the driving support apparatus according to the present invention is applied to various automobiles will be described with reference to the drawings.
[Example 1]
In this embodiment, the
積荷の後端の下端部が注目部20として定義されるケースでの本運転支援装置の作用を図4の模式的説明図と図5のフローチャートを用いて説明する。
まず、注目部20が定義されているかどうかチェックし(#01)、定義されていない場合注目部20に関する情報、例えば積荷の荷台後端からの突出量などを入力する(#02)。入力された注目部20に関する情報に基づいて注目部位置情報が注目部位置情報テーブル62に記録される(#03)。車庫入れ駐車等の目的で、後進走行に入ると、モニタ30に車両後方の撮影画像を表示するために後方周辺を撮影するカメラ1が作動する(#04)。ここでは、まず、注目部位置情報テーブル62から読み出された位置情報を用いて基準鉛直面設定部63が注目部20である積荷後端の下端部を通る基準鉛直面3を設定するので、この基準鉛直面3の設定情報を用いてベースライン位置演算部64aがベースライン32の位置を演算し(#05)、レベルライン位置演算部65aがレベルライン33の位置を演算する(#06)。この各ライン位置の演算はカメラ1によって取得される撮影画像座標において車両からの所定距離だけ離れた地面上の点がどの位置にくるかという演算であり、これは図4の模式図から明らかなようにカメラパラメータやカメラ光軸における地面までの距離などによって規定される射影行列を用いて簡単に演算できる。ベースライン位置とレベルライン位置が求められると、ベースライン生成部64とレベルライン生成部65はそれぞれベースライン32やレベルライン33の幅や長さや色などの属性値を付与して合成部54に送ることにより、撮影画像に重ね合わせた状態でベースライン32とレベルライン33がモニタ30に表示される(#07)。なお、この運転支援装置にはバンパーライン生成部66が備えられているので、バンパーライン31もモニタ30に表示される。
The operation of the present driving support device in the case where the lower end portion of the rear end of the load is defined as the
First, it is checked whether or not the
運転者は、このモニタ30のモニタ画面で後方の様子をチェックしながら車両を後進させる。その後進走行方向の延長上に障害物や荷捌きプラットフォームといった路上対象物が存在する場合、その路上対象物の直前に車両の後端である注目部20が位置するように車両を停止する必要がある。このため注目部20の投影地上位置としてのベースライン32が路上対象物(図4のモニタ画面において二点鎖線で示されている)の地上位置の直前にくるまで後進してから、停車する(#08)。モニタ画面上での路上対象物と注目部20の高さレベルを正確にするためには、ベースライン32を路上対象物の地上位置に正確に合わせる必要がある。熟練していない運転者にとって停止位置がばらつくのは避けられないので、その停止位置のソフト的な修正のためにベースライン調整部64bの機能が利用される。つまり、ベースライン32と路上対象物の地上位置がずれていると判断した場合(#09Yes分岐)、ベースライン32の調整を通じての基準鉛直面3の移動修正を操作入力部51に用意されている修正ボタン51aによって開始する。ベースライン32の位置調整は方向キー51bの操作によってモニタ画面上で移動するベースライン32を見ながらベースライン32と路上対象物の地上位置が一致するまで行う。これにより、ベースライン32の位置が修正される(#10)。基準鉛直面設定部63が基準鉛直面3の設定位置を変更し、それに対応したレベルライン33の位置をレベルライン位置演算部65aが再演算して、更新されたレベルライン情報を合成部34に送り出すので、モニタ画面には正確に路上対象物の前面に立てられた基準鉛直面3における注目部20の高さレベルがレベルライン33として表示される(#11)。これにより、注目部20と路上対象物との高さレベルの比較を容易に把握することが可能となる。
The driver moves the vehicle backward while checking the state of the rear on the monitor screen of the
このモニタ画面でレベルライン33が路上対象物の頂部を下回っている場合(図4(b))(#12No分岐)、さらなる後進は注目部20と路上対象物との衝突を引き起こすので、その位置で駐車する(#13)。逆に、レベルライン33が路上対象物の頂部を上回っている場合(図4(c))(#12Yes分岐)、注目部20が路上対象物を乗り越えのでさらなる後進が可能となる。例えば路上対象物の地上位置にバンパーライン31を合わせるぎりぎりの駐車位置まで後進することができる(#14)。
If the
上述した説明では、ベースラインの調整(結果的には基準鉛直面3の移動)は、路上対象物の地上位置にベースライン32を合わせる停止精度のばらつきを補償するために用いられていたが、この機能は遠くにある路上対象物と注目部20との高さ比較の目安を得るために用いることも可能である。つまり、上記ステップ#07でのベースライン32の表示に続いて、運転者が操作入力部51に用意されている目安ボタン(図示されていない;修正ボタン51aと兼用してもよい)を押すことで目安モードに入って、方向キー51bを操作して、ベースライン32を遠く離れた路上対象物の地上位置にもっていき、その際表示されるレベルライン33と路上対象物の頂部を比較することで注目部20が路上対象物に干渉するかどうかの目安を予め知ることができる(図6参照)。目安を知った後、通常のモードに切り換えて、ステップ#08以後の後進を行うならば、運転者は余裕をもって自動車10を後進させることができる。
In the above description, the adjustment of the baseline (as a result, the movement of the reference vertical plane 3) has been used to compensate for variations in stopping accuracy that align the
〔実施例2〕
この実施例では、本発明が適用されている自動車1は後部に縦軸周りの観音開き式バックドアを有するRV車のようなものである。バックドアを閉めた状態では車両後端部はバンパー12もしくはバックドアとなるが、バックドアの開閉を考慮すると、車両後端部は開放されたバックドアとなる。このため、ここでは、開放により最大に後方に突出したバックドアの下端部が基本的な注目部20ないしは注目点20aとして定義される。このため、この実施例では、注目部20の位置等はバックドアの設計値によって決まるため、注目部20は予め注目部定義部61で定義されている。しかしながら、バックドアの後方突出量は開閉角度によって異なるため、注目部位置情報テーブル62にはそのドア軌跡データが記録されており、必要に応じて、そのドア軌跡データによって規定されるバックドアの下端部の位置が特別な注目部20ないしは注目点20aとして定義される。
[Example 2]
In this embodiment, the
縦軸周りの観音開き式バックドアの下端部が注目部20として定義されるケースでの本運転支援装置の作用を図7、8の模式的説明図と図9のフローチャートを用いて説明する。
このケースでは、注目部20は予めメーカサイドで定義されているので注目部20に関する情報を入力する必要がないので、実施例1の説明に用いられた図5によるフローチャートのステップ#01〜#03は省略される。車庫入れ駐車等の目的で、後進走行に入ると、モニタ30に車両後方の撮影画像を表示するために後方周辺を撮影するカメラ1が作動する(#21)。同時に、注目部位置情報テーブル62から読み出されたドア軌跡データに基づき最大に後方に突出するバックドアの下端部を注目部20として、基準鉛直面設定部63が注目部20であるバックドアの下端部を通る基準鉛直面3を設定する。この基準鉛直面3の設定情報を用いてベースライン位置演算部64aがベースライン32の位置を演算し(#22)、レベルライン位置演算部65aがレベルライン33の位置を演算する(#23)。これにより、図7(a)に示されるように、モニタ画面に撮影画像とともに表示されるベースライン32とレベルライン33を見ながら(#24)、路上対象物の地上位置にベースライン32を合わせるように停車する(#25)。その後、必要に応じて行われるベースライン32の調整作業は、実施例1と同様に、ベースライン32と路上対象物の地上位置がずれていると判断した場合に行われる(#26Yes分岐)。修正ボタン51aの操作をトリガーとして行われるこのベースライン調整作業では、運転者の方向キー51bのマニュアル操作によりベースライン32の位置が調整される(#27)。これによって基準鉛直面設定部63が基準鉛直面3の設定位置を変更し、それに対応したレベルライン33の位置をレベルライン位置演算部65aが再演算して、更新されたレベルライン情報を合成部34に送り出すので、モニタ画面には正確に路上対象物の前面に立てられた基準鉛直面3における注目部20の高さレベルがレベルライン33として表示される(#28)。この時点で、注目部20の高さレベルを表すレベルライン33と路上対象物との高さレベルの正確な比較を行うことになるので、最初からレベルライン33をベースライン32と同時にモニタ表示するのではなく、ベースライン調整作業の後、又はベースライン調整が不必要な場合セットボタン51cのような別なボタンの操作によって初めてレベルライン33を表示するようにしてもよい。
The operation of the present driving support apparatus in the case where the lower end portion of the double-spread type back door around the vertical axis is defined as the
In this case, since the
いずれにしても、モニタ画面上で路上対象物の地上位置とベースライン32が一致している停車位置はバックドアを完全開閉可能なだけのスペースを路上対象物との間に設けた位置である。また、その際のレベルライン33と路上対象物の頂部の比較で、バックドアの完全開閉を保証しながらさらに後進できる可能性、つまりバックドアが路上対象物を乗り越えることで自由に開閉できる可能性を把握することができる。
例えば、このモニタ画面でレベルライン33が路上対象物の頂部を上回っている場合(#29Yes分岐)、バックドアの開閉が路上対象物によって妨げられることなしにさらな
る後進が可能となるので、例えば路上対象物の地上位置にバンパーライン31を合わせるぎりぎりの駐車位置まで後進することができる(#30)。
In any case, the stop position where the ground position of the object on the road and the
For example, if the
レベルライン33が路上対象物の頂部を下回っている場合(図7(b))(#12No分岐)、これ以上の後進はバックドアの開放角度が路上対象物によって制限されることを意味する。図8に示されているように、この更なる後進とバックドアの限界開放角度の関係を運転者が容易に把握できるように、モニタ画面にサイドライン34が表示される。このサイドライン34の表示に際して、図8に示された模式図から理解できるように、ベースライン32を路上対象物の地上位置に合わせた後の車両の移動距離に合わせて基準鉛直面3を移動させる(#31)。この車両移動距離情報は走行距離演算部52から得られる。設定し直された基準鉛直面3とバックドアの開閉軌跡との交わり部をサイドライン34のための注目部としてサイドライン生成部67で演算し、サイドライン34に関する描画情報を合成部54に送り、モニタ画面にサイドライン34を表示する(#32)。ここでサイドラインによって示されるバックドアの開閉度にまだ十分に満足できる場合(図8(a)、#33Yes分岐)、さらに後進する(#34)。このバックドアの開閉度をチェックしながらの後進は、サイドライン34によって順次変化するバックドアの開閉度に満足できる限り、バンパーライン31が路上対象物の地上位置に一致するまで続けることができる。車両の後退に際して、モニタ画面上ではサイドラインが路上対象物の両縁部に近づいていく。この両者が一致した位置が後退限界位置である。バックドアの開閉度が所望限界に達した場合(#33No分岐)又はバンパーライン31が路上対象物の地上位置に一致した場合(#35Yes分岐)、その位置で駐車することになる(#36)。
When the
〔実施例3〕
この実施例では、本発明が適用されている自動車1は後部に横軸周りに開閉するハッチバックドアを有するものである。ハッチバックドアを閉めた状態では車両後端部はバンパー12もしくはハッチバックドアとなるが、ハッチバックドアの開閉を考慮すると、車両後端部は開放されたハッチバックドアとなる。このため、ここでは、開放により最大に後方に突出した開閉位置でのハッチバックドアの下端部が基本的な注目部20ないしは注目点20aとして定義される。このため、この実施例でも、実施例2と同様に、注目部20の位置等はバハッチックドアの設計値によって決まるため、注目部20は予め注目部定義部61で定義されている。ハッチバックドアの後方突出量も開閉角度によって異なるため、注目部位置情報テーブル62にはそのドア軌跡データが記録されており、必要に応じて、そのドア軌跡データによって規定されるハッチバックドアの下端部の位置が特別な注目部20ないしは注目点20aとして定義される。
Example 3
In this embodiment, an
横軸周りに開閉するハッチバックドアの下端部が注目部20として定義されるケースでの本運転支援装置の作用を図10、11の模式的説明図と図12のフローチャートを用いて説明する。
このケースは、実施例2のケースと類似しているので、異なっている点を説明する。ベースライン32をモニタ表示する過程、ベースラインを路上対象物の地上位置に合わせる過程、及び必要に応じて行われるベースラインの調整過程は、実施例2と同様であり、図12のフローチャートにおいても同じステップ番号を付与して、その説明は省略する。なお、図10から明らかなように、注目部位置情報テーブル62から読み出されたドア軌跡データに基づき最大に後方に突出するハッチバックドアの下端部を最初の注目部20としているので、基準鉛直面設定部63は初期段階においてこの注目部20であるハッチバックドアの下端部を通る基準鉛直面3を設定している。
The operation of the present driving support apparatus in the case where the lower end portion of the hatchback door that opens and closes around the horizontal axis is defined as the
Since this case is similar to the case of the second embodiment, different points will be described. The process of displaying the
必要に応じて実行されるベースライン調整も終えた段階では、図10(b)に示されているように、ベースライン32は路上対象物の地上位置に一致した状態でモニタ表示されている。ここまで位置関係では、注目部20である水平に開放されたハッチバックドアの後端部を示すレベルライン33はモニタ画面を外れるているので表示されない。もしレベルライン33がモニタ画面内に入っている場合でもこの段階まではレベルライン33の必要性は余りないので、あえて表示させなくてもよい。
At the stage where the baseline adjustment executed as necessary is completed, the
いずれにしても、モニタ画面上で路上対象物の地上位置とベースライン332が一致している停車位置はハッチバックドアを完全開閉可能なだけのスペースを路上対象物との間
にあけた位置である。この位置よりさらに後進した場合、路上対象物の頂部の高さに応じてハッチバックドアが開閉可能な角度、つまり開閉度が制限されることになる。このため、セットボタン51aのような別なボタンの操作をトリガーとして、後進に伴って変化するこの路上対象物の頂部の高さとハッチバックドアの開閉度の関係を運転者が容易に把握できるように、基準鉛直面3を路上対象物の地上位置に合わせて設定し、その基準鉛直面3とハッチバックドアの開閉軌跡との交わり部を注目部20として求められたレベルライン33がモニタ画面に表示されることがこの実施例の重要な点である。なお、求められたレベルライン33の表示位置がモニタ画面から外れている場合にも、図11(a)に示すように、モニタ画面の最上部に仮表示させておく。
In any case, the stop position where the ground position of the object on the road and the base line 332 coincide with each other on the monitor screen is a position where a space enough to completely open and close the hatchback door is provided between the object on the road. . When the vehicle further moves backward from this position, the angle at which the hatchback door can be opened and closed, that is, the degree of opening and closing, is limited according to the height of the top of the road object. Therefore, as a trigger operation of another button, such as the
従って、この基準鉛直面3は、図11に示された模式図から理解できるように、車両の移動距離に合わせて移動することになるので、基準鉛直面3の移動にともなって注目部20の位置も見直される(#41)。この車両移動距離情報は走行距離演算部52から得られる。この注目部20の高さレベルを示すレベルライン33の位置はレベルライン位置演算部65aで演算される。レベルライン33に関する描画情報を合成部54に送り、モニタ画面にレベルライン33を表示する(#42)。ここでレベルライン33によって示されるハッチバックドアの開閉度にまだ満足できる場合(#43Yes分岐)、さらに後進する(#44)。このハッチバックドアの開閉度をチェックしながらの後進は、ハッチバックドアの開閉度に満足できる限り、バンパーライン31が路上対象物の地上位置に一致するまで続けることができる。バックドアの開閉度が所望限界に達した場合(#43No分岐)又はバンパーライン31が路上対象物の地上位置に一致した場合(#45Yes分岐)、その位置で駐車することになる(#46)。
Accordingly, as can be understood from the schematic diagram shown in FIG. 11, the reference
上述したように、本発明による運転支援装置を自動車等の車両に搭載されているカメラ−モニタシステムは、駐車時などの走行において気になる車両部分を注目部として前もってあるいはその都度設定するとともに、カメラ1の視野内における地面2に基準鉛直面3である演算用仮想面を立てるという考えを導入するしたものである。本システムであれば、その注目部の地上位置と高さレベルを表すベースラインとレベルラインの座標位置が簡単に演算して求められ、そのベースラインとレベルラインがモニタ画面上で撮影画像に重ね合わせて表示されるので、運転者は注目部と路上対象物の立体的な位置関係を簡単にかつ正確に把握することができる。
As described above, the camera-monitor system in which the driving support device according to the present invention is mounted on a vehicle such as an automobile sets the vehicle part that is anxious in traveling such as parking as an attention part in advance or each time, This is the introduction of the idea of setting up a virtual surface for calculation which is the reference
1:車両(自動車)
2:地面
3:基準鉛直面
10:カメラ
20:注目部
30:モニタ
31:バンパーライン
32:ベースライン
33:レベルライン
34:サイドライン
54:合成部
61:注目部定義部
62:注目部位置情報テーブル
63:基準鉛直面設定部
64:ベースライン生成部
65:レベルライン生成部
1: Vehicle (car)
2: ground 3: reference vertical plane 10: camera 20: attention part 30: monitor 31: bumper line 32: base line 33: level line 34: side line 54: composition part 61: attention part definition part 62: attention part position information Table 63: Reference vertical plane setting unit 64: Baseline generation unit 65: Level line generation unit
Claims (5)
前記車両に設けられている縦軸芯回りで開閉揺動するバックドアの突出した側の下端部を注目部とし、
前記注目部が最大に後方に突出した位置に車幅方向に平行な基準鉛直面を設定するとともに、
前記基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示し、
前記車両の移動によって前記ベースラインが路上対象物の位置に近付いたとき、運転者が前記ベースラインの位置を指定し、
その後の前記車両の移動に際して、前記基準鉛直面は前記指定された位置に固定され、
前記バックドアを前記固定された基準鉛直面まで開放させた場合の、前記固定された基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示することを特徴とする運転支援装置。 In a driving support device that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen,
The lower end portion on the protruding side of the back door that opens and closes around the longitudinal axis provided in the vehicle is the attention portion,
While setting the reference vertical plane parallel to the vehicle width direction at the position where the attention part protrudes backward to the maximum,
The intersection line between the reference vertical plane and the ground is displayed on the monitor screen as a baseline,
When the baseline approaches the position of the object on the road due to the movement of the vehicle, the driver designates the position of the baseline,
During the subsequent movement of the vehicle, the reference vertical plane is fixed at the designated position,
An operation characterized by displaying, on the monitor screen, a level line indicating the ground height of the part of interest in the fixed reference vertical plane when the back door is opened to the fixed reference vertical plane. Support device.
前記車両に設けられている横軸芯回りで開閉揺動するハッチバックドアの突出した側の下端部を注目部とし、
前記注目部が最大に後方に突出した位置に車幅方向に平行な基準鉛直面を設定するとともに、
前記基準鉛直面と地面との交線をベースラインとして前記モニタ画面に表示し、
前記車両の移動によって前記ベースラインが路上対象物の位置に近付いたとき、運転者が前記ベースラインの位置を指定し、
その後の前記車両の移動に際して、前記基準鉛直面は前記指定された位置に固定され、
前記ハッチバックドアを前記固定された基準鉛直面まで開放させた場合の、前記固定された基準鉛直面における前記注目部の地上高さを示すレベルラインを前記モニタ画面に表示することを特徴とする運転支援装置。 In a driving support device that supports driving of a vehicle by displaying a captured image of the vehicle traveling direction on a monitor screen,
The lower end portion on the protruding side of the hatchback door that opens and closes around the horizontal axis provided in the vehicle is the attention portion,
While setting the reference vertical plane parallel to the vehicle width direction at the position where the attention part protrudes backward to the maximum,
The intersection line between the reference vertical plane and the ground is displayed on the monitor screen as a baseline,
When the baseline approaches the position of the object on the road due to the movement of the vehicle, the driver designates the position of the baseline,
During the subsequent movement of the vehicle, the reference vertical plane is fixed at the designated position,
An operation characterized by displaying on the monitor screen a level line indicating the ground height of the portion of interest in the fixed reference vertical plane when the hatchback door is opened to the fixed reference vertical plane. Support device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005286499A JP5110343B2 (en) | 2005-09-30 | 2005-09-30 | Driving assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005286499A JP5110343B2 (en) | 2005-09-30 | 2005-09-30 | Driving assistance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007091157A JP2007091157A (en) | 2007-04-12 |
JP5110343B2 true JP5110343B2 (en) | 2012-12-26 |
Family
ID=37977355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005286499A Expired - Fee Related JP5110343B2 (en) | 2005-09-30 | 2005-09-30 | Driving assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5110343B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007049821A1 (en) * | 2007-10-16 | 2009-04-23 | Daimler Ag | Method for calibrating an arrangement with at least one omnidirectional camera and an optical display unit |
JP5386762B2 (en) * | 2010-03-04 | 2014-01-15 | 株式会社小松製作所 | Rear view display system for transport vehicles |
JP5380735B2 (en) * | 2010-03-19 | 2014-01-08 | 株式会社小松製作所 | Rear view display system for transport vehicles |
US9321400B2 (en) | 2010-06-15 | 2016-04-26 | Aisin Seiki Kabushiki Kaisha | Drive assist device |
JP2013100057A (en) * | 2011-11-09 | 2013-05-23 | Aisin Seiki Co Ltd | Driving support device |
CN103358995B (en) * | 2013-07-17 | 2016-03-02 | 胡扬智 | Reversing shooting range finding debug system, adjustment method and reversing shooting distance measuring equipment (DME) |
JP2015226146A (en) * | 2014-05-27 | 2015-12-14 | 学校法人関東学院 | Three-dimensional monitoring device |
WO2017056989A1 (en) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Image processing device for vehicles |
JP6575445B2 (en) * | 2015-09-30 | 2019-09-18 | アイシン精機株式会社 | Image processing apparatus for vehicle |
US20210309149A1 (en) * | 2018-07-26 | 2021-10-07 | Nec Corporation | Driving support device and driving support method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004345554A (en) * | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | Vehicle rearward monitoring device and vehicle rearward monitoring system |
-
2005
- 2005-09-30 JP JP2005286499A patent/JP5110343B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007091157A (en) | 2007-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5110343B2 (en) | Driving assistance device | |
KR100785724B1 (en) | Recording medium, parking support apparatus and parking support screen | |
US8205704B2 (en) | Parking assist apparatus | |
KR100481248B1 (en) | Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it | |
US7068289B2 (en) | Rearview monitoring apparatus for vehicle | |
JP4904997B2 (en) | Parking support method and parking support device | |
EP1452390B1 (en) | Apparatus and method for monitoring the immediate surroundings of a vehicle | |
JP5284206B2 (en) | Driving support device and navigation device | |
US10625782B2 (en) | Surroundings monitoring apparatus | |
JP4623396B2 (en) | Vehicle periphery display device | |
KR101270602B1 (en) | Method for providing around view of vehicle | |
US11161462B2 (en) | Method for assisting a driver of a vehicle/trailer combination in maneuvering the vehicle/trailer combination, driver assistance system as well as motor vehicle | |
WO2018131263A1 (en) | Periphery monitoring device | |
JP2007237857A (en) | Parking assist device | |
JP2004240480A (en) | Operation support device | |
KR101980966B1 (en) | Method and device for representing the surroundings of a motor vehicle | |
KR101278064B1 (en) | Method for providing of vehicle parking assistant image and system for providing thereof | |
JP2015020495A (en) | Vehicle drive device | |
JP3977042B2 (en) | Rear view display device for vehicle | |
JP2007091047A (en) | Vehicle parking assisting device | |
JP7284458B2 (en) | parking assist device | |
JPH02299944A (en) | Rear confirming device mounted on car | |
JP2017149398A (en) | Parking support device and parking support method | |
KR20190069645A (en) | Vehicle and controlling method thereof | |
JP4596254B2 (en) | Driving assistance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5110343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |