JP5471141B2 - Parking assistance device and parking assistance method - Google Patents

Parking assistance device and parking assistance method Download PDF

Info

Publication number
JP5471141B2
JP5471141B2 JP2009183749A JP2009183749A JP5471141B2 JP 5471141 B2 JP5471141 B2 JP 5471141B2 JP 2009183749 A JP2009183749 A JP 2009183749A JP 2009183749 A JP2009183749 A JP 2009183749A JP 5471141 B2 JP5471141 B2 JP 5471141B2
Authority
JP
Japan
Prior art keywords
image
target parking
parking position
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009183749A
Other languages
Japanese (ja)
Other versions
JP2011039600A (en
Inventor
政康 鈴木
洋平 新垣
照久 高野
倫子 下村
秀則 瀬口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2009183749A priority Critical patent/JP5471141B2/en
Publication of JP2011039600A publication Critical patent/JP2011039600A/en
Application granted granted Critical
Publication of JP5471141B2 publication Critical patent/JP5471141B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自車周囲の領域から自車を駐車させる目標駐車位置を検出し、当該目標駐車位置を示す枠画像を自車周囲の画像上に描画して重畳表示することで、自車のドライバに目標駐車位置を認識させるようにした駐車支援装置及び駐車支援方法に関する。   The present invention detects a target parking position where the vehicle is parked from an area around the own vehicle, draws a frame image indicating the target parking position on the image around the own vehicle, and superimposes the frame image. The present invention relates to a parking support apparatus and a parking support method that allow a driver to recognize a target parking position.

従来、車両駐車時におけるドライバの運転操作を支援する駐車支援装置として、例えば測距センサなどを用いて自車を駐車させる目標駐車位置となる空間を検出し、カメラで撮影した画像上の該当する位置に目標駐車位置を示す枠画像を描画して表示することにより、ドライバに目標駐車位置を認識させるようにしたものが知られている(例えば、特許文献1等を参照。)。   Conventionally, as a parking assistance device that assists a driver's driving operation when parking a vehicle, for example, a space serving as a target parking position where the vehicle is parked using a distance measuring sensor or the like is detected, and the corresponding image on the image captured by the camera There is known a technique in which a driver recognizes a target parking position by drawing and displaying a frame image indicating the target parking position at the position (see, for example, Patent Document 1).

特開2003−81041号公報JP 2003-81041 A

しかしながら、特許文献1に記載の駐車支援装置をはじめ、目標駐車位置を自動で検出する機能を持った従来の駐車支援装置では、画像上に描画されている枠画像の位置が自動検出された目標駐車位置であるかどうか、つまり、目標駐車位置が適切に検出された状態にあるのかどうかがドライバにとって分りづらく、操作に不安を感じる要因となるといった問題があった。   However, in the conventional parking assistance device having the function of automatically detecting the target parking position, including the parking assistance device described in Patent Document 1, the target in which the position of the frame image drawn on the image is automatically detected. There is a problem that it is difficult for the driver to know whether or not the vehicle is at the parking position, that is, whether or not the target parking position is properly detected, which causes anxiety about the operation.

本発明は、以上の従来技術の問題点に鑑みて創案されたものであって、目標駐車位置が適切に検出されたかどうかをドライバが容易に把握することができる駐車支援装置及び駐車支援方法を提供することを目的としている。   The present invention was devised in view of the above-described problems of the prior art, and provides a parking support device and a parking support method that allow a driver to easily grasp whether a target parking position has been properly detected. It is intended to provide.

本発明は、自車周囲の領域から自車を駐車させる目標駐車位置が検出できたかどうかを判定し、その判定結果に応じて目標駐車位置を示す枠画像の描画方法を変化させることにより、上述した課題を解決する。   The present invention determines whether or not the target parking position for parking the vehicle from the area around the vehicle can be detected, and changes the drawing method of the frame image indicating the target parking position according to the determination result. Solve the problem.

本発明によれば、目標駐車位置が検出できた場合とできなかった場合とで異なる描画方法で枠画像が描画されるので、自車のドライバは、その枠画像の描画を確認することで目標駐車位置が適切に検出されたかどうかを容易に把握することができる。   According to the present invention, since the frame image is drawn by different drawing methods depending on whether the target parking position can be detected or not, the driver of the own vehicle can check the drawing of the frame image to check the target parking position. It is possible to easily grasp whether the parking position is properly detected.

本発明を適用した駐車支援装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the parking assistance apparatus to which this invention is applied. 4つの車載カメラの取り付け位置及び各車載カメラが撮影する領域を説明する図である。It is a figure explaining the attachment position of four vehicle-mounted cameras, and the area | region which each vehicle-mounted camera image | photographs. 駐車支援装置が備えるコントロールユニットの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the control unit with which a parking assistance apparatus is provided. 俯瞰画像を生成する処理の概要を説明する図である。It is a figure explaining the outline | summary of the process which produces | generates a bird's-eye view image. コントロールユニットによる処理の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the process by a control unit. 目標駐車位置の検出に成功した場合の枠画像描画方法の一例を説明する図であり、目標駐車位置の検出過程を示すイメージ画像を描画してから、検出された目標駐車位置を示す枠画像を描画する例の説明図である。It is a figure explaining an example of the frame image drawing method at the time of succeeding in detection of a target parking position, and after drawing the image picture which shows the detection process of a target parking position, the frame image which shows the detected target parking position It is explanatory drawing of the example to draw. 目標駐車位置の検出に失敗した場合の枠画像描画方法の一例を説明する図である。It is a figure explaining an example of the frame image drawing method at the time of failing in detection of a target parking position. 複数の目標駐車位置が検出された場合の枠画像描画方法の一例を説明する図でである。It is a figure explaining an example of the frame image drawing method when a plurality of target parking positions are detected. 目標駐車位置の検出に成功した場合の枠画像描画方法の他の例を説明する図であり、目標駐車位置を絞るイメージ画像を描画してから、検出された目標駐車位置を示す枠画像を描画する例の説明図である。It is a figure explaining the other example of the frame image drawing method when the detection of a target parking position is successful, and after drawing the image image which narrows down a target parking position, the frame image which shows the detected target parking position is drawn It is explanatory drawing of the example to do. 目標駐車位置の検出に成功した場合の枠画像描画方法の他の例を説明する図であり、予めデフォルトの位置にデフォルト枠画像を描画しておき、目標駐車位置が検出されたときに、このデフォルト枠画像の描画を停止して検出された目標駐車位置を示す枠画像を描画する例の説明図である。It is a figure explaining the other example of the frame image drawing method at the time of succeeding in detection of a target parking position, when a default frame image is drawn in a default position beforehand and this target parking position is detected, It is explanatory drawing of the example which draws the frame image which shows the target parking position detected by stopping drawing of a default frame image.

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.

本発明は、自車を駐車させる目標駐車位置を自動検出し、自車周囲の画像上にこの目標駐車位置を示す枠画像を描画して重畳表示することで、自動検出した目標駐車位置を自車のドライバに認識させる構成の駐車支援装置を適用対象とする。そして、特に本発明を適用した駐車支援装置では、目標駐車位置の検出結果に応じて枠画像の描画方法を変更するようにしている点に特徴があり、例えば、目標駐車位置が検出された場合は当該目標駐車位置の検出過程を示すイメージ画像を描画してから目標駐車位置を示す枠画像を描画し、目標駐車位置が検出できなかった場合は、自車位置に対して予め定められたデフォルトの位置にデフォルト枠画像を描画するとともに、画像上でのデフォルト枠画像の位置調整をドライバに促すアイコンなどを描画するようにしている。以下では、自車を中心としてその周囲を上空から見下ろした俯瞰画像を生成し、この俯瞰画像上に枠画像を描画して重畳表示する場合を例に挙げて説明する。   The present invention automatically detects a target parking position where the host vehicle is parked, draws a frame image indicating the target parking position on an image around the host vehicle, and superimposes the frame image to display the automatically detected target parking position. A parking assistance device configured to be recognized by a car driver is an application target. And especially in the parking assistance device to which the present invention is applied, there is a feature in that the drawing method of the frame image is changed according to the detection result of the target parking position, for example, when the target parking position is detected Draws an image showing the detection process of the target parking position, then draws a frame image showing the target parking position. If the target parking position cannot be detected, a default predetermined for the vehicle position is set. The default frame image is drawn at the position, and an icon or the like that prompts the driver to adjust the position of the default frame image on the image is drawn. Hereinafter, an example will be described in which a bird's-eye view image in which the surroundings of the own vehicle is viewed from above is generated, a frame image is drawn on the bird's-eye view image, and is superimposed and displayed.

[構成]
図1は、本実施形態の駐車支援装置の概略構成を示すブロック図である。本実施形態の駐車支援装置は、自車に搭載されたフロントカメラ1、リアカメラ2、右サイドカメラ3、左サイドカメラ4の4つの車載カメラと、自車の車室内に設置されたディスプレイ5と、自車のドライバの操作入力を受け付ける操作入力デバイス6とがコントロールユニット10に接続されて構成される。
[Constitution]
FIG. 1 is a block diagram illustrating a schematic configuration of the parking assist device according to the present embodiment. The parking assist device of the present embodiment includes four in-vehicle cameras, a front camera 1, a rear camera 2, a right side camera 3, and a left side camera 4, mounted on the own vehicle, and a display 5 installed in the vehicle interior of the own vehicle. And an operation input device 6 that receives an operation input from the driver of the vehicle is connected to the control unit 10.

フロントカメラ1、リアカメラ2、右サイドカメラ3、左サイドカメラ4の4つの車載カメラは、例えば、180度程度の画角を有する広角のCCDカメラ或いはCMOSカメラよりなり、これら4つの車載カメラ1〜4で自車周囲を囲む全ての領域の映像を撮影できるように、自車周囲の適所に取り付けられている。具体的には、フロントカメラ1は、例えば図2に示すように、自車のフロントグリルなどに設置され、自車前方の領域A1の画像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ2は、自車のルーフスポイラなどに設置され、自車後方の領域A2の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ3は、自車の右サイドミラーなどに設置され、自車右側方の領域A3の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ4は、自車の左サイドミラーなどに設置され、自車左側方の領域A4の画像を地面に対して斜めに見下ろす方向で撮影する。これら4つの車載カメラ1〜4で撮影された画像の信号は、コントロールユニット10へと随時送られる。   The four in-vehicle cameras including the front camera 1, the rear camera 2, the right side camera 3, and the left side camera 4 are, for example, wide-angle CCD cameras or CMOS cameras having an angle of view of about 180 degrees. It is attached at a suitable location around the vehicle so that images of all areas surrounding the vehicle can be photographed at -4. Specifically, as shown in FIG. 2, for example, the front camera 1 is installed on a front grill of the own vehicle and shoots an image of a region A1 ahead of the own vehicle in a direction looking down obliquely with respect to the ground. The rear camera 2 is installed in a roof spoiler or the like of the own vehicle and shoots an image of the area A2 behind the own vehicle in a direction looking down obliquely with respect to the ground. The right side camera 3 is installed on a right side mirror of the host vehicle and shoots an image of the area A3 on the right side of the host vehicle in a direction looking down obliquely with respect to the ground. Further, the left side camera 4 is installed on a left side mirror of the own vehicle and shoots an image of a region A4 on the left side of the own vehicle in a direction looking down obliquely with respect to the ground. Signals of images taken by these four in-vehicle cameras 1 to 4 are sent to the control unit 10 as needed.

ディスプレイ5は、コントロールユニット10により生成された表示画像を表示するものであり、例えば液晶表示器などが用いられる。このディスプレイ5は、自車の車室内のセンターコンソールなど、自車のドライバにとって見易い位置に設置されており、コントロールユニット10からの画像信号に基づいて、コントロールユニット10で生成された駐車支援のための画像を表示する。   The display 5 displays a display image generated by the control unit 10, and for example, a liquid crystal display is used. This display 5 is installed at a position that is easy to see for the driver of the host vehicle, such as a center console in the cabin of the host vehicle, and for parking assistance generated by the control unit 10 based on an image signal from the control unit 10. The image of is displayed.

操作入力デバイス6は、自車のドライバによる操作入力を受け付けるものであり、例えば各種の操作ボタンやジョイスティックなどが用いられる。また、ディスプレイ5の表示画面にタッチパネルを設け、このタッチパネルを操作入力デバイス6として用いるようにしてもよい。この操作入力デバイス6を用いた自車のドライバによる操作入力は、コントロールユニット10へと送られる。   The operation input device 6 receives an operation input by the driver of the own vehicle, and various operation buttons, a joystick, etc. are used, for example. Further, a touch panel may be provided on the display screen of the display 5, and this touch panel may be used as the operation input device 6. The operation input by the driver of the own vehicle using the operation input device 6 is sent to the control unit 10.

コントロールユニット10は、画像を加工処理するプログラムが格納されたマイクロコンピュータなどの情報処理装置を備えて構成され、CPUなどの演算装置でこのプログラムを実行することによって、車載カメラ1〜4の撮影画像を用いてディスプレイ5に表示させる画像を生成する。このコントロールユニット10は、その構成を機能的に捉えた場合、図3に示すように、画像入力部11と、俯瞰画像生成部12と、目標駐車位置検出部13と、検出結果判定部14と、描画部15と、画像出力部16とを備えた構成とされる。   The control unit 10 is configured to include an information processing device such as a microcomputer in which a program for processing an image is stored, and the captured image of the in-vehicle cameras 1 to 4 is executed by executing the program with an arithmetic device such as a CPU. Is used to generate an image to be displayed on the display 5. As shown in FIG. 3, when the control unit 10 functionally grasps the configuration, the control unit 10 includes an image input unit 11, an overhead image generation unit 12, a target parking position detection unit 13, and a detection result determination unit 14. The drawing unit 15 and the image output unit 16 are provided.

画像入力部11は、フロントカメラ1、リアカメラ2、右サイドカメラ3、左サイドカメラ4の4つの車載カメラで撮影された画像をそれぞれ入力する。   The image input unit 11 inputs images captured by four vehicle-mounted cameras, that is, the front camera 1, the rear camera 2, the right side camera 3, and the left side camera 4.

俯瞰画像生成部12は、画像入力部11により入力された各車載カメラ1〜4の撮影画像を用いて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成する。図4は、この俯瞰画像を生成する処理の概要を説明する図であり、図4中の画像100が俯瞰画像生成部12により生成される俯瞰画像、画像101がフロントカメラ1の撮影画像、画像102がリアカメラ2の撮影画像、画像103が右サイドカメラ3の撮影画像、画像104が左サイドカメラ4の撮影画像である。なお、この図4の例では、俯瞰画像生成の様子を分かり易く図示するために、各車載カメラ1〜4が自車周囲の地面に引かれた目安となるラインを含む画像を撮影するようにしている。   The bird's-eye view image generation unit 12 uses the captured images of the in-vehicle cameras 1 to 4 input by the image input unit 11 to generate a bird's-eye view image looking down from the virtual viewpoint above the vehicle. FIG. 4 is a diagram for explaining the outline of the processing for generating the overhead image. The image 100 in FIG. 4 is an overhead image generated by the overhead image generation unit 12, the image 101 is a captured image of the front camera 1, and the image Reference numeral 102 denotes a captured image of the rear camera 2, an image 103 is a captured image of the right side camera 3, and an image 104 is a captured image of the left side camera 4. In the example of FIG. 4, in order to illustrate the state of overhead image generation in an easy-to-understand manner, each on-vehicle camera 1 to 4 captures an image including a reference line drawn on the ground around the vehicle. ing.

俯瞰画像生成部12は、フロントカメラ1の撮影画像101に対して既知の視点変換アルゴリズムに従った座標変換処理を行って、自車前方の領域(図2中の領域A1)を自車上方の仮想視点から見下ろした画像100aを生成する。また、俯瞰画像生成部12は、リアカメラ2の撮影画像102に対しても同様の座標変換処理を行って、自車後方の領域(図2中の領域A2)を自車上方の仮想視点から見下ろした画像100bを生成する。さらに、俯瞰画像生成部12は、右サイドカメラ3の撮影画像103や左サイドカメラ4の撮影画像104に対しても同様の座標変換処理を行って、自車右側方の領域(図2中の領域A3)を自車上方の仮想視点から見下ろした画像100cや、自車左側方の領域(図2中の領域A4)を自車上方の仮想視点から見下ろした画像100dを生成する。そして、俯瞰画像生成部12は、これらの画像100a〜100dを繋ぎ合わせて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像100を生成する。なお、この俯瞰画像100の中央は自車の現在位置であり、ここには自車を表す車両オブジェクト105が配置される。   The bird's-eye view image generation unit 12 performs a coordinate conversion process on the captured image 101 of the front camera 1 according to a known viewpoint conversion algorithm so that the area ahead of the host vehicle (the area A1 in FIG. 2) is located above the host vehicle. An image 100a looking down from the virtual viewpoint is generated. Further, the bird's-eye view image generation unit 12 performs a similar coordinate conversion process on the captured image 102 of the rear camera 2 so that the area behind the own vehicle (area A2 in FIG. 2) is viewed from the virtual viewpoint above the own vehicle. A look-down image 100b is generated. Further, the bird's-eye view image generation unit 12 performs the same coordinate conversion processing on the captured image 103 of the right side camera 3 and the captured image 104 of the left side camera 4, and thereby the area on the right side of the vehicle (in FIG. 2). An image 100c in which the area A3) is looked down from the virtual viewpoint above the own vehicle, and an image 100d in which the area on the left side of the own vehicle (area A4 in FIG. 2) is looked down from the virtual viewpoint is generated. And the bird's-eye view image production | generation part 12 connects these images 100a-100d, and produces | generates the bird's-eye view image 100 which looked down the surroundings of the own vehicle from the virtual viewpoint above the own vehicle. The center of the bird's-eye view image 100 is the current position of the own vehicle, and a vehicle object 105 representing the own vehicle is arranged here.

目標駐車位置検出部13は、俯瞰画像生成部12により生成された俯瞰画像に対して直線検出処理等の画像処理を行って、自車が駐車可能である目標駐車位置を検出する。検出対象としては、スーパーマーケットや集合住宅駐車場に見られるアスファルト路面やコンクリート路面にペイントで描かれた駐車枠線とする。なお、目標駐車位置を検出するために画像処理を行う画像としては、俯瞰画像生成部12により生成された俯瞰画像だけでなく、車載カメラ1〜4で撮像された画像を用いることも可能である。また、自車に例えば超音波ソナーやレーザレーダ装置、ミリ波レーダ装置などの自車周囲の障害物を検出するセンサが取り付けられている場合には、この障害物検出センサからのセンサ情報を用いて目標駐車位置を検出するようにしてもよい。   The target parking position detection unit 13 performs image processing such as straight line detection processing on the bird's-eye view image generated by the bird's-eye view image generation unit 12 to detect a target parking position where the host vehicle can be parked. The detection target is a parking frame line drawn with paint on an asphalt road surface or a concrete road surface found in a supermarket or an apartment parking lot. In addition, as an image which performs an image process in order to detect a target parking position, it is also possible to use not only the bird's-eye view image generated by the bird's-eye view image generation unit 12 but also images captured by the in-vehicle cameras 1 to 4. . In addition, when a sensor for detecting an obstacle around the vehicle such as an ultrasonic sonar, a laser radar device, or a millimeter wave radar device is attached to the own vehicle, sensor information from the obstacle detection sensor is used. The target parking position may be detected.

検出結果判定部14は、目標駐車位置検出部13による目標駐車位置検出の結果、つまり、自車周囲に自車が駐車可能である目標駐車位置が検出できたかどうかの判定を行う。   The detection result determination unit 14 determines whether the target parking position is detected by the target parking position detection unit 13, that is, whether a target parking position where the host vehicle can be parked around the host vehicle has been detected.

描画部15は、俯瞰画像生成部12により生成された俯瞰画像上に目標駐車位置を示す枠画像を描画する。特に、この描画部15では、検出結果判定部14による判定結果に応じて目標駐車位置を示す枠画像の描画方法を変更するようにしており、例えば、目標駐車位置が検出された場合は当該目標駐車位置の検出過程を示すイメージ画像を描画してから目標駐車位置を示す枠画像を描画し、目標駐車位置が検出できなかった場合は、自車位置に対して予め定められたデフォルトの位置にデフォルト枠画像を描画するとともに、俯瞰画像上でのデフォルト枠画像の位置調整をドライバに促すアイコンなどを描画する。なお、検出結果判定部14による判定結果に応じた枠画像の描画方法の具体例については、詳細を後述する。   The drawing unit 15 draws a frame image indicating the target parking position on the overhead view image generated by the overhead view image generation unit 12. In particular, the drawing unit 15 changes the drawing method of the frame image indicating the target parking position in accordance with the determination result by the detection result determining unit 14. For example, when the target parking position is detected, the target unit After drawing an image showing the parking position detection process, draw a frame image showing the target parking position, and if the target parking position cannot be detected, the default position predetermined for the vehicle position is set. A default frame image is drawn, and an icon or the like that prompts the driver to adjust the position of the default frame image on the overhead image is drawn. A specific example of a method for drawing a frame image according to the determination result by the detection result determination unit 14 will be described later in detail.

画像出力部16は、描画部15によって枠画像等の描画が施された俯瞰画像の画像信号を、随時更新しながらディスプレイ5に対して出力する。これにより、ディスプレイ5には、図4に示したような俯瞰画像上に、目標駐車位置の検出過程を示すイメージ画像や、目標駐車位置を示す枠画像、或いは、デフォルト枠画像や、デフォルト枠画像の位置調整を促すアイコンなどが重畳された画像が表示されることになる。   The image output unit 16 outputs the image signal of the bird's-eye view image drawn by the drawing unit 15 such as a frame image to the display 5 while being updated as needed. Thereby, on the overhead image as shown in FIG. 4, the display 5 displays an image image indicating the detection process of the target parking position, a frame image indicating the target parking position, a default frame image, or a default frame image. An image on which an icon or the like for prompting the position adjustment is superimposed is displayed.

[コントロールユニットによる処理の概要]
次に、本実施形態の駐車支援装置のコントロールユニット10による処理の概要について、図5のフローチャートを参照しながら説明する。この図5のフローチャートに示す一連の処理は、自車のドライバが操作入力デバイス6を用いて駐車支援装置の起動を指示する入力を行うことで開始される。
[Outline of processing by the control unit]
Next, an outline of processing by the control unit 10 of the parking assistance apparatus of the present embodiment will be described with reference to the flowchart of FIG. The series of processes shown in the flowchart of FIG. 5 is started when the driver of the own vehicle inputs using the operation input device 6 to instruct the activation of the parking assistance apparatus.

コントロールユニット10は、まずステップS1において、自車に搭載されたフロントカメラ1、リアカメラ2、右サイドカメラ3、左サイドカメラ4の4つの車載カメラで撮影された自車周囲の画像をそれぞれ入力する。   First, in step S1, the control unit 10 inputs images of the surroundings of the vehicle taken by the four on-vehicle cameras of the front camera 1, the rear camera 2, the right side camera 3, and the left side camera 4 mounted on the vehicle. To do.

次に、コントロールユニット10は、ステップS2において、ステップS1で入力した4つの車載カメラ1〜4の撮像画像を用いて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成する。   Next, in step S2, the control unit 10 uses the captured images of the four in-vehicle cameras 1 to 4 input in step S1 to generate an overhead image in which the surroundings of the vehicle are looked down from a virtual viewpoint above the vehicle.

次に、コントロールユニット10は、ステップS3において、ステップS2で生成された俯瞰画像に対して直線検出処理等の画像処理を行って、自車周囲の領域から自車を駐車させる目標位置となる目標駐車位置を検出する処理を実施する。   Next, in step S3, the control unit 10 performs image processing such as straight line detection processing on the overhead image generated in step S2, and becomes a target position that is a target position for parking the vehicle from the area around the vehicle. A process for detecting the parking position is performed.

次に、コントロールユニット10は、ステップS4において、ステップS3で実施した目標駐車位置の検出処理の結果、自車周囲の領域から目標駐車位置が検出できたか否かを判定し、目標駐車位置が検出できた場合はステップS5に進み、目標駐車位置が検出できなかった場合はステップS9に進む。   Next, in step S4, the control unit 10 determines whether the target parking position has been detected from the area around the host vehicle as a result of the target parking position detection process performed in step S3, and the target parking position is detected. If it is possible, the process proceeds to step S5. If the target parking position cannot be detected, the process proceeds to step S9.

目標駐車位置の検出に成功してステップS5に進んだ場合、コントロールユニット10は、ステップS5において、ステップS2で生成した俯瞰画像上に、目標駐車位置の検出過程を示すイメージ画像を描画する。そして、ステップS6において、目標駐車位置の検出過程を示すイメージ画像が描画された俯瞰画像の画像データをディスプレイ5に出力する。これにより、ディスプレイ5には、目標駐車位置の検出過程を示すイメージ画像が重畳された俯瞰画像が表示されることになる。   When the detection of the target parking position is successful and the process proceeds to step S5, the control unit 10 draws an image image showing the detection process of the target parking position on the overhead image generated in step S2 in step S5. In step S <b> 6, the image data of the bird's-eye view image on which the image image indicating the detection process of the target parking position is drawn is output to the display 5. Thereby, the overhead image on which the image image which shows the detection process of a target parking position was superimposed on the display 5 is displayed.

次に、コントロールユニット10は、ステップS7において、ステップS2で生成した俯瞰画像上に、ステップS3で検出された目標駐車位置を示す枠画像を描画する。そして、ステップS8において、枠画像が描画された俯瞰画像の画像データをディスプレイ5に出力する。これにより、ディスプレイ5には、目標駐車位置を示す枠画像が重畳された俯瞰画像が表示されることになる。   Next, in step S7, the control unit 10 draws a frame image indicating the target parking position detected in step S3 on the overhead view image generated in step S2. In step S <b> 8, the image data of the overhead image on which the frame image is drawn is output to the display 5. Thereby, the bird's-eye view image on which the frame image indicating the target parking position is superimposed is displayed on the display 5.

一方、目標駐車位置の検出に失敗してステップS9に進んだ場合、コントロールユニット10は、ステップS9において、ステップS2で生成した俯瞰画像上の予め定められたデフォルト位置にデフォルト枠画像を描画するとともに、デフォルト枠画像の位置調整を促すアイコンなどを描画する。そして、ステップS10において、デフォルト枠画像やその位置調整を促すアイコンなどが描画された俯瞰画像の画像データをディスプレイ5に出力する。これにより、ディスプレイ5には、デフォルト枠画像やその位置調整を促すアイコンなどが重畳された俯瞰画像が表示されることになる。   On the other hand, when the detection of the target parking position fails and the process proceeds to step S9, the control unit 10 draws a default frame image at a predetermined default position on the overhead image generated in step S2 in step S9. Then, an icon or the like for prompting the position adjustment of the default frame image is drawn. In step S <b> 10, the image data of the bird's-eye view image on which a default frame image and an icon for adjusting the position thereof are drawn is output to the display 5. As a result, the display 5 displays a bird's-eye view image on which a default frame image and an icon for urging position adjustment are superimposed.

[目標駐車位置検出の判定結果に応じた枠画像描画方法の具体例]
次に、自車の左側方に駐車枠線が存在するシーンで自車が車庫入れ駐車を行う場合を想定しながら、目標駐車位置が検出できたかどうかの判定結果に応じた枠画像の描画方法の具体例について説明する。
[Specific example of frame image drawing method according to determination result of target parking position detection]
Next, a frame image drawing method according to the determination result of whether or not the target parking position has been detected while assuming that the vehicle performs parking in a garage in a scene where a parking frame line exists on the left side of the vehicle A specific example will be described.

<目標駐車位置の検出に成功した場合の枠画像描画方法>
図6は、目標駐車位置の検出に成功した場合の枠画像描画方法の一例を説明する図であり、目標駐車位置の検出過程を示すイメージ画像を描画してから、検出された目標駐車位置を示す枠画像を描画する例の説明図である。なお、図6(a)が、目標駐車位置が検出されたときに最初にディスプレイ5に表示される画像例であり、図6(b)は、図6(a)の画像が表示された後にディスプレイ5に表示される画像例である。
<Frame image drawing method when the target parking position is successfully detected>
FIG. 6 is a diagram for explaining an example of a frame image drawing method when the target parking position is successfully detected. After drawing an image image showing a detection process of the target parking position, the detected target parking position is displayed. It is explanatory drawing of the example which draws the frame image shown. 6A is an example of an image that is first displayed on the display 5 when the target parking position is detected, and FIG. 6B is a diagram after the image of FIG. 6A is displayed. It is an example of an image displayed on the display 5.

ディスプレイ5に表示される画像は俯瞰画像100をベースとしており、その中央部には自車を表す車両オブジェクト105が表示されている。また、左側方には駐車枠線106が表示されている。   The image displayed on the display 5 is based on the bird's-eye view image 100, and a vehicle object 105 representing the own vehicle is displayed in the center thereof. A parking frame line 106 is displayed on the left side.

目標駐車位置の検出に成功したと判定した場合、コントロールユニット10は、まず図6(a)に示すように、目標駐車位置の検出過程を示すイメージ画像として、実際の画像処理において検出した各候補、例えば、駐車枠線候補107や駐車枠の端点候補108、駐車枠の中心線候補109などを表すイメージ画像を俯瞰画像100上に描画して、このイメージ画像が重畳された俯瞰画像100をディスプレイ5に数秒間表示させる。ここで、画像処理において安定した検出を行うために俯瞰画像100から上記の各候補を複数回検出するとした場合は、その結果を時系列に描画してもよい。   When it is determined that the target parking position has been successfully detected, the control unit 10 first detects each candidate detected in the actual image processing as an image image showing the detection process of the target parking position, as shown in FIG. For example, an image image representing the parking frame line candidate 107, the parking frame end point candidate 108, the parking frame center line candidate 109, and the like is drawn on the overhead image 100, and the overhead image 100 on which the image image is superimposed is displayed. 5 is displayed for a few seconds. Here, when each of the above candidates is detected from the overhead image 100 a plurality of times in order to perform stable detection in image processing, the results may be drawn in time series.

コントロールユニット10は、以上のような実際の画像処理で検出した各候補のイメージ画像、つまり目標駐車位置の検出過程を示すイメージ画像を俯瞰画像100上に重畳してディスプレイ5に数秒間表示させた後に、図6(b)に示すように、検出によって得られた目標駐車位置を示す枠画像110を、上記の各候補のイメージ画像とは異なる描画色で俯瞰画像100上の目標駐車位置に描画し、この枠画像110が重畳された俯瞰画像100をディスプレイ5に表示させる。また、このとき、例えば「駐車枠を検出しました」といったメッセージ111を併せてディスプレイ5に表示するようにしてもよい。なお、目標駐車位置を示す枠画像110は、図6(b)に示すような四角い枠のアウトラインのみが描画される形態であってもよいし、枠の内部を塗りつぶした形態であってもよい。また、車両オブジェクトを枠図形110として描画するようにしてもよい。   The control unit 10 superimposes each candidate image image detected by the actual image processing as described above, that is, an image image indicating the detection process of the target parking position on the overhead image 100 and displays it on the display 5 for several seconds. After that, as shown in FIG. 6B, the frame image 110 indicating the target parking position obtained by the detection is drawn at the target parking position on the overhead image 100 with a drawing color different from the image images of the above candidates. Then, the overhead image 100 on which the frame image 110 is superimposed is displayed on the display 5. At this time, for example, a message 111 “Parking frame detected” may be displayed on the display 5 together. The frame image 110 indicating the target parking position may have a form in which only the outline of a square frame as shown in FIG. 6B is drawn, or may have a form in which the inside of the frame is filled. . Further, the vehicle object may be drawn as the frame graphic 110.

以上のように、目標駐車位置の検出に成功した場合は、目標駐車位置の検出過程を示すイメージ画像を俯瞰画像100上に描画してディスプレイ5に表示した後に、検出によって得られた目標駐車位置を示す枠画像110を俯瞰画像100上に描画してディスプレイ5に表示することによって、駐車支援装置によって目標駐車位置が既に検出されており、ディスプレイ5に表示されている枠画像110の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   As described above, when the target parking position is successfully detected, the target parking position obtained by the detection after the image image showing the detection process of the target parking position is drawn on the overhead image 100 and displayed on the display 5. Is drawn on the overhead image 100 and displayed on the display 5, the target parking position has already been detected by the parking support device, and the position of the frame image 110 displayed on the display 5 is It is possible to make the driver accurately recognize that the target parking position is detected by the parking assistance device.

<目標駐車位置の検出に失敗した場合の枠画像描画方法>
図7は、目標駐車位置の検出に失敗した場合の枠画像描画方法の一例を説明する図である。この場合も、ディスプレイ5に表示される画像は俯瞰画像100をベースとしており、その中央部には自車を表す車両オブジェクト105が表示され、左側方には駐車枠線106が表示されている。
<Frame image drawing method when detection of target parking position fails>
FIG. 7 is a diagram illustrating an example of a frame image drawing method when detection of the target parking position fails. Also in this case, the image displayed on the display 5 is based on the bird's-eye view image 100, a vehicle object 105 representing the own vehicle is displayed at the center, and a parking frame line 106 is displayed on the left side.

目標駐車位置の検出に失敗したと判定した場合、コントロールユニット10は、図7に示すように、俯瞰画像100上の自車位置に対して予め定められているデフォルトの位置に予め定められた姿勢で、デフォルト枠画像120を描画する。なお、デフォルト枠画像120の描画色は、目標駐車位置が検出されたときに描画する枠画像110の描画色とは異ならせることが望ましい。また、デフォルト枠画像12と併せて、デフォルト枠画像120の位置調整を促すアイコン、例えば、デフォルト枠画像120が前後左右に移動可能であることを示すアイコン121や、デフォルト枠画像120が回転可能であることを示すアイコン122などを描画する。そして、これらデフォルト枠画像120や位置調整を促すアイコン121,122などが重畳された俯瞰画像100をディスプレイ5に表示させる。また、このとき、例えば「駐車枠を微調整してください」といったメッセージ123を併せてディスプレイ5に表示させるようにしてもよい。なお、デフォルト枠画像120は、図7に示すような四角い枠のアウトラインのみが描画される形態であってもよいし、枠の内部を塗りつぶした形態であってもよい。また、車両オブジェクトをデフォルト枠図形120として描画するようにしてもよい。   When it is determined that the detection of the target parking position has failed, the control unit 10, as shown in FIG. 7, has a predetermined attitude at a predetermined default position with respect to the own vehicle position on the overhead image 100. Then, the default frame image 120 is drawn. Note that the drawing color of the default frame image 120 is preferably different from the drawing color of the frame image 110 drawn when the target parking position is detected. In addition to the default frame image 12, an icon for prompting the position adjustment of the default frame image 120, for example, an icon 121 indicating that the default frame image 120 can be moved forward, backward, left and right, or the default frame image 120 can be rotated. An icon 122 or the like indicating the presence is drawn. Then, the overhead image 100 on which the default frame image 120 and the icons 121 and 122 for prompting the position adjustment are superimposed is displayed on the display 5. At this time, for example, a message 123 “Please finely adjust the parking frame” may be displayed on the display 5 together. Note that the default frame image 120 may have a form in which only the outline of a square frame as shown in FIG. 7 is drawn, or may have a form in which the inside of the frame is filled. Further, the vehicle object may be drawn as the default frame graphic 120.

以上のように、目標駐車位置の検出に失敗した場合は、デフォルト枠画像120に併せてこのデフォルト枠画像120の位置調整を促すアイコン121,122を俯瞰画像100上に描画してディスプレイ5に表示することによって、目標駐車位置が未だ検出されておらず、ディスプレイ5に表示されているデフォルト枠画像120の位置を調整することで、ドライバ自ら目標駐車位置を設定すべきことをドライバに的確に認識させることができる。   As described above, when the detection of the target parking position fails, the icons 121 and 122 that prompt the position adjustment of the default frame image 120 are drawn on the overhead image 100 and displayed on the display 5 together with the default frame image 120. By adjusting the position of the default frame image 120 displayed on the display 5 without the target parking position being detected yet, the driver accurately recognizes that the driver should set the target parking position. Can be made.

<複数の目標駐車位置が検出された場合の枠画像描画方法>
図8は、複数の目標駐車位置が検出された場合の枠画像描画方法の一例を説明する図でである。なお、図8(a)が、複数の目標駐車位置が検出されたときに最初にディスプレイ5に表示される画像例であり、図8(b)は、図8(a)の画像が表示された後にディスプレイ5に表示される画像例である。この場合も、ディスプレイ5に表示される画像は俯瞰画像100をベースとしており、その中央部には自車を表す車両オブジェクト105が表示され、左側方には駐車枠線106が表示されている。
<Frame image drawing method when multiple target parking positions are detected>
FIG. 8 is a diagram for explaining an example of a frame image drawing method when a plurality of target parking positions are detected. FIG. 8A shows an example of an image that is first displayed on the display 5 when a plurality of target parking positions are detected. FIG. 8B shows an image of FIG. 8A. It is an example of an image displayed on the display 5 later. Also in this case, the image displayed on the display 5 is based on the bird's-eye view image 100, a vehicle object 105 representing the own vehicle is displayed at the center, and a parking frame line 106 is displayed on the left side.

複数の目標駐車位置が検出された場合、コントロールユニット10は、まず図8(a)に示すように、目標駐車位置の検出過程を示すイメージ画像として、例えば図6(a)の例と同様、画像処理によって検出された駐車枠線候補107や駐車枠の端点候補108、駐車枠の中心線候補109などのイメージ画像を俯瞰画像100上に描画して、このイメージ画像が重畳された俯瞰画像100をディスプレイ5に数秒間表示させる。   When a plurality of target parking positions are detected, the control unit 10 first, as shown in FIG. 8 (a), as an image image showing the detection process of the target parking position, for example, as in the example of FIG. 6 (a), An image such as the parking frame line candidate 107, the parking frame end point candidate 108, and the parking frame center line candidate 109 detected by the image processing is drawn on the overhead image 100, and the overhead image 100 on which the image image is superimposed. Is displayed on the display 5 for several seconds.

その後、コントロールユニット10は、図8(b)に示すように、検出によって得られた複数の目標駐車位置のうちで、推奨する目標駐車位置を示す枠画像110と、他の検出された目標位置を示す枠画像112,113とを、俯瞰画像100上の各位置に描画する。このとき、枠画像112,113については、現在推奨している目標駐車位置ではないため、推奨する目標駐車位置を示す枠画像110とは異なる描画色で描画し、且つ、破線などで囲われた枠として描画しておくことが望ましい。また、例えば矢印のような目標駐車位置の選択を促すアイコン114,115を、枠画像112,113の描画色と同じ色で対応付けて描画する。そして、これら枠画像110及び枠画像112,113や、矢印などのアイコン114,115などが重畳された俯瞰画像100をディスプレイ5に表示させる。また、このとき、例えば「駐車枠を検出しました」といったメッセージ111や、「駐車枠を選択してください」といったメッセージを併せてディスプレイ5に表示させるようにしてもよい。   Thereafter, as shown in FIG. 8B, the control unit 10 includes a frame image 110 indicating a recommended target parking position among the plurality of target parking positions obtained by detection, and other detected target positions. Frame images 112 and 113 indicating the above are drawn at respective positions on the overhead image 100. At this time, since the frame images 112 and 113 are not currently recommended target parking positions, the frame images 112 and 113 are drawn in a different drawing color from the frame image 110 indicating the recommended target parking position, and are surrounded by a broken line or the like. It is desirable to draw as a frame. In addition, for example, icons 114 and 115 that prompt the user to select a target parking position such as an arrow are drawn in association with the same color as the drawing colors of the frame images 112 and 113. Then, the bird's-eye view image 100 on which the frame image 110 and the frame images 112 and 113 and icons 114 and 115 such as arrows are superimposed is displayed on the display 5. At this time, for example, a message 111 “A parking frame has been detected” or a message “Please select a parking frame” may be displayed on the display 5 together.

以上のように、複数の目標駐車位置が検出された場合は、目標駐車位置の検出過程を示すイメージ画像を俯瞰画像100上に描画してディスプレイ5に表示した後に、推奨する目標駐車位置を示す枠画像110及び他の検出された目標駐車位置を示す枠画像112,113や、目標駐車位置の選択を促すアイコン114,115などを俯瞰画像100上に描画してディスプレイ5に表示することによって、駐車支援装置によって複数の目標駐車位置が検出されており、ディスプレイ5に表示されている枠画像110の位置が駐車支援装置で推奨している目標駐車位置であること、さらには、枠画像112,113の位置に目標駐車位置を設定することも可能であることをドライバに的確に認識させることができる。   As described above, when a plurality of target parking positions are detected, an image image indicating the target parking position detection process is drawn on the bird's-eye view image 100 and displayed on the display 5, and then the recommended target parking position is indicated. By drawing the frame image 110 and other detected frame images 112 and 113 indicating the target parking position, icons 114 and 115 for urging selection of the target parking position on the overhead image 100 and displaying them on the display 5, A plurality of target parking positions are detected by the parking assistance device, and the position of the frame image 110 displayed on the display 5 is the target parking position recommended by the parking assistance device. Further, the frame image 112, It is possible to make the driver accurately recognize that the target parking position can be set at the position 113.

<目標駐車位置の検出に成功した場合の枠画像描画方法の他の例>
図9は、目標駐車位置の検出に成功した場合の枠画像描画方法の他の例を説明する図であり、目標駐車位置を絞るイメージ画像を描画してから、検出された目標駐車位置を示す枠画像を描画する例の説明図である。なお、図9(a)が、目標駐車位置が検出されたときに最初にディスプレイ5に表示される画像例であり、図9(b)は、図9(a)の画像が表示された後にディスプレイ5に表示される画像例である。この場合も、ディスプレイ5に表示される画像は俯瞰画像100をベースとしており、その中央部には自車を表す車両オブジェクト105が表示され、左側方には駐車枠線106が表示されている。
<Another example of the frame image drawing method when the target parking position is successfully detected>
FIG. 9 is a diagram for explaining another example of the frame image drawing method when the target parking position is successfully detected, and shows the detected target parking position after drawing an image image for narrowing down the target parking position. It is explanatory drawing of the example which draws a frame image. Note that FIG. 9A is an example of an image that is first displayed on the display 5 when the target parking position is detected, and FIG. 9B is a diagram after the image of FIG. 9A is displayed. It is an example of an image displayed on the display 5. Also in this case, the image displayed on the display 5 is based on the bird's-eye view image 100, a vehicle object 105 representing the own vehicle is displayed at the center, and a parking frame line 106 is displayed on the left side.

本例の場合、コントロールユニット10は、目標駐車位置の検出に成功したと判定すると、まず図9(a)に示すように、目標駐車位置を探索していることを表すイメージ画像116を俯瞰画像100上に描画して、このイメージ画像116を、例えば数秒間かけて、目標駐車位置の候補として検出した駐車枠線と同じ位置、同じサイズになるよう収縮させる。そして、このような目標駐車位置を絞るイメージのイメージ画像116が重畳された俯瞰画像100をディスプレイ5に表示させる。   In the case of this example, when the control unit 10 determines that the target parking position has been successfully detected, first, as shown in FIG. 9A, an image image 116 indicating that the target parking position is being searched is displayed as an overhead image. For example, the image 116 is drawn on 100 and contracted over the course of several seconds so as to be the same position and the same size as the parking frame line detected as the target parking position candidate. Then, the overhead image 100 on which the image image 116 of the image for narrowing down the target parking position is superimposed is displayed on the display 5.

コントロールユニット10は、以上のような目標駐車位置を絞るイメージ画像116を俯瞰画像100上に重畳してディスプレイ5に表示させた後に、図9(b)に示すように、検出によって得られた目標駐車位置を示す枠画像110を、上記のイメージ画像116とは異なる描画色で俯瞰画像100上の目標駐車位置に描画し、この枠画像110が重畳された俯瞰画像100をディスプレイ5に表示させる。また、このとき、例えば「駐車枠を検出しました」といったメッセージ111を併せてディスプレイ5に表示させるようにしてもよい。   The control unit 10 superimposes the image image 116 for narrowing the target parking position as described above on the overhead image 100 and displays it on the display 5, and then, as shown in FIG. 9B, the target obtained by the detection. A frame image 110 indicating the parking position is drawn at a target parking position on the overhead image 100 with a drawing color different from that of the image image 116, and the overhead image 100 on which the frame image 110 is superimposed is displayed on the display 5. At this time, for example, a message 111 “parking frame detected” may be displayed on the display 5 together.

以上のように、目標駐車位置の検出に成功した場合、目標駐車位置を絞るイメージのイメージ画像116を俯瞰画像100上に描画してディスプレイ5に表示した後に、検出によって得られた目標駐車位置を示す枠画像110を俯瞰画像100上に描画してディスプレイ5に表示するようにしても、駐車支援装置によって目標駐車位置が検出されたことや、ディスプレイ5に表示されている枠画像110の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   As described above, when the target parking position is successfully detected, the image image 116 of the image for narrowing down the target parking position is drawn on the overhead image 100 and displayed on the display 5, and then the target parking position obtained by the detection is displayed. Even if the frame image 110 shown is drawn on the bird's-eye view image 100 and displayed on the display 5, the target parking position is detected by the parking support device, and the position of the frame image 110 displayed on the display 5 is The driver can accurately recognize that the target parking position is detected by the parking assistance device.

<目標駐車位置の検出に成功した場合の枠画像描画方法の他の例>
図10は、目標駐車位置の検出に成功した場合の枠画像描画方法の他の例を説明する図であり、予めデフォルトの位置にデフォルト枠画像を描画しておき、目標駐車位置が検出されたときに、このデフォルト枠画像の描画を停止して検出された目標駐車位置を示す枠画像を描画する例の説明図である。なお、図10(a)が、目標駐車位置が検出される前の段階でディスプレイ5に表示されている画像例であり、図10(b)は、目標駐車位置が検出されたときにディスプレイ5に表示される画像例である。この場合も、ディスプレイ5に表示される画像は俯瞰画像100をベースとしており、その中央部には自車を表す車両オブジェクト105が表示され、左側方には駐車枠線106が表示されている。
<Another example of the frame image drawing method when the target parking position is successfully detected>
FIG. 10 is a diagram for explaining another example of the frame image drawing method when the target parking position is successfully detected. A default frame image is drawn in advance at the default position, and the target parking position is detected. It is explanatory drawing of the example which draws the frame image which shows the target parking position detected by stopping drawing of this default frame image. FIG. 10A is an example of an image displayed on the display 5 before the target parking position is detected. FIG. 10B shows the display 5 when the target parking position is detected. It is an example of an image displayed on the screen. Also in this case, the image displayed on the display 5 is based on the bird's-eye view image 100, a vehicle object 105 representing the own vehicle is displayed at the center, and a parking frame line 106 is displayed on the left side.

本例の場合、コントロールユニット10は、目標駐車位置が検出される前の段階で、図10(a)に示すように、俯瞰画像100上の自車位置に対して予め定められたデフォルトの位置にデフォルト枠画像120を描画して、このデフォルト枠画像120が重畳された俯瞰画像100をディスプレイ5に表示させておく。   In the case of this example, the control unit 10 is a default position predetermined with respect to the vehicle position on the bird's-eye view image 100, as shown in FIG. 10 (a), before the target parking position is detected. A default frame image 120 is drawn on the display 5 and an overhead image 100 on which the default frame image 120 is superimposed is displayed on the display 5.

その後、俯瞰画像100に対する画像処理などにより目標駐車位置が検出されると、コントロールユニット10は、図10(b)に示すように、デフォルト枠画像120の描画を停止するとともに、検出によって得られた目標駐車位置を示す枠画像110をデフォルト枠画像120とは異なる描画色で俯瞰画像100上の目標駐車位置に描画し、この枠画像110が重畳された俯瞰画像100をディスプレイ5に表示させる。このとき、目標駐車位置を示す枠画像110は、例えば、俯瞰画像100上のデフォルト枠画像120の位置から、検出された目標駐車位置へと数秒間かけて移動するような形態で描画してもよい。また、このとき、例えば「駐車枠を検出しました」といったメッセージ111を併せてディスプレイ5に表示させるようにしてもよい。   Thereafter, when the target parking position is detected by image processing or the like on the bird's-eye view image 100, the control unit 10 stops drawing the default frame image 120 as shown in FIG. A frame image 110 indicating the target parking position is drawn at a target parking position on the overhead image 100 with a drawing color different from that of the default frame image 120, and the overhead image 100 on which the frame image 110 is superimposed is displayed on the display 5. At this time, the frame image 110 indicating the target parking position may be drawn, for example, in such a manner that it moves from the position of the default frame image 120 on the overhead image 100 to the detected target parking position over several seconds. Good. At this time, for example, a message 111 “parking frame detected” may be displayed on the display 5 together.

以上のように、目標駐車位置の検出に成功した場合、予め俯瞰画像100上のデフォルトの位置に描画していたデフォルト枠画像120の描画を停止し、検出によって得られた目標駐車位置を示す枠画像110を俯瞰画像100上に描画してディスプレイ5に表示するようにしても、駐車支援装置によって目標駐車位置が検出されたことや、ディスプレイ5に表示されている枠画像110の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   As described above, when the target parking position is successfully detected, the drawing of the default frame image 120 drawn in advance at the default position on the overhead image 100 is stopped, and the frame indicating the target parking position obtained by the detection is displayed. Even if the image 110 is drawn on the overhead image 100 and displayed on the display 5, the target parking position is detected by the parking support device, or the position of the frame image 110 displayed on the display 5 is parked. It is possible to make the driver accurately recognize that the target parking position is detected by the support device.

[本実施形態による効果]
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の駐車支援装置によれば、コントロールユニット10の目標駐車位置検出部13により自車周囲の領域から目標駐車位置を検出できたかどうかを検出結果判定部14で判定し、描画部15が自車周囲の俯瞰画像上に目標駐車位置を示す枠画像を描画してディスプレイ5に表示させる際に、目標駐車位置が検出できたかどうかの判定結果に応じて枠画像の描画方法を変更するようにしているので、自車のドライバは、俯瞰画像上で枠画像がどのように描画されてディスプレイ5に表示されているのかを確認することで、駐車支援装置での処理により目標駐車位置が適切に検出されたかどうかを容易に把握することができる。
[Effects of this embodiment]
As described above in detail with specific examples, according to the parking assistance device of the present embodiment, the target parking position can be detected from the area around the host vehicle by the target parking position detection unit 13 of the control unit 10. Whether the target parking position was detected when the drawing unit 15 rendered the frame image indicating the target parking position on the overhead view image around the host vehicle and displayed it on the display 5. Since the drawing method of the frame image is changed according to the determination result, the driver of the own vehicle checks how the frame image is drawn on the overhead image and displayed on the display 5. By doing this, it is possible to easily grasp whether or not the target parking position has been properly detected by the processing in the parking assistance device.

また、目標駐車位置検出部13により目標駐車位置が検出できた場合に、描画部15が、目標駐車位置の検出過程を示すイメージ画像を俯瞰画像上に描画してディスプレイ5に表示させた後に、検出によって得られた目標駐車位置を示す枠画像を俯瞰画像上に描画してディスプレイ5に表示させることによって、駐車支援装置によって目標駐車位置が既に検出されており、ディスプレイ5に表示されている枠画像の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   In addition, when the target parking position can be detected by the target parking position detection unit 13, the drawing unit 15 draws an image image showing the detection process of the target parking position on the overhead image and displays it on the display 5. The frame image indicating the target parking position obtained by the detection is drawn on the bird's-eye view image and displayed on the display 5, so that the target parking position has already been detected by the parking assistance device, and the frame displayed on the display 5 The driver can accurately recognize that the position of the image is the target parking position detected by the parking assistance device.

また、目標駐車位置検出部13により目標駐車位置が検出できた場合に、描画部15が、目標駐車位置を絞るイメージのイメージ画像を俯瞰画像上に描画してディスプレイ5に表示させた後に、検出によって得られた目標駐車位置を示す枠画像を俯瞰画像上に描画してディスプレイ5に表示させるようにしても、駐車支援装置によって目標駐車位置が検出されたことや、ディスプレイ5に表示されている枠画像の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   In addition, when the target parking position can be detected by the target parking position detection unit 13, the drawing unit 15 draws an image image of an image for narrowing down the target parking position on the overhead image and displays it on the display 5. Even if the frame image indicating the target parking position obtained by the above is drawn on the bird's-eye view image and displayed on the display 5, the target parking position is detected by the parking support device or is displayed on the display 5. The driver can accurately recognize that the position of the frame image is the target parking position detected by the parking assistance device.

さらに、目標駐車位置検出部13により目標駐車位置が検出できた場合に、描画部15が、予め俯瞰画像上のデフォルトの位置に描画していたデフォルト枠画像の描画を停止し、検出によって得られた目標駐車位置を示す枠画像を俯瞰画像上に描画してディスプレイ5に表示させるようにしても、駐車支援装置によって目標駐車位置が検出されたことや、ディスプレイ5に表示されている枠画像の位置が、駐車支援装置によって検出された目標駐車位置であることをドライバに的確に認識させることができる。   Further, when the target parking position can be detected by the target parking position detection unit 13, the drawing unit 15 stops drawing the default frame image previously drawn at the default position on the overhead image and is obtained by detection. Even if a frame image indicating the target parking position is drawn on the overhead image and displayed on the display 5, the target parking position is detected by the parking support device, or the frame image displayed on the display 5 is displayed. The driver can accurately recognize that the position is the target parking position detected by the parking assist device.

また、目標駐車位置検出部13により複数の目標駐車位置が検出された場合には、描画部15が、目標駐車位置の検出過程を示すイメージ画像を俯瞰画像上に描画してディスプレイ5に表示させた後に、検出された複数の目標駐車位置を示す複数の枠画像と目標駐車位置の選択を促すアイコンとを俯瞰画像上に描画してディスプレイ5に表示させることによって、駐車支援装置によって複数の目標駐車位置が検出されており、ディスプレイ5に表示されている1つの枠画像の位置が駐車支援装置で推奨している目標駐車位置であること、さらには、他の枠画像の位置に目標駐車位置を設定することも可能であることをドライバに的確に認識させることができる。   In addition, when a plurality of target parking positions are detected by the target parking position detection unit 13, the drawing unit 15 draws an image image showing the detection process of the target parking position on the overhead image and displays it on the display 5. After that, a plurality of frame images indicating a plurality of detected target parking positions and an icon for urging selection of the target parking position are drawn on the overhead image and displayed on the display 5, so that a plurality of targets are displayed by the parking assistance device. The parking position is detected, and the position of one frame image displayed on the display 5 is the target parking position recommended by the parking support device. Furthermore, the target parking position is set to the position of the other frame image. It is possible to make the driver accurately recognize that it is possible to set.

また、目標駐車位置検出部13により目標駐車位置が検出できなかった場合には、描画部15が、デフォルト枠画像に併せてこのデフォルト枠画像の位置調整を促すアイコンを俯瞰画像上に描画してディスプレイ5に表示させることによって、目標駐車位置が未だ検出されておらず、ディスプレイ5に表示されているデフォルト枠画像の位置を調整することで、ドライバ自ら目標駐車位置を設定すべきことをドライバに的確に認識させることができる。   In addition, when the target parking position cannot be detected by the target parking position detection unit 13, the drawing unit 15 draws an icon for prompting the position adjustment of the default frame image on the overhead image together with the default frame image. By displaying on the display 5, the target parking position has not yet been detected, and by adjusting the position of the default frame image displayed on the display 5, the driver should set the target parking position by himself / herself. It can be recognized accurately.

なお、上述した実施形態は、本発明の一適用例を例示的に示したものであり、本発明の技術的範囲がこの実施形態として開示した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、上述した各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。   Note that the above-described embodiment is an exemplary application example of the present invention, and the technical scope of the present invention is not intended to be limited to the contents disclosed as this embodiment. That is, the technical scope of the present invention is not limited to the specific technical items disclosed in the above-described embodiments, but includes various modifications, changes, alternative techniques, and the like that can be easily derived from this disclosure.

例えば、上述した実施形態では、目標駐車位置検出部13により複数の目標駐車位置が検出された場合に、目標駐車位置の検出過程を示すイメージ画像を描画した俯瞰画像をディスプレイ5に表示させた後に、検出された複数の目標駐車位置を示す複数の枠画像と目標駐車位置の選択を促すアイコンとを描画した俯瞰画像をディスプレイ5に表示させるようにしているが、目標駐車位置の検出過程を示すイメージ画像に代えて、目標駐車位置を絞るイメージ画像を描画した俯瞰画像、或いはデフォルト枠画像を描画した俯瞰画像をディスプレイ5に表示させた後に、検出された複数の目標駐車位置を示す複数の枠画像と目標駐車位置の選択を促すアイコンとを描画した俯瞰画像をディスプレイ5に表示させるようにしても、同様の効果を得ることができる。   For example, in the above-described embodiment, after a plurality of target parking positions are detected by the target parking position detection unit 13, after displaying an overhead image on which an image image showing a detection process of the target parking position is displayed on the display 5. The bird's-eye view image in which a plurality of frame images indicating a plurality of detected target parking positions and an icon for urging selection of the target parking position are displayed on the display 5, and the process of detecting the target parking position is shown. A plurality of frames indicating a plurality of detected target parking positions after an overhead image in which an image image for narrowing down the target parking position is drawn or an overhead image in which a default frame image is drawn is displayed on the display 5 instead of the image image The same effect can be obtained even when the overhead image in which the image and the icon for prompting the selection of the target parking position are drawn is displayed on the display 5. Door can be.

また、上述した実施形態では、目標駐車位置検出部13により目標駐車位置が検出できなかった場合のみ、枠画像の位置調整を促すアイコンをディスプレイ5に表示させるようにしているが、目標駐車位置検出部13により目標駐車位置が検出されて当該目標駐車位置を示す枠画像を俯瞰画像上に描画してディスプレイ5に表示させる場合にも、その枠画像の位置調整を促すアイコンを併せてディスプレイ5に表示させるようにしてもよい。この場合には、駐車支援装置により検出された目標駐車位置をドライバの判断で最適な位置に微調整することが可能となる。   In the above-described embodiment, only when the target parking position cannot be detected by the target parking position detection unit 13, an icon that prompts the position adjustment of the frame image is displayed on the display 5. Even when the target parking position is detected by the unit 13 and a frame image indicating the target parking position is drawn on the overhead image and displayed on the display 5, an icon that prompts the position adjustment of the frame image is also displayed on the display 5. You may make it display. In this case, the target parking position detected by the parking assistance device can be finely adjusted to the optimum position based on the driver's judgment.

1〜4 車載カメラ
5 ディスプレイ
10 コントロールユニット
13 目標駐車位置検出部
14 検出結果判定部
15 描画部
1-4 In-vehicle camera 5 Display 10 Control unit 13 Target parking position detection unit 14 Detection result determination unit 15 Drawing unit

Claims (7)

自車周囲の画像を撮影する撮像手段と、
自車周囲の領域から自車を駐車させる目標駐車位置を検出する処理を行う目標駐車位置検出手段と、
前記目標駐車位置検出手段により目標駐車位置が検出されたかどうかを判定する検出結果判定手段と、
自車周囲の画像上に前記目標駐車位置を示す枠画像を描画する描画手段と、
前記枠画像が描画された自車周囲の画像を表示する表示手段とを備え、
前記描画手段は、目標駐車位置が検出されたと判定された場合に、目標駐車位置の検出過程を示すイメージ画像を自車周囲の画像上に描画して前記表示手段に表示させた後、検出された目標駐車位置を示す枠画像を自車周囲の画像上に描画して前記表示手段に表示させることを特徴とする駐車支援装置。
Imaging means for capturing an image of the surroundings of the vehicle;
Target parking position detecting means for performing processing for detecting a target parking position for parking the own vehicle from an area around the own vehicle;
Detection result determination means for determining whether the target parking position is detected by the target parking position detection means;
Drawing means for drawing a frame image indicating the target parking position on an image around the own vehicle;
Display means for displaying an image around the vehicle on which the frame image is drawn,
When it is determined that the target parking position is detected , the drawing means is detected after drawing an image image showing a detection process of the target parking position on an image around the host vehicle and displaying the image on the display means. A parking assist device, wherein a frame image indicating the target parking position is drawn on an image around the host vehicle and displayed on the display means .
自車周囲の画像を撮影する撮像手段と、
自車周囲の領域から自車を駐車させる目標駐車位置を検出する処理を行う目標駐車位置検出手段と、
前記目標駐車位置検出手段により目標駐車位置が検出されたかどうかを判定する検出結果判定手段と、
自車周囲の画像上に前記目標駐車位置を示す枠画像を描画する描画手段と、
前記枠画像が描画された自車周囲の画像を表示する表示手段とを備え、
前記描画手段は、目標駐車位置が検出されたと判定された場合に、目標駐車位置を絞るイメージのイメージ画像を自車周囲の画像上に描画して前記表示手段に表示させた後、検出された目標駐車位置を示す枠画像を自車周囲の画像上に描画して前記表示手段に表示させることを特徴とする駐車支援装置。
Imaging means for capturing an image of the surroundings of the vehicle;
Target parking position detecting means for performing processing for detecting a target parking position for parking the own vehicle from an area around the own vehicle;
Detection result determination means for determining whether the target parking position is detected by the target parking position detection means;
Drawing means for drawing a frame image indicating the target parking position on an image around the own vehicle;
Display means for displaying an image around the vehicle on which the frame image is drawn,
When the drawing means determines that the target parking position has been detected, the drawing means draws an image of the image for narrowing down the target parking position on the image around the host vehicle and displays the image on the display means, and then detected. parking cars support device you characterized in that the frame image showing the target parking position to draw on the vehicle periphery image to be displayed on the display means.
前記描画手段は、目標駐車位置が検出される前に自車周囲の画像上の予め定められた位置にデフォルトの枠画像を描画して前記表示手段に表示させておき、目標駐車位置が検出されたと判定された場合に、前記デフォルトの枠画像の描画を停止して、検出された目標駐車位置を示す枠画像を自車周囲の画像上に描画して前記表示手段に表示させることを特徴とする請求項1または請求項2に記載の駐車支援装置。 The drawing means draws a default frame image at a predetermined position on the image around the host vehicle before the target parking position is detected and displays the default frame image on the display means, and the target parking position is detected. When it is determined that the vehicle has been drawn, the drawing of the default frame image is stopped, and the frame image indicating the detected target parking position is drawn on the image around the host vehicle and displayed on the display means. The parking assistance device according to claim 1 or 2 . 前記描画手段は、目標駐車位置が検出されたと判定され、且つ、検出された目標駐車位置が複数存在する場合に、目標駐車位置の検出過程を示すイメージ画像を描画した自車周囲の画像、又は、目標駐車位置を絞るイメージのイメージ画像を描画した自車周囲の画像、又は、デフォルトの枠画像を描画した自車周囲の画像のいずれかを前記表示手段に表示させた後、検出された複数の目標駐車位置を示す複数の枠画像と、目標駐車位置の選択を促すアイコンとを自車周囲の画像上に描画して前記表示手段に表示させることを特徴とする請求項1乃至3のいずれか一項に記載の駐車支援装置。 The drawing means determines that the target parking position is detected, and when there are a plurality of detected target parking positions, an image around the own vehicle in which an image image showing a detection process of the target parking position is drawn, or A plurality of detected images after displaying on the display means either an image around the own vehicle in which an image of the target parking position is drawn or an image around the own vehicle in which a default frame image is drawn. any of a plurality of frame image representing the target parking position, according to claim 1 to 3 and an icon to prompt the selection of the target parking position to draw on the vehicle periphery image and wherein the to be displayed on said display means The parking assistance device according to claim 1. 前記描画手段は、目標駐車位置が検出されなかったと判定された場合に、自車周囲の画像上の予め定められた位置にデフォルトの枠画像を描画するとともに、当該デフォルトの枠画像の位置調整を促すアイコンを自車両周囲の画像上に描画して前記表示手段に表示させることを特徴とする請求項1または請求項2に記載の駐車支援装置。 When it is determined that the target parking position has not been detected, the drawing means draws a default frame image at a predetermined position on the image around the host vehicle and adjusts the position of the default frame image. parking assist apparatus according to claim 1 or claim 2 the icon drawn on the image of the vehicle surroundings, characterized in that to be displayed on said display means for prompting. 自車周囲の領域から自車を駐車させる目標駐車位置を検出する処理を行い、当該目標駐車位置を示す枠画像を自車周囲の画像上に描画して表示手段に表示する駐車支援方法であって、
前記目標駐車位置が検出できたかどうかを判定する過程と、
前記目標駐車位置が検出できたと判断した場合、目標駐車位置の検出過程を示すイメージ画像を自車周囲の画像上に描画して前記表示手段に表示する過程と、
検出された目標駐車位置を示す枠画像を自車周囲の画像上に描画して前記表示手段に表示する過程と、
を備えたことを特徴とする駐車支援方法。
This is a parking support method that performs a process of detecting a target parking position for parking the vehicle from an area around the host vehicle, draws a frame image showing the target parking position on the image around the host vehicle, and displays it on a display means. And
A process in which the target parking position is judged whether or not detected,
When it is determined that the target parking position has been detected, a process of drawing an image image showing a detection process of the target parking position on an image around the own vehicle and displaying the image on the display means;
A process of drawing a frame image indicating the detected target parking position on an image around the host vehicle and displaying the frame image on the display means;
Parking assist method characterized by with.
自車周囲の領域から自車を駐車させる目標駐車位置を検出する処理を行い、当該目標駐車位置を示す枠画像を自車周囲の画像上に描画して表示手段に表示する駐車支援方法であって、This is a parking support method that performs a process of detecting a target parking position for parking the vehicle from an area around the host vehicle, draws a frame image showing the target parking position on the image around the host vehicle, and displays it on a display means. And
前記目標駐車位置が検出できたかどうかを判定する過程と、  Determining whether the target parking position has been detected;
前記目標駐車位置が検出できたと判断した場合、If it is determined that the target parking position has been detected,
前記目標駐車位置を絞るイメージのイメージ画像を自車周囲の画像上に描画して前記表示手段に表示させる過程と、Drawing the image of the image for narrowing down the target parking position on an image around the vehicle and displaying the image on the display means;
検出された目標駐車位置を示す枠画像を自車周囲の画像上に描画して前記表示手段に表示させる過程と、  Drawing a frame image indicating the detected target parking position on an image around the host vehicle and displaying the frame image on the display means;
を備えたことを特徴とする駐車支援方法。A parking assistance method comprising:
JP2009183749A 2009-08-06 2009-08-06 Parking assistance device and parking assistance method Active JP5471141B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009183749A JP5471141B2 (en) 2009-08-06 2009-08-06 Parking assistance device and parking assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009183749A JP5471141B2 (en) 2009-08-06 2009-08-06 Parking assistance device and parking assistance method

Publications (2)

Publication Number Publication Date
JP2011039600A JP2011039600A (en) 2011-02-24
JP5471141B2 true JP5471141B2 (en) 2014-04-16

Family

ID=43767333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009183749A Active JP5471141B2 (en) 2009-08-06 2009-08-06 Parking assistance device and parking assistance method

Country Status (1)

Country Link
JP (1) JP5471141B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013018406A (en) * 2011-07-12 2013-01-31 Fujitsu Ten Ltd Recognizing device of parking frame, recognizing method of parking frame and program
JP5982750B2 (en) * 2011-08-04 2016-08-31 日産自動車株式会社 Parking assistance device and parking assistance method
JP5920528B2 (en) * 2013-03-28 2016-05-18 日産自動車株式会社 Parking assistance device
JP5844330B2 (en) * 2013-10-04 2016-01-13 本田技研工業株式会社 Parking assistance device
JP5844329B2 (en) * 2013-10-04 2016-01-13 本田技研工業株式会社 Parking assistance device
CN104512463B (en) * 2013-10-04 2017-04-26 本田技研工业株式会社 Parking assisting device
JP6193714B2 (en) * 2013-10-04 2017-09-06 アイシン精機株式会社 Parking assistance device
JP6509361B2 (en) * 2015-10-30 2019-05-08 三菱電機株式会社 Parking support device and parking support method
RU2734643C1 (en) * 2017-07-07 2020-10-21 Ниссан Мотор Ко., Лтд. Parking assistance method for parking assistance device and parking assistance device
JP6924269B2 (en) 2017-09-29 2021-08-25 日立Astemo株式会社 Parking support device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888414B2 (en) * 2000-02-14 2007-03-07 三菱自動車工業株式会社 Parking assistance device
JP4765213B2 (en) * 2001-07-19 2011-09-07 日産自動車株式会社 Parking assistance device for vehicles
JP4449701B2 (en) * 2004-10-28 2010-04-14 株式会社デンソー Parking assistance system
JP4769528B2 (en) * 2005-09-14 2011-09-07 富士通テン株式会社 Parking assistance device
JP4613884B2 (en) * 2006-06-14 2011-01-19 トヨタ自動車株式会社 Parking assistance device
JP2009061795A (en) * 2007-09-04 2009-03-26 Fujitsu Ten Ltd Parking assist control device

Also Published As

Publication number Publication date
JP2011039600A (en) 2011-02-24

Similar Documents

Publication Publication Date Title
JP5471141B2 (en) Parking assistance device and parking assistance method
EP3650285B1 (en) Parking assistance method and parking assistance device
JP4412380B2 (en) Driving support device, driving support method, and computer program
JP4900232B2 (en) Vehicle parking assist device and video display method
JP5003946B2 (en) Parking assistance device
JP4530060B2 (en) Parking support apparatus and method
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2009101984A (en) Parking assistance device and method
JP5136256B2 (en) Parking assist device and image display method
JP5182137B2 (en) Vehicle periphery display device
JP5067169B2 (en) Vehicle parking assistance apparatus and image display method
JP5549235B2 (en) Driving assistance device
JP2012076483A (en) Parking support device
JP5708669B2 (en) Vehicle display device
JP2008296639A (en) Parking support device
JP2008279875A (en) Parking support device
JP2012076551A (en) Parking support device, parking support method, and parking support system
JP2007168560A (en) Parking support apparatus
JP5718080B2 (en) Vehicle periphery monitoring device
JP5273068B2 (en) Vehicle periphery monitoring device
JP2008213647A (en) Parking assist method and parking assist system
JP2020011668A (en) Parking support device and control method for the same
JP5083137B2 (en) Driving assistance device
JP2002029350A (en) Device for supporting parking
JP2017143482A (en) Image display device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5471141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250