JP4665721B2 - Parking assistance system - Google Patents
Parking assistance system Download PDFInfo
- Publication number
- JP4665721B2 JP4665721B2 JP2005320999A JP2005320999A JP4665721B2 JP 4665721 B2 JP4665721 B2 JP 4665721B2 JP 2005320999 A JP2005320999 A JP 2005320999A JP 2005320999 A JP2005320999 A JP 2005320999A JP 4665721 B2 JP4665721 B2 JP 4665721B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- end line
- marker
- bird
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003550 marker Substances 0.000 claims description 131
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 84
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 84
- 238000001514 detection method Methods 0.000 claims description 31
- 238000010191 image analysis Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000007306 turnover Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
- B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
- B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、ユーザが自車両を後退させて駐車させる場合の運転を支援する駐車支援システムに関する。 The present invention relates to a parking assistance system that assists driving when a user parks his / her own vehicle backward.
ユーザが自車両を後退させて駐車させる場合の運転を支援する駐車支援システムとして、予め用意されている想定運動パターンのうちからいずれかを選択し、その選択した想定運動パターンの操作終了位置を駐車位置(ユーザが自車両を最終的に駐車させたい位置)に重ねたときの想定運動パターンの操作開始位置に自車両を停止させることにより、ユーザが自車両を想定運動パターンにしたがって駐車位置に駐車させることが可能となるものが供されている(例えば特許文献1参照)。
ところが、上記した特許文献1に記載されている構成では、ユーザが自車両を最初に想定運動パターンの操作開始位置に停止させる必要があり、ユーザが自車両を想定運動パターンの操作開始位置から例えば左右方向にずれて停止させてしまうと、ユーザが自車両を最終的に駐車位置に適切に駐車させることができず、駐車支援を適切に行うことができないという問題があった。
However, in the configuration described in
そこで、出願人は、この問題を解決することを目的として、特願2004−325203号を出願した。この特願2004−325203号は、自車両が前進しているときに、その時点から自車両が停止して旋回しながら後退して駐車すると仮定したときの駐車可能な複数の駐車可能位置を合成鳥瞰画像に重畳して表示する構成であり、ユーザは、複数の駐車可能位置のいずれかが自車両を最終的に駐車させたい駐車目標位置に重なるように停止させた後に、自車両を旋回させながら後退させることにより、自車両を駐車目標位置に適切に駐車させることが可能となる。 Therefore, the applicant filed Japanese Patent Application No. 2004-325203 for the purpose of solving this problem. This Japanese Patent Application No. 2004-325203 synthesizes a plurality of parking possible positions when it is assumed that when the host vehicle is moving forward, the host vehicle stops and turns backward while turning and parks. The configuration is such that the bird's-eye view image is superimposed and displayed, and the user turns the host vehicle after stopping so that any of the plurality of parking possible positions overlaps the target parking position where the host vehicle is to be finally parked. By reversing the vehicle, the host vehicle can be parked appropriately at the parking target position.
しかしながら、これでは、ユーザが自車両を駐車目標位置の横を前進させているときに駐車可能位置と駐車目標位置とが重なるタイミングを捉えて駐車可能であるか否かを判断する必要があり、使い勝手に劣るという問題があった。 However, in this case, it is necessary to determine whether or not parking is possible by capturing the timing at which the parking position and the parking target position overlap when the user is moving the vehicle forward next to the parking target position. There was a problem that it was inconvenient.
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが自車両を後退させて駐車させる場合の使い勝手を高めることができ、運転を適切に支援することができる駐車支援システムを提供することにある。 The present invention has been made in view of the above-described circumstances, and the object thereof is to improve the usability when the user parks his / her own vehicle backward and can assist driving appropriately. To provide a system.
請求項1に記載した発明によれば、鳥瞰画像作成手段は、撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成し、合成鳥瞰画像作成手段は、鳥瞰画像作成手段により作成された過去の鳥瞰画像または自己により作成された過去の合成鳥瞰画像と鳥瞰画像作成手段により作成された現在の鳥瞰画像とを移動・回転状態検出手段により検出された自車両の移動・回転状態に基づいて合成して合成鳥瞰画像を作成する。そして、画像解析手段は、合成鳥瞰画像作成手段により作成された合成鳥瞰画像を画像解析して駐車目標位置の前方に位置する前方障害物(例えば前方駐車車両)の後端ライン及び駐車目標位置の後方に位置する後方障害物(例えば後方駐車車両)の前端ラインのうち少なくともいずれかを検出する。 According to the first aspect of the present invention, the bird's-eye image creation means creates a bird's-eye image by performing bird's-eye conversion on the photographed image taken by the photographing means, and the synthesized bird's-eye image creation means is created by the bird's-eye image creation means. A past bird's-eye image or a past synthesized bird's-eye image created by the user and a current bird's-eye image created by the bird's-eye image creating means based on the movement / rotation state of the own vehicle detected by the movement / rotation state detecting means. To create a composite bird's-eye view image. Then, the image analysis means analyzes the synthesized bird's-eye image created by the synthesized bird's-eye image creation means and analyzes the rear end line and the parking target position of a front obstacle (for example, a forward parked vehicle) positioned in front of the parking target position. At least one of the front end lines of a rear obstacle (for example, a rear parked vehicle) located behind is detected.
ここで、制御手段は、画像解析手段が前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかの検出に成功すると、その検出に成功した前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかを基準として自車両が駐車するのに必要なスペースを表すマーカを合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる。 Here, the control means, when the image analysis means succeeds in detecting at least one of the rear end line of the front obstacle and the front end line of the rear obstacle, the rear end line and the rear side of the front obstacle that has been successfully detected. A marker representing a space required for the host vehicle to park on the basis of at least one of the front end lines of the obstacle is superimposed on the synthesized bird's-eye image created by the synthesized bird's-eye image creating means and displayed on the display means.
これにより、自車両が駐車するのに必要なスペースを表すマーカを前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかを基準として表示する、つまり、自車両が駐車するのに必要なスペースを表すマーカを静止状態にある障害物を基準として表示することにより、従来のものとは異なって、ユーザが静止状態にある障害物を基準として駐車可能であるか否かを常に判断することができ、ユーザが自車両を後退させて駐車させる場合の使い勝手を高めることができ、運転を適切に支援することができる。 As a result, a marker representing the space necessary for the host vehicle to park is displayed based on at least one of the rear end line of the front obstacle and the front end line of the rear obstacle, that is, the host vehicle is parked. By displaying a marker indicating the space required for the vehicle on the basis of the obstacle in the stationary state, it is always determined whether or not the user can park the vehicle on the basis of the obstacle in the stationary state. This makes it possible to improve the usability when the user retracts the vehicle and parks it, and can appropriately support driving.
すなわち、ユーザは、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物の双方に重ならずに十分に余裕をもって表示されていれば、自車両を前方障害物と後方障害物との間に駐車させることが可能であると判断することができ、一方、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物のうち少なくともいずれかに重なって表示されていれば、自車両を前方障害物と後方障害物との間に駐車させることが不可能であると判断することができる。
また、制御手段は、画像解析手段が前方障害物の後端ラインの検出に成功したものの後方障害物の前端ラインの検出に成功しないと、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示手段に表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って段階的に表示手段に表示させる。これにより、自車両を前方障害物の後端ラインを基準として駐車させる場合に、駐車位置(ユーザが自車両を最終的に駐車させたい位置)が車幅方向にどれだけずれるかをユーザに適切に知らせることができる。
In other words, if the marker indicating the space necessary for parking the host vehicle is displayed with sufficient margin without overlapping both the front obstacle and the rear obstacle, the user is regarded as the front obstacle. It can be determined that the vehicle can be parked between the rear obstacle and the marker indicating the space necessary for the host vehicle to park is at least one of the front obstacle and the rear obstacle. If displayed overlapping, it can be determined that it is impossible to park the vehicle between the front obstacle and the rear obstacle.
If the image analysis means succeeds in detecting the rear end line of the front obstacle but does not succeed in detecting the front end line of the rear obstacle, the control means sets a width longer than the vehicle width of the host vehicle as the front marker. Markers having the same are displayed on the display means, and markers each having a width corresponding to the vehicle width of the host vehicle are displayed on the display means step by step along the vehicle width direction. As a result, when the host vehicle is parked on the basis of the rear end line of the front obstacle, it is appropriate for the user how much the parking position (the position where the user wants to park the host vehicle finally) deviates in the vehicle width direction. Can let you know.
請求項2に記載した発明によれば、制御手段は、画像解析手段が後方障害物の前端ラインの検出に成功したものの前方障害物の後端ラインの検出に成功しないと、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示手段に表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って段階的に表示手段に表示させる。これにより、自車両を後方障害物の前端ラインを基準として駐車させる場合に、駐車位置(ユーザが自車両を最終的に駐車させたい位置)が車幅方向にどれだけずれるかをユーザに適切に知らせることができる。
According to the invention described in
請求項3に記載した発明によれば、制御手段は、画像解析手段が後方障害物の前端ライン及び自車両側横端ラインの検出に成功すると、後方側マーカとして自車両の車幅に相当する幅を有するマーカを後方障害物の自車両側横端ラインに揃えて表示手段に表示させる。これにより、自車両を後方障害物の自車両側横端ラインに揃えて駐車させる場合に、その目標をユーザに適切に知らせることができる。
According to the invention described in
請求項4に記載した発明によれば、制御手段は、画像解析手段が後方障害物の前端ラインの検出に成功したものの前方障害物の後端ラインの検出に成功しないと、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示手段に表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って段階的に表示手段に表示させる。これにより、自車両を後方障害物の前端ラインを基準として駐車させる場合に、上記した請求項1に記載したものと同様にして、駐車位置が車幅方向にどれだけずれるかをユーザに適切に知らせることができる。
According to the invention described in
請求項5に記載した発明によれば、制御手段は、画像解析手段が前方障害物の後端ラインの検出に成功したものの後方障害物の前端ラインの検出に成功しないと、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示手段に表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って段階的に表示手段に表示させる。これにより、自車両を前方障害物の後端ラインを基準として駐車させる場合に、駐車位置が車幅方向にどれだけずれるかをユーザに適切に知らせることができる。
According to the invention described in
請求項6に記載した発明によれば、制御手段は、画像解析手段が前方障害物の後端ライン及び自車両側横端ラインの検出に成功すると、前方側マーカとして自車両の車幅に相当する幅を有するマーカを前方障害物の自車両側横端ラインに揃えて表示手段に表示させる。これにより、自車両を前方障害物の自車両側横端ラインに揃えて駐車させる場合に、その目標をユーザに適切に知らせることができる。
請求項7に記載した発明によれば、制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして切り返し動作を実施することなく駐車可能な長さを表すマーカを表示手段に表示させる。これにより、切り返し動作を実施することなく自車両を駐車させることが可能であるか否かをユーザに適切に知らせることができる。
According to the invention described in
According to the seventh aspect of the present invention, the control means causes the display means to display a marker representing a length that can be parked without performing a turning-back operation as a marker representing a space necessary for the host vehicle to park. . Accordingly, it is possible to appropriately notify the user whether or not the host vehicle can be parked without performing the turning-back operation.
すなわち、ユーザは、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物の双方に重ならずに十分に余裕をもって表示されていれば、切り返し動作を実施することなく自車両を駐車させることが可能であると判断することができ、一方、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物のうち少なくともいずれかに重なって表示されていれば、切り返し動作を実施することなく自車両を駐車させることが不可能であると判断することができる。 That is, the user does not perform the turning operation if the marker representing the space necessary for the vehicle to park is displayed with sufficient margin without overlapping the front obstacle and the rear obstacle. It can be determined that the host vehicle can be parked. On the other hand, a marker indicating a space necessary for the host vehicle to park is displayed overlapping at least one of the front obstacle and the rear obstacle. If so, it can be determined that it is impossible to park the host vehicle without performing the turn-back operation.
請求項8に記載した発明によれば、制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして少なくとも1回の切り返し動作を実施すれば駐車可能な長さを表すマーカを表示手段に表示させる。これにより、少なくとも1回の切り返し動作を実施すれば自車両を駐車させることが可能であるか否かをユーザに適切に知らせることができる。 According to the eighth aspect of the present invention, the control means displays a marker indicating a length that can be parked if a turning operation is performed at least once as a marker that represents a space necessary for the host vehicle to park. To display. Accordingly, it is possible to appropriately notify the user whether or not the own vehicle can be parked if at least one turn-back operation is performed.
すなわち、ユーザは、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物の双方に重ならずに十分に余裕をもって表示されていれば、少なくとも1回の切り返し動作を実施すれば自車両を駐車させることが可能であると判断することができ、一方、自車両が駐車するのに必要なスペースを表すマーカが前方障害物及び後方障害物のうち少なくともいずれかに重なって表示されていれば、少なくとも1回の切り返し動作を実施したとしても自車両を駐車させることが不可能であると判断することができる。 In other words, the user performs at least one turn-back operation if the marker representing the space required for the vehicle to park is displayed with sufficient margin without overlapping the front obstacle and the rear obstacle. If implemented, it can be determined that the host vehicle can be parked, while a marker representing a space necessary for the host vehicle to park overlaps at least one of the front obstacle and the rear obstacle. If it is displayed, it can be determined that it is impossible to park the host vehicle even if at least one switching operation is performed.
請求項9に記載した発明によれば、制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして切り返し動作を実施することなく駐車可能な長さを表すマーカと少なくとも1回の切り返し動作を実施すれば駐車可能な長さを表すマーカとを同時に表示手段に表示させる。これにより、切り返し動作を実施しなくても良いのか少なくとも1回の切り返し動作を実施しなければならないのかをユーザに適切に知らせることができる。 According to the ninth aspect of the present invention, the control means includes a marker indicating a length that can be parked without performing a return operation as a marker indicating a space necessary for the host vehicle to park, and at least one return. If the operation is carried out, a marker indicating the length that can be parked is simultaneously displayed on the display means. As a result, it is possible to appropriately notify the user whether it is not necessary to perform the switching operation or whether at least one switching operation must be performed.
以下、本発明の一実施形態について、図面を参照して説明する。図1は、駐車支援システムの全体構成を機能ブロック図として示している。駐車支援システム1は、駐車支援ECU2(本発明でいう鳥瞰画像作成手段、移動・回転状態検出手段、合成鳥瞰画像作成手段、画像解析手段、制御手段)、エンジンECU3及びブレーキECU4が車載LAN5に接続されて構成されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of the parking assistance system as a functional block diagram. The
駐車支援ECU2は、駐車支援システム1の動作全般を制御する。操作スイッチ6は、運転席に配置され、ユーザが駐車支援動作を起動させるために操作するもので、ユーザにより操作されると、操作検出信号を駐車支援ECU2へ出力し、駐車支援ECU2は、操作スイッチ6から操作検出信号が入力されることにより、ユーザが駐車支援動作を起動させた旨を検出する。
The parking assistance ECU 2 controls the overall operation of the
車載カメラ7(本発明でいう撮影手段)は、自車両後部に配置され、自車両後方を撮影するもので、自車両後方の撮影画像を駐車支援ECU2へ出力し、駐車支援ECU2は、車載カメラ7から撮影画像が入力されると、その入力された撮影画像を所定の視点変換アルゴリズムに基づいて視点変換して鳥瞰画像を作成し、過去の鳥瞰画像または過去の合成鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を作成する。表示装置8(本発明でいう表示手段)は、車室内にあってユーザが見易い位置に配置され、駐車支援ECU2から表示指示信号が入力されると、駐車支援ECU2により作成された合成鳥瞰画像を表示する。
The in-vehicle camera 7 (photographing means in the present invention) is disposed at the rear of the host vehicle and captures the rear of the host vehicle. The captured image of the rear of the host vehicle is output to the parking assist
車速センサ9は、車速を検出し、その検出した車速を表す車速検出信号をエンジンECU3へ出力する。エンジンECU3は、車速センサ8から車速検出信号が入力されると、その入力された車速検出信号を車載LAN5を介して駐車支援ECU2へ出力する。
The
ヨーレートセンサ10は、ヨーレートを検出し、その検出したヨーレートを表すヨーレート検出信号をブレーキECU4へ出力する。ステアリングセンサ11は、ステアリングの旋回角度を検出し、その検出されたステアリングの旋回角度を表すステアリング検出信号をブレーキECU4へ出力する。ブレーキECU4は、ヨーレートセンサ10からヨーレート検出信号が入力されると、その入力されたヨーレート検出信号を車載LAN5を介して駐車支援ECU2へ出力し、ステアリングセンサ11からステアリング検出信号が入力されると、その入力されたステアリング検出信号を車載LAN5を介して駐車支援ECU2へ出力する。尚、上記した構成において、ユーザの操作を操作スイッチ6により受付ける機能や合成鳥瞰画像を表示装置8により表示する機能は、ナビゲーションシステムの機能により代用されていても良い。
The
次に、上記した構成の作用について、図2ないし図12を参照して説明する。ここで、図2及び図3は、駐車支援ECU2が行う処理をフローチャートとして示している。また、この場合は、ユーザが自車両を後退させて既に縦列駐車されている駐車車両(本発明でいう障害物)同士の間に縦列駐車させる場合を説明する。 Next, the operation of the above configuration will be described with reference to FIGS. Here, FIG.2 and FIG.3 has shown the process which parking assistance ECU2 performs as a flowchart. Further, in this case, a case will be described in which the user reverses his / her own vehicle and parks in parallel between parked vehicles (obstacles in the present invention) that are already parked in parallel.
駐車支援ECU2は、ユーザが駐車支援動作を起動させる操作を行ったか否かを監視しており(ステップS1)、ユーザが駐車支援動作を起動させる操作を行うと(ステップS1にて「YES」)、車載カメラ7から自車両後方が撮影された撮影画像を入力し(取込み)(ステップS2)、その入力された撮影画像を所定の視点変換アルゴリズムに基づいて視点変換して鳥瞰画像を作成し(ステップS3)、図4に示すように、過去の鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を作成する(ステップS4)。そして、駐車支援ECU2は、その作成した合成鳥瞰画像を画像解析し(ステップS5)、その画像解析結果に基づいてマーカを合成鳥瞰画像に重畳して表示させるマーカ表示処理に移行する(ステップS6)。
The
駐車支援ECU2は、マーカ表示処理に移行すると、自車両を駐車させようとする駐車目標位置の前方に駐車している前方駐車車両(本発明でいう前方障害物)の後端ライン、前方駐車車両の自車両側横端ライン、自車両を駐車させようとする駐車目標位置の後方に駐車している後方駐車車両(本発明でいう後方障害物)の前端ライン及び後方駐車車両の自車両側横端ラインの検出に成功したか否かを判定する(ステップS21)。ここで、駐車支援ECU2は、駐車車両の前端ライン、後端ライン及び自車両側横端ラインを以下のようにして検出する。すなわち、鳥瞰画像では立体物が歪んで(潰れて)表示されることから、駐車支援ECU2は、立体物を鳥瞰変換したときに車載カメラ7の高さと撮影角度によりシフトする分だけラインを戻すことにより、駐車車両の前端ライン、後端ライン及び自車両側横端ラインを検出する。
When the parking assist
具体的には、駐車支援ECU2は、図5に示すように、駐車車両の自車両側横端ラインについてはタイヤの接地ラインとボデーの膨らみ程度とを合わせた位置を基準として検出し、駐車車両の前端ラインについては鳥瞰画像での前端側ボデーラインと自車両側横端側ボデーラインとを延長して両者が交差した点から撮影角度に延長した延長線と自車両側横端ラインとが交差する位置を基準として検出し、駐車車両の後端ラインについては鳥瞰画像での後端側ボデーラインと自車両側横端側ボデーラインとを延長して両者が交差した点から撮影角度に延長した延長線と自車両側横端ラインとが交差する位置を基準として検出する。尚、図5では、駐車車両の歪みの程度を大きくして表示しているが、これ以降の図6〜図12では、駐車車両の歪みの程度を小さくして表示することとする。
Specifically, as shown in FIG. 5, the parking assist
さて、駐車支援ECU2は、前方駐車車両の後端ライン、前方駐車車両の自車両側横端ライン、後方駐車車両の前端ライン及び後方駐車車両の自車両側横端ラインのうち少なくともいずれかの検出に成功しなかった場合であれば(ステップS21にて「NO」)、その検出箇所に応じて自車両が駐車するのに必要なスペースを表す駐車必要スペースマーカを合成鳥瞰画像に重畳して表示装置8に表示させる(ステップS22)。
The
具体的には、
(1)前方駐車車両の後端ライン、前方駐車車両の自車両側横端ライン、後方駐車車両の
前端ライン及び後方駐車車両の自車両側横端ラインの全ての検出に成功しなかった
場合
(2)前方駐車車両の後端ラインのみの検出に成功した場合
(3)前方駐車車両の後端ライン及び自車両側横端ラインのみの検出に成功した場合
(4)後方駐車車両の前端ラインのみの検出に成功した場合
(5)後方駐車車両の前端ライン及び自車両側横端ラインのみの検出に成功した場合
(6)前方駐車車両の後端ライン及び自車両側横端ラインと後方駐車車両の前端ラインの
みの検出に成功した場合
(7)前方駐車車両の後端ラインと後方駐車車両の前端ライン及び自車両側横端ラインの
みの検出に成功した場合
(8)同一駐車車両の後端ライン及び前端ラインのみの検出に成功した場合
(9)同一駐車車両の後端ライン、前端ライン及び自車両側横端ラインのみの検出に成功
した場合
について順次説明する。
In particular,
(1) When all of the rear end line of the front parked vehicle, the side end line of the front parked vehicle, the front end line of the rear parked vehicle, and the side end line of the rear parked vehicle are not successfully detected ( 2) When succeeding in detecting only the rear end line of the front parked vehicle (3) When succeeding in detecting only the rear end line of the front parked vehicle and the own vehicle side side end line (4) Only the front end line of the rear parked vehicle (5) When succeeding in detecting only the front end line of the rear parked vehicle and the own vehicle side lateral end line (6) The rear end line of the front parked vehicle and the own vehicle side lateral end line and the rear parked vehicle (7) When only the rear end line of the front parked vehicle, the front end line of the rear parked vehicle, and the lateral end line of the host vehicle side are successfully detected (8) The same parked vehicle Rear end line and front end lie (9) The case where only the rear end line, the front end line, and the own vehicle side side end line of the same parked vehicle are successfully detected will be described sequentially.
(1)前方駐車車両の後端ライン、前方駐車車両の自車両側横端ライン、後方駐車車両の
前端ライン及び後方駐車車両の自車両側横端ラインの全ての検出に成功しなかった
場合
この場合、駐車支援ECU2は、図6に示すように、自車両が駐車するのに必要なスペースを表す駐車必要スペースマーカを合成鳥瞰画像の所定位置(自車両から見て左後方位置)に重畳して表示装置8に表示させる。ここで、駐車支援ECU2は、駐車必要スペースマーカとして切り返し動作を実施することなく(1回の駐車動作で)駐車可能な長さ(図6中「L2」参照)を表すマーカと1回の切り返し動作を実施すれば(自車両を一旦前進させる動作を含む2回の駐車動作で)駐車可能な長さ(図6中「L1(<L2)」参照)を表すマーカとを同時に表示させる。また、駐車支援ECU2は、自車両が駐車するのに必要なスペースが車幅方向に沿って異なることから駐車必要スペースマーカを車幅方向に沿って3段階で表示させる。
(1) When all of the rear end line of the front parked vehicle, the side end line of the front parked vehicle, the front end line of the rear parked vehicle, and the side end line of the rear parked vehicle are not successfully detected. In this case, as shown in FIG. 6, the parking assist
(2)前方駐車車両の後端ラインのみの検出に成功した場合
この場合、駐車支援ECU2は、図7に示すように、その検出に成功した前方駐車車両の後端ラインを基準として駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って3段階で表示させる。
(2) When the detection of only the rear end line of the front parked vehicle is successful In this case, as shown in FIG. 7, the parking assist
(3)前方駐車車両の後端ライン及び自車両側横端ラインのみの検出に成功した場合
この場合、駐車支援ECU2は、図8に示すように、その検出に成功した前方駐車車両の後端ライン及び自車両側横端ラインを基準として駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、前方側マーカとして自車両の車幅に相当する幅を有するマーカを前方駐車車両の自車両側横端ラインに揃えて表示させると共に後方側マーカとして前方側マーカに対応する位置に自車両の車幅に相当する幅を有するマーカを表示させる。
(3) When the detection of only the rear end line of the forward parked vehicle and the own vehicle side lateral end line is successful In this case, the parking assist
(4)後方駐車車両の前端ラインのみの検出に成功した場合
この場合、駐車支援ECU2は、図9に示すように、その検出に成功した後方駐車車両の前端ラインを基準として駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って3段階で表示させる。
(4) When succeeding in detecting only the front end line of the rear parked vehicle In this case, as shown in FIG. 9, the parking assist
(5)後方駐車車両の前端ライン及び自車両側横端ラインのみの検出に成功した場合
この場合、駐車支援ECU2は、図10に示すように、その検出に成功した後方駐車車両の前端ライン及び自車両側横端ラインを基準として駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、後方側マーカとして自車両の車幅に相当する幅を有するマーカを後方駐車車両の自車両側横端ラインに揃えて表示させると共に、前方側マーカとして後方側マーカに対応する位置に自車両の車幅に相当する幅を有するマーカを表示させる。
(5) When the detection of only the front end line of the rear parked vehicle and the own vehicle side side end line is successful In this case, as shown in FIG. The parking-required space marker is displayed with reference to the vehicle side lateral end line. Here, the parking assist
(6)前方駐車車両の後端ライン及び自車両側横端ラインと後方駐車車両の前端ラインの
みの検出に成功した場合
この場合、駐車支援ECU2は、上記した「(3)前方駐車車両の後端ライン及び自車両側横端ラインのみの検出に成功した場合」と同様にして、図8に示すように、その検出に成功した前方駐車車両の後端ライン及び自車両側横端ラインを基準として駐車必要スペースマーカを表示させる。
(6) When succeeding in detecting only the rear end line of the front parked vehicle and the side end line of the host vehicle side and the front end line of the rear parked vehicle In this case, the parking assist
(7)前方駐車車両の後端ラインと後方駐車車両の前端ライン及び自車両側横端ラインの
みの検出に成功した場合
この場合、駐車支援ECU2は、上記した「(3)前方駐車車両の後端ライン及び自車両側横端ラインのみの検出に成功した場合」と同様にして、図8に示すように、その検出に成功した前方駐車車両の後端ライン及び自車両側横端ラインを基準として駐車必要スペースマーカを表示させる。
(7) When the detection of only the rear end line of the front parked vehicle, the front end line of the rear parked vehicle, and the own vehicle side lateral end line In this case, the parking assist
(8)同一駐車車両の後端ライン及び前端ラインのみの検出に成功した場合
この場合、駐車支援ECU2は、その検出に成功した駐車車両の後端ライン及び前端ラインを基準として駐車車両の後方と前方との双方に駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、駐車車両の後方では、上記した「(2)前方駐車車両の後端ラインのみの検出に成功した場合」と同様にして、図7に示すように、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って3段階で表示させる。また、駐車支援ECU2は、駐車車両の前方では、上記した「(4)後方駐車車両の前端ラインのみの検出に成功した場合」と同様にして、図9に示すように、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って3段階で表示させる。
(8) When succeeding in detecting only the rear end line and the front end line of the same parked vehicle In this case, the parking assist
(9)同一駐車車両の後端ライン、前端ライン及び自車両側横端ラインのみの検出に成功
した場合
この場合、駐車支援ECU2は、その検出に成功した駐車車両の後端ライン、前端ライン及び自車両側横端ラインを基準として駐車車両の後方と前方との双方に駐車必要スペースマーカを表示させる。ここで、駐車支援ECU2は、駐車車両の後方では、上記した「(3)前方駐車車両の後端ライン及び自車両側横端ラインのみの検出に成功した場合」と同様にして、図8に示すように、前方側マーカとして自車両の車幅に相当する幅を有するマーカを前方駐車車両の自車両側横端ラインに揃えて表示させると共に後方側マーカとして前方側マーカに対応する位置に自車両の車幅に相当する幅を有するマーカを表示させる。また、駐車支援ECU2は、駐車車両の前方では、上記した「(5)後方駐車車両の前端ライン及び自車両側横端ラインのみの検出に成功した場合」と同様にして、図10に示すように、後方側マーカとして自車両の車幅に相当する幅を有するマーカを後方駐車車両の自車両側横端ラインに揃えて表示させると共に前方側マーカとして後方側マーカに対応する位置に自車両の車幅に相当する幅を有するマーカを表示させる。
(9) In the case where only the rear end line, the front end line and the own vehicle side lateral end line of the same parked vehicle are successfully detected In this case, the parking assist
尚、駐車支援ECU2は、複数の駐車車両の各々に対応して複数の後端ラインや複数の前端ラインの検出に成功した場合には、その検出に成功した複数の後端ラインや複数の前端ラインの各々に対して上記した(1)〜(9)を行うことにより、複数の駐車必要スペースマーカを表示させる。
When the
以上に説明した一連の処理により、ユーザは、駐車必要スペースマーカ(前方側マーカ及び後方側マーカ)が前方駐車車両及び後方駐車車両の双方に重ならずに十分に余裕をもって表示されていれば、自車両を前方駐車車両と後方駐車車両との間に駐車させることが可能であると判断することができ、一方、駐車必要スペースマーカが前方駐車車両及び後方駐車車両のうち少なくともいずれかに重なって表示されていれば、自車両を前方駐車車両と後方駐車車両との間に駐車させることが不可能であると判断することができる。 By the series of processes described above, the user can display the parking required space marker (front side marker and rear side marker) with sufficient margin without overlapping both the front parked vehicle and the rear parked vehicle. It can be determined that the host vehicle can be parked between the front parked vehicle and the rear parked vehicle, while the parking required space marker overlaps at least one of the front parked vehicle and the rear parked vehicle. If it is displayed, it can be determined that it is impossible to park the host vehicle between the front parked vehicle and the rear parked vehicle.
これに対して、駐車支援ECU2は、前方駐車車両の後端ライン、前方駐車車両の自車両側横端ライン、後方駐車車両の前端ライン及び後方駐車車両の自車両側横端ラインの全ての検出に成功した場合であれば(ステップS21にて「YES」)、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さが切り返し動作を実施することなく駐車可能な長さよりも長いか否かを判定する(ステップS23)。
On the other hand, the parking assist
ここで、駐車支援ECU2は、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さ(「La」参照)が切り返し動作を実施することなく駐車可能な長さよりも長い場合であれば(ステップS23にて「YES」)、図10(a)に示すように、切り返し動作を実施することなく駐車可能である旨を表す駐車可能マーカ(図10中「○」参照)を表示装置8に表示させる(ステップS24)。
Here, the parking assist
これに対して、駐車支援ECU2は、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さが切り返し動作を実施することなく駐車可能な長さよりも短いかまたは同等の場合であれば(ステップS23にて「NO」)、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さが1回の切り返し動作を実施すれば駐車可能な長さよりも長いか否かを判定する(ステップS25)。
On the other hand, the parking assist
そして、駐車支援ECU2は、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さ(「Lb」参照)が1回の切り返し動作を実施すれば駐車可能な長さよりも長い場合であれば(ステップS25にて「YES」)、図10(b)に示すように、1回の切り返し動作を実施すれば駐車可能である旨を表す駐車可能マーカ(図10中「△」参照)を表示装置8に表示させる(ステップS26)。一方、駐車支援ECU2は、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さが1回の切り返し動作を実施すれば駐車可能な長さよりも短いかまたは同等の場合であれば(ステップS25にて「NO」)、図11に示すように、駐車不可能である旨を表す駐車不可能マーカ(図10中「×」参照)を表示装置8に表示させる(ステップS27)。
And parking assistance ECU2 is longer than the length which can park, if the length (refer "Lb") between the rear end line of a front parked vehicle and the front end line of a rear parked vehicle implements one turn-back operation. If it is a case (“YES” in step S25), as shown in FIG. 10B, a parking marker (“Δ” in FIG. 10) indicating that parking is possible if a single return operation is performed. Reference) is displayed on the display device 8 (step S26). On the other hand, the parking assist
以上に説明した一連の処理により、ユーザは、切り返し動作を実施することなく駐車可能である旨を表す駐車可能マーカが表示されていれば、切り返し動作を実施することなく駐車させることが可能であると判断することができ、また、1回の切り返し動作を実施すれば駐車可能である旨を表す駐車可能マーカが表示されていれば、1回の切り返し動作を実施すれば駐車させることが可能であると判断することができ、一方、駐車不可能マーカが表示されていれば、駐車させることが不可能であると判断することができる。 Through the series of processes described above, the user can park without performing the turn-back operation if the parking available marker indicating that parking is possible without performing the turn-back operation is displayed. If a parking marker indicating that parking is possible if one turnover operation is performed is displayed, it is possible to park if one turnover operation is performed. On the other hand, if a parking impossibility marker is displayed, it can be determined that parking is impossible.
次いで、駐車支援ECU2は、これまでに説明したマーカ表示処理を完了すると、自車両が所定距離以上前進したか否かを判定すると共に(ステップS7)、シフト位置が後退位置に移動されたか否かを判定する(ステップS8)。そして、駐車支援ECU2は、自車両が所定距離以上前進すると(ステップS7にて「YES」)、車載カメラ7から自車両後方が撮影された撮影画像を入力し(ステップS9)、その入力された撮影画像を所定の視点変換アルゴリズムに基づいて視点変換して鳥瞰画像を作成し(ステップS10)、これまでに作成した過去の合成鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を作成し(ステップS11)、これ以降、上記したステップS5に戻り、ステップS5以降を繰返して行う。
Next, when the parking assist
また、駐車支援ECU2は、シフト位置が後退位置に移動されると(ステップS8にて「YES」)、これよりも先のマーカ表示処理に基づいて自車両が駐車不可能であるか否かを判定し(ステップS12)、自車両が駐車不可能であると(ステップS12にて「YES」)、警告動作を行い(ステップS13)、一連の処理を終了する。
In addition, when the shift position is moved to the reverse position (“YES” in step S8), the parking assist
以上に説明したように本実施形態によれば、駐車支援システム1において、前方駐車車両の後端ラインや後方駐車車両の前端ラインの検出に成功すると、その検出に成功した前方駐車車両の後端ラインや後方駐車車両の前端ラインを基準として自車両が駐車するのに必要なスペースを表す駐車必要スペースマーカを合成鳥瞰画像に重畳して表示するように構成したので、駐車必要スペースマーカを静止状態にある駐車車両を基準として表示することにより、ユーザが静止状態にある駐車車両を基準として駐車可能であるか否かを常に判断することができ、ユーザが自車両を後退させて駐車させる場合の使い勝手を高めることができ、運転を適切に支援することができる。
As described above, according to the present embodiment, when the rear end line of the front parked vehicle and the front end line of the rear parked vehicle are successfully detected in the
また、前方駐車車両の後端ライン及び自車両側横端ラインと後方駐車車両の前端ライン及び自車両側横端ラインとの全ての検出に成功すると、前方駐車車両の後端ラインと後方駐車車両の前端ラインとの間の長さを判定し、その長さが駐車可能な長さよりも長い場合であれば、駐車可能である旨を表す駐車可能マーカを合成鳥瞰画像に重畳して表示し、一方、その長さが駐車可能な長さよりも短いかまたは同等の場合であれば、駐車不可能である旨を表す駐車不可能マーカを合成鳥瞰画像に重畳して表示するように構成したので、駐車可能である旨や駐車不可能である旨をユーザに適切に知らせることができ、ユーザが自車両を後退させて駐車させる場合の使い勝手を高めることができ、運転を適切に支援することができる。 Further, when all the detection of the rear end line of the front parked vehicle and the host vehicle side lateral end line and the rear parked vehicle front end line and the host vehicle side lateral end line is successful, the front parked vehicle rear end line and the rear parked vehicle If the length between the front end line and the length is longer than the length that can be parked, a parking marker indicating that parking is possible is displayed superimposed on the synthesized bird's-eye image, On the other hand, if the length is shorter than or equal to the length that can be parked, it is configured to display a non-parking marker indicating that parking is impossible, superimposed on the synthesized bird's-eye image, It is possible to appropriately notify the user that parking is possible or impossible, and it is possible to improve the usability when the user retracts the vehicle and parks the vehicle, and can appropriately support driving. .
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
ユーザが自車両を後退させて既に縦列駐車されている駐車車両同士の間に縦列駐車させる場合に限らず、ユーザが自車両を後退させて建造物(例えば家屋など)同士の間に駐車させる場合や、ユーザが自車両を後退させて既に駐車されている駐車車両と建造物との間に駐車させる場合に適用しても良い。
前方側マーカ及び後方側マーカとして各々が自車両の車幅に相当する幅を有するマーカを車幅方向に沿って3段階で表示させる構成に限らず、車幅方向に沿って連続的に変化する形状のマーカを表示させる構成であっても良いし、3段階以外(2段階や4段階以上)で表示させる構成であっても良い。
The present invention is not limited to the above-described embodiment, and can be modified or expanded as follows.
Not only when the user retracts his / her vehicle and parks in parallel between parked vehicles that have already been parked in parallel, but also when the user retracts his / her vehicle and parks between buildings (for example, houses). Alternatively, the present invention may be applied to a case where the user moves the host vehicle backward to park the vehicle between a parked vehicle and a building that has already been parked.
The front marker and the rear marker are not limited to a configuration in which markers each having a width corresponding to the vehicle width of the host vehicle are displayed in three stages along the vehicle width direction, but continuously change along the vehicle width direction. It may be configured to display a shape marker, or may be configured to display at a level other than 3 levels (2 levels or 4 levels or more).
駐車必要スペースマーカとして切り返し動作を実施することなく駐車可能な長さ表すマーカと1回の切り返し動作を実施すれば駐車可能な長さを表すマーカとを同時に表示させる(2段階で表示させる)構成に限らず、いずれか一方のみを表示させる(1段階で表示させる)構成であっても良いし、3段階以上で表示させる構成であっても良い。また、駐車必要スペースは、車両特性に応じて設定する値であっても良いし、ユーザが自在に設定する値であっても良いし、ユーザの駐車動作の履歴から学習して設定する値であっても良い。
駐車可能マーカとして切り返し動作を実施することなく駐車可能である旨を表す駐車可能マーカと1回の切り返し動作を実施すれば駐車可能である旨を表す駐車可能マーカとを表示させる(2段階で表示させる)構成に限らず、いずれか一方のみを表示させる(1段階で表示させる)構成であっても良い。また、駐車可能マーカ及び駐車不可能マーカを他の記号や図形や文字や色で表示させる構成であっても良いし、ユーザが設定したものであっても良い。
Configuration that displays simultaneously a marker that represents a length that can be parked without performing a turn-back operation as a parking-necessary space marker and a marker that represents a length that can be parked if one turn-back operation is performed. However, the present invention is not limited to this, and only one of them may be displayed (displayed in one step) or may be displayed in three or more steps. In addition, the parking required space may be a value set according to vehicle characteristics, may be a value set freely by the user, or may be a value set by learning from a user's parking operation history. There may be.
A parking marker indicating that parking is possible without performing a return operation as a parking marker and a parking marker indicating that parking is possible if one return operation is performed are displayed (displayed in two stages) The configuration is not limited to the configuration, and only one of them may be displayed (displayed in one step). Moreover, the structure which displays a marker which can be parked and a marker which cannot be parked with another symbol, a figure, a character, and a color may be sufficient, and what the user set may be sufficient.
前方駐車車両の自車両側横端ラインと後方駐車車両の自車両側横端ラインとの検出に成功し、それら前方駐車車両の自車両側横端ラインと後方駐車車両の自車両側横端ラインとがずれている(一直線ではない)場合に、マーカを自車両から近い方の駐車車両の自車両側横端ラインに揃えて表示させる構成に限らず、マーカを自車両から遠い方の駐車車両の自車両側横端ラインに揃えて表示させる構成であっても良いし、マーカを近い方の駐車車両の自車両側横端ラインと遠い方の駐車車両の自車両側横端ラインとの中間ラインに揃えて表示させる構成であっても良い。
自車両側方を撮影する車載カメラを搭載し、その自車両側方が撮影された撮影画像が鳥瞰変換された鳥瞰画像を画像解析して駐車車両のラインを検出する構成であっても良く、そのように構成すれば、鳥瞰画像での立体物の歪みによる誤差を抑えることで、駐車車両のラインの検出に成功する確率を高めることができ、駐車可否判断の精度を高めることができる。
駐車車両の後端ライン、前端ライン及び自車両側横端ラインを検出する場合に、(単眼移動)ステレオ画像処理を用いて自車両から駐車車両までの距離を測定し、その測定結果を採用して検出する構成であっても良いし、ソナーやレーダによる検出結果を採用して検出する構成であっても良い。
Successful detection of the own vehicle side lateral end line of the front parked vehicle and the own vehicle side lateral end line of the rear parked vehicle, the own vehicle side lateral end line of the forward parked vehicle and the own vehicle side lateral end line of the rear parked vehicle If the marker is not aligned (not a straight line), the marker is not limited to the configuration in which the marker is displayed in alignment with the side edge of the parked vehicle closer to the host vehicle. It may be configured to display in alignment with the own vehicle side horizontal end line, or between the own vehicle side horizontal end line of the closer parked vehicle and the own vehicle side horizontal end line of the far parked vehicle. The configuration may be such that the display is aligned with the line.
A vehicle-mounted camera that shoots the side of the host vehicle may be mounted, and a configuration may be used in which a line of a parked vehicle is detected by image analysis of a bird's-eye image obtained by bird's-eye conversion of a captured image of the side of the host vehicle. If comprised in that way, the probability by which the detection of the line of a parked vehicle can be succeeded can be raised by suppressing the error by distortion of the three-dimensional object in a bird's-eye view image, and the precision of parking availability determination can be raised.
When detecting the rear end line, front end line of the parked vehicle, and the side end line of the host vehicle, the distance from the host vehicle to the parked vehicle is measured using stereo image processing (monocular movement), and the measurement result is adopted. It is also possible to employ a configuration in which detection is performed using a detection result obtained by sonar or radar.
図面中、1は駐車支援システム、2は駐車支援ECU(鳥瞰画像作成手段、移動・回転状態検出手段、合成鳥瞰画像作成手段、画像解析手段、制御手段)、7は車載カメラ(撮影手段)、8は表示装置(表示手段)である。
In the drawings, 1 is a parking assistance system, 2 is a parking assistance ECU (bird's-eye image creation means, movement / rotation state detection means, synthetic bird's-eye image creation means, image analysis means, control means), 7 is an in-vehicle camera (imaging means),
Claims (9)
自車両後方を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
自車両の移動・回転状態を検出する移動・回転状態検出手段と、
前記鳥瞰画像作成手段により作成された過去の鳥瞰画像または自己により作成された過去の合成鳥瞰画像と前記鳥瞰画像作成手段により作成された現在の鳥瞰画像とを前記移動・回転状態検出手段により検出された自車両の移動・回転状態に基づいて合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像を画像解析して駐車目標位置の前方に位置する前方障害物の後端ライン及び駐車目標位置の後方に位置する後方障害物の前端ラインのうち少なくともいずれかを検出する画像解析手段と、
前記画像解析手段が前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかの検出に成功した場合には、前記画像解析手段が検出に成功した前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかを基準として自車両が駐車するのに必要なスペースを表すマーカを前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる制御手段とを備え、
前記制御手段は、前記画像解析手段が前方障害物の後端ラインの検出に成功したものの後方障害物の前端ラインの検出に成功しなかった場合には、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを前記表示手段に表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有する複数のマーカを車幅方向に沿って段階的に前記表示手段に表示させることを特徴とする駐車支援システム。 A parking assistance system that assists driving when the user parks his / her vehicle backward,
Photographing means for photographing the rear of the vehicle;
Bird's-eye image creation means for creating a bird's-eye image by performing bird's-eye conversion on a photographed image photographed by the photographing means;
A movement / rotation state detecting means for detecting the movement / rotation state of the own vehicle;
The moving / rotating state detecting unit detects a past bird's-eye image created by the bird's-eye image creating unit or a past synthesized bird's-eye image created by itself and a current bird's-eye image created by the bird's-eye image creating unit. A synthesized bird's-eye image creation means for creating a synthesized bird's-eye image by combining based on the movement / rotation state of the own vehicle;
Image analysis of the synthesized bird's-eye image created by the synthesized bird's-eye image creation means, among the rear end line of the front obstacle located in front of the parking target position and the front end line of the rear obstacle located behind the parking target position Image analysis means for detecting at least one of the following:
When the image analysis means succeeds in detecting at least one of the rear end line of the front obstacle and the front end line of the rear obstacle, the rear end line of the front obstacle successfully detected by the image analysis means and A marker representing a space necessary for the host vehicle to park on the basis of at least one of the front end lines of the rear obstacle is superimposed on the synthesized bird's-eye image created by the synthesized bird's-eye image creating means and displayed on the display means. Control means ,
When the image analysis means succeeds in detecting the rear end line of the front obstacle but does not succeed in detecting the front end line of the rear obstacle, the control means uses the vehicle width of the host vehicle as a front marker. A marker having a longer width is displayed on the display means, and a plurality of markers each having a width corresponding to the vehicle width of the host vehicle are displayed on the display means stepwise along the vehicle width direction. A parking assistance system characterized by that.
前記制御手段は、前記画像解析手段が後方障害物の前端ラインの検出に成功したものの前方障害物の後端ラインの検出に成功しなかった場合には、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを前記表示手段に表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有する複数のマーカを車幅方向に沿って段階的に前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to claim 1,
Wherein, if not successfully detected the end line after the previous lateral obstacle but was successfully detected before end line of the image analysis means after lateral obstacle, the vehicle as a rear rectangular side marker a plurality of markers stepwise along said vehicle width direction having a width, each of which corresponds to the vehicle width of the vehicle marker having a longer width than the vehicle width as a front side in the marker causes display on the display means of A parking support system, characterized by being displayed on a display means.
前記画像解析手段は、前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像を画像解析して後方障害物の自車両側横端ラインを検出し、
前記制御手段は、前記画像解析手段が後方障害物の前端ライン及び自車両側横端ラインの検出に成功した場合には、後方側マーカとして自車両の車幅に相当する幅を有するマーカを後方障害物の自車両側横端ラインに揃えて前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to claim 1 ,
Wherein the image analyzing means detects the vehicle-side side edge line of the synthesized bird's-eye image creation unit side obstacle later with image analysis of the synthesized bird's-eye image created by,
Wherein, upon a successful detection of the front end line and the vehicle-side side edge line of the image analysis means after lateral obstacle has a width corresponding to the vehicle width of the vehicle as a rear rectangular side marker parking assist system characterized in that to be displayed on the display unit by aligning marker toward the vehicle transverse end line of Backward obstacle.
自車両後方を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
自車両の移動・回転状態を検出する移動・回転状態検出手段と、
前記鳥瞰画像作成手段により作成された過去の鳥瞰画像または自己により作成された過去の合成鳥瞰画像と前記鳥瞰画像作成手段により作成された現在の鳥瞰画像とを前記移動・回転状態検出手段により検出された自車両の移動・回転状態に基づいて合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像を画像解析して駐車目標位置の前方に位置する前方障害物の後端ライン及び駐車目標位置の後方に位置する後方障害物の前端ラインのうち少なくともいずれかを検出する画像解析手段と、
前記画像解析手段が前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかの検出に成功した場合には、前記画像解析手段が検出に成功した前方障害物の後端ライン及び後方障害物の前端ラインのうち少なくともいずれかを基準として自車両が駐車するのに必要なスペースを表すマーカを前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる制御手段とを備え、
前記制御手段は、前記画像解析手段が後方障害物の前端ラインの検出に成功したものの前方障害物の後端ラインの検出に成功しなかった場合には、後方側マーカとして自車両の車幅よりも長い幅を有するマーカを前記表示手段に表示させると共に前方側マーカとして各々が自車両の車幅に相当する幅を有する複数のマーカを車幅方向に沿って段階的に前記表示手段に表示させることを特徴とする駐車支援システム。 A parking assistance system that assists driving when the user parks his / her vehicle backward,
Photographing means for photographing the rear of the vehicle;
Bird's-eye image creation means for creating a bird's-eye image by performing bird's-eye conversion on a photographed image photographed by the photographing means;
A movement / rotation state detecting means for detecting the movement / rotation state of the own vehicle;
The moving / rotating state detecting unit detects a past bird's-eye image created by the bird's-eye image creating unit or a past synthesized bird's-eye image created by itself and a current bird's-eye image created by the bird's-eye image creating unit. A synthesized bird's-eye image creation means for creating a synthesized bird's-eye image by combining based on the movement / rotation state of the own vehicle;
Image analysis of the synthesized bird's-eye image created by the synthesized bird's-eye image creation means, among the rear end line of the front obstacle located in front of the parking target position and the front end line of the rear obstacle located behind the parking target position Image analysis means for detecting at least one of the following:
When the image analysis means succeeds in detecting at least one of the rear end line of the front obstacle and the front end line of the rear obstacle, the rear end line of the front obstacle successfully detected by the image analysis means and A marker representing a space necessary for the host vehicle to park on the basis of at least one of the front end lines of the rear obstacle is superimposed on the synthesized bird's-eye image created by the synthesized bird's-eye image creating means and displayed on the display means. Control means,
When the image analysis means succeeds in detecting the front end line of the rear obstacle but does not succeed in detecting the rear end line of the front obstacle, the control means uses the vehicle width of the host vehicle as a rear side marker. A marker having a longer width is displayed on the display means, and a plurality of markers each having a width corresponding to the vehicle width of the host vehicle are displayed on the display means step by step along the vehicle width direction. A parking assistance system characterized by that.
前記制御手段は、前記画像解析手段が前方障害物の後端ラインの検出に成功したものの後方障害物の前端ラインの検出に成功しなかった場合には、前方側マーカとして自車両の車幅よりも長い幅を有するマーカを前記表示手段に表示させると共に後方側マーカとして各々が自車両の車幅に相当する幅を有する複数のマーカを車幅方向に沿って段階的に前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to claim 4 ,
Before SL control means, when the image analysis means have not succeeded in detection of the front end line of the rear obstacle but was successfully detected the rear end line of the front obstacle, car vehicle as front side marker It staged to said display means along the vehicle width direction a plurality of markers each as rear side marker having a width corresponding to the vehicle width of the vehicle causes the display device display a marker having a width longer than the width A parking support system characterized by displaying.
前記画像解析手段は、前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像を画像解析して前方障害物の自車両側横端ラインを検出し、
前記制御手段は、前記画像解析手段が前方障害物の後端ライン及び自車両側横端ラインの検出に成功した場合には、前方側マーカとして自車両の車幅に相当する幅を有するマーカを前方障害物の自車両側横端ラインに揃えて前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to claim 4 ,
The image analysis means detects the vehicle side lateral end line of the front obstacle by performing image analysis on the composite bird's-eye image created by the synthetic bird's-eye image creation means,
The control means, when the image analysis means succeeds in detecting the rear end line of the front obstacle and the lateral end line of the own vehicle, a marker having a width corresponding to the vehicle width of the own vehicle as a front side marker. A parking assist system, wherein the display means displays the front obstacle in line with a lateral end line on the own vehicle side .
前記制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして切り返し動作を実施することなく駐車可能な長さを表すマーカを前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 6 ,
Wherein the control means is characterized by displaying a marker indicating a Rukoto without parking possible length to implement the marker and to return Ri switching operation representing the space required for the vehicle is parked on the display means Parking assistance system.
前記制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして少なくとも1回の切り返し動作を実施すれば駐車可能な長さを表すマーカを前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 6 ,
The control means, thereby displaying a marker indicating the vehicle once the available parking length provided by carrying out the crosscut operation even without least as a marker indicating the space required to park in front Symbol display means A parking assistance system characterized by
前記制御手段は、自車両が駐車するのに必要なスペースを表すマーカとして切り返し動作を実施することなく駐車可能な長さを表すマーカと少なくとも1回の切り返し動作を実施すれば駐車可能な長さを表すマーカとを同時に前記表示手段に表示させることを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 6,
The control means includes a marker that represents a length that can be parked without performing a turning operation as a marker that represents a space necessary for the host vehicle to park, and a length that can be parked if at least one turning operation is performed. A parking assist system, wherein the display means simultaneously displays a marker representing
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005320999A JP4665721B2 (en) | 2005-11-04 | 2005-11-04 | Parking assistance system |
GB0621867A GB2434020B (en) | 2005-11-04 | 2006-11-02 | Parking assisting system |
DE102006051977A DE102006051977B4 (en) | 2005-11-04 | 2006-11-03 | Parking assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005320999A JP4665721B2 (en) | 2005-11-04 | 2005-11-04 | Parking assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007126028A JP2007126028A (en) | 2007-05-24 |
JP4665721B2 true JP4665721B2 (en) | 2011-04-06 |
Family
ID=37547225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005320999A Expired - Fee Related JP4665721B2 (en) | 2005-11-04 | 2005-11-04 | Parking assistance system |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP4665721B2 (en) |
DE (1) | DE102006051977B4 (en) |
GB (1) | GB2434020B (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730735A (en) * | 2017-07-07 | 2020-01-24 | 日产自动车株式会社 | Parking assist method and parking assist apparatus |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007045562A1 (en) * | 2007-09-24 | 2009-04-02 | Robert Bosch Gmbh | Control device for a display device of a parking device and method for representation |
US8599043B2 (en) | 2009-02-26 | 2013-12-03 | Aisin Seiki Kabushiki Kaisha | Parking assist apparatus |
JP5035284B2 (en) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | Vehicle periphery display device |
JP2013091330A (en) * | 2010-02-26 | 2013-05-16 | Panasonic Corp | Parking assist device |
DE102010051206A1 (en) * | 2010-11-12 | 2012-05-16 | Valeo Schalter Und Sensoren Gmbh | A method of generating an image of a vehicle environment and imaging device |
JP5659914B2 (en) * | 2011-03-30 | 2015-01-28 | パナソニックIpマネジメント株式会社 | Parking assistance device |
EP2561850B1 (en) | 2011-08-22 | 2014-07-02 | Hartmut J. Schneider | Device for sexual stimulation |
JP2013043505A (en) * | 2011-08-23 | 2013-03-04 | Nissan Motor Co Ltd | Parking assist apparatus and parking assist method |
JP6822434B2 (en) * | 2018-03-09 | 2021-01-27 | 株式会社デンソー | Parking support device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63122155U (en) * | 1987-02-04 | 1988-08-09 | ||
US20010017591A1 (en) * | 2000-02-29 | 2001-08-30 | Hisashi Kuriya | Vehicle backward movement assisting apparatus for in-line parking |
JP2003291759A (en) * | 2002-04-05 | 2003-10-15 | Matsushita Electric Ind Co Ltd | Parking operation support system |
JP2003335196A (en) * | 2002-05-21 | 2003-11-25 | Toyota Motor Corp | Parking support device |
JP2004168085A (en) * | 2002-11-18 | 2004-06-17 | Nissan Motor Co Ltd | Parking support device |
US20040130464A1 (en) * | 2002-10-25 | 2004-07-08 | Schindler Benno Tobias | Method of operating a display system in a vehicle for finding a parking place |
JP2005138716A (en) * | 2003-11-06 | 2005-06-02 | Denso Corp | Parking support device |
WO2005100135A1 (en) * | 2004-04-15 | 2005-10-27 | Robert Bosch Gmbh | Device for assisting with a parking process of a vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3445197B2 (en) * | 1998-10-08 | 2003-09-08 | 松下電器産業株式会社 | Driving operation assist device |
US7012548B2 (en) * | 2000-04-05 | 2006-03-14 | Matsushita Electric Industrial Co., Ltd. | Driving operation assisting method and system |
JP3947375B2 (en) * | 2001-08-24 | 2007-07-18 | アイシン精機株式会社 | Parking assistance device |
DE10261176A1 (en) * | 2002-12-20 | 2004-07-01 | Daimlerchrysler Ag | Method and device for assisting the driver of a vehicle during a parking maneuver |
JP2004325203A (en) * | 2003-04-24 | 2004-11-18 | Tokyo Sokki Kenkyusho Co Ltd | Strain measuring system |
JP4432736B2 (en) * | 2004-11-09 | 2010-03-17 | 株式会社デンソー | Parking assistance system |
-
2005
- 2005-11-04 JP JP2005320999A patent/JP4665721B2/en not_active Expired - Fee Related
-
2006
- 2006-11-02 GB GB0621867A patent/GB2434020B/en not_active Expired - Fee Related
- 2006-11-03 DE DE102006051977A patent/DE102006051977B4/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63122155U (en) * | 1987-02-04 | 1988-08-09 | ||
US20010017591A1 (en) * | 2000-02-29 | 2001-08-30 | Hisashi Kuriya | Vehicle backward movement assisting apparatus for in-line parking |
JP2003291759A (en) * | 2002-04-05 | 2003-10-15 | Matsushita Electric Ind Co Ltd | Parking operation support system |
JP2003335196A (en) * | 2002-05-21 | 2003-11-25 | Toyota Motor Corp | Parking support device |
US20040130464A1 (en) * | 2002-10-25 | 2004-07-08 | Schindler Benno Tobias | Method of operating a display system in a vehicle for finding a parking place |
JP2004168085A (en) * | 2002-11-18 | 2004-06-17 | Nissan Motor Co Ltd | Parking support device |
JP2005138716A (en) * | 2003-11-06 | 2005-06-02 | Denso Corp | Parking support device |
WO2005100135A1 (en) * | 2004-04-15 | 2005-10-27 | Robert Bosch Gmbh | Device for assisting with a parking process of a vehicle |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730735A (en) * | 2017-07-07 | 2020-01-24 | 日产自动车株式会社 | Parking assist method and parking assist apparatus |
KR20200024913A (en) * | 2017-07-07 | 2020-03-09 | 닛산 지도우샤 가부시키가이샤 | Parking Assistance Method and Parking Assistance Device |
KR102145747B1 (en) | 2017-07-07 | 2020-08-20 | 닛산 지도우샤 가부시키가이샤 | Parking assistance method and parking assistance device |
Also Published As
Publication number | Publication date |
---|---|
GB2434020A (en) | 2007-07-11 |
DE102006051977B4 (en) | 2013-02-21 |
GB0621867D0 (en) | 2006-12-13 |
DE102006051977A1 (en) | 2007-05-10 |
JP2007126028A (en) | 2007-05-24 |
GB2434020B (en) | 2010-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4665721B2 (en) | Parking assistance system | |
JP5035321B2 (en) | Vehicle periphery display control device and program for vehicle periphery display control device | |
US7363130B2 (en) | Parking assist systems, methods, and programs | |
JP5212748B2 (en) | Parking assistance device | |
JP5440867B2 (en) | Parking assistance device | |
JP4432930B2 (en) | Parking assistance device and parking assistance method | |
JP4548322B2 (en) | Parking assistance system | |
JP5747181B2 (en) | Parking assistance device | |
WO2012039234A1 (en) | Parking assist device | |
JP4772409B2 (en) | Image display system | |
JP5182137B2 (en) | Vehicle periphery display device | |
JP5998496B2 (en) | Parking assistance device | |
EP3650284B1 (en) | Parking assistance method and parking assistance device | |
JP2009083680A (en) | Parking assistance device and parking assistance method | |
JP5067169B2 (en) | Vehicle parking assistance apparatus and image display method | |
JP2008037320A (en) | Parking assistant device, parking assistant method and parking assistant program | |
JP5400316B2 (en) | Parking assistance device | |
JP3762855B2 (en) | Parking assistance device | |
GB2416901A (en) | Vehicle parking assistant that calculates and displays to the driver the position needed to reverse the steering lock when parallel parking | |
JP4941383B2 (en) | Parking assistance device, parking assistance method, and computer program | |
JP5195692B2 (en) | Driving assistance device | |
JP5397329B2 (en) | Parking assistance device | |
JP4957589B2 (en) | Obstacle warning device, obstacle warning method, and computer program | |
JP2004123057A (en) | Parking support device | |
JP4432736B2 (en) | Parking assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4665721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |