JP7427907B2 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP7427907B2
JP7427907B2 JP2019188350A JP2019188350A JP7427907B2 JP 7427907 B2 JP7427907 B2 JP 7427907B2 JP 2019188350 A JP2019188350 A JP 2019188350A JP 2019188350 A JP2019188350 A JP 2019188350A JP 7427907 B2 JP7427907 B2 JP 7427907B2
Authority
JP
Japan
Prior art keywords
vehicle
parking
target
boundaries
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019188350A
Other languages
English (en)
Other versions
JP2021062746A (ja
Inventor
陽司 乾
将太 祖父江
賢樹 古川
直樹 山村
祐也 下平
政孝 山本
幸夫 川端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019188350A priority Critical patent/JP7427907B2/ja
Priority to DE102020126990.0A priority patent/DE102020126990A1/de
Publication of JP2021062746A publication Critical patent/JP2021062746A/ja
Application granted granted Critical
Publication of JP7427907B2 publication Critical patent/JP7427907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201Dimensions of vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明の実施形態は、駐車支援装置に関する。
従来、車両の駐車動作を支援する駐車支援装置においては、カメラで撮像した画像の中から検出した駐車区画等の駐車領域を特定する境界の位置に基づいて、目標駐車位置を決定していた。
特開2016-60241号公報
しかしながら、カメラで撮像した画像は、遠方ほど解像度が低いため、画像から検出した遠方の駐車枠の位置は、カメラに近接した領域で検出した駐車枠の位置に対して信頼度が低い。したがって、例えば特許文献1において、カメラで撮像した画像に基づいて検出された駐車枠の位置は、特に車両から遠方側において信頼度が低いものであった。即ち、カメラで撮像した1枚の画像のみからでは、駐車枠の位置を高い精度で検出することができなかった。
上述した課題を解決するために、本発明の実施形態に係る駐車支援装置は、車両に対する、当該車両が駐車する領域の端を示す境界の相対位置を、異なる時刻において逐次検出する検出部と、検出部の検出結果に基づいて、車両の目標駐車位置を設定する設定部と、検出部が検出した境界の位置の変化に基づいて、目標駐車位置を更新する目標位置更新部と、を備え、検出部は、一対の境界に沿う車両の移動に伴って、当該車両の駐車方向に沿う一対の境界の、車両の進入方向手前側の2つの端部と、車両の進入方向遠方側の2つの端部とを逐次検出し、目標位置更新部は、車両の駐車方向に沿う一対の境界のうち、少なくとも一方の境界の、車両の進入方向手前側の端部と車両の進入方向遠方側の端部との間隔に基づいて、目標駐車位置を更新する。当該構成により、異なる時刻において検出部が逐次検出した駐車領域の境界の位置に基づいて、目標位置更新部が目標駐車位置を更新するため、車両の移動に応じて、逐次、高い精度の目標駐車位置を設定することができる。
また、実施形態の駐車支援装置において、検出部は、車両が備える撮像部によって撮像された画像の中の、当該撮像部の解像度が所定のしきい値以上となる領域の内部で、境界を検出する。当該構成により、境界の位置を高い精度で取得することができる。
また、実施形態の駐車支援装置において、設定部は、車両を一対の境界に沿って後退で駐車させる場合には、車両の駐車方向に沿う一対の境界のうち、車両の進入側に最も突出した境界の端部を、目標駐車位置の車両前端側の端部に設定して、車両を前記一対の境界に沿って前進で駐車させる場合には、車両の駐車方向に沿う一対の境界のうち、車両の進入側に最も突出した境界の端部を、目標駐車位置の車両後端側の端部に設定する。当該構成により、駐車区画の境界のオフセットの有無に関わらず、できるだけ車両から近い位置に目標駐車位置の初期値を設定することができる。
また、実施形態の駐車支援装置において、目標位置更新部は、検出部が検出した一対の境界の位置を蓄積記憶して、当該蓄積記憶された一対の境界のそれぞれにおける、車両の進入方向に沿う2つの端部の位置に基づいて、目標駐車位置を更新する。当該構成により、目標駐車位置を高い精度で更新することができる。
また、実施形態の駐車支援装置において、車両の駐車方向に沿う一対の境界の、車両の進入方向手前側の2つの端部が、当該境界の延伸方向にオフセットしている場合に、目標位置更新部は、車両を一対の境界に沿って後退で駐車させる場合には、2つの端部のうち車両の進入側から最も埋没した端部を、車両の目標駐車位置の車両前端側の端部とするように更新して、車両を一対の境界に沿って前進で駐車させる場合には、2つの端部のうち車両の進入側から最も埋没した端部を、車両の目標駐車位置の車両後端側の端部とするように更新する。当該構成により、駐車領域の端を示す境界が左右でオフセットしている場合において、目標駐車位置を確実に更新することができる。
また、実施形態の駐車支援装置において、車両の駐車方向に沿う一対の境界の延伸方向側に、車両の進入を制限する制限物がある場合に、目標位置更新部は、車両を一対の境界に沿って後退で駐車させる場合には、車両の目標駐車位置の車両後端側の端部を、制限物が検出された時点において、車両の進入方向手前側の端部と車両の進入方向遠方側の端部との間隔に基づくことなく、制限物の位置に更新する。また、車両を一対の境界に沿って前進で駐車させる場合に、車両の目標駐車位置の車両前端側の端部を、制限物が検出された時点において、車両の進入方向手前側の端部と車両の進入方向遠方側の端部との間隔に基づくことなく、制限物の位置に更新する。当該構成により、駐車領域の奥(進入方向遠方側)に、車両の進入を妨げる境界線や、輪留め等の物標があった場合に、これらの制限物を超える目標駐車位置の設定を行わないようにすることができる。
また、実施形態の駐車支援装置において、目標位置更新部は、境界の、車両の進入方向手前側の端部と車両の進入方向遠方側の端部との間隔が、車両の全長よりも長い場合に、一対の境界の、進入方向手前側の端部と進入方向遠方側の端部との中点同士を結ぶ線分が、車両の所定の位置と合致するように、目標駐車位置を更新する。当該構成により、大型車両が駐車可能な領域に小型車を駐車する場合、駐車枠の前後方向略中央の位置に駐車することができる。
また、実施形態の駐車支援装置において、目標位置更新部は、境界の、車両の進入方向手前側の端部と車両の進入方向遠方側の端部との間隔が、車両の全長よりも短い場合に、車両を一対の境界に沿って後退で駐車させたる場合には、進入方向手前側の端部を、車両の目標駐車位置の車両前端側の端部とするように更新して、車両を一対の境界に沿って前進で駐車させる場合には、進入方向手前側の端部を、車両の目標駐車位置の車両後端側の端部とするように更新する。当該構成により、車両の前後方向に沿う駐車枠の長さが短い場合に、当該駐車枠の前端(駐車方向手前側)に合わせて駐車することができる。
また、実施形態の駐車支援装置は、目標位置更新部が更新した目標駐車位置と前記車両との相対位置関係を逐次表示する表示部を更に備える。当該構成により、車両の運転者は、目標駐車位置が逐次更新される様子を、容易に視認することができる。
図1は、実施形態の駐車支援装置が搭載された車両の透視斜視図の一例である。 図2は、図1の車両の平面図(俯瞰図)の一例である。 図3は、図1の車両のダッシュボードの外観図の一例である。 図4は、実施形態の駐車支援装置のハードウェア構成の一例を示すハードウェアブロック図である。 図5は、実施形態の駐車支援装置の機能構成の一例を示すハードウェアブロック図である。 図6は、実施形態の駐車支援装置が検出する境界の端部について説明する第1の図である。 図7は、実施形態の駐車支援装置が検出する境界の端部について説明する第2の図である。 図8は、実施形態の駐車支援装置の撮像領域の別の一例を示す図である。 図9は、実施形態の駐車支援装置の第1の動作例を示す図である。 図10は、実施形態の駐車支援装置の第2の動作例を示す図である。 図11は、実施形態の駐車支援装置の第3の動作例を示す図である。 図12は、実施形態の駐車支援装置の第4の動作例を示す図である。 図13は、実施形態の駐車支援装置が表示装置に表示する映像の一例を示す図である。 図14は、実施形態の駐車支援装置が行う処理の全体の流れの一例を示すフローチャートである。 図15は、実施形態の駐車支援装置において、目標位置更新部が行う処理の流れの一例を示すフローチャートである。
以下、本発明の一実施形態を図面に従って説明する。本実施形態は、本発明を、車両の駐車動作を支援する駐車支援装置として適用した例である。駐車支援装置は、具体的には、カメラで撮像した車両周囲の画像を処理することによって、目標駐車位置を設定する。そして、車両の速度制御及び操舵角制御を行うことによって、設定された目標駐車位置をゴールとする自動駐車を行う。
なお、以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
(駐車支援装置を搭載した車両の概略構成の説明)
本実施形態の駐車支援装置は、車両1に搭載される。車両1は、例えば、不図示の内燃機関を駆動源とする自動車、即ち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、即ち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1は、実施形態の駐車支援装置が搭載された車両の透視斜視図の一例である。図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えばLCD(Liquid Crystal Display)や、OELD(Organic Electroluminescent Display)等である。音声出力装置9は、例えばスピーカである。また、表示装置8は、例えば、タッチパネル等の透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像やGUI(Graphical User Interface)に対応した位置を手指等で触れたり押したり動かしたりすることで、操作入力部10に対する操作入力を行う。これらの表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24のセンタークラスターに設置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有する。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けてもよいし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力してもよい。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用される。
また、車室2a内には、表示装置8とは別の表示装置12が設けられている。図3に示すように、表示装置12は、例えば、ダッシュボード24の計器盤部25(メータークラスター)に設けられ、計器盤部25の略中央で、速度表示部25aと回転数表示部25bとの間に位置されている。表示装置12の画面12aの大きさは、表示装置8の画面8aの大きさよりも小さい。この表示装置12には、主として車両1の駐車支援に関する情報を示す画像が表示される。表示装置12で表示される情報量は、表示装置8で表示される情報量より少なくてもよい。表示装置12は、例えば、LCDやOELD等である。なお、表示装置8に、表示装置12で表示される情報が表示されてもよい。
また、図1,図2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成さる。図4に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(Electronic Control Unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(Steer By Wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、即ちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
また、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a~15dが設けられている。撮像部15は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データを出力する。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°~190°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている。よって、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車体2の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。なお、撮像部15(15a~15d)は、ECU14から出力される同期信号に基づいて、略同時刻に撮像を行うものとする。
撮像部15aは、車体2の後側の端部2eに設置され、例えば、リヤトランクのドア2hの下方の壁部に設けられる。撮像部15bは、車体2の右側の端部2fに設置され、例えば、右側のドアミラー2gに設けられる。撮像部15cは、車体2の前側、即ち車両前後方向の前方側の端部2cに設置され、例えば、フロントバンパー等に設けられる。撮像部15dは、車体2の左側、即ち車幅方向の左側の端部2dに設置され、例えば、左側のドアミラー2gに設けられる。ECU14は、複数の撮像部15で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりする。なお、俯瞰画像は、平面画像とも称される。
また、ECU14は、撮像部15が撮像した画像の中から、車両1の周辺の路面に示された、車両1を駐車させる領域の端を示す区画線等を識別し、区画線等に示された駐車区画を検出(抽出)する。なお、区画線は、本開示における境界の一例である。
また、図1,図2に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a~16dと、八つの測距部17a~17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称される。ECU14は、測距部16,17の検出結果により、車両1の周囲における障害物等の物体の有無や当該物体までの距離を測定する。なお、測距部17は、車両1の前方及び後方の物体の検出に用いられ、測距部16は、車両1の左右側方の物体の検出に用いられる。
(駐車支援装置のハードウェア構成の説明)
図4に示すように、駐車支援装置100では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(Controller Area Network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御する。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を受け取る。
ECU14は、例えば、CPU14a(Central Processing Unit)や、ROM14b(Read Only Memory)、RAM14c(Random Access Memory)、表示制御部14d、音声制御部14e、SSD14f(Solid State Drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8,12で表示される画像に関連した画像処理や、車両1の移動目標位置の決定、車両1の移動経路の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理及び制御を実行する。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、撮像部15が撮像した画像データをCPU14aで処理するための画像入力を制御する。また、表示制御部14dは、表示装置8,12で表示する画像データの生成及び表示装置8,12への画像出力を制御する。より具体的には、表示制御部14dは、表示装置12に、車両1と目標駐車位置との相対位置関係を表示することによって、目標駐車位置が更新される様子を逐次表示する。なお、表示制御部14dは、本開示における表示部の一例である。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶手段であって、ECU14の電源がオフされた場合にあってもデータを記憶する。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積される。また、ECU14は、CPU14aに代えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(Hard Disk Drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(Anti-lock Brake System)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(Brake By Wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差等からブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行する。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出する。ブレーキセンサ18bは、変位センサを含む。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子等を用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出する。アクセルセンサ20は、変位センサを含む。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出する。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子等を用いて構成される。ECU14は、車輪速センサ22から取得したセンサの計測値に基づいて車両1の移動量等を演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果を、ブレーキシステム18を介して取得する。
なお、上述した各種センサやアクチュエータの構成、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
(駐車支援装置の機能構成の説明)
次に、駐車支援装置100のECU14内に実現される駐車支援部140の構成について説明する。駐車支援部140は、図5に示すように、データ取得部141、障害物検出部142、駐車区画検出部143、端点検出部144、目標位置設定部145、目標位置更新部146、経路算出部147、誘導制御部148を備える。さらに、ECU14は、表示制御部14dと記憶部149を備える。
データ取得部141は、各センサ及び測距部16,17の検出結果や、撮像部15が取得した画像データ、操作入力部10及び操作部14g等の操作入力に応じた信号等のデータを取得する。なお、操作部14gは、例えば、押しボタンやスイッチ等である。
障害物検出部142は、データ取得部141が取得した情報に基づき障害物を検出する。
駐車区画検出部143は、データ取得部141が取得した情報、即ち撮像部15が撮像した画像に基づいて、車両1に対する、当該車両1が駐車する領域の端を示す境界の相対位置を、異なる時刻において逐次検出する。駐車する領域の端を示す境界とは、具体的には、路面に引かれた白線や黄線、路面に張られたロープ、隣接する駐車領域に駐車している車両の端部、植栽された草木等である。なお、境界は、一般に車両1の左右それぞれの側に存在する。そして、両側の境界の種類は同じであってもよいし、異なっていてもよい。なお、駐車区画検出部143は、本開示における検出部の一例である。また、撮像部15は、車両1の既知の位置に設置されているため、当該撮像部15が撮像した画像における境界の位置は、車両1に対する相対位置を表すものである。
端点検出部144は、駐車区画検出部143が検出した境界の端部である端点を検出する。以降、境界の端点を端部と呼ぶ。
目標位置設定部145は、駐車区画検出部143及び端点検出部144の検出結果に基づいて、車両1の目標駐車位置を設定する。なお、目標位置設定部145は、本開示における設定部の一例である。
目標位置更新部146は、駐車区画検出部143が検出した境界の位置の変化に基づいて、目標駐車位置を更新する。
経路算出部147は、車両1の現在位置から目標駐車位置までの移動経路を算出する。なお、車両1の現在位置は、車輪速センサ22及び舵角センサ19等の出力に基づいて検出される。なお、車両1は、図4に非図示のGPS(Global Positioning System)受信機を備えてGPS測位を行うことによって、現在位置を検出してもよい。
誘導制御部148は、車両1が移動経路に沿って移動目標位置へ移動するように、車両1の各部を制御する。
表示制御部14dは、前記した通りである。
記憶部149は、ECU14での演算で用いられるデータ、或いはECU14での演算で算出されたデータ等を記憶する。なお、記憶部149は、例えば、RAM14cやSSD14fによって実現される。
(駐車支援装置の動作例の説明)
次に、実施形態の駐車支援装置100の動作例を説明する。図6は、実施形態の駐車支援装置が検出する境界の端部について説明する第1の図である。また、図7は、実施形態の駐車支援装置が検出する境界の端部について説明する第2の図である。
図6に示すように、車両1が、駐車スペースの境界を示す区画線32,34の近傍にいる場合を想定する。このとき、車両1に搭載された撮像部15は、図6に示す撮像領域30内を高い解像度で画像化する。撮像領域30の大きさは、撮像部15の仕様(撮像する画像の画素数、画角、路面となす俯角等)によって決定される。また、撮像領域30の位置は、車両1の速度やシフトポジション等によって決定される。
図7は、撮像された画像40の一例を示す。撮像部15は、車両1から外側に向けて設置されているため、画像40には、車両1から遠方ほど小さく写った情報が観測される。即ち、図6の状態において、区画線32,34は、遠方ほど細く観測される。したがって、遠方では画像の解像度が低下するため、区画線32,34の位置を特定した際に、精度が悪化するおそれがある。そのため、本実施形態の駐車支援装置100は、撮像部15が撮像した画像40の解像度が高い領域のみで区画線32,34の検出を行う。
画像40の解像度が高い領域は、一般に撮像部15からの距離が近い領域である。本実施形態では、例えば、撮像部15から距離2.5mの範囲内(撮像領域30に対応)のみで区画線32,34の検出を行う。なお、2.5mという値は一例であって、詳しくは前記したように撮像部15の仕様に基づいて決定される。
駐車区画検出部143(図5参照)は、画像40に対して画像処理を行うことによって、撮像領域30の内部で区画線32,34を検出する。駐車区画検出部143は、具体的には、画像40を縦方向又は横方向にスキャンすることによって、明るさ(画素値)の分布を参照する。そして、区画線が呈すると予想される明るさの分布と略等しい明るさ分布を持つことを条件として、区画線と考えられる領域を抽出する。そして、同様の処理を画像40の異なる複数の縦方向又は横方向について行うことによって、区画線の位置を特定する。なお、区画線の検出アルゴリズムはこの方法に限定されるものではなく、既存の画像処理アルゴリズムを適宜組み合わせて適用すればよい。
なお、区画線32,34は一般に幅を有しているため、実際は、一対の区画線32,34の内側の境界線の位置を区画線の位置とする。
端点検出部144(図5参照)は、駐車区画検出部143が検出した区画線32,34の端部を検出する。例えば、図7の例では、区画線32の車両1に近い側の端部32aと車両1から遠い側の端部32bとが検出される。なお、端部32bは、撮像領域30と区画線32との交点である。また、区画線34の車両1に近い側の端部34aと車両1から遠い側の端部34bとが検出される。なお、端部34bは、撮像領域30と区画線34との交点である。また、端点検出部144は、駐車支援を開始してから検出された端部32a,32b,34a,34bを、それぞれ記憶部149に蓄積記憶して、最新の端部32a,32b,34a,34bの座標と、蓄積記憶された端部の座標とを逐次比較することによって、駐車支援を開始してから現在に亘って、解像度が高い撮像領域30の中から検出された一対の区画線32,34の、最も間隔が大きい端部のペアを決定する。
なお、前記した端部32a,32b,34a,34bは、実際には一対の区画線32,34の内側、即ち、対向する側の境界線の端部である。図6,図7、及び以降に示す図面では、図面表記をわかり易くするために、区画線32,34そのものが、幅を持つ区画線として検出されるものとする。そして、区画線32,34自身の端部が端部32a,32b,34a,34bであるものとする。したがって、端部32a,32b,34a,34bは、図面上、実際よりも大きく表記されている。
なお、図6に示した撮像部15の撮像領域30は、図8に示す範囲としてもよい。即ち、車両1の前端に設置された撮像部15cと、車両1の右側ドアミラー付近に内蔵された撮像部15bと、車両1の左側ドアミラー付近に内蔵された撮像部15dと、車両1の後端に設置された撮像部15aとが、高い解像度で撮像を行う撮像範囲を合わせて、撮像領域30aとしてもよい。そして、このようにして設定した撮像領域30aのうち、車両1の挙動を示すパラメータ、例えば、シフトポジションや操舵角や車速等に応じた領域が、実際の撮像領域として使用される。したがって、例えば車両1が後退で駐車を行う際は、図8に示す撮像領域30aの中で、撮像部15a,15b,15dの撮像領域が主に使用される。また、車両1が前進で駐車を行う際は、図8に示す撮像領域30aの中で、撮像部15c,15b,15dの撮像領域が主に使用される。
以下、図9から図12を用いて、4種類の異なる形態の駐車区画に車両1を後退状態で自動駐車させる場合を例にあげて、本実施形態の駐車支援装置100の動作例を具体的に説明する。なお、図示はしないが、車両を前進状態で自動駐車させる場合にも、駐車支援装置100は同様に作用する。また、説明のために、車両の後退方向にY軸を設定して、それに直交する方向にX軸を設定する。
(駐車支援装置の第1の動作例の説明)
図9は、実施形態の駐車支援装置の第1の動作例を示す図である。特に、図9に示す駐車区画は、車両1の駐車方向に沿う左右一対の区画線32,34が、車両1の進入方向に沿ってオフセットした状態で描かれている例である。
図9は、車両1と駐車区画との位置関係と、駐車支援装置100の目標位置設定部145が設定して目標位置更新部146が更新する、時刻tにおける目標駐車位置36tとを時系列で示している。なお、撮像部15の撮像範囲は、簡単のため、円形の撮像領域30で表記する。
まず、時刻t=t0において、車両1が、X軸負方向を向いて1対の区画線32,34に接近した状態で、運転者が操作入力部10又は操作部14gを操作したことをトリガとして、駐車支援装置100が動作を開始する。
このとき、駐車区画検出部143及び端点検出部144が、区画線32,34と、それらの端部32a,32b,34a,34bを検出する。そして、目標位置設定部145は、駐車区画検出部143及び端点検出部144の検出結果に基づいて、車両1の目標駐車位置36tを設定する。なお、目標駐車位置36tは。後述するように、時刻tとともにその位置が更新されるため、時刻tを示す添字を付して示す。目標位置設定部145は、まず、端部32aを始点として端部32bを通る半直線と、端部34aを始点として端部34bを通る半直線とを設定する。そして、目標位置設定部145は、2本の半直線の間隔が、車両1の車幅よりも大きいことを条件として、2本の半直線の間の空間に目標駐車位置36tを設定する。なお、目標駐車位置36tの進入方向位置(Y軸方向位置)は、図9の時刻t=t0に示すように、2本の半直線のうち、車両1が進入する側に突出した半直線(図9の例では区画線32)の端部(図9の例では端部32a)の位置、即ち、なるべく車両1に近い位置に設定される。このように、車両1に近い位置に目標駐車位置36tの端部を設定するのは、一度設定した目標駐車位置36tを車両1に近づく側に更新すると、更新された目標駐車位置36tを表示装置8の画面8aに表示した際に、運転者に驚きを与えるためである。即ち、目標駐車位置36tは、車両1から遠い側に更新されるように、なるべく車両1に近い位置に目標駐車位置36tの初期位置が設定される。
なお、目標位置設定部145は、車両1の運転者の指示によって目標駐車位置36tを設定してもよい。即ち、撮像部15が撮像した画像を表示装置8でモニタして、車両1の運転者が表示装置8に表示された画像の中で指示した位置に、目標駐車位置36tを設定してもよい。
その後、経路算出部147は、車両1の現在位置から目標駐車位置36tまでの移動経路を算出する。図9の例では、経路算出部147は、車両1のステアリングを右に操舵して前進した後、シフトポジションをリバース(後退)に切り替えて、後退で駐車を行う経路を算出する。
その後、駐車支援装置100は、算出された移動経路に沿って、車両1を前進させた後で、車両1のシフトポジションをリバースに切り替える(図9における時刻t=t1)。そして、駐車区画検出部143は、車両1のシフトポジションがリバースに切り替えられたことをトリガにして、撮像領域30の位置を切り替える。具体的には、撮像領域30は、主に車両1の後側の端部2eに設置された撮像部15a(図2参照)の撮像範囲を主とする範囲に変更される。
なお、駐車区画検出部143及び端点検出部144は、区画線と端部の検出処理を逐次実行して、その都度、区画線32,34と、それらの端部32a,32b,34a,34bを検出する。
車両1は、そのままY軸正側に向けて後退を続ける。そして、駐車区画検出部143及び端点検出部144は、区画線と端部の検出処理を逐次実行することによって、区画線32,34及び端部32a,32b,34a,34bの検出を繰り返す。
その後、図9における時刻t=t2において、車両1が目標駐車位置36tに向かって後退を続けると、区画線34の端部34a,34bが検出される。そして、端点検出部144は、一対の区画線32,34から検出された端部の間隔、即ち端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2を算出する。
目標位置更新部146は、端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2が、いずれも、しきい値Th以上であるかを判定する。図9における時刻t=t2においては、間隔L2がしきい値Thを超えていないため、図9に示す目標駐車位置36tを維持する。
次に、図9における時刻t=t2から時刻t=t3において、区画線32の車両1が進入した側の端部32aは、撮像領域30から外れるが、端点検出部144は、駐車支援を開始してから検出された端部の座標を記憶部149に蓄積記憶して、最新の端部の座標と蓄積記憶された端部の座標とを併合することによって、駐車支援を開始してから現在に亘って検出された、最も間隔が大きい端部のペアを、現在時刻における区画線の端部とする。
そして、目標位置更新部146は、時刻t=t2から時刻t=t3にかけて、端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2が、いずれも、しきい値Thを超えたと判定して、目標駐車位置36tを、車両1の進入方向に沿って所定量だけ移動する。なお所定量は予め決めた値を適用するが、1回の更新で、目標駐車位置36tを必要以上に大きく移動させると、車両1の誘導制御を円滑に行えなくなる可能性があるため、1回の更新で目標駐車位置36tを移動させる量は、なるべく小さい値に設定される。そして、このような更新を、区画線を検出する都度繰り返すことによって、図9における時刻t=t3に示すように、目標駐車位置36tの端部の位置は、オフセットした区画線のうち、Y軸正方向に埋没した側の端部34aの位置に近づく方向に更新される。即ち、時刻t=t2から時刻t=t3に亘って、車両1の進入に応じて、目標駐車位置36tが徐々に進入方向遠方側(Y軸正側)に更新される。
その後、図9における時刻t=t4において、端点検出部144は、手前に突出した側の区画線32の端部32bと、進入方向手前側にオフセットした側の区画線34の端部34bを検出する。そして、その後、駐車区画検出部143及び端点検出部144が処理を繰り返しても、端部32b,34bの位置が車両1の進入方向遠方側(Y軸正側)に更新されないと判定されると、目標位置更新部146は、端部32b,34bが、区画線32,34の進入方向遠方側(Y軸正側)の端部であると認識する。これにより、目標位置更新部146は、車両1の進入方向遠方側に埋没(オフセット)した側の端部34aの位置を、目標駐車位置36tの車両前端側の端部とする
そして、駐車支援装置100は、図9における時刻t=t5において、車両1が目標駐車位置36tに収まったと判断して、駐車支援を終了する。
(駐車支援装置の第2の動作例の説明)
図10は、実施形態の駐車支援装置の第2の動作例を示す図である。特に、図10に示す駐車区画は、車両1の駐車方向に沿う左右一対の区画線32,34の延伸方向側に、車両1の進入を制限する区画線35がある例である。なお、区画線35は、本開示における制限物の一例である。また、図10において、駐車区画を形成する2本の区画線32,34はオフセットのない状態で引かれているものとする。なお、制限物は区画線35に限定されるものではなく、障害物であってもよい。したがって、制限物の検出を行うのは、駐車区画検出部143に限定されるものではなく、測距部16,17が行ってもよい。
図10における時刻t=t0から時刻t=t2までは、前記した図9の例と同様の処理が行われる。
図10における時刻t=3において、駐車区画検出部143は、区画線35(制限物)を検出する。このとき、目標位置更新部146は、区画線35よりも遠方に目標駐車位置36tを設定することはできないと判断する。そして、目標位置更新部146は、目標駐車位置36tを、区画線35を超えない位置まで手前(Y軸負側)に移動させることによって更新を行う。この更新によって、目標駐車位置36tは、図10における時刻t=t3に示す位置に設定される。この場合、目標駐車位置36tは、時刻t=t2から時刻t=t3に亘って手前(Y軸負側)に更新される。これは、前記した、目標駐車位置36tは進入方向遠方側(Y軸正側)に更新するという考え方に反する。しかし、表示装置8の画面8aに表示された車両1の周囲の画像を見た運転者は、車両1の進入に制限(区画線35)があることを容易に視認できるため、目標駐車位置36tが手前側(Y軸負側)に更新されることは、予め予測可能であるため、特に問題はない。
そして、駐車支援装置100は、図10における時刻t=t4において、車両1が目標駐車位置36tに収まったと判断して、駐車支援を終了する。
(駐車支援装置の第3の動作例の説明)
図11は、実施形態の駐車支援装置の第3の動作例を示す図である。特に、図11に示す駐車区画は、車両1の駐車方向に沿う左右一対の区画線32,34が、車両1の全長よりも長い場合の例である。
図11における時刻t=t0から時刻t=t2までは、前記した図9,図10の例と同様の処理が行われる。
次に、図11における時刻t=3において、目標位置更新部146は、端点検出部144が検出した端部32aと端部32bの間隔L1と、端部34aと端部34bの間隔L2とが、ともにしきい値Thを超えたと判定する。そして、目標位置更新部146は、時刻t=t3から時刻t=t4に亘って、目標駐車位置36tの位置を、車両1の進入方向遠方側(Y軸正側)に更新する。
なお、時刻t=t3において、区画線32の端部32a、及び区画線34の端部34aは、いずれも撮像領域30から外れるが、端点検出部144は、駐車支援を開始してから検出された端部の座標を記憶部149に蓄積記憶して、最新の端部の座標と蓄積記憶された端部の座標とを併合することによって、駐車支援を開始してから現在に亘って検出された、最も間隔が大きい端部のペアを、現在時刻における区画線の端部とする。
目標位置更新部146は、時刻t=t3において、端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2が、いずれも、車両1の全長以上であると判定する。このとき、目標位置更新部146は、端部32aと端部32bの中点32cと、端部34aと端部34bの中点34cとを結ぶ線分が、車両1の所定の位置(例えば車両1の前後中心や車両1の後輪軸位置)と合致するように、目標駐車位置36tを更新する。
そして、時刻t=t4において、目標位置更新部146は、区画線32の端部32bが、区画線32の遠方側(Y軸正側)の端部であると認識するとともに、区画線34の端部34bが、区画線34の遠方側(Y軸正側)の端部であると認識する。そして、目標位置更新部146は、端部32aと端部32bの中点32cと、端部34aと端部34bの中点34cとを結ぶ線分が、車両1の所定の位置(例えば車両1の前後中心や車両1の後輪軸位置)と合致する位置を、車両1の最終的な目標駐車位置36tに決定する。
そして、駐車支援装置100は、図11における時刻t=t5において、車両1が目標駐車位置36tに収まったと判断して、駐車支援を終了する。
(駐車支援装置の第4の動作例の説明)
図12は、実施形態の駐車支援装置の第3の動作例を示す図である。特に、図12に示す駐車区画は、車両1の駐車方向に沿う左右一対の区画線32,34が、車両1の全長よりも短い場合の例である。
図12における時刻t=t0から時刻t=t2までは、前記した図9,図10,図11の例と同様の処理が行われる。
その後、図12における時刻t=t3において、端点検出部144は、区画線32の遠方側の端部32bと、区画線34の遠方側の端部34bを検出する。そして、その後、駐車区画検出部143及び端点検出部144が処理を繰り返しても、端部32b,34bの位置が車両1の進入方向遠方側(Y軸正側)に更新されないと判定されると、目標位置更新部146は、端部32b,34bが、区画線32,34の遠方側(Y軸正側)の端部であると認識する。
そして、目標位置更新部146は、区画線32,34の長さが、ともに車両1の全長よりも短いと判定して、区画線32の端部32a及び区画線34の端部34aを、目標駐車位置36tの車両前端側の端部とする。
そして、駐車支援装置100は、図12における時刻t=t5において、車両1が目標駐車位置36tに収まったと判断して、駐車支援を終了する。
(表示装置に表示される画像の一例の説明)
図13は、実施形態の駐車支援装置が表示装置に表示する映像の一例を示す図である。なお、図13において、時刻tはt0からt6に亘って時間が経過していることを示す。
表示制御部14dは、表示装置8の画面8aの中央部に、車両1の俯瞰図を表示する。なお、車両1の表示位置は、時刻の経過によらずに変わらない。
また、表示制御部14dは、車両1の周囲に、撮像部15が撮像した画像を、真上から見たように変換した状態で表示する。そして、当該画像中に、目標駐車位置36tを重畳表示する。即ち、表示制御部14d(表示部)は、目標位置更新部146が更新した目標駐車位置36tと車両1との相対位置関係を逐次表示する。これによって、画面8aを見た車両1の運転者は、目標駐車位置36tの設定位置や目標駐車位置36tの更新状態を一目で視認することができる。
(駐車支援装置の動作の流れの説明)
図14は、実施形態の駐車支援装置が行う処理の全体の流れの一例を示すフローチャートである。以下、フローチャートに沿って処理の流れを説明する。
データ取得部141は、車両1の運転者が、操作部14gから駐車支援を開始する指示を与えたかを判定する(ステップS10)。駐車支援を開始する指示が与えられたと判定される(ステップS10:Yes)とステップS11に進む。一方、駐車支援を開始する指示が与えられたと判定されない(ステップS10:No)と、タイムアウトになるまでステップS10を繰り返す。
駐車区画検出部143は、撮像部15が撮像した画像の中から駐車区画の境界である区画線32,34を検出する(ステップS11)。
目標位置設定部145は、車両1の目標駐車位置36tを設定する(ステップS12)。
データ取得部141は、操作部14gから、目標駐車位置36tに対する車両1の運転者の確認が入力されたかを判定する(ステップS13)。運転者の確認が入力されたと判定される(ステップS13:Yes)とステップS14に進む。一方、運転者の確認が入力されたと判定されない(ステップS13:No)と、タイムアウトになるまでステップS13を繰り返す。
経路算出部147は、車両1の現在位置から目標駐車位置36tまでの移動経路を算出する(ステップS14)。
誘導制御部148は、車両1が移動経路に沿って移動目標位置へ移動するように、車両1の各部を制御する(ステップS15)。
表示制御部14dは、車両1と目標駐車位置36tとを表示装置8の画面8aに表示する(ステップS16)。
目標位置更新部146は、駐車区画検出部143が検出した区画線32,34の位置の変化に基づいて、目標駐車位置36tを更新する(ステップS17)。なお、ステップS17の詳細は後述する(図15参照)。
誘導制御部148は、駐車支援が終了したかを判定する(ステップS18)。具体的には、誘導制御部148は、車両1の現在位置が、目標駐車位置36tの内部に収まったことによって、駐車支援が終了したと判定する。駐車支援が終了したと判定される(ステップS18:Yes)と駐車支援装置100は、図14の処理を終了する。なお、図14の処理を終了する際には、記憶部149に記憶された情報は全て消去される。一方、駐車支援が終了したと判定されない(ステップS18:No)とステップS14に戻って、前記した処理を繰り返す。
(目標駐車位置の更新処理の流れの説明)
図15は、実施形態の駐車支援装置において、目標位置更新部が行う処理の流れの一例を示すフローチャートである。以下、フローチャートに沿って処理の流れを説明する。
駐車区画検出部143は、撮像部15が撮像した画像の中から駐車区画の境界である区画線32,34を検出する(ステップS20)。
端点検出部144は、駐車区画検出部143が検出した区画線32の端部32a,32b及び区画線34の端部34a,34bを検出する(ステップS21)。
端点検出部144は、駐車支援を開始してから検出された端部の位置と、ステップS21で検出された端部の位置とを比較して、駐車支援を開始してから現在に亘って検出された、最も間隔が大きい端部のペアを、現在時刻における区画線の端部とするように、端部の位置を更新する(ステップS22)。
次に、目標位置更新部146は、一対の区画線32,34の端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2が、いずれも、車両1の全長以上であるかを判定する(ステップS23)。間隔L1、間隔L2が、いずれも、車両1の全長以上であると判定される(ステップS23:Yes)とステップS24に進む。一方、間隔L1、間隔L2が、いずれも、車両1の全長以上であると判定されない(ステップS23:No)とステップS25に進む。なお、ステップS23の条件判断がYesの場合、図11に記載した駐車区画であることが検出される。
ステップS23においてYesと判定されると、目標位置更新部146は、一対の区画線32,34の中点同士を結ぶ線分が、車両1の所定の位置(例えば前後中心)と一致するように、目標駐車位置36tを更新する(ステップS24)。その後、図14のメインルーチンに戻る。
一方、ステップS23において、Noと判定されると、駐車区画検出部143は、車両1の進入方向に境界(制限物)があるかを判定する(ステップS25)。車両1の進入方向に境界があると判定される(ステップS25:Yes)とステップS26に進む。一方、車両1の進入方向に境界があると判定されない(ステップS25:No)とステップS27に進む。なお、ステップS25の条件判断がYesの場合、図10に記載した駐車区画であることが検出される。
ステップS25においてYesと判定されると、ステップS26において、目標位置更新部146は、車両1の進入方向遠方側の境界を、車両1の後端側の端部として目標駐車位置36tの位置を更新する。その後、図14のメインルーチンに戻る。
一方、ステップS25においてNoと判定されると、ステップS27において、目標位置更新部146は、一対の区画線32,34の端部32aと端部32bの間隔L1、及び端部34aと端部34bの間隔L2が、いずれも、しきい値Th以上であり、尚且つ車両1の区画線32,34の進入側の端点(端部)がオフセットしているかを判定する。間隔L1、間隔L2が、いずれもしきい値Th以上であり、尚且つ端点がオフセットしていると判定される(ステップS27:Yes)とステップS28に進む。一方、間隔L1、間隔L2が、いずれもしきい値Th以上であり、尚且つ端点がオフセットしていると判定されない(ステップS27:No)と図13のメインルーチンに戻る。なお、ステップS27の条件判断がYesの場合、図9に記載した駐車区画であることが検出される。
ステップS27においてYesと判定されると、目標位置更新部146は、目標駐車位置36tを、車両1の進入方向遠方側に所定量移動させることによって更新する(ステップS28)。その後、図14のメインルーチンに戻る。
以上説明したように、実施の形態の駐車支援装置100によれば、目標位置設定部145(設定部)は、駐車区画検出部143(検出部)が検出した、車両1に対する当該車両1が駐車する領域の端を示す区画線32、34(境界)の相対位置に基づいて、車両1の目標駐車位置36tを設定する。そして、目標位置更新部146は、駐車区画検出部143が逐次検出する区画線32、34の位置の変化に基づいて、車両1の目標駐車位置36tを更新する。したがって、異なる時刻において駐車区画検出部143が逐次検出した駐車領域の区画線32、34の位置に基づいて、目標位置更新部146が目標駐車位置を更新するため、車両1の移動に応じて、逐次、高い精度の目標駐車位置36tを設定することができる。
また、実施の形態の駐車支援装置100によれば、駐車区画検出部143(検出部)は、車両1が備える撮像部15によって撮像された画像の中の、当該撮像部15の解像度が所定のしきい値以上となる撮像領域30の内部で、区画線32、34(境界)を検出する。したがって、区画線32、34の位置を高い精度で取得することができる。
また、実施の形態の駐車支援装置100によれば、目標位置設定部145(設定部)は、車両1を一対の区画線32、34に沿って後退で駐車させる場合には、車両1の駐車方向に沿う一対の区画線32、34のうち、車両1の進入側に最も突出した区画線32、34の端部を、目標駐車位置36tの車両前端側の端部に設定して、車両1を一対の区画線32、34に沿って前進で駐車させる場合には、車両1の駐車方向に沿う一対の区画線32、34のうち、車両1の進入側に最も突出した区画線32、34の端部を、目標駐車位置36tの車両後端側の端部に設定する。したがって、駐車する領域の区画線32,34のオフセットの有無に関わらず、できるだけ車両1から近い位置に目標駐車位置の初期値を設定することができる。
また、実施の形態の駐車支援装置100によれば、目標位置更新部146は、駐車区画検出部143(検出部)が検出した区画線32、34(境界)の位置を記憶部149に蓄積記憶して、当該蓄積記憶された区画線32、34のそれぞれにおける、車両1の進入方向に沿う2つの端部(端部32aと端部32b、及び端部34aと端部34b)の位置に基づいて、目標駐車位置36tを更新する。したがって、目標駐車位置36tを高い精度で更新することができる。
また、実施の形態の駐車支援装置100によれば、車両1の駐車方向に沿う一対の区画線32、34(境界)の、車両1に近い側の2つの端部32a,34aが、区画線32、34の延伸方向にオフセットしている場合に、目標位置更新部146は、車両1を一対の区画線32、34に沿って後退で駐車させる場合には、2つの端部32a,34aのうち車両1の進入側から最も埋没した端部を、車両1の目標駐車位置36tの車両前端側の端部とするように更新して、車両1を一対の区画線32、34に沿って前進で駐車させる場合には、2つの端部32a,34aのうち車両1の進入側から最も埋没した端部を、車両1の目標駐車位置36tの車両後端側の端部とするように更新する。したがって、駐車領域の端を示す区画線32、34が左右でオフセットしている場合において、目標駐車位置36tを確実に更新することができる。
また、実施の形態の駐車支援装置100によれば、車両1の駐車方向に沿う一対の区画線32,34(境界)の延伸方向側に、車両1の進入を制限する区画線35(制限物)がある場合に、目標位置更新部146は、車両1を一対の区画線32,34に沿って後退で駐車させる場合には、車両1の目標駐車位置36tの車両後端側の端部を、区画線35(制限物)の位置に更新する。また、車両1を一対の区画線32,34に沿って前進で駐車させる場合に、車両1の目標駐車位置36tの車両前端側の端部を、区画線35(制限物)の位置に更新する。したがって、駐車領域の奥に、車両1の進入を妨げる区画線や、輪留め等の物標があった場合に、これらの制限物を超える目標駐車位置36tの設定を行わないようにすることができる。
また、実施の形態の駐車支援装置100によれば、目標位置更新部146は、区画線32,34の、車両1の進入方向手前側の端部32a,34aと車両1の進入方向遠方側の端部32b,34bとの間隔L1,L2が、車両1の全長よりも長い場合に、一対の境界の、進入方向手前側の端部32a,34aと進入方向遠方側の端部32b,34bとの中点32c,34cを結ぶ線分が、車両1の所定の位置(例えば、車両の前後中心)と合致するように、目標駐車位置36tを更新する。したがって、例えば、大型車両が駐車可能な領域に小型車を駐車する場合、駐車枠の前後方向略中央の位置に駐車することができる。
また、実施の形態の駐車支援装置100によれば、目標位置更新部146は、区画線32,34の、車両1の進入方向手前側の端部32a,34aと車両1の進入方向遠方側の端部32b,34bとの間隔L1,L2が、車両1の全長よりも短い場合に、車両1を一対の区画線32,34に沿って後退で駐車させる場合には、進入方向手前側の端部32a,34aを、車両1の目標駐車位置36tの車両前端側の端部とするように更新して、車両1を一対の区画線32,34に沿って前進で駐車させる場合には、進入方向手前側の端部32a,34aを、車両1の目標駐車位置36tの車両後端側の端部とするように更新する。したがって、車両1の前後方向に沿う駐車枠の長さが短い場合に、当該駐車枠の前端(駐車方向手前側)に合わせて駐車することができる。
また、実施の形態の駐車支援装置100によれば、表示制御部14d(表示部)は、目標位置更新部146が更新した目標駐車位置36tと車両1との相対位置関係を逐次表示する。したがって、車両1の運転者は、目標駐車位置36tが逐次更新される様子を、容易に視認することができる。
また、本実施形態のCPU14aで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、実施形態のCPU14aで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態のCPU14aで実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
以上、本発明の実施形態を例示したが、上記実施形態及び変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
1…車両、8,12…表示装置、14…ECU、14d…表示制御部(表示部)、15…撮像部、30…撮像領域、32,34…区画線(境界)、35…区画線(制限物)、32a,32b,34a,34b…端部、36t…目標駐車位置、100…駐車支援装置、140…駐車支援部、141…データ取得部、142…障害物検出部、143…駐車区画検出部(検出部)、144…端点検出部、145…目標位置設定部(設定部)、146…目標位置更新部、147…経路算出部、148…誘導制御部、149…記憶部

Claims (9)

  1. 車両に対する、当該車両が駐車する領域の端を示す境界の相対位置を、異なる時刻において逐次検出する検出部と、
    前記検出部の検出結果に基づいて、前記車両の目標駐車位置を設定する設定部と、
    前記検出部が検出した前記境界の位置の変化に基づいて、前記目標駐車位置を更新する目標位置更新部と、
    を備え
    前記検出部は、
    一対の前記境界に沿う前記車両の移動に伴って、前記車両の駐車方向に沿う一対の前記境界の、前記車両の進入方向手前側の2つの端部と、前記車両の進入方向遠方側の2つの端部とを逐次検出し、
    前記目標位置更新部は、
    前記車両の駐車方向に沿う一対の前記境界のうち、少なくとも一方の前記境界の、前記車両の進入方向手前側の端部と前記車両の進入方向遠方側の端部との間隔に基づいて、前記目標駐車位置を更新する駐車支援装置。
  2. 前記検出部は、前記車両が備える撮像部によって撮像された画像の中の、当該撮像部の解像度が所定のしきい値以上となる領域の内部で、前記境界を検出する、
    請求項1に記載の駐車支援装置。
  3. 前記設定部は、
    前記車両を一対の前記境界に沿って後退で駐車させる場合には、前記車両の駐車方向に沿う一対の前記境界のうち、前記車両の進入側に最も突出した境界の端部を、前記目標駐車位置の車両前端側の端部に設定して、
    前記車両を一対の前記境界に沿って前進で駐車させる場合には、前記車両の駐車方向に沿う一対の前記境界のうち、前記車両の進入側に最も突出した境界の端部を、前記目標駐車位置の車両後端側の端部に設定する、
    請求項1又は請求項2に記載の駐車支援装置。
  4. 前記目標位置更新部は、
    前記検出部が検出した一対の前記境界の位置を蓄積記憶して、当該蓄積記憶された一対の前記境界のそれぞれにおける、前記車両の進入方向に沿う2つの端部の位置に基づいて、前記目標駐車位置を更新する、
    請求項1乃至請求項3のいずれか1項に記載の駐車支援装置。
  5. 前記目標位置更新部は、
    前記車両の駐車方向に沿う一対の前記境界の、前記車両の進入方向手前側の2つの端部が、当該境界の延伸方向にオフセットしている場合に、
    前記車両を前記一対の前記境界に沿って後退で駐車させる場合には、前記2つの端部のうち前記車両の進入側から最も埋没した端部を、前記車両の目標駐車位置の車両前端側の端部とするように更新して、
    前記車両を前記一対の前記境界に沿って前進で駐車させる場合には、前記2つの端部のうち前記車両の進入側から最も埋没した端部を、前記車両の目標駐車位置の車両後端側の端部とするように更新する、
    請求項1乃至請求項4のいずれか1項に記載の駐車支援装置。
  6. 前記目標位置更新部は、
    前記車両の駐車方向に沿う一対の前記境界の延伸方向側に、前記車両の進入を制限する制限物がある場合に、
    前記車両を一対の前記境界に沿って後退で駐車させる場合には、前記車両の目標駐車位置の車両後端側の端部を、前記制限物が検出された時点において、前記車両の進入方向手前側の端部と前記車両の進入方向遠方側の端部との間隔に基づくことなく、前記制限物の位置に更新して、
    前記車両を一対の前記境界に沿って前進で駐車させる場合には、前記車両の目標駐車位置の車両前端側の端部を、前記制限物が検出された時点において、前記車両の進入方向手前側の端部と前記車両の進入方向遠方側の端部との間隔に基づくことなく、前記制限物の位置に更新する、
    請求項1乃至請求項4のいずれか1項に記載の駐車支援装置。
  7. 前記目標位置更新部は、
    前記境界の、前記車両の進入方向手前側の端部と前記車両の進入方向遠方側の端部との間隔が、前記車両の全長よりも長い場合に、一対の前記境界の、前記進入方向手前側の端部と前記進入方向遠方側の端部との中点同士を結ぶ線分が、前記車両の所定の位置と合致するように、前記目標駐車位置を更新する、
    請求項1乃至請求項4のいずれか1項に記載の駐車支援装置。
  8. 前記目標位置更新部は、
    前記境界の、前記車両の進入方向手前側の端部と前記車両の進入方向遠方側の端部との間隔が、前記車両の全長よりも短い場合に、
    前記車両を一対の前記境界に沿って後退で駐車させる場合には、前記進入方向手前側の端部を、前記車両の目標駐車位置の車両前端側の端部とするように更新して、
    前記車両を一対の前記境界に沿って前進で駐車させる場合には、前記進入方向手前側の端部を、前記車両の目標駐車位置の車両後端側の端部とするように更新する、
    請求項1乃至請求項4のいずれか1項に記載の駐車支援装置。
  9. 前記目標位置更新部が更新した前記目標駐車位置と前記車両との相対位置関係を逐次表示する表示部を更に備える、
    請求項1乃至請求項8のいずれか1項に記載の駐車支援装置。
JP2019188350A 2019-10-15 2019-10-15 駐車支援装置 Active JP7427907B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019188350A JP7427907B2 (ja) 2019-10-15 2019-10-15 駐車支援装置
DE102020126990.0A DE102020126990A1 (de) 2019-10-15 2020-10-14 Parkassistenzvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019188350A JP7427907B2 (ja) 2019-10-15 2019-10-15 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2021062746A JP2021062746A (ja) 2021-04-22
JP7427907B2 true JP7427907B2 (ja) 2024-02-06

Family

ID=75155656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188350A Active JP7427907B2 (ja) 2019-10-15 2019-10-15 駐車支援装置

Country Status (2)

Country Link
JP (1) JP7427907B2 (ja)
DE (1) DE102020126990A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7494724B2 (ja) 2020-12-18 2024-06-04 トヨタ自動車株式会社 自動運転車両
JP7501500B2 (ja) * 2021-11-15 2024-06-18 株式会社アイシン 駐車支援装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014189266A (ja) 2013-03-28 2014-10-06 Toyota Motor Corp 駐車支援装置
JP2015074254A (ja) 2013-10-04 2015-04-20 アイシン精機株式会社 駐車支援装置
JP2016124398A (ja) 2014-12-26 2016-07-11 アイシン精機株式会社 駐車支援装置
WO2019008757A1 (ja) 2017-07-07 2019-01-10 日産自動車株式会社 駐車支援方法及び駐車制御装置
JP2019043455A (ja) 2017-09-06 2019-03-22 トヨタ自動車株式会社 駐車支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014189266A (ja) 2013-03-28 2014-10-06 Toyota Motor Corp 駐車支援装置
JP2015074254A (ja) 2013-10-04 2015-04-20 アイシン精機株式会社 駐車支援装置
JP2016124398A (ja) 2014-12-26 2016-07-11 アイシン精機株式会社 駐車支援装置
WO2019008757A1 (ja) 2017-07-07 2019-01-10 日産自動車株式会社 駐車支援方法及び駐車制御装置
JP2019043455A (ja) 2017-09-06 2019-03-22 トヨタ自動車株式会社 駐車支援装置

Also Published As

Publication number Publication date
DE102020126990A1 (de) 2021-04-15
JP2021062746A (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP6724425B2 (ja) 駐車支援装置
JP6096156B2 (ja) 駐車支援装置
JP6015314B2 (ja) 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
CN105416277B (zh) 停车辅助装置以及停车辅助方法
US9886859B2 (en) Parking assistance device
US10018473B2 (en) Vehicle position detecting device
JP6110349B2 (ja) 駐車支援装置
US10150486B2 (en) Driving assistance device and driving assistance system
US20160114795A1 (en) Parking assist system and parking assist method
JP6743593B2 (ja) 駐車支援装置
JP7351172B2 (ja) 駐車支援装置
JP6852534B2 (ja) 障害物検知報知装置、方法及びプログラム
JP6500435B2 (ja) 駐車支援装置
JP7427907B2 (ja) 駐車支援装置
JP6969124B2 (ja) 運転制御装置
US11301701B2 (en) Specific area detection device
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP6227514B2 (ja) 駐車支援装置
JP7114919B2 (ja) 走行支援装置
JP7383973B2 (ja) 駐車支援装置
JP2020083184A (ja) 駐車支援装置およびプログラム
JP7506645B2 (ja) 駐車支援装置
JP7380058B2 (ja) 駐車支援装置
JP6730885B2 (ja) 出庫支援装置
JP2021062727A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240108

R150 Certificate of patent or registration of utility model

Ref document number: 7427907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150