JP6316161B2 - 車載用画像処理装置 - Google Patents

車載用画像処理装置 Download PDF

Info

Publication number
JP6316161B2
JP6316161B2 JP2014199017A JP2014199017A JP6316161B2 JP 6316161 B2 JP6316161 B2 JP 6316161B2 JP 2014199017 A JP2014199017 A JP 2014199017A JP 2014199017 A JP2014199017 A JP 2014199017A JP 6316161 B2 JP6316161 B2 JP 6316161B2
Authority
JP
Japan
Prior art keywords
vehicle
image
vehicle body
unit
recognition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014199017A
Other languages
English (en)
Other versions
JP2016068712A (ja
Inventor
玲 宇田川
玲 宇田川
健 志磨
健 志磨
彰二 村松
彰二 村松
雅男 坂田
雅男 坂田
吉孝 内田
吉孝 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014199017A priority Critical patent/JP6316161B2/ja
Priority to US15/500,120 priority patent/US9953227B2/en
Priority to PCT/JP2015/067250 priority patent/WO2016051885A1/ja
Priority to EP15847777.8A priority patent/EP3202626A4/en
Publication of JP2016068712A publication Critical patent/JP2016068712A/ja
Application granted granted Critical
Publication of JP6316161B2 publication Critical patent/JP6316161B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、例えば自動車の駐車支援に用いられる車載用画像処理装置に関する。
近年、車載カメラの画像に基づいて駐車可能な領域が存在しているかどうかを判断することのできる車載用画像処理装置が開発されている。このような装置の一例として、車両の車幅を推定するための装置が知られている（例えば、下記特許文献１を参照）。
特許文献１に記載された装置では、駐車可能な領域が存在しているかどうかを判断するために、以下の手順によって車両の車幅を推定している。まず、車両を撮像し、撮像された画像から、車両のホイールおよびナンバープレートを認識する。次に、路面に平行な仮想平面上に、認識されたナンバープレート上の第１の点を投影する。次に、認識されたホイール上の、車両の車両長方向に沿った第２および第３の点を投影し、該第２および第３の点を結ぶよう第１の線を設定する。次に、第１の線に直交するよう第１の点から伸長する第２の線を設定して、第１の線および第２の線の交点を算出する。そして、この交点と、認識されたナンバープレートの車幅方向における中心との間の距離に基づいて、車両の車幅を推定する。
特開２０１０−１９７５２号公報
特許文献１に記載された装置では、駐車可能な領域が存在しているかどうかを判断するために、車両のナンバープレートを認識することが前提となる。したがって、例えば、ナンバープレートを装着する前の車両を移動させて駐車する場合や、何らかの原因でナンバープレートを認識することができない場合等には、駐車可能な領域が存在しているかどうかを判断することができない。
本発明は、前記課題に鑑みてなされたものであり、その目的とするところは、ナンバープレートの認識を前提とすることなく、車両に搭載されたカメラの画像を処理して車両の周辺の駐車可能な領域を認識することができる車載用画像処理装置を提供することにある。
前記目的を達成すべく、本発明の車載用画像処理装置は、車両周辺の駐車可能な領域を認識するための車載用画像処理装置であって、前記車両に搭載されたカメラで撮影した周辺車両と路面の画像を視点変換して該路面を基準とする俯瞰画像を生成する俯瞰画像生成部と、前記画像又は前記俯瞰画像から前記周辺車両のタイヤを認識するタイヤ認識部と、前記画像又は前記俯瞰画像から前記周辺車両の車体を含む立体物を認識する立体物認識部と、前記タイヤの接地位置と、該接地位置から前記車体までの地上高とを算出し、該地上高に基づいて前記俯瞰画像で前記車体下方に位置する前記路面の車体下領域を認識する車体下領域認識部と、前記車体が存在する領域と前記車体下領域とを駐車不能領域として認識し、該駐車不能領域に基づいて前記路面上の駐車可能領域を認識する駐車可能領域認識部と、を備えることを特徴とする。
本発明の車載用画像処理装置によれば、カメラの画像を処理して車両の周辺の俯瞰画像を生成し、周辺車両の車体と車体下領域とを俯瞰画像で認識することで、ナンバープレートの認識を前提とすることなく、車両の周辺の駐車可能領域を認識することができ、駐車枠線がない場合でも、目標駐車位置を適切に認識することができる。
車両が周辺車両の間の駐車スペースに駐車する場面を想定した平面図。 車載用画像処理装置及びその周辺装置の構成を示すブロック図。 図２に示す車体下領域認識部のさらに詳細な構成を示すブロック図。 車体下領域認識部の画像処理を説明する画像図。 車体認識部が車体を認識する処理の一例を説明する画像図。 車載用画像処理装置の処理のステップを示すフロー図。
以下、図面を参照して本発明の車載用画像処理装置の実施の形態を説明する。
図１（ａ）及び（ｂ）は、車両１００が周辺車両Ｖの間の駐車スペースに駐車する場面を想定した平面図である。図２は、車載用画像処理装置１及びその周辺装置の構成を示すブロック図である。
車両１００には、車載用画像処理装置１と、車載カメラ２と、車載センサ３と、画像表示部４と、車両制御部５が搭載されている。本実施形態の車載用画像処理装置１は、車載カメラ２の画像を処理して周辺車両Ｖを含む車両１００周辺の立体物の間の駐車可能領域ＰＡを判定する装置である。以下、車両１００に搭載される車載用画像処理装置１及びその他の装置の構成について詳細に説明する。
車載カメラ２は、レンズ及び撮像素子を介して撮影した映像をデジタル変換し、画像データを出力する撮像装置である。車載カメラ２としては、例えば、ＣＣＤカメラが用いられる。車載カメラ２は、通常、カメラモジュールとしてモジュール化され、例えば、車両１００の側部のサイドミラーに設けられて、車両１００の斜め前方から斜め後方までの車両１００側方を広角で撮影する。なお、車載カメラ２を車両１００の側部だけでなく前部及び後部にも設け、複数の車載カメラ２によって車両１００の側方に加えて前方及び後方を撮影するようにしてもよい。
車載センサ３は、例えば、速度センサ、加速度センサ、角速度センサ、ジャイロスコープ、全地球測位システム（ＧＰＳ）等を含み、車両１００の速度、加速度、角速度、位置等を計測して計測データとして出力する。また、車載センサ３は、計測データとして、例えば、車両１００の走行経路、移動距離等を出力することができる。
画像表示部４は、車両１００のドライバーの運転の支障にならず、ドライバーに視認可能な位置に配置された画像表示装置である。画像表示部４としては、例えば、液晶表示装置、有機ＥＬディスプレイ、ヘッドアップディスプレイ、その他、公知の画像表示装置を用いることができる。画像表示部４は、車載用画像処理装置１によって処理された画像を、車載用画像処理装置１の設定に基づいて表示する。
車両制御部５は、車載用画像処理装置１から出力される制御信号に基づいて車両を制御する。具体的には、車両制御部５は、車載用画像処理装置１からの制御信号に含まれる、例えば、車両１００の現在位置と、駐車可能領域ＰＡの車両１００を駐車すべき位置との差分に基づいて、例えば、車両１００のステアリング、ギア、アクセル、ブレーキ等を操作して、自動運転によって車両１００を駐車可能領域ＰＡに駐車する。
本実施形態の車載用画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と、ＣＰＵが直接アクセス可能な記憶装置と、該記憶装置に記憶されたプログラム等によって実現されている。車載用画像処理装置１は、主に、俯瞰画像生成部１１としての画像変換部１１ａと、タイヤ認識部１２と、立体物認識部１３と、車体下領域認識部１４と、駐車可能領域認識部１６と、によって構成されている。また、本実施形態の車載用画像処理装置１は、さらに、俯瞰画像生成部１１の一部としての画像取得部１１ｂと、センサ出力取得部１５と、画面設定部１７と、制御信号生成部１８とを備えている。
画像取得部１１ｂは、ＣＰＵの制御の下、車両１００に搭載された車載カメラ２から画像データを取得し、取得した画像データを記憶装置に格納する。同様に、センサ出力取得部１５は、ＣＰＵの制御の下、車両１００に搭載された車載センサ３から車両１００の速度及び加速度を含む計測データを取得し、取得した計測データを記憶装置に格納する。また、センサ出力取得部１５は、車載センサ３から取得した計測データから車両１００の走行経路、総移動距離をＣＰＵによって算出し、算出した走行経路、総移動距離を計測データとして記憶装置に格納するようにしてもよい。
画像変換部１１ａは、画像取得部１１ｂが取得して記憶装置に記憶された車載カメラ２の画像データを視点変換して、車両１００の上方に想定した仮想の視点から見下ろした車両１００周辺の俯瞰画像を生成する。ここで、画像変換部１１ａは、ＣＰＵの制御の下、車載カメラ２の画像データから路面Ｒを認識し、画像データに対して路面Ｒを基準とする座標変換を行って車両１００周辺の俯瞰画像を生成し、俯瞰画像データとして記憶装置に格納する。ここで、座標変換は、カメラパラメータを基に作成した座標変換テーブルを用いて行う。カメラパラメータは、焦点距離、画素ピッチ、レンズ歪、車両１００における車載カメラ２の取り付け位置及び姿勢である。
画像変換部１１ａは、カメラパラメータを用いて車両１００から所定の距離までの範囲の映像を変換し、俯瞰画像を生成することができる。車載カメラ２の画像から俯瞰画像を生成する技術は、車両周辺のモニタリングシステムとして実用化されている公知の技術であるため、ここでは詳細な処理方法についての説明を省略する。画像変換部１１ａが生成した俯瞰画像は、立体物認識部１３及びタイヤ認識部１２で用いられ、最終的に画像表示部４に表示させる画像の元になる。
以上のように、本実施形態の俯瞰画像生成部１１は、画像取得部１１ｂと画像変換部１１ａとを備え、車両１００に搭載された車載カメラ２で撮影した周辺車両Ｖと路面Ｒの画像を視点変換して、路面Ｒを基準とする俯瞰画像を生成する。
立体物認識部１３は、車載カメラ２がモノラルカメラである場合には、以下のデータに基づいて、周辺車両Ｖの車体及びタイヤを含む立体物が存在する領域を認識する。一つは、画像取得部１１ｂが異なる時間に取得した複数の画像から画像変換部１１ａが生成した複数の俯瞰画像のデータである。もう一つは、画像取得部１１ｂが前記複数の画像を取得する間にセンサ出力取得部１５が取得した車載センサ３の計測データである。
立体物認識部１３は、例えば、ある時間に撮影された第１の画像から生成した第１の俯瞰画像と、第１の画像の撮影から所定時間経過後に撮影された第２の画像から生成した第２の俯瞰画像とを取得する。このとき、立体物認識部１３は、画像取得部１１ｂが第１の画像及び第２の画像を取得した時刻であるタイムスタンプと、第１の俯瞰画像及び第２の俯瞰画像とを、それぞれ対応付けて記憶装置に格納する。
さらに、立体物認識部１３は、車載センサ３から取得した例えば移動距離とヨー角の計測データに基づいて、第１の俯瞰画像を並行移動又は回転移動させ、その移動後の第１の俯瞰画像から第２の俯瞰画像を減算処理して差分画像を取得する。ここで、第１の俯瞰画像の路面パターンと第２の俯瞰画像の路面パターンが重なるように、第１の俯瞰画像を並行移動又は回転移動して減算処理を行うことで、路面Ｒでは差分が小さくなり、路面Ｒ以外の立体物が存在する領域では差分が大きくなる。立体物認識部１３は、前記差分画像に対してラベリング処理を行い、ラベル画像を生成する。
ラベリング処理は、前記差分画像に含まれる各画素について、近傍点との濃淡差を計算し、その濃淡差の大きさが所定の範囲内であった場合に、同じ番号を各領域固有の番号として付与したラベル画像として出力する処理である。ラベリング処理で、前記差分画像の濃淡差が所定値よりも低い部分は、路面Ｒ又は不明領域として扱うが、自車近傍の不明領域は、路面Ｒとみなしてもよい。すなわち、前記ラベル画像は、車両１００周辺の路面Ｒと、車両１００周辺に駐車している周辺車両Ｖの車体を含む立体物が存在する領域とが認識された画像である。
なお、立体物認識部１３によって周辺車両Ｖの車体を含む立体物を認識する画像処理は、俯瞰画像ではなく、画像取得部１１ｂが取得した車載カメラ２の複数の画像を用いて行ってもよい。以上のように、立体物認識部１３は、車載カメラ２の画像又は俯瞰画像から、周辺車両Ｖの車体を含む立体物を認識する。
タイヤ認識部１２は、画像取得部１１ｂが取得した車載カメラ２の画像、又は、画像変換部１１ａが生成した俯瞰画像に、周辺車両Ｖが撮影されている場合に、カメラ画像又は俯瞰画像に対して、例えば、周辺車両Ｖの車体のエッジを抽出する処理や、パターンマッチング等の画像処理を行う。このような画像処理によって、タイヤ認識部１２は、周辺車両Ｖのタイヤを俯瞰画像上で直接認識し、又は、車載カメラ２の画像から周辺車両Ｖのタイヤを認識してタイヤの位置と領域を俯瞰画像上での位置と領域に変換し、俯瞰画像上でのタイヤの位置と領域を認識する。画像からタイヤを認識する技術は公知であるため、ここでは、これ以上の詳細な説明を省略する。以上のように、タイヤ認識部１２は、車載カメラ２の画像又は俯瞰画像から周辺車両Ｖのタイヤを認識する。
図３は、図２に示す車体下領域認識部１４のさらに詳細な構成を示すブロック図である。車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、地上高算出部１４ｃと、車体下領域算出部１４ｄと、を備えている。これにより、車体下領域認識部１４は、周辺車両Ｖのタイヤの接地位置と、その接地位置から周辺車両Ｖの車体までの地上高とを算出し、その地上高に基づいて俯瞰画像で車体下方に位置する路面Ｒの領域である車体下領域を認識することができる。以下、車体下領域認識部１４の各構成について詳細に説明する。
図４は、車体下領域認識部１４の画像処理を説明する画像図である。図４（ａ）は、画像取得部１１ｂが取得した車載カメラ２の画像の一例を示している。図４（ｂ）から（ｅ）は、画像変換部１１ａが生成した俯瞰画像に基づいて、車体下領域Ｒｄを認識する手順を示している。図４（ｆ）は、図４（ｅ）に示す車体下領域Ｒｄに対応する、車載カメラ２の画像内での車体下領域Ｒｄを示している。
接地位置算出部１４ａは、図４（ａ）に示すカメラ画像から画像変換部１１ａが生成した図４（ｂ）に示す俯瞰画像を用いて、タイヤＶｔの接地位置Ｔｇを認識する。カメラ画像及び俯瞰画像には、それぞれ、周辺車両Ｖの車体ＶｂとタイヤＶｔが含まれている。
まず、接地位置算出部１４ａは、立体物認識部１３から俯瞰画像内で立体物が存在する領域を取得する。ここで、俯瞰画像上で立体物が存在する領域は、車体Ｖｂが存在する領域とタイヤＶｔが存在する領域とを併せた領域として認識されている。また、接地位置算出部１４ａは、タイヤ認識部１２から俯瞰画像上でのタイヤＶｔの位置と領域を取得する。
次に、接地位置算出部１４ａは、俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの輪郭計算を行い、タイヤＶｔの接地位置Ｔｇを認識する。より具体的には、接地位置算出部１４ａは、タイヤＶｔ全体を含む領域を選択し、その領域に対して、例えば、エッジ抽出処理、輝度補正処理、円検知処理等を実行してタイヤＶｔの外周部分すなわち外周輪郭を認識する。そして、外周輪郭に対して、エッジ方向抽出処理を実行して接線方向を算出し、その接線方向すなわちエッジ方向が路面Ｒに対して平行か否かを判定する。外周輪郭のエッジ方向が路面Ｒに対して平行であった点のうち、画面下部に最も近い点をタイヤＶｔの接地位置Ｔｇとして認識する。
図４（ｂ）に示す例において、周辺車両ＶのタイヤＶｔの接地点又は接地位置Ｔｇは、タイヤＶｔの外周輪郭上で車載カメラ２の位置Ｐｃまでの距離が最短となる点又は位置である。すなわち、車載カメラ２の位置ＰｃからタイヤＶｔの外周輪郭に交差する直線Ｌを引いたときに、外周輪郭と直線Ｌとの交点から車載カメラ２の位置Ｐｃまでの距離が最短となる交点の位置が、タイヤＶｔの接地点又は接地位置Ｔｇである。なお、接地位置算出部１４ａは、俯瞰画像ではなく、車載カメラ２の画像に基づいてタイヤＶｔの接地点又は接地位置Ｔｇを算出してもよい。以上のように、接地位置算出部１４ａは、車載カメラ２の画像又は俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの接地点又は接地位置Ｔｇを算出する。
車体認識部１４ｂは、立体物認識部１３が認識した周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物から周辺車両Ｖの車体Ｖｂを認識する。ここで、車体認識部１４ｂは、タイヤ認識部１２が認識したタイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。
例えば、立体物認識部１３が生成したラベル画像の一つのラベルが、一つの立体物と１対１で対応付けられている場合に、車体認識部１４ｂは、ラベル画像からタイヤＶｔの位置に対応するラベルを読み出す。そして、車体認識部１４ｂは、タイヤＶｔの位置に対応するラベル番号と同一のラベルを付され、タイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。一方、立体物認識部１３が生成したラベル画像のラベルと立体物とが１対１で対応付けられていない場合に、車体認識部１４ｂは、立体物の路面Ｒに沿って延びる輪郭線Ｌｐ１，Ｌｐ２を認識する。そして、車体認識部１４ｂは、路面Ｒに沿って延びる輪郭線Ｌｐ１，Ｌｐ２を有し、タイヤＶｔに隣接している立体物を車体Ｖｂとして認識する。
図５は、立体物認識部１３が認識した立体物から、車体認識部１４ｂが車体Ｖｂを認識する処理の一例を説明する画像図である。ここで、図５に示す立体物は、車載カメラ２に撮影された周辺車両Ｖであり、車体ＶｂとタイヤＶｔとを含んでいる。車体認識部１４ｂは、タイヤ認識部１２によって認識されたタイヤＶｔの位置及び範囲を囲み、かつ路面Ｒよりも上方の領域を、例えば、前方領域Ａ１、後方領域Ａ２、及び上方領域Ａ３の三つの領域に分割する。ここで、分割する領域の数は、特に限定されない。
車体認識部１４ｂは、立体物認識部１３によって認識した立体物の位置に基づいて、各領域における立体物の有無を判定する。また、車体認識部１４ｂは、各領域Ａ１，Ａ２，Ａ３において、画像取得部１１ｂが取得した画像に対してエッジ抽出を行って輪郭を強調する。この輪郭情報を所定の方向に斜方投影し、得られた頻度ヒストグラムを参考にして、車体Ｖｂ全体を覆う外接矩形を算出する。
すなわち、車体認識部１４ｂは、周辺車両Ｖの車体ＶｂとタイヤＶｔの位置関係から車体Ｖｂの位置を算出し、車体Ｖｂの輪郭情報を任意の方向に斜方投影して、輪郭情報の頻度ヒストグラムを算出し、図４（ｃ）及び（ｄ）に示す車体Ｖｂ側面の下端の輪郭線Ｌｐ１とその延長線Ｌ１を算出する。同様に、車体認識部１４ｂは、図４（ｄ）に示す車体Ｖｂの前部又は後部の下端の輪郭線Ｌｐ２とその延長線Ｌ２を算出する。以上のように、車体認識部１４ｂは、立体物認識部１３が認識した立体物から周辺車両Ｖの車体Ｖｂを認識する。
地上高算出部１４ｃは、接地位置算出部１４ａが算出したタイヤＶｔの接地位置Ｔｇと、車体認識部１４ｂが認識した車体Ｖｂの位置とに基づいて、接地位置Ｔｇから車体Ｖｂまでの高さである周辺車両Ｖの地上高Ｖｈを算出する。より具体的には、地上高算出部１４ｃは、タイヤＶｔの接地位置Ｔｇから、車体Ｖｂの輪郭線Ｌｐ１の延長線Ｌ１までの距離を地上高Ｖｈとして算出する。すなわち、地上高算出部１４ｃは、路面Ｒに垂直な垂線を設定し、接地位置Ｔｇと車体Ｖｂの輪郭線Ｌｐ１の延長線Ｌ１との距離、又は、接地位置Ｔｇと車体Ｖｂの外接矩形の下辺との距離を、設定した垂線に沿って計測することで、地上高Ｖｈを算出する。
例えば、地上高算出部１４ｃは、図４（ｃ）に示すように、車載カメラ２の位置Ｐｃ及びタイヤＶｔの接地位置Ｔｇを通る直線Ｌと、車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１との交点Ｐｘ１を算出し、この交点Ｐｘ１と接地点又は接地位置Ｔｇとの距離を、周辺車両ＶのタイヤＶｔの接地位置Ｔｇから車体Ｖｂまでの地上高Ｖｈとして算出する。以上のように、地上高算出部１４ｃは、周辺車両ＶのタイヤＶｔの接地位置Ｔｇから車体Ｖｂまでの距離に基づいて、周辺車両Ｖの地上高Ｖｈを算出する。
車体下領域算出部１４ｄは、地上高算出部１４ｃが算出した車体Ｖｂの下端の輪郭線Ｌｐ１と地上高Ｖｈとに基づいて、車体Ｖｂの下方に位置する路面Ｒ上の領域である車体下領域Ｒｄを算出する。車体下領域算出部１４ｄは、図４（ｄ）に示すように、車体認識部１４ｂによって算出された車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１と、車体Ｖｂ前部又は後部の下端の輪郭線Ｌｐ２の延長線Ｌ２との交点Ｐｘ２を算出する。車体下領域算出部１４ｄは、この交点Ｐｘ２を、図４（ｃ）及び（ｅ）に示すように、路面Ｒに対する垂線すなわち車載カメラ２の位置及びタイヤＶｔの接地位置Ｔｇを通る直線Ｌと平行に、地上高Ｖｈと同じ距離だけ移動した点Ｐｘ３を算出する。
さらに、車体下領域算出部１４ｄは、交点Ｐｘ２を移動した点Ｐｘ３を基準として、車体下領域Ｒｄを算出する。例えば、車体下領域算出部１４ｄは、図４（ｄ）及び（ｅ）に示すように、車体Ｖｂ側面の下端の輪郭線Ｌｐ１の延長線Ｌ１と平行でかつ点Ｐｘ３を通る直線Ｌ１ａと、車体Ｖｂ前部又は後部の下端の輪郭線Ｌｐ２の延長線Ｌ２と平行でかつ点Ｐｘ３を通る直線Ｌ２ａとを算出する。そして、車体下領域算出部１４ｄは、例えば、輪郭線Ｌｐ１，Ｌｐ２と直線Ｌ１ａ，Ｌ２ａとの間の領域を、車体下領域Ｒｄとして算出する。
また、車体下領域算出部１４ｄは、俯瞰画像で算出した車体下領域Ｒｄ上の各点を、高さ０ｍの基準面である路面Ｒ又は地表面上に座標変換してもよい。これにより、図４（ｆ）に示すように、画像取得部１１ｂが取得した車載カメラ２の画像において、車体Ｖｂの下方に位置する路面Ｒ上の領域を車体下領域Ｒｄとして認識し、出力することができる。
以上のように、車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、車体下領域算出部１４ｄと、地上高算出部１４ｃと、を用い、タイヤＶｔの接地位置Ｔｇと、その接地位置Ｔｇから車体Ｖｂの下端までの地上高Ｖｈとを算出し、その地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する。
図２に示すように、駐車可能領域認識部１６は、車体下領域認識部１４によって認識した車体Ｖｂが存在する領域と車体下領域Ｒｄとを取得し、これらの領域を駐車不能領域ＮＰＡとして認識する。また、駐車可能領域認識部１６は、タイヤ認識部１２が認識したタイヤＶｔの位置及び範囲についても、駐車不能領域ＮＰＡとして認識する。そして、駐車可能領域認識部１６は、駐車不能領域ＮＰＡに基づいて路面Ｒ上の駐車可能領域ＰＡを認識する。
駐車可能領域認識部１６は、例えば、周辺車両Ｖ以外の立体物が存在する領域、及び、駐車不能領域ＮＰＡ以外の路面Ｒ上の領域を駐車可能領域ＰＡとして認識する。なお、駐車可能領域認識部１６は、例えば、周辺車両Ｖ以外の立体物が存在する領域、及び、駐車不能領域ＮＰＡを除いた路面Ｒ上の領域から駐車対象車両である車両１００の大きさ等を考慮して駐車可能領域ＰＡを認識するようにしてもよい。この場合、例えば、周辺車両Ｖの間の領域の大きさが車両１００の大きさよりも大きい場合には、当該領域を駐車可能領域ＰＡとして認識する。また、例えば、周辺車両Ｖの間の領域の大きさが車両１００の大きさよりも小さい場合には、当該領域を駐車不能領域ＮＰＡとして認識する。
画面設定部１７は、車両１００に搭載された画像表示部４に駐車可能領域ＰＡを表示させる画面設定を行う。例えば、画面設定部１７は、駐車可能領域認識部１６が認識した駐車可能領域ＰＡを、画像変換部１１ａが生成した俯瞰画像上に表示する画面設定を行う。また、画面設定部１７によって、画像取得部１１ｂが取得した車載カメラ２の画像上に駐車可能領域ＰＡを表示する画面設定を行うこともできる。
制御信号生成部１８は、駐車可能領域ＰＡを目標とする制御信号を生成して車両制御部５に対して出力する。より具体的には、制御信号生成部１８は、例えば、車両１００の現在位置と駐車可能領域ＰＡの車両１００の将来の駐車位置とを比較して位置の差分を算出し、その位置の差分に基づいて車両制御部５が車両１００と周辺車両Ｖとの衝突を回避して車両１００を移動させることができるように、制御信号を生成する。
以下、本実施形態の車載用画像処理装置１の作用について説明する。
図６は、車載用画像処理装置１の処理のステップＳ１〜Ｓ１５を示すフロー図である。図１に示すように、車両１００が周辺車両Ｖの間の駐車スペースＰの側方に差し掛かると、例えば車両１００のサイドミラーに設けられた車載カメラ２は、車両１００の斜め前方から斜め後方までの路面Ｒと、路面Ｒ上の周辺車両Ｖの画像を撮影する（ステップＳ１）。また、車載センサ３は、例えば、車両１００の速度、加速度、移動距離、ヨー角等を計測する（ステップＳ２）。画像取得部１１ｂは、車載カメラ２が撮影した画像を画像データとして取得する（ステップＳ３）。センサ出力取得部１５は、車載センサ３によって計測された計測データを取得する（ステップＳ４）。
画像変換部１１ａは、画像取得部１１ｂから取得した画像データを視点変換して、路面Ｒを基準とする俯瞰画像を生成する（ステップＳ５）。このように、本実施形態の車載用画像処理装置１は、俯瞰画像生成部１１として、画像取得部１１ｂと画像変換部１１ａとを備えている。そのため、俯瞰画像生成部１１は、画像取得部１１ｂによって車載カメラ２から画像を取得し、画像変換部１１ａによって画像取得部１１ｂが取得した複数の画像を視点変換することができる。これにより、俯瞰画像生成部１１は、車両１００に搭載された車載カメラ２で撮影した周辺車両Ｖと路面Ｒの画像を視点変換して路面Ｒを基準とする俯瞰画像を生成することができる。
立体物認識部１３は、画像変換部１１ａから取得した複数の俯瞰画像と、センサ出力取得部１５から取得した計測データに基づいて、差分画像を生成する（ステップＳ６）。さらに、立体物認識部１３は、差分画像に基づいて、周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物の抽出を行う（ステップＳ７）。このように、本実施形態の車載用画像処理装置１は、立体物認識部１３が、複数の画像の差分又は複数の俯瞰画像の差分を計算することで、立体物を認識することができる。また、車載用画像処理装置１がセンサ出力取得部１５を備えることで、車両１００の速度、加速度、移動距離、角速度等を計測する車載センサ３から計測データを取得することができる。
また、立体物認識部１３は、車載カメラ２で異なる時間に撮影された第１の画像と第２の画像に基づいて前記画像変換部１１ａが生成した第１の俯瞰画像と第２の俯瞰画像を取得する。さらに、立体物認識部１３は、センサ出力取得部１５から取得した計測データに基づいて並行移動又は回転移動させた第１の俯瞰画像から第２の俯瞰画像を減算処理することで、立体物を認識する。したがって、本実施形態の車載用画像処理装置１によれば、車載カメラ２としてモノラルカメラを用いた場合でも、車載カメラ２の画像又は俯瞰画像から立体物を認識することができる。
立体物認識部１３による立体物の認識の後、又はそれと並行して、タイヤ認識部１２は、画像取得部１１ｂが取得した車載カメラ２の画像、又は、画像変換部１１ａが視点変換した俯瞰画像から、周辺車両ＶのタイヤＶｔを検知して認識する（ステップＳ８）。
次に、車体下領域認識部１４は、例えば、接地位置算出部１４ａによって、車載カメラ２の画像又は俯瞰画像上でのタイヤＶｔの位置及び領域に基づいて、タイヤＶｔの接地点又は接地位置Ｔｇを算出する（ステップＳ９）。次に、車体下領域認識部１４は、例えば、車体認識部１４ｂによって、立体物認識部１３が認識した周辺車両Ｖの車体Ｖｂ及びタイヤＶｔを含む立体物から車体Ｖｂが存在する車体領域を検知し、周辺車両Ｖの車体Ｖｂを認識する（ステップＳ１０）。次に、車体下領域認識部１４は、例えば、地上高算出部１４ｃによって、接地位置算出部１４ａが算出したタイヤＶｔの接地位置Ｔｇと、車体認識部１４ｂが認識した車体Ｖｂの位置とに基づいて、接地位置Ｔｇからの車体高さである周辺車両Ｖの地上高Ｖｈを算出する（ステップＳ１１）。
次に、車体下領域認識部１４は、例えば、車体下領域算出部１４ｄによって、地上高算出部１４ｃが算出した車体Ｖｂの下端の輪郭線と地上高Ｖｈとに基づいて、車体Ｖｂの下方に位置する路面Ｒ上の領域である車体下領域Ｒｄを算出する（ステップＳ１２）。このように、本実施形態の車載用画像処理装置１は、タイヤＶｔの接地位置Ｔｇと、該接地位置Ｔｇから前記車体Ｖｂまでの地上高Ｖｈとを算出し、地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する車体下領域認識部１４を備えている。したがって、俯瞰画像で車体Ｖｂ下方に位置する路面Ｒ上の領域を誤って駐車可能領域ＰＡと判断することがない。
一方、車体下領域認識部１４を備えない場合には、図４（ｅ）に示すように、俯瞰画像において周辺車両Ｖの車体Ｖｂ下方に位置する路面Ｒ上の駐車不能領域ＮＰＡが、駐車可能領域ＰＡと判定される。これは、周辺車両Ｖが路面Ｒから車体Ｖｂまで所定の地上高Ｖｈを有し、車載カメラ２の画像に周辺車両Ｖの真下に位置する路面Ｒが撮影され、そこには立体物である車体Ｖｂ及びタイヤＶｔが存在しないからである。すなわち、車体下領域認識部１４を備えない場合には、路面Ｒを基準として車載カメラ２の画像を視点変換して俯瞰画像を生成すると、実際には車両１００の駐車が不可能な周辺車両Ｖの真下の路面Ｒと、周辺車両Ｖの周囲の駐車可能な路面Ｒとが区別できない。そのため、周辺車両Ｖが存在する駐車不能領域ＮＰＡが実際よりも小さく判定され、駐車の際に車両１００が周辺車両Ｖに衝突する可能性がある。
これに対し、本実施形態の車載用画像処理装置１は、タイヤＶｔの接地位置Ｔｇと、該接地位置Ｔｇから前記車体Ｖｂまでの地上高Ｖｈとを算出し、地上高Ｖｈに基づいて俯瞰画像で車体Ｖｂ下方に位置する路面Ｒの車体下領域Ｒｄを認識する車体下領域認識部１４を備えている。したがって、本実施形態の車載用画像処理装置１によれば、車両１００を駐車することができない周辺車両Ｖの真下の路面Ｒと、周辺車両Ｖの周囲の駐車可能な路面Ｒとを区別し、駐車可能領域ＰＡを正確に判断することができ、仮に駐車枠線がない場所でも、目標駐車位置を適切に認識することができる。また、ナンバープレートの認識を必要としないので、例えば、ナンバープレートを装着する前の車両１００を移動させて駐車する場合や、何らかの原因でナンバープレートを認識することができない場合でも、駐車可能領域ＰＡを正確に判断することができる。
また、本実施形態の車載用画像処理装置１は、周辺車両ＶのタイヤＶｔを認識する手法を採用するため、周辺車両Ｖの大きさや、種類（例えば、小型自動車等の軽自動車、通常の乗用車、大型車等）によらずに適切に駐車可能領域ＰＡを認識することができる。さらには、一部のバスやトラックのように、後輪が２つのタイヤになっている場合であっても、最も外側のタイヤを認識するため、内側のタイヤの存在に関わらず、適切に駐車可能領域ＰＡを認識することができる。
なお、図１（ａ）に示すように、車両１００を駐車可能領域ＰＡに駐車する際に、車両１００を進行方向と交差する方向に向けて駐車する並列駐車では、車両１００の進行方向の前後に隣接する周辺車両Ｖ，Ｖの側面の間隔から、駐車スペースの幅を求め、駐車可能領域とすることができる。また、図１（ｂ）に示すように、車両１００を駐車可能領域ＰＡに駐車する際に、車両１００を進行方向に沿う方向に向けて駐車する縦列駐車では、車両１００の進行方向の前後に隣接する周辺車両Ｖ，Ｖの背面と前面から駐車スペースの幅を求め、駐車可能領域ＰＡとすることができる。
ここで、車体下領域認識部１４は、接地位置算出部１４ａと、車体認識部１４ｂと、地上高算出部１４ｃと、車体下領域算出部１４ｄと、を備えている。そのため、車体下領域認識部１４は、接地位置算出部１４ａによって車載カメラ２の画像又は俯瞰画像に基づいて周辺車両ＶのタイヤＶｔの接地位置Ｔｇを算出することができる。また、車体下領域認識部１４は、車体認識部１４ｂによって立体物から車体Ｖｂを認識し、地上高算出部１４ｃによって車体Ｖｂの下端の輪郭線Ｌｐ１と地上高Ｖｈとに基づいて車体下領域Ｒｄを算出することができる。そして、車体下領域認識部１４は、車体下領域算出部１４ｄによって、車体Ｖｂの下端の輪郭線Ｌｐ１，Ｌｐ２と地上高Ｖｈとに基づいて車体下領域Ｒｄを算出することができる。また、車体認識部１４ｂが、タイヤ認識部１２が認識したタイヤＶｔに隣接している立体物を車体Ｖｂとして認識することで、立体物から周辺車両Ｖの車体Ｖｂを抽出して認識することができる。
以上のように、車体下領域認識部１４が車体下領域Ｒｄを判定した後、駐車可能領域認識部１６は、周辺車両Ｖの車体Ｖｂが存在する領域と、車体下領域Ｒｄとを、駐車不能領域ＮＰＡとして認識し、駐車不能領域ＮＰＡに基づいて路面Ｒ上の駐車可能領域ＰＡを認識する（ステップＳ１３）。このように、周辺車両Ｖの車体Ｖｂが存在する領域と車体下領域Ｒｄとを駐車不能領域ＮＰＡとして認識する駐車可能領域認識部１６を備えることで、駐車不能領域ＮＰＡが実際よりも小さく認識されることがなく、駐車の際に車両１００が周辺車両Ｖに衝突することを防止できる。
さらに、画面設定部１７は、車両１００に搭載された画像表示部４に駐車可能領域ＰＡを表示させる画面設定を行う（ステップＳ１４）。これにより、画像表示部４に車載カメラ２の画像又は俯瞰画像と共に駐車可能領域ＰＡを表示することが可能になる。最後に、画像表示部４は、画面設定部１７の設定に基づいて、画面に車載カメラ２の画像又は俯瞰画像と共に駐車可能領域ＰＡを表示する（ステップＳ１５）。これにより、車両１００のドライバーの駐車を支援し、又は、駐車可能領域ＰＡに基づいて制御信号生成部１８が制御信号を生成し、車両制御部５によって車両１００を制御することで、車両１００を自動駐車させることが可能になる。
以上説明したように、本実施形態の車載用画像処理装置１によれば、ナンバープレートの認識を前提とすることなく、駐車枠線がない場所でも、車載カメラ２の画像を処理して駐車可能領域ＰＡを正確に判断することができる。
以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
例えば、前述の実施の形態では、車載用画像処理装置、車載カメラ、車載センサ及び画像表示部とは、別の構成として説明した。しかし、画像処理装置、車載カメラ、車載センサ及び画像表示部の少なくとも一つを画像処理装置の構成に含めてもよい。また、前述の実施の形態では、車載カメラがモノカメラである場合について説明したが、車載カメラはステレオカメラであってもよい。この場合、立体物認識部は、ステレオカメラによって同時に撮影された２つの画像に基づいて、立体物が存在する領域を認識することができる。
１ 車載用画像処理装置、２ 車載カメラ、３ 車載センサ、４ 画像表示部、１１ 俯瞰画像生成部、１１ａ 画像変換部、１１ｂ 画像取得部、１２ タイヤ認識部、１３ 立体物認識部、１４ 車体下領域認識部、１４ａ 接地位置算出部、１４ｂ 車体認識部、１４ｃ 地上高算出部、１４ｄ 車体下領域算出部、１５ センサ出力取得部、１６ 駐車可能領域認識部、１７ 画面設定部、１００ 車両、ＮＰＡ 駐車不能領域、ＰＡ 駐車可能領域、Ｒ 路面、Ｒｄ 車体下領域、Ｔｇ 接地位置、Ｖ 周辺車両、Ｖｂ 車体（立体物）、Ｖｈ 地上高、Ｖｔ タイヤ

Claims (7)

  1. 車両周辺の駐車可能な領域を認識するための車載用画像処理装置であって、
    前記車両に搭載されたカメラで撮影した周辺車両と路面の画像を視点変換して該路面を基準とする俯瞰画像を生成する俯瞰画像生成部と、
    前記画像又は前記俯瞰画像から前記周辺車両のタイヤを認識するタイヤ認識部と、
    前記画像又は前記俯瞰画像から前記周辺車両の車体を含む立体物を認識する立体物認識部と、
    前記タイヤの接地位置と、該接地位置から前記車体までの地上高とを算出し、該地上高に基づいて前記俯瞰画像で前記車体下方に位置する前記路面の車体下領域を認識する車体下領域認識部と、
    前記車体が存在する領域と前記車体下領域とを駐車不能領域として認識し、該駐車不能領域に基づいて前記路面上の駐車可能領域を認識する駐車可能領域認識部と、
    を備えることを特徴とする車載用画像処理装置。
  2. 前記車体下領域認識部は、
    前記画像又は前記俯瞰画像に基づいて前記接地位置を算出する接地位置算出部と、
    前記立体物から前記車体を認識する車体認識部と、
    前記接地位置から前記車体までの距離に基づいて前記地上高を算出する地上高算出部と、
    前記車体の輪郭線と前記地上高とに基づいて前記車体下領域を算出する車体下領域算出部と、
    を備えることを特徴とする請求項１に記載の車載用画像処理装置。
  3. 前記車体認識部は、前記タイヤ認識部が認識した前記タイヤに隣接している前記立体物を前記車体として認識することを特徴とする請求項２に記載の車載用画像処理装置。
  4. 前記車両に搭載された画像表示部に前記駐車可能領域を表示させる画面設定を行う画面設定部をさらに備えることを特徴とする請求項１に記載の車載用画像処理装置。
  5. 前記俯瞰画像生成部は、
    前記カメラから画像を取得する画像取得部と、
    前記画像取得部が取得した複数の前記画像を視点変換する画像変換部と、
    を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の車載用画像処理装置。
  6. 前記立体物認識部は、複数の前記画像の差分又は複数の前記俯瞰画像の差分から前記立体物を認識することを特徴とする請求項１から請求項４のいずれか一項に記載の車載用画像処理装置。
  7. 前記車両の速度及び角速度を計測する車載センサから計測データを取得するセンサ出力取得部をさらに備え、
    前記立体物認識部は、前記カメラで異なる時間に撮影された第１の画像と第２の画像に基づいて前記俯瞰画像生成部が生成した第１の俯瞰画像と第２の俯瞰画像を取得すると共に、前記センサ出力取得部から取得した前記計測データに基づいて並行移動又は回転移動させた前記第１の俯瞰画像から前記第２の俯瞰画像を減算処理することで、前記立体物を認識することを特徴とする請求項６に記載の車載用画像処理装置。
JP2014199017A 2014-09-29 2014-09-29 車載用画像処理装置 Expired - Fee Related JP6316161B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014199017A JP6316161B2 (ja) 2014-09-29 2014-09-29 車載用画像処理装置
US15/500,120 US9953227B2 (en) 2014-09-29 2015-06-16 In-vehicle image processing device
PCT/JP2015/067250 WO2016051885A1 (ja) 2014-09-29 2015-06-16 車載用画像処理装置
EP15847777.8A EP3202626A4 (en) 2014-09-29 2015-06-16 In-vehicle image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014199017A JP6316161B2 (ja) 2014-09-29 2014-09-29 車載用画像処理装置

Publications (2)

Publication Number Publication Date
JP2016068712A JP2016068712A (ja) 2016-05-09
JP6316161B2 true JP6316161B2 (ja) 2018-04-25

Family

ID=55629938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014199017A Expired - Fee Related JP6316161B2 (ja) 2014-09-29 2014-09-29 車載用画像処理装置

Country Status (4)

Country Link
US (1) US9953227B2 (ja)
EP (1) EP3202626A4 (ja)
JP (1) JP6316161B2 (ja)
WO (1) WO2016051885A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
US10684625B2 (en) * 2017-08-30 2020-06-16 Robert Bosch Gmbh Automated parking for virtual parking spot
US10647282B2 (en) * 2017-11-06 2020-05-12 Magna Electronics Inc. Vehicle vision system with undercarriage cameras
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
KR102164702B1 (ko) * 2019-04-26 2020-10-14 주식회사 켐트로닉스 자동 주차 장치 및 자동 주차 방법
KR102621257B1 (ko) * 2019-06-03 2024-01-08 현대자동차주식회사 차량 및 그 제어방법
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
KR20220026154A (ko) * 2020-08-25 2022-03-04 현대자동차주식회사 차량 및 그 제어방법
JP2022053086A (ja) * 2020-09-24 2022-04-05 トヨタ自動車株式会社 自己位置推定システム及び自己位置推定方法
JP7511992B2 (ja) 2020-12-25 2024-07-08 アルプスアルパイン株式会社 車両支援装置
CN112912895B (zh) * 2021-01-29 2022-07-22 华为技术有限公司 一种检测方法、装置和车辆

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020033816A (ko) * 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4561456B2 (ja) * 2005-04-21 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007030700A (ja) * 2005-07-27 2007-02-08 Aisin Seiki Co Ltd 駐車支援装置
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4432930B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP2010019752A (ja) 2008-07-11 2010-01-28 Honda Motor Co Ltd 車両の車幅を推定するための装置
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
KR101283792B1 (ko) * 2009-11-17 2013-07-08 주식회사 만도 주차공간 인식 방법 및 장치
JP2012017021A (ja) * 2010-07-08 2012-01-26 Panasonic Corp 駐車支援装置および車両
CN103148183B (zh) * 2011-12-07 2017-10-24 舍弗勒技术股份两合公司 用于连续牵引机构的板簧张紧器
JP5786775B2 (ja) * 2012-03-16 2015-09-30 株式会社デンソー 駐車支援装置
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
JP2015064797A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 駐車場判定装置、駐車場判定方法

Also Published As

Publication number Publication date
WO2016051885A1 (ja) 2016-04-07
US9953227B2 (en) 2018-04-24
US20170270370A1 (en) 2017-09-21
EP3202626A4 (en) 2018-05-16
JP2016068712A (ja) 2016-05-09
EP3202626A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
JP6316161B2 (ja) 車載用画像処理装置
US10147323B2 (en) Driver assistance system with path clearance determination
US8289189B2 (en) Camera system for use in vehicle parking
JP4847051B2 (ja) 車両周囲監視方法およびシステム
JP5172314B2 (ja) ステレオカメラ装置
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2009205191A (ja) 駐車スペース認識装置
JP5516988B2 (ja) 駐車支援装置
JP2017220760A (ja) 車両用画像処理装置
JP6554866B2 (ja) 画像表示制御装置
CN111936364B (zh) 停车辅助装置
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
JP7147784B2 (ja) 画像処理装置と画像処理方法およびプログラム
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2011003117A (ja) 後方視認支援システム
JP4768499B2 (ja) 車載周辺他車検出装置
JP2012156903A (ja) 車両周辺監視装置
JP2010148058A (ja) 運転支援装置及び運転支援方法
JP2005030968A (ja) 車載用距離算出装置
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
JP7511992B2 (ja) 車両支援装置
KR20200014366A (ko) 주차 지원 방법 및 주차 지원 장치
JP5182589B2 (ja) 障害物検出装置
WO2015045567A1 (ja) 予測進路提示装置及び予測進路提示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180327

R150 Certificate of patent or registration of utility model

Ref document number: 6316161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees