JP7226986B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7226986B2
JP7226986B2 JP2018234807A JP2018234807A JP7226986B2 JP 7226986 B2 JP7226986 B2 JP 7226986B2 JP 2018234807 A JP2018234807 A JP 2018234807A JP 2018234807 A JP2018234807 A JP 2018234807A JP 7226986 B2 JP7226986 B2 JP 7226986B2
Authority
JP
Japan
Prior art keywords
area
image
detected
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234807A
Other languages
English (en)
Other versions
JP2020095630A (ja
Inventor
康貴 岡田
純 金武
裕明 佐野
亮 吉村
篤 吉原
徹夫 山本
知騎 倭文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018234807A priority Critical patent/JP7226986B2/ja
Priority to US16/574,516 priority patent/US11145041B2/en
Publication of JP2020095630A publication Critical patent/JP2020095630A/ja
Application granted granted Critical
Publication of JP7226986B2 publication Critical patent/JP7226986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Description

開示の実施形態は、画像処理装置および画像処理方法に関する。
近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。
かかる画像処理装置は、画像を撮像するカメラが搭載された車両が駐車場内を移動する場合、移動しながら連続して撮像される複数の各画像から区画線を検出して、駐車枠を検出する必要がある。
特開２０１７－８７７５８号公報
しかしながら、従来技術では、例えば、連続して撮像される複数の各画像内の全領域を探索して区画線を検出する場合、区画線の検出に要する処理時間が嵩む。
実施形態の一態様は、上記に鑑みてなされたものであって、連続して撮像される複数の各画像から検出する区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる画像処理装置および画像処理方法を提供することを目的とする。
実施形態の一態様に係る画像処理装置は、設定部と、予測部とを備える。設定部は、移動しながら連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する。予測部は、前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測する。
実施形態の一態様に係る画像処理装置および画像処理方法は、連続して撮像される複数の各画像から検出する区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる。
図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、画像処理装置のブロック図である。 図３は、駐車枠管理部のブロック図である。 図４Ａは、第１領域の設定手順の説明図である。 図４Ｂは、第１領域の設定手順の説明図である。 図５は、第２領域の設定手順の説明図である。 図６は、第３領域の設定手順の説明図である。 図７は、駐車枠管理部が実行する処理の一例を示すフローチャートである。
以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。
まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。
図１Ａに示すように、実施形態に係る画像処理装置１は、車載カメラ１０が搭載された自車両（以下、車両Ｃと記載する）に搭載され、車載カメラ１０によって撮像された撮像画像（以下、単に画像と記載する）から駐車枠ＰＳを検出する。
車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する単眼式の撮像装置である。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用される。これにより、車載カメラ１０は、図１Ａに示すような広角の撮像領域Ｒ内に存在する駐車枠ＰＳを撮像することができる。
なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。
画像処理装置１は、駐車枠ＰＳの検出を行う場合、まず、画像から各駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出し、検出した区画線候補に基づいて各駐車枠ＰＳを検出する。このとき、例えば、区画線候補が離散して検出される場合や、不連続的に検出される場合、駐車枠ＰＳを検出できないおそれがある。
そこで、実施形態に係る画像処理装置１は、検出した区画線候補を所定の統合条件に基づいて統合する。これにより、実施形態に係る画像処理装置１では、駐車枠ＰＳの検出精度を向上させることが可能となる。
具体的には、図１Ｂに示すように、画像処理装置１は、まず、第１画像Ｉ１から区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、第１画像Ｉ１に対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。
そして、画像処理装置１は、第１画像Ｉ１において、区画線と路面との境界に対応するエッジ線を区画線候補Ｌｃとして検出する。すなわち、区画線候補Ｌｃは、区画線の幅方向の左右両端に対応するエッジ線のペアである。
続いて、画像処理装置１は、ステップＳ１において、検出した区画線候補Ｌｃを所定の統合条件に基づいて統合し、区画線Ｌｉ１，Ｌｉ２を検出する（ステップＳ２）。これにより、画像処理装置１では、一対の区画線Ｌｉ１，Ｌｉ２によって挟まれた領域を駐車枠ＰＳとして検出することができる。
かかる画像処理装置１は、移動しながら連続して撮像される複数の画像から、それぞれの画像に写る区画線Ｌｉ１，Ｌｉ２を検出することで、移動する車両Ｃに対する区画線Ｌｉ１，Ｌｉ２の位置および角度を算出することができる。
このとき、画像処理装置１は、各画像における全領域を探索して区画線Ｌｉ１，Ｌｉ２を検出する場合、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間が嵩む。そこで、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２を検出した場合、その後に順次撮像される画像については、各画像における全領域の中で、区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い領域に限定して区画線Ｌｉ１，Ｌｉ２を検出する処理を行う。
具体的には、画像処理装置１は、移動しながら連続して撮像される複数の画像のうち、図１Ｂに示す第１画像Ｉ１から区画線Ｌｉ１，Ｌｉ２を検出した場合、区画線Ｌｉ１，Ｌｉ２を検出した領域を第１領域Ａ１として設定する（ステップＳ３）。
その後、画像処理装置１は、第１画像Ｉ１よりも時間的に後に順次連続して撮像される複数の第２画像Ｉ２，Ｉ３，Ｉ４については、第１領域Ａ１に基づいて区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い第２領域Ａ２を順次予測する（ステップＳ４）。
このとき、画像処理装置１は、例えば、第１画像Ｉ１における第１領域Ａ１の位置、車載カメラ１０のシャッタースピード、および車両Ｃの移動速度等に基づいて、第２領域Ａ２を順次予測する。
そして、画像処理装置１は、各第２画像Ｉ２，Ｉ３，Ｉ４の全領域の中で、第２領域Ａ２について選択的にエッジ処理を行い、第２領域Ａ２以外の領域についてはエッジ処理を行わずに、区画線候補Ｌｃを検出して区画線Ｌｉ１，Ｌｉ２を検出する。
これにより、画像処理装置１は、各第２画像Ｉ２，Ｉ３，Ｉ４の全領域内を探索して区画線Ｌｉ１，Ｌｉ２を検出する場合に比べて、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。なお、第１領域Ａ１の設定手順については、図４Ａおよび図４Ｂを参照して後述し、第２領域Ａ２の予測手順については、図５を参照して後述する。
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。
図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ（Electronic Control Unit）５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。
センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。
上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。
図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線候補検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。
制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。
また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。
また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以下の場合）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。
線分抽出部２１は、車載カメラ１０から入力される画像から各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像をグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像における各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。
続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。
かかる線分抽出部２１は、記憶部３に記憶される後述の第２領域情報３２および第３領域情報３３に基づき、画像中の一部の領域を選択的に探索して検出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。
不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。
具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。
区画線候補検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。具体的には、区画線候補検出部２３は、互いに略平行であり、その間隔が区画線の幅に応じた所定範囲に収まるエッジ線同士を区画線候補として検出する。
すなわち、区画線候補検出部２３は、各区画線の幅方向の左右両端に対応するエッジ線を区画線候補として検出する。区画線候補検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。
なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷を抑えることが可能となる。
除外判定部２４は、区画線候補検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。
具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。
また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像に含まれる各路面標識を検出することができる。
除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。
駐車枠検出部２５は、区画線候補検出部２３によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される区画線候補について駐車枠として検出する。
ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。
すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２５は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。
駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠を時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。
また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。
かかる駐車枠管理部２６は、上記の線分抽出部２１によってエッジ線の検出処理を行わせる領域（以下、検出領域と記載する場合がある）の設定を行う。例えば、駐車枠管理部２６は、移動しながら連続して撮像される画像から駐車枠検出部２５によって区画線が検出された場合、画像における区画線が検出された領域に基づき、次に撮像される画像において区画線が写り込む可能性が高い領域を予測する。
そして、駐車枠管理部２６は、予測した領域を次に撮像された画像において線分抽出部２１にエッジ線を検出させる検出領域として設定する。これにより、線分抽出部２１は、次に撮像された画像の中で駐車枠管理部２６によって予測されて設定された検出領域においてのみ、エッジ線の検出処理を行えばよいので、エッジ線の検出処理に要する時間を短縮することができる。その結果、画像処理装置１は、区画線の検出精度を維持しつつ、区画線の検出に要する処理時間を短縮することができる。
また、駐車枠管理部２６は、複数の駐車枠がそれぞれ連続して配置されると仮定して、新たに検出される駐車枠の検出領域を設定することも可能である。例えば、駐車枠管理部２６は、ある画像から駐車枠検出部２５によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると予測する。
そして、駐車枠管理部２６は、予測した駐車枠の位置を次に撮像された画像における検出領域として設定する。これにより、線分抽出部２１は、新たな区画線を構成するエッジ線を検出する場合に、駐車枠管理部２６によって設定された検出領域においてのみ、エッジ線の検出処理を行えばよいので、エッジ線の検出処理に要する時間を短縮することができる。かかる駐車枠管理部２６の構成および動作については、図３～図６を参照して後述する。
停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車両の幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。
停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。
次に、図３～図６を用いて、実施形態に係る駐車枠管理部２６について具体的に説明する。図３は、駐車枠管理部２６のブロック図である。図４Ａおよび図４Ｂは、第１領域の設定手順を示す説明図である。図５は、第２領域の設定手順を示す説明図である。図６は、第３領域の設定手順を示す説明図である。
なお、図３には、駐車枠管理部２６が備える構成のうち、線分抽出部２１によってエッジ線を検出させる検出領域を設定する構成を選択的に示しており、その他の構成については図示を省略している。
図３に示すように、駐車枠管理部２６は、設定部２６１と、予測部２６２とを備える。設定部２６１は、移動しながら連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する処理部である。
また、予測部２６２は、連続して撮像される複数の画像のうちの第１画像よりも時間的に後に撮像される第２画像の中で区画線が検出される第２領域を第１領域に基づいて予測する処理部である。
また、記憶部３は、第１領域情報３１、第２領域情報３２、および第３領域情報３３を記憶する。第１領域情報３１は、設定部２６１によって設定されて記憶部３に登録される第１画像中の第１領域の位置を示す情報である。第２領域情報３２および第３領域情報３３は、予測部２６２によって予測されて記憶部３に登録される各第２画像中の第２領域および後述する第３領域の位置を示す情報である。
ここで、前述したように、車載カメラ１０は、広角レンズが採用されているため、撮像する画像の中央に近いほど分解能が高く、画像の中央から外側に行くにつれて分解能が低下して解像度が粗くなる。
このため、図４Ａに示すように、設定部２６１は、区画線の検出が開始される場合、まず、第１画像Ｉ１における中央の高分解能領域Ａ０を検出領域に設定する。つまり、設定部２６１は、第１画像Ｉ１における中央の高分解能領域Ａ０を対象領域、注目領域、または関心領域等と称されるＲＯＩ（Region Of Interest）に設定する。
この時点では、まだ、区画線Ｌｉ１，Ｌｉ２は、検出されていない。このため、記憶部３には、第１領域情報３１、第２領域情報３２、および第３領域情報３３が登録されていない。かかる状態が、高分解能領域Ａ０が検出領域に設定されている状態である。
設定部２６１は、例えば、車両Ｃの走行速度が３０Ｋｍ／ｈ以下になり区画線の検出が開始される場合に、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットすることで、高分解能領域Ａ０を検出領域に設定する。
また、設定部２６１は、例えば、駐車場を走行中の車両Ｃが旋回することで、それまで検出されていた区画線が検出されなくなる場合にも、第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットして高分解能領域Ａ０を検出領域に設定する。
線分抽出部２１は、記憶部３に第１領域情報３１、第２領域情報３２、および第３領域情報３３が登録されていない場合、つまり、高分解能領域Ａ０が検出領域に設定されている場合に、高分解能領域Ａ０内を探索して第１画像Ｉ１からエッジ線を抽出する。これにより、駐車枠検出部２５は、高分解能領域Ａ０内から検出されたエッジ線から高精度に区画線Ｌｉ１，Ｌｉ２を検出することができる。
続いて、設定部２６１は、図４Ｂに示すように、第１画像Ｉ１における区画線Ｌｉ１，Ｌｉ２が検出された領域を包含する破線で示した領域を第１領域Ａ１として設定し、第１画像Ｉ１における第１領域Ａ１の位置を示す第１領域情報３１を記憶部３に登録する。
かかる第１領域情報３１は、設定部２６１によってリセットされるまで記憶部３に保持される。つまり、設定部２６１は、第１画像Ｉ１における位置が固定の第１領域Ａ１を設定する。
このように、設定部２６１は、設定中の第１領域がない状態で区画線Ｌｉ１，Ｌｉ２が検出された場合に、区画線Ｌｉ１，Ｌｉ２が検出された領域を第１領域として設定する。これにより、設定部２６１は、区画線の検出が開始される場合に、毎回最初に区画線Ｌｉ１，Ｌｉ２が検出された正確な領域を第１領域として設定することができる。
その後、図５および図６に示すように、予測部２６２は、第１画像Ｉ１よりも後に撮像される複数の第２画像Ｉ２，Ｉ３の中で区画線Ｌｉ１，Ｌｉ２が検出される第２領域Ａ２を第１領域Ａ１に基づいて予想する。
例えば、車載カメラ１０によって車両Ｃの左側方が撮像される場合に、車両Ｃが前進すると、図５に示すように、第２画像Ｉ２では、第１画像Ｉ１で区画線Ｌｉ１，Ｌｉ２が検出された第１領域Ａ１よりも左側に区画線Ｌｉ１，Ｌｉ２が写り込む。
そこで、予測部２６２は、第２画像Ｉ２の中で区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い点線で示す領域を第１領域Ａ１の位置に基づき第２領域Ａ２として設定し、第２領域Ａ２の位置を示す第２領域情報３２を記憶部３に登録する。
このとき、予測部２６２は、第１画像Ｉ１における第１領域Ａ１の位置と、車両Ｃの走行速度から算出される移動量、舵角、および広角レンズによる画像の歪みとに基づいて、第２画像Ｉ２における第２領域Ａ２を設定する。
このため、線分抽出部２１は、第２画像Ｉ２における第２領域Ａ２以外の領域を探索することなく、第２領域Ａ２内だけを探索してエッジ線を検出する。そして、駐車枠検出部２５は、第２領域Ａ２内から検出されたエッジ線から区画線Ｌｉ１，Ｌｉ２を検出する。これにより、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。
また、図６に示すように、予測部２６２は、図５に示す第２画像Ｉ２の次に撮像される第２画像Ｉ３についても同様に、区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い点線で示す領域を第１領域Ａ１に基づき第２領域Ａ２として設定する。そして、予測部２６２は、第２領域Ａ２の位置を示す第２領域情報３２を記憶部３に登録する。
これにより、画像処理装置１は、図５に示す第２画像Ｉ２のときと同様に、区画線Ｌｉ１，Ｌｉ２の検出精度を維持しつつ、区画線Ｌｉ１，Ｌｉ２の検出に要する処理時間を短縮することができる。
なお、予測部２６２は、第２領域Ａ２で区画線Ｌｉ１，Ｌｉ２を検出したときは、その検出された最新の区画線の位置に基づいて、次に撮像される第２画像の中で区画線Ｌｉ１，Ｌｉ２が写り込む可能性が高い領域を第２領域Ａ２として設定してもよい。
これによれば、常に最新の区画線の位置に基づき次に撮像される第２画像における第２領域が設定されるため、第２領域Ａ２をより精度よく設定することができ、区画線Ｌｉ１，Ｌｉ２の検出精度をより向上することができる。
また、予測部２６２は、複数の第２画像Ｉ２，Ｉ３毎に、第２画像Ｉ２，Ｉ３における位置が変動する第２領域Ａ２を位置が固定の第１領域Ａ１に基づいて予測する。このように、予測部２６２は、基準とする第１領域Ａ１の位置が固定であるため、複数の第２画像Ｉ２，Ｉ３内で変動する第２領域Ａ２を簡易な処理によって予測することができる。
また、車両Ｃが走行を続けると、図６に示すように、第２画像Ｉ３には、これまで検出されていた区画線Ｌｉ１，Ｌｉ２に加え、新たな区画線Ｌｉ３が写り込むことがある。そこで、予測部２６２は、新たな区画線Ｌｉ３が検出される第３領域Ａ３を既に検出された区画線Ｌｉ１，Ｌｉ２の間隔Ｄ１に基づいて予測する。
このとき、予測部２６２は、既に検出された一対の区画線Ｌｉ１，Ｌｉ２の間隔Ｄ１と同一の間隔で、新たに検出される区画線Ｌｉ３が設けられていると仮定する。予測部２６２は、広角レンズによる画像の歪みに基づき、第２画像Ｉ３内で既に検出された区画線Ｌｉ２から間隔Ｄ１を空けた位置に新たな区画線Ｌｉ３が写り込むと予測して、一点鎖線で示す領域を第３領域Ａ３として設定する。そして、予測部２６２は、第３領域Ａ３の位置を示す第３領域情報３３を記憶部３に登録する。
線分抽出部２１は、記憶部３に第３領域情報３３が登録されている場合に、第２領域Ａ２に加えて第３領域Ａ３内を探索してエッジ線を検出する。そして、駐車枠検出部２５は、第３領域Ａ３内から検出されたエッジ線から、新たな区画線Ｌｉ３を検出する。これにより、画像処理装置１は、区画線Ｌｉ１，Ｌｉ２と同様に、検出精度を維持しつつ、新たな区画線Ｌｉ３の検出に要する処理時間を短縮することができる。
その後、予測部２６２は、例えば、車両Ｃが旋回した場合、それまでの第１領域Ａ１を基準とする予測では、区画線Ｌｉ１，Ｌｉ２，Ｌｉ３が検出される領域を正しく予測することができなくなる。
そこで、設定部２６１は、車両Ｃが旋回した場合に、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットする。これにより、高分解能領域Ａ０が検出領域に設定された状態となる。
このため、線分抽出部２１は、次に撮像される画像については、高分解能領域Ａ０からエッジ線を検出する。そして、駐車枠検出部２５は、高分解能領域Ａ０から検出されたエッジ線から区画線を検出する。これにより、画像処理装置１は、車両Ｃが旋回した後も区画線の検出精度を維持することができる。
次に、図７を参照し、駐車枠管理部２６が実行する処理について説明する。図７は、駐車枠管理部２６が実行する処理の一例を示すフローチャートである。駐車枠管理部２６は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、図７に示す処理を繰り返し実行する。
具体的には、図７に示すように、駐車枠管理部２６は、まず、設定された第１領域がないか否かを判定する（ステップＳ１０１）。そして、駐車枠管理部２６は、設定された第１領域があると判定した場合（ステップＳ１０１，Ｎｏ）、処理をステップＳ１０５へ移す。
また、駐車枠管理部２６は、設定された第１領域がないと判定した場合（ステップＳ１０１，Ｙｅｓ）、高分解能領域を検出領域に設定し（ステップＳ１０２）、区画線が検出されたか否かを判定する（ステップＳ１０３）。
そして、駐車枠管理部２６は、区画線が検出されないと判定した場合（ステップＳ１０３，Ｎｏ）、処理を終了し、次に撮像された画像について、ステップＳ１０１から処理を開始する。
また、駐車枠管理部２６は、区画線が検出されたと判定した場合（ステップＳ１０３，Ｙｅｓ）、区画線が検出された領域を包含する領域を第１領域として設定する（ステップＳ１０４）。その後、駐車枠管理部２６は、第１領域に基づき第２領域を予測し（ステップＳ１０５）、予測した第２領域を設定する（ステップＳ１０６）。
続いて、駐車枠管理部２６は、検出された区画線の間隔から第３領域を予測し（ステップＳ１０７）、第３領域を設定する（ステップＳ１０８）。なお、駐車枠管理部２６は、区画線が１本しか検出されておらず、区画線の間隔を検出できないときは、第３領域の設定を行わない。その後、駐車枠管理部２６は、車両Ｃが旋回したか否かを判定する（ステップＳ１０９）。
そして、駐車枠管理部２６は、旋回していないと判定した場合（ステップＳ１０９，Ｎｏ）、処理を終了し、次に撮像された画像について、ステップＳ１０１から処理を開始する。また、駐車枠管理部２６は、旋回したと判定した場合（ステップＳ１０９，Ｙｅｓ）、記憶部３に登録されている第１領域情報３１、第２領域情報３２、および第３領域情報３３をリセットし（ステップＳ１１０）、処理を終了して次に撮像された画像について、ステップＳ１０１から処理を開始する。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１００ 駐車支援システム
１０ 車載カメラ
１ 画像処理装置
２ 制御部
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線候補検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
２６１ 設定部
２６２ 予測部
３ 記憶部
３１ 第１領域情報
３２ 第２領域情報
３３ 第３領域情報
５０ 上位ＥＣＵ
Ｓｃ センサ群

Claims (7)

  1. 車両に搭載された撮像装置により連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定し、
    前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測し、
    前記車両の旋回を検出すると、設定中の前記第１領域をリセットする制御部
    を備える画像処理装置。
  2. 前記制御部は、
    前記第１画像における位置が固定の前記第１領域を設定し、
    前記第１画像よりも時間的に後に撮像される複数の前記第２画像毎に、前記第２画像における位置が変動する前記第２領域を前記第１画像に基づいて予測する
    請求項１に記載の画像処理装置。
  3. 前記制御部は、
    前記第２領域で検出された前記区画線の位置に基づいて、当該区画線が検出された画像よりも時間的に後に撮像される前記第２画像の中で前記第２領域を予測する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記制御部は、
    設定中の前記第１領域がない状態で前記区画線が検出された場合に、当該区画線が検出された領域を前記第１領域として設定する
    請求項１～３のいずれか一つに記載の画像処理装置。
  5. 前記制御部は、
    新たな区画線が検出される第３領域の位置を既に検出された前記区画線の間隔に基づいて予測する
    請求項１～４のいずれか一つに記載の画像処理装置。
  6. 前記制御部は、
    前記第１画像の中で他の領域よりも分解能が高い高分解能領域を探索して前記区画線を検出し、前記第２画像の中で前記第２領域を選択的に探索して前記区画線を検出する
    請求項１～５のいずれか一つに記載の画像処理装置。
  7. 車両に搭載された撮像装置により連続して撮像される複数の画像のうちの第１画像における駐車枠を区画する区画線が検出された領域を第１領域として設定する設定工程と、
    前記複数の画像のうちの前記第１画像よりも時間的に後に撮像される第２画像の中で前記区画線が検出される第２領域を前記第１領域に基づいて予測する予測工程と、
    前記車両が旋回した場合に、設定中の前記第１領域をリセットするリセット工程とを含む
    制御部が実行する画像処理方法。
JP2018234807A 2018-12-14 2018-12-14 画像処理装置および画像処理方法 Active JP7226986B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018234807A JP7226986B2 (ja) 2018-12-14 2018-12-14 画像処理装置および画像処理方法
US16/574,516 US11145041B2 (en) 2018-12-14 2019-09-18 Image processing device and method predicting areas in which to search for parking space delimiting lines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234807A JP7226986B2 (ja) 2018-12-14 2018-12-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2020095630A JP2020095630A (ja) 2020-06-18
JP7226986B2 true JP7226986B2 (ja) 2023-02-21

Family

ID=71071614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234807A Active JP7226986B2 (ja) 2018-12-14 2018-12-14 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US11145041B2 (ja)
JP (1) JP7226986B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008070A (ja) 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法
JP2014106731A (ja) 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418763B1 (ko) 2000-12-28 2004-02-18 현대자동차주식회사 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템
US6741186B2 (en) * 2001-05-24 2004-05-25 Phillip N. Ross Infrared road line detector
JP3782322B2 (ja) 2001-07-11 2006-06-07 株式会社日立製作所 車載用画像処理カメラ装置
US6920391B2 (en) 2001-09-12 2005-07-19 Terion, Inc. High resolution tracking of mobile assets
EP1454113A1 (en) 2001-12-05 2004-09-08 SEMICONDUCTOR TECHNOLOGIES & INSTRUMENTS, INC. System and method for inspection using white light interferometry
US7110021B2 (en) 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
JP4058369B2 (ja) 2003-03-27 2008-03-05 トヨタ自動車株式会社 駐車支援装置
US7298867B2 (en) 2004-02-20 2007-11-20 Lockheed Martin Corporation Component association tracker system and method
JP2005300294A (ja) 2004-04-09 2005-10-27 Denso Corp 道路形状検出装置および道路形状検出方法
JP4769625B2 (ja) 2006-04-25 2011-09-07 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP4648282B2 (ja) * 2006-10-06 2011-03-09 本田技研工業株式会社 車両用走行制御装置
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
JP5182545B2 (ja) * 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
KR101188588B1 (ko) 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP4622001B2 (ja) 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
WO2010116922A1 (ja) 2009-04-07 2010-10-14 コニカミノルタオプト株式会社 画像入力装置
JP5397321B2 (ja) * 2009-06-09 2014-01-22 株式会社デンソー 駐車支援システム
CN102834309B (zh) 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP2012176641A (ja) 2011-02-25 2012-09-13 Suzuki Motor Corp 駐車枠検出装置
JP5627531B2 (ja) 2011-04-12 2014-11-19 本田技研工業株式会社 運転支援装置
JP5729158B2 (ja) 2011-06-22 2015-06-03 日産自動車株式会社 駐車支援装置および駐車支援方法
JP2013029451A (ja) 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US8744132B2 (en) * 2012-04-06 2014-06-03 Orhan BULAN Video-based method for detecting parking boundary violations
EP2879109B1 (en) 2012-07-27 2022-02-09 Clarion Co., Ltd. Vehicle-mounted surrounding environment recognition device
JP6015314B2 (ja) 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
CN104812646B (zh) 2012-11-27 2016-08-17 日产自动车株式会社 车辆用加速抑制装置
CN104822566B (zh) 2012-11-27 2016-07-06 歌乐牌株式会社 车载图像处理装置
JP5958366B2 (ja) 2013-01-29 2016-07-27 株式会社日本自動車部品総合研究所 車載画像処理装置
CN203318408U (zh) 2013-05-09 2013-12-04 北京工业大学 自动泊车系统
KR101449295B1 (ko) 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
JP6120371B2 (ja) 2013-10-23 2017-04-26 クラリオン株式会社 自動駐車制御装置および駐車支援装置
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
JP6299185B2 (ja) 2013-11-29 2018-03-28 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
DE102013020315A1 (de) 2013-12-05 2015-06-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Einparkvorgangs eines Kraftfahrzeugs, Parkassistenzsystem und Kraftfahrzeug
JP5874756B2 (ja) 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6384082B2 (ja) 2014-03-26 2018-09-05 富士通株式会社 移動物体検出装置、移動物体検出方法、及びプログラム
JP6348758B2 (ja) 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
JP6230482B2 (ja) 2014-05-19 2017-11-15 本田技研工業株式会社 レーンマーク認識装置、車両及びレーンマーク認識方法
US10328932B2 (en) 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
US10311731B1 (en) 2014-09-16 2019-06-04 Knightscope, Inc. Autonomous parking monitor
US10325165B2 (en) 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
US9902426B2 (en) * 2014-10-17 2018-02-27 Hyundai Mobis Co., Ltd. Apparatus and method for driver assistance
US10373226B1 (en) 2015-06-16 2019-08-06 Amazon Technologies, Inc. Interactive parking facilities
EP3312057B1 (en) * 2015-06-19 2020-08-05 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
JP2017021747A (ja) 2015-07-15 2017-01-26 クラリオン株式会社 車両用駐車支援装置
US20170085790A1 (en) 2015-09-23 2017-03-23 Microsoft Technology Licensing, Llc High-resolution imaging of regions of interest
JP6649738B2 (ja) 2015-10-15 2020-02-19 株式会社Ｓｏｋｅｎ 駐車区画認識装置、駐車区画認識方法
MY188579A (en) 2015-10-22 2021-12-22 Nissan Motor Parking space line detection method and device
RU2703478C1 (ru) 2015-10-22 2019-10-17 Ниссан Мотор Ко., Лтд. Способ и устройство помощи при парковке
JP6514624B2 (ja) 2015-11-02 2019-05-15 クラリオン株式会社 障害物検知装置
WO2018009552A1 (en) * 2016-07-05 2018-01-11 Nauto Global Limited System and method for image analysis
JP6747369B2 (ja) 2016-09-26 2020-08-26 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
US10025317B2 (en) * 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking
KR101965834B1 (ko) 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
JP6773540B2 (ja) 2016-12-07 2020-10-21 クラリオン株式会社 車載用画像処理装置
JP6946652B2 (ja) 2017-02-02 2021-10-06 株式会社アイシン 駐車支援装置
JP6828501B2 (ja) 2017-02-21 2021-02-10 アイシン精機株式会社 駐車支援装置
JP6897258B2 (ja) 2017-04-13 2021-06-30 株式会社デンソー 傾斜検出装置
KR102275310B1 (ko) 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법
KR102001916B1 (ko) 2017-05-30 2019-07-19 엘지전자 주식회사 주차 보조 시스템
WO2018230021A1 (ja) 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP6844463B2 (ja) * 2017-07-25 2021-03-17 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及び表示制御プログラム
KR20170102192A (ko) 2017-08-28 2017-09-08 주식회사 성우모바일 차량 외부정보를 활용한 주차보조시스템 및 그 제어방법
JP6859906B2 (ja) 2017-09-06 2021-04-14 トヨタ自動車株式会社 駐車支援装置
JP6825529B2 (ja) 2017-09-28 2021-02-03 トヨタ自動車株式会社 走行支援装置
CN111417556A (zh) 2017-11-17 2020-07-14 爱信艾达株式会社 车辆位置估计装置以及车辆控制装置
EP3576010A1 (en) 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
JP7065410B2 (ja) 2018-09-28 2022-05-12 パナソニックＩｐマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法
WO2020117977A1 (en) 2018-12-04 2020-06-11 Sidewalk Labs LLC Methods, systems, and media for coordinating parking availability
US10970878B2 (en) 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
JP2021000952A (ja) * 2019-06-24 2021-01-07 本田技研工業株式会社 駐車支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008070A (ja) 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法
JP2014106731A (ja) 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置

Also Published As

Publication number Publication date
US20200193579A1 (en) 2020-06-18
US11145041B2 (en) 2021-10-12
JP2020095630A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
KR102385280B1 (ko) 차량의 주변 구역을 상황에 맞추어 포착하기 위한 카메라 시스템 및 방법
EP2698982B1 (en) Image processing device
JP7203586B2 (ja) 画像処理装置および画像処理方法
JP7259309B2 (ja) 画像処理装置および画像処理方法
US11138450B2 (en) Image processing device and image processing method
JP7203587B2 (ja) 画像処理装置および画像処理方法
JP7226986B2 (ja) 画像処理装置および画像処理方法
JP2020095623A (ja) 画像処理装置および画像処理方法
JP7141940B2 (ja) 画像処理装置および画像処理方法
US10796172B2 (en) Image processing device and image processing method
JP7236857B2 (ja) 画像処理装置および画像処理方法
JP2020166758A (ja) 画像処理装置および画像処理方法
JP7359541B2 (ja) 画像処理装置および画像処理方法
JP7195131B2 (ja) 画像処理装置および画像処理方法
JP7245640B2 (ja) 画像処理装置および画像処理方法
JP7252750B2 (ja) 画像処理装置および画像処理方法
US11250290B2 (en) Image processing device and image processing method
JP7166096B2 (ja) 画像処理装置および画像処理方法
CN116645651A (zh) 道路端推测装置、道路端推测方法及道路端推测用计算机程序
JP2020015372A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230209

R150 Certificate of patent or registration of utility model

Ref document number: 7226986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150