JP7367375B2

JP7367375B2 - 特定領域検知装置

Info

Publication number: JP7367375B2
Application number: JP2019145692A
Authority: JP
Inventors: 嘉人小久保; 恵久末次; 淳足立; 宏行渡邉; 康貴上田
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2023-10-24
Anticipated expiration: 2039-08-07
Also published as: JP2021026625A; US20210042541A1; US11301701B2; CN112349091A

Description

本発明の実施形態は、特定領域検知装置に関する。

従来、例えば、車両において、駐車場を撮影し、その撮影画像から個別の駐車区画を検知する技術がある。この技術では、例えば、撮影画像から駐車区画を示す区画線（例えば白線）を認識することで、駐車区画を検知する。

国際公開第２０１７／０６８７０１号特許第５７８６８３３号公報

しかしながら、上述の従来技術では、撮影画像に写っている区画線が不充分（小さい、途切れあり、かすれあり等）である場合等に、駐車区画の検知精度が大きく低下してしまうという問題があった。

そこで、実施形態の課題の一つは、撮影画像から撮影領域における特定領域を高精度で検知することができる特定領域検知装置を提供することである。

本発明の実施形態にかかる特定領域検知装置は、例えば、撮影画像に基づいて、撮影領域における特定領域を検知する特定領域検知装置であって、学習用撮影画像を用いて撮影領域における所定数の点で定義される特定領域について学習することで作成された学習モデルを用いて、撮影画像から、複数の前記点と、所定の２つの前記点を結ぶ直線の方向を推定する推定部と、前記方向に基づいて複数の前記点を前記特定領域ごとに分類することで前記特定領域を検知する検知部と、を備える。

この構成によれば、学習モデルを用いて撮影画像から複数の点と所定の２つの点を結ぶ直線の方向を推定してから、前記方向に基づいて複数の点を特定領域ごとに分類することで、特定領域を高精度で検知することができる。

また、前記特定領域検知装置において、例えば、前記推定部は、前記特定領域として４つの角の点で定義される四角形状の駐車区画について学習することで作成された学習モデルを用いて、撮影画像から、複数の前記点と、所定の２つの前記点を結ぶ直線の方向を推定する。また、前記検知部は、前記方向に基づいて複数の前記点を前記駐車区画ごとに分類することで前記駐車区画を検知する。

この構成によれば、特定領域として４つの角の点で定義される四角形状の駐車区画を高精度で推定することができる。

また、前記特定領域検知装置において、例えば、前記推定部は、複数の前記点を推定する際に、複数の前記点それぞれを、前記駐車区画への車両進入方向を基準に所定回り方向に第１の点、第２の点、第３の点、第４の点の４つに分類して推定し、前記所定の２つの前記点を結ぶ直線の方向を推定する際に、同じ前記駐車区画に属すると推定される前記第１の点と前記第２の点を結ぶ直線の方向を推定する。また、前記検知部は、前記方向に基づいて、複数の前記第１の点と複数の前記第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる前記第１の点と前記第２の点の組み合わせを探索することで、複数の前記点を前記駐車区画ごとに分類し、その場合、所定の第１の点と所定の第２の点を選択したときに、前記所定の第１の点と、前記所定の第２の点と、前記所定の第１の点に関して推定された前記方向を示す前記直線に対して前記所定の第２の点から降ろした垂線と当該直線との交点と、の３点に基づいてコストを計算する。

この構成によれば、駐車区画を推定する場合に、上述の２部グラフとコスト行列を用いることで、容易かつ高精度に駐車区画を推定することができる。

また、前記特定領域検知装置において、例えば、前記検知部は、前記コスト行列に対してハンガリアン法を適用してコスト最小となる前記第１の点と前記第２の点の組み合わせを探索する。

この構成によれば、コスト行列に対してハンガリアン法を適用することで、簡潔なアルゴリズムで高精度に駐車区画を推定することができる。

また、前記特定領域検知装置は、例えば、前記検知部によって検知された前記特定領域を表示部に表示させる表示制御部を、さらに備える。

この構成によれば、検知された駐車区画を表示させることで、運転者に対する駐車支援を行うことができる。

図１は、実施形態の特定領域検知装置を搭載可能な車両の例を示す模式的な平面図である。図２は、実施形態の特定領域検知装置を含む駐車支援システムの構成の例示的なブロック図である。図３は、実施形態のＣＰＵの構成の例示的なブロック図である。図４は、実施形態において、駐車区画を定義する４つの角の点の説明図である。図５は、実施形態における撮影画像の例を示す模式図である。図６は、実施形態において、コスト行列でコストとして用いる三角形の面積の算出方法の説明図である。図７は、実施形態における２部グラフとコスト行列の例を示す模式図である。図８は、実施形態における推奨駐車区画の表示例を示す模式図である。図９は、実施形態の特定領域検知装置による全体処理を示すフローチャートである。図１０は、図９のステップＳ２の処理の詳細を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１は、実施形態の特定領域検知装置を搭載可能な車両１０の例を示す模式的な平面図である。車両１０は、例えば、内燃機関（不図示のエンジン）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（不図示のモータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付された指標（駐車区画を示す区画線、車線分離線や矢印等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ａの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ａ）を含む後方領域を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｂやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ｂ）を含む前方画像を撮像可能である。

また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

本実施形態の特定領域検知装置は、撮像部１４で得られた撮像画像（以下、撮影画像ともいう。）に基づいて、演算処理を実行することで、特定領域の一例である駐車区画を検知することができる。

図２は、実施形態の特定領域検知装置を含む駐車支援システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electro-Luminescent Display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、駐車支援システム１００は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（Electronic Control Unit）を備える。駐車支援システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御を実行できる。例えば、駐車支援システム１００では、ＥＣＵ２４や、モニタ装置２２等の他、操舵システム２８、舵角センサ３０、ブレーキシステム３２、駆動システム３４、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等が車内ネットワーク２６を介して電気的に接続されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、操舵システム２８、ブレーキシステム３２、駆動システム３４等を制御することができる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、トルクセンサ２８ａ、ブレーキセンサ３２ａ、舵角センサ３０、アクセルセンサ３６、シフトセンサ３８、車輪速センサ４０等の検出結果や、操作入力部２０等の操作信号等を、受け取ることができる。

ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（Central Processing Unit）、ＲＯＭ２４ｂ（Read Only Memory）、ＲＡＭ２４ｃ（Random Access Memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（Solid State Drive、フラッシュメモリ）等を備えている。ＣＰＵ２４ａは、各種の演算処理や制御を実行する。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１４で得られた画像データを用いた画像処理や、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。また、ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がＯＦＦされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

図１に例示されるように、車両１０は、例えば、四輪自動車であり、左右二つの前輪１２Ｆと、左右二つの後輪１２Ｒとを有する。これら四つの車輪１２は、いずれも転舵可能に構成されうる。図２に例示されるように、操舵システム２８は、車両１０の少なくとも二つの車輪１２を操舵する。操舵システム２８は、トルクセンサ２８ａとアクチュエータ２８ｂとを有する。操舵システム２８は、ＥＣＵ２４等によって電気的に制御されて、アクチュエータ２８ｂを動作させる。操舵システム２８は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム２８は、アクチュエータ２８ｂによって操舵部（例えば、ステアリングホイール）にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ２８ｂによって車輪１２を転舵したりする。この場合、アクチュエータ２８ｂは、一つの車輪１２を転舵してもよいし、複数の車輪１２を転舵してもよい。また、トルクセンサ２８ａは、例えば、運転者が操舵部に与えるトルクを検出する。

舵角センサ３０は、例えば、操舵部の操舵量を検出するセンサである。舵角センサ３０は、例えば、ホール素子などを用いて構成される。ＥＣＵ２４は、運転者による操舵部の操舵量や、自動操舵時の各車輪１２の操舵量等を、舵角センサ３０から取得して各種制御を実行する。なお、舵角センサ３０は、操舵部に含まれる回転部分の回転角度を検出する。

ブレーキシステム３２は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１０の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム３２は、アクチュエータ３２ｂを介して、車輪１２ひいては車両１０に制動力を与える。また、ブレーキシステム３２は、左右の車輪１２の回転差などからブレーキのロックや、車輪１２の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ３２ａは、例えば、制動操作部（例えば、ブレーキペダル）の可動部の位置を検出するセンサである。

駆動システム３４は、駆動源としての内燃機関（エンジン）システムやモータシステムである。駆動システム３４は、アクセルセンサ３６により検出された運転者（利用者）の要求操作量（例えばアクセルペダルの踏み込み量）にしたがいエンジンの燃料噴射量や吸気量の制御やモータの出力値を制御する。また、利用者の操作に拘わらず、車両１０の走行状態に応じて、操舵システム２８やブレーキシステム３２の制御と協働してエンジンやモータの出力値を制御しうる。車両１０が自動走行モードで走行している場合も同様である。

アクセルセンサ３６は、例えば、加速操作部（例えば、アクセルペダル）の可動部の位置を検出するセンサである。アクセルセンサ３６は、可動部としてのアクセルペダルの位置を検出することができる。

シフトセンサ３８は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ３８は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ３８は、変位センサを含んでもよいし、スイッチとして構成されてもよい。ＥＣＵ２４は、シフトセンサ３８の検出結果に基づいて、車両１０が前進走行要求を受けているか、後退走行要求を受けているかの判定を行うことができる。

車輪速センサ４０は、各車輪１２に設けられ各車輪１２の回転量や単位時間当たりの回転数を検出するセンサであり、検出した回転数を示す車輪速パルス数を検出値として出力する。車輪速センサ４０は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ２４は、車輪速センサ４０から取得した検出値に基づき、車両１０の車速や移動量などを演算し、各種制御を実行する。ＥＣＵ２４は、各車輪１２の車輪速センサ４０の検出値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さな検出値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、例であって、種々に設定（変更）することができる。

ＥＣＵ２４は、例えば、撮像部１４から取得した撮影画像に基づいて、駐車支援処理を実行したり、撮像画像データに基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信したりする。

図３は、実施形態のＣＰＵ２４ａ（特定領域検知装置）の構成の例示的なブロック図である。ＣＰＵ２４ａは、例えば、撮影画像に基づいて、撮影領域における駐車区画を検知する。具体的には、ＣＰＵ２４ａは、各モジュールとして、取得部２４１、推定部２４２、検知部２４３、表示制御部２４４、設定部２４５および算出部２４６を備える。なお、各モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置に記憶されたプログラムを読み出し、それを実行することで実現される。また、以下において、ＣＰＵ２４ａが行う処理のうち、各部２４１～２４６以外が行う処理について説明する場合は、動作主体を「ＣＰＵ２４ａ」と表記する。

取得部２４１は、各構成から各種データを取得する。例えば、取得部２４１は、撮像部１４から撮影画像を取得する。

推定部２４２は、学習用撮影画像を用いて撮影領域における所定数の点で定義される特定領域について学習することで作成された学習モデルを用いて、撮影画像から、複数の点と、所定の２つの点を結ぶ直線の方向を推定する。例えば、推定部２４２は、特定領域として４つの角の点で定義される四角形状の駐車区画について学習することで作成された学習モデルを用いて、撮影画像から、複数の点と、所定の２つの点を結ぶ直線の方向を推定する。

ここで、図４は、実施形態において、駐車区画を定義する４つの角の点の説明図である。本実施形態の学習モデルにおいて、一部に白線が描かれている四角形状の駐車区画は、４つの角の点Ｐ１～点Ｐ４で定義される。具体的には、駐車区画への車両進入方向を基準に、手前の左側の点が点Ｐ１で、手前の右側の点が点Ｐ２で、奥の右側の点が点Ｐ３で、奥の左側の点が点Ｐ４である。つまり、推定部２４２は、複数の点を推定する際に、複数の点それぞれを、駐車区画への車両進入方向を基準に所定回り方向に第１の点、第２の点、第３の点、第４の点の４つに分類して推定する。

上述の学習モデルは、例えば、深層学習（ディープラーニング）により作成することができる。深層学習では、この点Ｐ１～点Ｐ４で駐車区画を定義した教師データ（正解データ）を用いて学習を行う。その場合、例えば、パラメータを用いて関数を構築し、正解データについて損失を定義し、この損失を最小化することで学習を行う。

図３に戻って、例えば、推定部２４２は、点を推定する際、点をガウシアン分布として推定し、ＮＭＳ（Non Maximum Suppression）による後処理を行うことが好ましい。これにより、点の推定の精度を上げることができる。

また、推定部２４２は、学習モデルを用いて、撮影画像から、点のほかに、所定の２つの点を結ぶ直線の方向（以下、単に「方向」ともいう。）を推定する。例えば、推定部２４２は、所定の２つの点を結ぶ直線の方向を推定する際に、同じ駐車区画に属すると推定される第１の点と第２の点を結ぶ直線の方向を推定する。なお、この場合、第１の点と第２の点の組み合わせは、点Ｐ１～点Ｐ４の２点のうち、対角点である点Ｐ１と点Ｐ３、点Ｐ２と点Ｐ４以外であればよく、具体的には、点Ｐ１と点Ｐ２、点Ｐ１と点Ｐ４、点Ｐ２と点Ｐ３、点Ｐ３と点Ｐ４の少なくともいずれかであればよい。ただし、点と方向の推定の手法は、上述の手法に限定されない。

検知部２４３の処理について、図５～図７を参照して説明する。図５は、実施形態における撮影画像の例を示す模式図である。図６は、実施形態において、コスト行列でコストとして用いる三角形の面積の算出方法の説明図である。図７は、実施形態における２部グラフとコスト行列の例を示す模式図である。

図５に示すように、推定部２４２によって、撮影画像（魚眼画像）において、各駐車区画の角の点として、点Ｐ１ａ、Ｐ２ａ、点Ｐ１ｂ、Ｐ２ｂ、点Ｐ４ｂ、点Ｐ１ｃ、Ｐ２ｃ、点Ｐ３ｃ、点Ｐ４ｃ、点Ｐ１ｄ、Ｐ２ｄ、点Ｐ３ｄ、点Ｐ４ｄが推定されたものとする。なお、実際には各駐車区画の角の点として存在している部分でも、車両等で隠れて見えていないものは対象とならない。そして、ここでは、一例として、１つの駐車区画を構成する点Ｐ１～点Ｐ４の４点のうち、すべてが見えていなくても、いずれか１点が見えている場合は、計算の対象とする。

そして、検知部２４３は、点同士のマッチングを行う（複数の点を駐車区画ごとに分類する）ため、点同士の対応を２部グラフとみなし、２部グラフの最適マッチング問題に帰着する。具体的には、検知部２４３は、方向に基づいて、複数の点についてマッチングを行い、複数の点を駐車区画ごとに分類することで、駐車区画を検知する。例えば、検知部２４３は、方向に基づいて、複数の点についてマッチングを行う際、複数の第１の点と複数の第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる第１の点と第２の点の組み合わせを探索することで、複数の点を駐車区画ごとに分類する。検知部２４３は、その場合、所定の第１の点と所定の第２の点を選択したときに、所定の第１の点と、所定の第２の点と、所定の第１の点に関して推定された方向を示す直線に対して所定の第２の点から降ろした垂線と当該直線との交点と、の３点に基づいてコストを計算する。例えば、当該３点を頂点とする三角形の面積や、その三角形を２つ合わせた平行四辺形の面積をコストとして計算する。

また、最適マッチング問題を解くためにハンガリアン法を活用する。ハンガリアン法とは、いわゆる割当問題を解くための手法であり、行列について、各行の各要素からその行の最小値を引き、その後さらに各列の各要素からその列の最小値を引く、等の操作を行う周知のアルゴリズムである。ここでのハンガリアン法では、２部グラフに対応するコスト行列を作成し、コスト最小の組み合わせを探索する。つまり、検知部２４３は、コスト行列に対してハンガリアン法を適用してコスト最小となる第１の点と第２の点の組み合わせを探索する。

具体的には、図６に示すように、例えば、検知部２４３は、点Ｐ１ｂ（所定の第１の点）と点Ｐ４ｃ（所定の第２の点）を選択したときに、点Ｐ１ｂと、点Ｐ４ｃと、点Ｐ１ｂに関して推定された方向を示す直線（点Ｐ１ｂと点Ｐ４ｂを結ぶ直線）に対して点Ｐ４ｃから降ろした垂線と当該直線との交点Ｐｚと、の３点を頂点とする三角形の面積をコストとして計算する。なお、この例の場合、計算効率を考慮し、点Ｐ４ｘ（ｘ＝ａ、ｂ、ｃ、ｄ、・・・）のうち、点Ｐ１ｂを基準にして点Ｐ１ｂと点Ｐ４ｂを結ぶ直線と所定角度（例えば２０度）を有する直線Ｌ１、Ｌ２の内側の範囲に存在するものだけを対象とする。

図７（ａ）は、点Ｐ１～点Ｐ４のうち、点Ｐ１（点Ｐ１ａ～点Ｐ１ｄ）と点Ｐ４（点Ｐ４ａ～点Ｐ４ｄ）を選択した場合の２部グラフを示す。また、図７（ｂ）は、その場合のコスト行列を示す。面積Ｓ_１～Ｓ_１６は、上述の方法により算出する三角形の面積（コスト）である。

このようにして、点Ｐ１（点Ｐ１ａ～点Ｐ１ｄ）と点Ｐ４（点Ｐ４ａ～点Ｐ４ｄ）の組み合わせを探索すれば、適切な組み合わせを容易かつ高精度で得ることができる。なぜなら、同じ駐車区画に属する２点を選択したときに、上述の三角形の面積が小さくなるからである。

また、点Ｐ１と点Ｐ４だけでなく、同様に、点Ｐ２と点Ｐ３、および、点Ｐ１と点Ｐ２についても、上述の計算（マッチング）を行い、適切な組み合わせを得ることができる。

そして、検知部２４３は、点Ｐ１と点Ｐ４、点Ｐ２と点Ｐ３、および、点Ｐ１と点Ｐ２の組み合わせに関する最尤推定の後、例えば、点Ｐ１と点Ｐ２の組み合わせを基準にして、マッチング結果を統合することで、複数の点を駐車区画ごとに分類する。なお、統合されなかった点Ｐ１と点Ｐ４の組み合わせと点Ｐ２と点Ｐ３の組み合わせについては、推定結果から除外する。

図３に戻って、表示制御部２４４は、検知部２４３によって検知された駐車区画を表示装置１６（表示部）に表示させる。ここで、図８は、実施形態における推奨駐車区画の表示例を示す模式図である。図８に示す推奨駐車区画ＰＲは、例えば、駐車可能な駐車区画が複数ある場合の１つの駐車区画である。

図３に戻って、設定部２４５は、ユーザによって操作入力部２０を用いた目標駐車区画の入力操作があった場合に、その目標駐車区画を設定する。

算出部２４６は、設定部２４５によって目標駐車区画の設定が行われた場合に、周知の移動経路算出技術を用いて、車両の現在位置から目標駐車区画までの移動経路を算出する。

次に、図９を参照して、実施形態の特定領域検知装置による全体処理について説明する。図９は、実施形態の特定領域検知装置による全体処理を示すフローチャートである。

まず、ステップＳ１において、取得部２４１は、撮像部１４から撮影画像を取得する。次に、ステップＳ２において、ＣＰＵ２４ａは、駐車可能な駐車区画を検知する。ここで、図１０は、図９のステップＳ２の処理の詳細を示すフローチャートである。

ステップＳ２１において、推定部２４２は、４つの角の点で定義される四角形状の駐車区画を推定するための学習モデルを用いて、撮影画像から、複数の点と、所定の２つの点を結ぶ直線の方向を推定する。

次に、ステップＳ２２において、検知部２４３は、点同士のマッチングを行う（図６、図７）。これによって、ステップＳ２３において、検知部２４３は、複数の点を駐車区画ごとに分類する。そして、ステップＳ２４において、検知部２４３は、所定の基準に基づいて駐車可能な駐車区画を検知する。

図９に戻って、ステップＳ２の後、ステップＳ３において、ＣＰＵ２４ａは、推定駐車区画を検知する。例えば、駐車可能な駐車区画が複数ある場合に、ＣＰＵ２４ａは、所定の基準に基づいて１つの駐車区画を推定駐車区画として決定する。

次に、ステップＳ４において、表示制御部２４４は、ステップＳ３で決定した推定駐車区画を表示装置１６に表示させる。

次に、ステップＳ５において、ＣＰＵ２４ａは、ユーザによって操作入力部２０を用いた目標駐車区画の入力操作があったか否かを判定し、Ｙｅｓの場合はステップＳ６に進み、Ｎｏの場合はステップＳ３に戻る。

ステップＳ６において、設定部２４５は目標駐車区画を設定し、表示制御部２４４は目標駐車区画が設定された旨を表示装置１６に表示させる。

次に、ステップＳ７において、算出部２４６は、周知の移動経路算出技術を用いて、車両の現在位置から目標駐車区画までの移動経路を算出する。

次に、ステップＳ８において、ＣＰＵ２４ａは、駐車支援を実行する。例えば、ＣＰＵ２４ａは、駐車支援として「完全自動駐車支援」を実行する場合、操舵システム２８、ブレーキシステム３２、駆動システム３４等を制御して、移動経路に沿って車両１０を移動させる。また、ＣＰＵ２４ａは、駐車支援として「半自動駐車支援」や「誘導支援」を実行する場合、音声や表示により操作内容を運転者に報知して運転者が操作の一部または全てを実行することにより駐車動作が実現される。

このようにして、本実施形態の特定領域検知装置によれば、学習モデルを用いて撮影画像から複数の点と所定の２つの点を結ぶ直線の方向を推定してから、前記方向に基づいて複数の点を特定領域ごとに分類することで特定領域を高精度で検知することができる。

具体的には、特定領域として４つの角の点で定義される四角形状の駐車区画を高精度で推定することができる。なお、例えば、駐車区画を示す白線が不充分（小さい、途切れあり、かすれあり等）である場合、従来の白線を認識することで駐車区画を検知する技術では検知精度が大きく低下してしまう。しかし、本実施形態の特定領域検知装置によれば、学習モデルを用いて撮影画像から複数の点と前記方向を推定する手法により、そのような場合でも駐車区画の検知精度は低下しない。

また、例えば、従来技術で、駐車区画を検知する際に、その駐車区画の近傍の駐車車両を基準にする手法の場合、その基準となる駐車車両が存在しないと駐車区画を検知できない。しかし、本実施形態の特定領域検知装置によれば、学習モデルを用いて撮影画像から複数の点と前記方向を推定する手法により、駐車車両が無くても駐車区画を高精度で検知できる。

特に、駐車区画が遠距離の場合、従来技術では基準となる駐車車両の存在の有無にかかわらず駐車区画の検知精度が大きく低下するが、本実施形態の特定領域検知装置によれば、学習モデルを用いて撮影画像から複数の点と前記方向を推定する手法により、駐車区画の検知精度はほとんどあるいはまったく低下しない。

また、駐車区画を推定する場合に、上述の２部グラフとコスト行列を用いることで、容易かつ高精度に駐車区画を推定することができる。

また、コスト行列に対してハンガリアン法を適用することで、簡潔なアルゴリズムで高精度に駐車区画を推定することができる。

また、検知された駐車区画を表示させることで、運転者に対する駐車支援を行うことができる。

なお、本実施形態のＣＰＵ２４ａで実行される駐車支援処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、駐車支援処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される駐車支援処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、撮影画像に基づいて検知する特定領域は、駐車区画に限定されず、人や車両などであってもよい。その場合、検知対象を所定数の点で定義すればよい。

また、学習や推論で使用する撮影画像は、魚眼画像に限定されず、広角画像、通常画像、あるいは、複数の撮影画像を元に合成された俯瞰画像等であってもよい。

また、本実施形態では、学習モデルにおいて、駐車区画を、一部に白線が描かれている四角形状としたが、これに限定されない。例えば、駐車区画を、全部に白線が描かれている四角形状としてもよいし、あるいは、白線が無く２車両に挟まれている空間としてもよい。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２０…操作入力部、２４…ＥＣＵ、２４ａ…ＣＰＵ、１００…駐車支援システム、２４１…取得部、２４２…推定部、２４３…検知部、２４４…表示制御部、２４５…設定部、２４６…算出部。

Claims

撮影画像に基づいて、撮影領域における特定領域を検知する特定領域検知装置であって、
学習用撮影画像を用いて撮影領域における所定数の点で定義される特定領域について学習することで作成された学習モデルを用いて、撮影画像から、複数の前記点と、所定の２つの前記点を結ぶ直線の方向を推定する推定部と、
前記方向に基づいて複数の前記点を前記特定領域ごとに分類することで前記特定領域を検知する検知部と、を備える特定領域検知装置。
前記推定部は、
前記特定領域として４つの角の点で定義される四角形状の駐車区画について学習することで作成された学習モデルを用いて、撮影画像から、複数の前記点と、所定の２つの前記点を結ぶ直線の方向を推定し、
前記検知部は、
前記方向に基づいて複数の前記点を前記駐車区画ごとに分類することで前記駐車区画を検知する、請求項１に記載の特定領域検知装置。
前記推定部は、
複数の前記点を推定する際に、複数の前記点それぞれを、前記駐車区画への車両進入方向を基準に所定回り方向に第１の点、第２の点、第３の点、第４の点の４つに分類して推定し、
前記所定の２つの前記点を結ぶ直線の方向を推定する際に、同じ前記駐車区画に属すると推定される前記第１の点と前記第２の点を結ぶ直線の方向を推定し、
前記検知部は、
前記方向に基づいて、複数の前記第１の点と複数の前記第２の点の２部グラフに対応するコスト行列を用いてコスト最小となる前記第１の点と前記第２の点の組み合わせを探索することで、複数の前記点を前記駐車区画ごとに分類し、
その場合、所定の第１の点と所定の第２の点を選択したときに、前記所定の第１の点と、前記所定の第２の点と、前記所定の第１の点に関して推定された前記方向を示す前記直線に対して前記所定の第２の点から降ろした垂線と当該直線との交点と、の３点に基づいてコストを計算する、請求項２に記載の特定領域検知装置。
前記検知部は、
前記コスト行列に対してハンガリアン法を適用してコスト最小となる前記第１の点と前記第２の点の組み合わせを探索する、請求項３に記載の特定領域検知装置。
前記検知部によって検知された前記駐車区画を表示部に表示させる表示制御部を、さらに備える、請求項２に記載の特定領域検知装置。