JP7423970B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

車両が駐車する際のステアリングの操舵角に基づいて、撮像部によって車両の周囲を撮像して画像データに対して、駐車目標位置の区画線等の認証対象物が検出可能な領域を設定し、当該領域内から認証対象物を検出する技術が開発されている。

特開平１０－２１６２１９号公報

ところで、画像データ内に存在する路面のノイズや区画線のサイズは、撮像部からの距離に応じて変化する。そのため、画像データ内の位置に関わらず、同一のサイズのフィルタを用いて、画像データ内の認識対象物のエッジを検出すると、路面のノイズを多く検出してしまったり、認証対象物を検出することができなかったりする場合がある。

そこで、実施形態の課題の一つは、画像データから、車両が走行する路面上の区画線等の認識対象物のエッジを高精度に検出することができる画像処理装置を提供する。

実施形態の画像処理装置は、一例として、車両に搭載される撮像部によって当該車両の周囲を撮像した画像データを取得する取得部と、前記画像データの画素のうち、前記撮像部の第１撮像領域に対応する画素に対して、第１フィルタサイズのエッジ検出フィルタを用いてエッジを検出し、前記画素のうち、前記撮像部からの距離が前記第１撮像領域より遠い第２撮像領域に対応する画素に対して、前記第１フィルタサイズより小さい第２フィルタサイズのエッジ検出フィルタを用いてエッジを検出するエッジ検出部と、を備える。よって、一例として、画像データからの認識対象物の画像のエッジの検出精度を向上させることができる。

また、実施形態の画像処理装置は、一例として、前記エッジ検出部は、前記画像データにおいて認証対象物に対応する画像の幅より小さい幅の前記エッジ検出フィルタを用いて、前記画素のエッジを検出する。よって、一例として、画像データからの認識対象物の画像のエッジの検出精度をより向上させることができる。

また、実施形態の画像処理装置は、一例として、前記エッジ検出部は、前記画像データにおいて認証対象物に対応する画像の幅の１／２の幅の前記エッジ検出フィルタを用いて、前記画素のエッジを検出する。よって、一例として、画像データからの認識対象物の画像のエッジの検出精度をより向上させることができる。

また、実施形態の画像処理装置は、一例として、前記エッジ検出部は、前記車両を駐車する領域の勾配に乗じて、前記エッジ検出フィルタのフィルタサイズを変更する。よって、一例として、画像データからの認識対象物の画像のエッジの検出精度をより向上させることができる。

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、本実施形態にかかる車両の例示的な平面図である。 図３は、本実施形態にかかる車両のダッシュボードの一例の車両後方からの視野での図である。 図４は、本実施形態にかかる車両が有する駐車支援システムの構成の例示的なブロック図である。 図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示す図である。 図６は、本実施形態にかかる車両が有するＥＣＵによる画像データからのエッジの検出処理の一例を説明するための図である。 図７は、本実施形態にかかる車両が有するＥＣＵによるエッジ検出フィルタのフィルタサイズの変更処理の一例を説明するための図である。 図８は、本実施形態にかかる車両が有するＥＣＵによるエッジの検出処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。図２は、本実施形態にかかる車両の例示的な平面図である。図３は、本実施形態にかかる車両のダッシュボードの一例の車両後方からの視野での図である。図４は、本実施形態にかかる車両が有する駐車支援システムの構成の例示的なブロック図である。

まず、図１～図４を用いて、本実施形態にかかる車両１の構成の一例について説明する。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。

操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１，２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。

操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（Electronic Control Unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、平面画像とも称されうる。

また、ＥＣＵ１４は、撮像部１５の画像データから、車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）する。

また、図１，２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。

また、図４に例示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。

ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。

ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。ＥＣＵ１４は、画像処理装置の一例である。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示す図である。

次に、図５を用いて、本実施形態にかかる車両１が有するＥＣＵ１４の機能構成の一例について説明する。

本実施形態にかかるＥＣＵ１４は、図５に示すように、情報取得部１４１、ＲＯＩ設定部１４２、エッジ検出部１４３、特徴点抽出部１４４、直線検出部１４５、区画線検出部１４６、および情報更新部１４７を有する画像処理装置の一例として機能する。本実施形態では、ＣＰＵ１４ａが、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶されるプログラムを読み出して実行することにより、情報取得部１４１、ＲＯＩ設定部１４２、エッジ検出部１４３、特徴点抽出部１４４、直線検出部１４５、区画線検出部１４６、および情報更新部１４７等の各種の機能モジュールを実現する。

本実施形態では、情報取得部１４１、ＲＯＩ設定部１４２、エッジ検出部１４３、特徴点抽出部１４４、直線検出部１４５、区画線検出部１４６、および情報更新部１４７等の各種の機能モジュールは、ＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶されるプログラムを読み出して実行することにより実現されるが、これに限定するものではない。例えば、情報取得部１４１、ＲＯＩ設定部１４２、エッジ検出部１４３、特徴点抽出部１４４、直線検出部１４５、区画線検出部１４６、および情報更新部１４７等の各種の機能モジュールは、独立したハードウェアにより実現することも可能である。また、情報取得部１４１、ＲＯＩ設定部１４２、エッジ検出部１４３、特徴点抽出部１４４、直線検出部１４５、区画線検出部１４６、および情報更新部１４７等の各種の機能モジュールは、一例であり、同様の機能を実現できれば、各機能モジュールが統合されたり、細分化されたりしていても良い。

情報取得部１４１は、撮像部１５によって車両１の周囲を撮像した画像データ等の各種情報を取得する取得部の一例である。本実施形態では、情報取得部１４１は、複数の撮像部１５ａ～１５ｄのそれぞれから、画像データを取得する。

ＲＯＩ設定部１４２は、画像データに対して探索範囲（ＲＯＩ：Region Of Interest）を設定する設定部の一例である。ここで、探索範囲は、画像データに含まれる区画線等の認証対象物の画像を検出する範囲である。例えば、ＲＯＩ設定部１４２は、画像データのうち、車両１の車体２の画像を除く領域を、探索範囲に設定する。

エッジ検出部１４３は、情報取得部１４１により取得した画像データ（本実施形態では、ＲＯＩ設定部１４２により設定される探索範囲）のエッジを検出する画像処理部の一例である。

その際、エッジ検出部１４３は、情報取得部１４１により取得した画像データに含まれる画素のうち、撮像部１５からの距離が近い手前側の撮像領域に対応する画素に対しては、フィルタサイズが大きいエッジ検出フィルタを用いて、エッジを検出する。一方、エッジ検出部１４３は、画像データに含まれる画素のうち、撮像部１５からの距離が遠い奥側の撮像領域に対応する画素に対しては、フィルタサイズが小さいエッジ検出フィルタを用いて、エッジを検出する。

すなわち、エッジ検出部１４３は、画像データの画素のうち、撮像部１５からの距離が近い撮像領域（第１撮像領域の一例）に対応する画素に対しては、第１フィルタサイズのエッジ検出フィルタを用いてエッジを検出する。一方、エッジ検出部１４３は、画像データの画素のうち、撮像部１５からの距離が第１撮像領域より遠い撮像領域（第２撮像領域の一例）に対応する画素に対しては、第１フィルタサイズより大きい第２フィルタサイズのエッジ検出フィルタを用いてエッジを検出する。

これにより、撮像部１５からの距離が遠い撮像領域に存在する認識対象物の画像のエッジが検出できなかったり、撮像部１５からの距離が近い撮像領域に存在する認識対象物以外のノイズ（例えば、ごま塩状に存在する路面のノイズ）のエッジを多く検出してしまったりすることを抑制できる。その結果、画像データからの認識対象物の画像のエッジの検出精度を向上させることができる。

本実施形態では、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置が、複数のフィルタサイズ（ｐｉｘｅｌ）のエッジ検出用フィルタを記憶している。そして、エッジ検出部１４３は、画素分解能Ｒ（ｍｍ／ｐｉｘｅｌ）と、実空間における認識対象物の幅Ｗ（ｍｍ）に基づいて、エッジ検出フィルタのフィルタサイズ（ｐｉｘｅｌ）を求める。ここで、画素分解能Ｒは、画像データにおいて、実空間における認証対象物の幅Ｗ（ｍｍ）に対応する幅（ｐｉｘｅｌ）を有しかつ注目画素を含む画像の画素分解能である。

例えば、エッジ検出部１４３は、画像データにおいて、実空間における認証対象物の幅Ｗの１／２に対応する画素数（＝（Ｗ／２）／Ｒ）を求める。次いで、エッジ検出部１４３は、当該記憶装置から、幅方向および高さ方向のそれぞれに当該求めた画素数を有するフィルタサイズのエッジ検出フィルタを読み出す。そして、エッジ検出部１４３は、当該読み出したエッジ検出フィルタを用いて、注目画素のエッジを検出する。

すなわち、エッジ検出部１４３は、画像データにおいて、実空間の認証対象物に対応する画像の１／２の幅および高さを有するエッジ検出フィルタを用いて、注目画素のエッジを検出する。これにより、実空間の認識対象物の幅Ｗに対応する画素数よりも大きい幅のエッジ検出フィルタを用いて、注目画素のエッジの検出が行われることを防止できるので、画像データからの認識対象物の画像のエッジの検出精度をより向上させることができる。

本実施形態では、エッジ検出部１４３は、画像データにおいて、実空間の認識対象物に対応する画像の１／２の幅および高さのエッジ検出フィルタを用いて、注目画素のエッジを検出しているが、画像データにおいて、実空間の認識対象物に対応する画像より小さい幅および高さのエッジ検出フィルタを用いて、注目画素のエッジを検出するものであれば、これに限定するものではない。

また、本実施形態では、エッジ検出部１４３は、画像データにおいて、実空間の認証対象物に対応する画像より小さい幅および高さのエッジ検出フィルタを用いて、注目画素のエッジを検出しているが、画像データにおいて、実空間の認証対象物に対応する画像より小さい幅のエッジ検出フィルタを用いて、注目画素のエッジを検出するものであれば良い。

また、エッジ検出部１４３は、車両１を駐車する領域の勾配に乗じて、画像データのエッジの検出に用いるエッジ検出フィルタのフィルタサイズを変更することも可能である。例えば、エッジ検出部１４３は、車両１を駐車する領域の勾配が、車両１の現在位置よりも下方への傾斜している場合、エッジ検出フィルタのフィルタサイズを小さくする。一方、エッジ検出部１４３は、車両１を駐車する領域の勾配が、車両１の現在位置よりも上方へ傾斜している場合、エッジ検出フィルタのフィルタサイズを大きくする。

これにより、車両１を駐車する領域の勾配の変化によって画像データに含まれる認識対象物の画像のサイズが変化する場合であっても、その勾配に応じたエッジ検出フィルタを用いて画像データからエッジを検出できる。その結果、画像データからの認識対象物の画像のエッジの検出精度をより向上させることができる。

特徴点抽出部１４４は、エッジ検出部１４３によるエッジの検出結果に基づいて、画像データに含まれる特徴点を抽出する抽出部の一例である。

直線検出部１４５は、画像データからの特徴点の抽出結果に基づいて、画像データに含まれる直線を検出する。

区画線検出部１４６は、画像データからの直線の検出結果に基づいて、画像データに含まれる認証対象物を検出する。

情報更新部１４７は、区画線検出部１４６による画像データからの認識対象物の検出結果に基づいて、車両１の目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動運転、自動運転の解除等の、各種の演算処理および制御を実行するものとする。

図６は、本実施形態にかかる車両が有するＥＣＵによる画像データからのエッジの検出処理の一例を説明するための図である。

次に、図６を用いて、ＥＣＵ１４による画像データからのエッジの検出処理の一例について説明する。

例えば、図６に示すように、車両１を駐車枠６０１（認識対象物の一例）で囲まれる駐車領域に駐車する場合、情報取得部１４１は、車体２の左側に設けられる撮像部１５ｄから、画像データを取得する。

エッジ検出部１４３は、図６に示すように、実空間における駐車枠６０１の幅（線幅）Ｗ（ｍｍ）を取得する。

次に、エッジ検出部１４３は、画像データにおいて、駐車枠６０１の幅Ｗの１／２に対応する幅および高さを有しかつ注目画素を含む画像の画素数（画素分解能Ｒ）を、注目画素のエッジ検出フィルタのフィルタサイズとして求める。

その後、エッジ検出部１４３は、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置から、求めたフィルタサイズのエッジ検出フィルタを読み出し、当該読み出したエッジ検出フィルタを用いて、注目画素のエッジを検出する。

図７は、本実施形態にかかる車両が有するＥＣＵによるエッジ検出フィルタのフィルタサイズの変更処理の一例を説明するための図である。

次に、図７を用いて、ＥＣＵ１４によるエッジ検出用フィルタのサイズの変更処理の一例について説明する。

情報取得部１４１により画像データＧが取得されると、エッジ検出部１４３は、図７に示すように、画像データＧの左上の画素から順に、画像データＧのｘ軸方向に注目画素をずらして、注目画素のエッジを検出する。そして、エッジ検出部１４３は、図７に示すように、ｘ軸方向の１つの列の画素のエッジの検出が終了すると、ｙ軸方向に注目画素をずらして、再び、画像データＧのｘ軸方向に注目画素をずらしながら、当該注目画素のエッジを検出する。

エッジ検出部１４３は、図７に示すように、画像データＧの右下の画素のエッジの検出が終了するまで、上述の処理を繰り返す。すなわち、エッジ検出部１４３は、画像データＧ上をラスタスキャンにより注目画素を移動させながら、画像データＧに含まれる画素のエッジを検出する。

ところで、画像データＧに含まれる駐車枠等の認証対象物の画像ＴＧの幅は、撮像部１５から認証対象物までの距離に応じて変化する。具体的には、図７に示すように、撮像部１５から認証対象物までの距離が長くなるに従い、認証対象物の画像ＴＧの幅は、小さくなる。

そのため、画像データＧにおいて、撮像部１５からの距離が近い手前側の画像と、撮像部１５からの距離が遠い奥側の画像と、に対して、同一のフィルタサイズのエッジ検出フィルタを用いて、エッジの検出を行うと、画像データＧのエッジの検出精度が低下する場合がある。

例えば、手前側の画像と、奥側の画像と、に対して、共に、小さいフィルタサイズのエッジ検出フィルタを用いて、エッジの検出を行う場合、奥側の認証対象物の画像ＴＧのエッジの検出精度は高くすることができるのが、手前側の画像に含まれる細かいノイズがエッジとして検出される場合がある。

また、例えば、手前側の画像と、奥側の画像と、に対して、共に、大きいフィルタサイズのエッジ検出フィルタを用いて、エッジの検出を行う場合、手前側の画像に含まれる細かいノイズがエッジとして検出されることを抑制できるが、奥側の認証対象物の画像ＴＧのエッジの検出精度が低下する場合がある。

そこで、エッジ検出部１４３は、図７に示すように、画像データＧにおいて、認証対象物の画像ＴＧのサイズが大きい手前側の画像Ｇ１の注目画素に対しては、大きいフィルタサイズ（例えば、１２×１２）のエッジ検出フィルタＦ１を用いて、エッジを検出する。これにより、手前側の画像Ｇ１に含まれる細かいノイズがエッジとして検出されることを抑制することができる。

また、エッジ検出部１４３は、図７に示すように、画像データＧにおいて、認証対象物の画像ＴＧのサイズが小さい奥側の画像Ｇ２の注目画素に対しては、小さいフィルタサイズ（例えば、３×３）のエッジ検出フィルタＦ２を用いて、エッジを検出する。これにより、これにより、奥側の認証対象物の画像ＴＧのサイズが小さい場合でも、当該画像ＴＧのエッジを検出することができる。

さらに、エッジ検出部１４３は、図７に示すように、画像データＧにおいて、手前側の画像Ｇ２と奥側の画像Ｇ１の中間である中央の画像Ｇ３の注目画素に対しては、中間のフィルタサイズ（例えば、９×９）のエッジ検出フィルタＦ３を用いて、エッジを検出する。これにより、中央の画像Ｇ３に含まれる細かいノイズがエッジとして検出されることを抑制しつつ、当該中央の画像Ｇ３に含まれる認証対象物の画像ＴＧの検出精度を高めることができる。

図８は、本実施形態にかかる車両が有するＥＣＵによるエッジの検出処理の流れの一例を示すフローチャートである。

次に、図８を用いて、本実施形態にかかるＥＣＵ１４によるエッジの検出処理の流れの一例について説明する。

情報取得部１４１によって画像データが取得されると、ＲＯＩ設定部１４２は、画像データに対して探索範囲を設定する（ステップＳ８０１）。

次いで、エッジ検出部１４３は、探索範囲内の画素のうち注目画素を含む画像の画素分解能Ｒを取得する（ステップＳ８０２）。さらに、エッジ検出部１４３は、検出したい認識対象物の幅Ｗを取得する。

次に、エッジ検出部１４３は、画素分解能Ｒと、検出したい認識対象物の幅Ｗと、に基づいて、当該注目画素のエッジの検出に用いるエッジ検出フィルタのフィルタサイズを求める（ステップＳ８０３）。

次に、エッジ検出部１４３は、求めたフィルタサイズのエッジ検出フィルタを用いて、注目画素のエッジを検出する（ステップＳ８０４）。エッジ検出部１４３は、画像データ上をラスタスキャンにより注目画素を移動させながら、ステップＳ８０２～ステップＳ８０４に示す処理を繰り返す。

探索範囲の全ての画素のエッジが検出されると、特徴点抽出部１４４は、探索範囲内の画素のエッジの検出結果に基づいて、探索範囲内の特徴点を抽出する（ステップＳ８０５）。

直線検出部１４５は、探索範囲からの特徴点の抽出結果に基づいて、探索範囲に含まれる直線を検出する（ステップＳ８０６）。

区画線検出部１４６は、直線検出部１４５による直線の検出結果に基づいて、探索範囲内の区画線等の認識対象物を検出する（ステップＳ８０７）。

このように、本実施形態にかかる車両１によれば、実空間の認識対象物の幅Ｗに対応する画素数よりも大きい幅のエッジ検出フィルタを用いて、注目画素のエッジの検出が行われることを防止できるので、画像データからの認識対象物の画像のエッジの検出精度を向上させることができる。

１ 車両
１４ ＥＣＵ
１４ａ ＣＰＵ
１４ｂ ＲＯＭ
１４ｃ ＲＡＭ
１４ｆ ＳＳＤ
１５ 撮像部
１４１ 情報取得部
１４２ ＲＯＩ設定部
１４３ エッジ検出部
１４４ 特徴点抽出部
１４５ 直線検出部
１４６ 区画線検出部
１４７ 情報更新部

Claims (3)

1. 車両に搭載される撮像部によって当該車両の周囲を撮像した画像データを取得する取得部と、
   前記画像データの画素のうち、前記撮像部の第１撮像領域に対応する画素に対して、第１フィルタサイズのエッジ検出フィルタを用いてエッジを検出し、前記画素のうち、前記撮像部からの距離が前記第１撮像領域より遠い第２撮像領域に対応する画素に対して、前記第１フィルタサイズより小さい第２フィルタサイズのエッジ検出フィルタを用いてエッジを検出するエッジ検出部と、を備え、
   前記エッジ検出部は、前記画像データにおいて認証対象物である駐車枠の線に対応する画像の幅より小さい幅の前記エッジ検出フィルタを用いて、前記画素のエッジを検出する、
   画像処理装置。
2. 前記エッジ検出部は、前記画像データにおいて認証対象物に対応する画像の幅の１／２の幅の前記エッジ検出フィルタを用いて、前記画素のエッジを検出する請求項１に記載の画像処理装置。
3. 前記エッジ検出部は、前記車両を駐車する領域の勾配に乗じて、前記エッジ検出フィルタのフィルタサイズを変更する請求項１または２に記載の画像処理装置。

Images