JP7047362B2

JP7047362B2 - 画像処理装置、制御システム、及び画像処理方法

Info

Publication number: JP7047362B2
Application number: JP2017236953A
Authority: JP
Inventors: 修一清水; 亮太郎市川
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2022-04-05
Anticipated expiration: 2037-12-11
Also published as: JP2019105925A

Description

本開示は、画像処理装置、制御システム、及び画像処理方法に関する。

従来、以下のような物標認識方法が知られている。車載カメラを用いて車両の周囲を撮影し、画像を作成する。次に、作成した画像において、パターンマッチングにより、物標が存在する領域（以下では物標領域とする）を検出する（特許文献１参照）。

特許第５７８５５１５号公報

パターンマッチングで用いられるモデルは決められた大きさを有し、モデルに対応する物標領域も決められた大きさを有する。そのため、物標領域の大きさと、画像上での物標の大きさとは必ずしも一致しない。その結果、パターンマッチングにより検出した物標領域の下端は、物標の下端と必ずしも一致せず、物標領域の上端は、物標の上端と必ずしも一致しない。

そのため、物標領域の下端の位置に基づき、車載カメラから物標までの距離を推定すると、推定精度が低下してしまう。また、物標領域の下端の位置及び上端の位置に基づき、物標の高さを推定すると、推定精度が低下してしまう。

本開示は、物標の上端の位置、及び物標の下端の位置を正確に検出できる画像処理装置、制御システム、及び画像処理方法を提供する。

本開示の一局面は、撮像ユニットを用いて画像を取得する画像取得ユニットと、前記画像において、パターンマッチングにより、物標が存在する第１領域を検出する第１領域検出ユニットと、前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定する第２領域設定ユニットと、前記第２領域内の各画素におけるエッジ強度を算出するエッジ強度算出ユニットと、前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_１を、横方向における複数の位置でそれぞれ算出する縦積算ユニットと、前記積算値Ｖ_１が予め設定された第１閾値以上となる最も左側の位置Ｐ_Ｌと、前記積算値Ｖ_１が前記第１閾値以上となる最も右側の位置Ｐ_Ｒと、を決定する横方向位置決定ユニットと、前記第２領域のうち、横方向での位置が前記位置Ｐ_Ｌと前記位置Ｐ_Ｒとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_２を、縦方向における複数の位置でそれぞれ算出する横積算ユニットと、前記積算値Ｖ_２が予め設定された第２閾値以上となる最も上側の位置Ｐ_Ｔと、前記積算値Ｖ_２が前記第２閾値以上となる最も下側の位置Ｐ_Ｂと、を決定する縦方向位置決定ユニットと、を備える画像処理装置である。

本開示の一局面である画像処理装置によれば、物標の上端の位置、及び物標の下端の位置を正確に検出できる。
本開示の別の局面は、撮像ユニットを用いて画像を取得し、取得した前記画像において、パターンマッチングにより、物標が存在する第１領域を検出し、前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定し、前記第２領域内の各画素におけるエッジ強度を算出し、前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_１を、横方向における複数の位置でそれぞれ算出し、前記積算値Ｖ_１が予め設定された第１閾値以上となる最も左側の位置Ｐ_Ｌと、前記積算値Ｖ_１が前記第１閾値以上となる最も右側の位置Ｐ_Ｒと、を決定し、前記第２領域のうち、横方向での位置が前記位置Ｐ_Ｌと前記位置Ｐ_Ｒとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_２を、縦方向における複数の位置でそれぞれ算出し、前記積算値Ｖ_２が予め設定された第２閾値以上となる最も上側の位置Ｐ_Ｔと、前記積算値Ｖ_２が前記第２閾値以上となる最も下側の位置Ｐ_Ｂと、を決定する画像処理方法である。

本開示の別の局面である画像処理方法によれば、物標の上端の位置、及び物標の下端の位置を正確に検出できる。

制御システム１の構成を表すブロック図である。画像処理装置５の機能的構成を表すブロック図である。画像処理装置５が実行する処理の全体を表すフローチャートである。画像３３、第１領域３５、物標３７、及び第２領域３９等の構成を表す説明図である。画像処理装置５が実行する位置Ｐ_Ｔ、Ｐ_Ｂ決定処理を表すフローチャートである。位置Ｐ_Ｔ、Ｐ_Ｂを決定する方法を表す説明図である。

本開示の例示的な実施形態を説明する。
１．制御システム１の構成
制御システム１の構成を図１、及び図２に基づき説明する。制御システム１は車両に搭載される。以下では、制御システム１を搭載する車両を自車両とする。制御システム１は、カメラ３と、画像処理装置５と、制御装置７と、を備える。カメラ３は撮像ユニットに対応する。

カメラ３は自車両の周囲を撮影し、画像を作成する。画像は、複数の画素が格子状に配列した構造を有する。以下では、縦方向に１列に並んだ複数の画素の集合を画素の列とする。また、横方向に一列に並んだ複数の画素の集合を画素の行とする。カメラ３は、作成した画像を画像処理装置５に出力する。

画像処理装置５は、ＣＰＵ９と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１１とする）と、を有するマイクロコンピュータを備える。画像処理装置５の各機能は、ＣＰＵ９が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１１が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置５は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

画像処理装置５は、図２に示すように、画像取得ユニット１３と、第１領域設定ユニット１５と、第２領域設定ユニット１７と、エッジ強度算出ユニット１９と、縦積算ユニット２１と、横方向位置決定ユニット２３と、横積算ユニット２５と、縦方向位置決定ユニット２７と、矩形作成ユニット２８と、推定ユニット２９と、出力ユニット３１と、を備える。

画像処理装置５に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

制御装置７は、画像処理装置５が出力する情報に基づき、自車両を制御する。詳しくは後述する。
２．画像処理装置５が実行する処理
画像処理装置５が所定時間毎に繰り返し実行する処理を図３～図６に基づき説明する。図３のステップ１では、画像取得ユニット１３がカメラ３を用いて画像を取得する。

ステップ２では、第１領域設定ユニット１５が、前記ステップ１で取得した画像において、パターンマッチングにより、物標が存在する第１領域を検出する。第１領域は画像の一部である。第１領域は矩形の領域である。物標として、例えば、歩行者、他の車両、車線境界線、固定物等が挙げられる。

パターンマッチングとは、画像上でモデルを移動させながら、画像における一部の領域とモデルとの比較を行い、モデルと一致する領域を探す処理である。第１領域は、モデルとの一致度が高い領域である。モデルは、例えば、物標に対応するエッジの強さと、エッジの強さが変化する方向とを保持している。エッジの強さとは、隣接する画素間における輝度の差である。パターンマッチングとして、例えば、ＨＯＧ法等が挙げられる。例えば、ＨＯＧ法の後、ＦＩＮＤ法を行うことができる。

図４に、前記ステップ１で取得した画像３３と、ステップ２で検出した第１領域３５との例を示す。なお、物標３７の上端３７Ａの縦方向における位置は、必ずしも、第１領域３５の上端３５Ａの縦方向における位置と一致しない。また、物標３７の下端３７Ｂの縦方向における位置は、必ずしも、第１領域３５の下端３５Ｂの縦方向における位置と一致しない。その理由は、モデルは決められた大きさを有し、モデルに対応する第１領域３５も決められた大きさを有するため、第１領域３５の大きさは物標３７の大きさとは必ずしも一致しないことにある。

ステップ３では、位置Ｐ_Ｔ、Ｐ_Ｂ決定処理を行う。この処理を図４～図６に基づき説明する。図５のステップ１１では、第２領域設定ユニット１７が、前記ステップ１で取得した画像において、第２領域を設定する。図４に示すように、第２領域３９は、第１領域３５を含み、第１領域３５より広い領域である。物標３７の全体を含むことができるように、第２領域３９を十分広くすることが好ましい。

ステップ１２では、エッジ強度算出ユニット１９が、前記ステップ１１で設定した第２領域内の各画素におけるエッジ強度を算出する。エッジ強度とは、隣接する画素間における輝度の差である。例えば、任意の画素のエッジ強度を以下のように算出することができる。まず、複数の方向のそれぞれについて、エッジ強度を算出する。次に、各方向のエッジ強度の二乗平均を算出し、その算出値を画素のエッジ強度とする。

ステップ１３では、縦積算ユニット２１が積算値Ｖ_１を算出する。積算値Ｖ_１とは、図６に示すように、第２領域３９内で縦方向に１列に並ぶ複数の画素４１のエッジ強度の積算値である。例えば、複数の画素４１がＭ個の画素から成る場合、積算値Ｖ_１は、Ｍ個の画素それぞれのエッジ強度を積算した値である。縦積算ユニット２１は、第２領域３９の左端Ｐ_１から、第２領域３９の右端Ｐ_２までの範囲に属する全ての画素の列について、積算値Ｖ_１を算出する。左端Ｐ_１から右端Ｐ_２までの範囲に属する全ての画素の列は、横方向における複数の位置に対応する。

ステップ１４では、横方向位置決定ユニット２３が、位置Ｐ_Ｌと、位置Ｐ_Ｒとを決定する。位置Ｐ_Ｌとは、前記ステップ１３で算出した積算値Ｖ_１が、予め設定された第１閾値Ｔｈ_１以上となる最も左側の位置である。位置Ｐ_Ｒとは、前記ステップ１３で算出した積算値Ｖ_１が、予め設定された第１閾値Ｔｈ_１以上となる最も右側の位置である。位置Ｐ_Ｌ、位置Ｐ_Ｒの例を図６に示す。

ステップ１５では、横積算ユニット２５が積算値Ｖ_２を算出する。積算値Ｖ_２とは、図６に示すように、第２領域３９のうち、横方向での位置が位置Ｐ_Ｌと位置Ｐ_Ｒとの間にある領域４３内で横方向に１列に並ぶ複数の画素４５のエッジ強度の積算値である。例えば、複数の画素４５がＮ個の画素から成る場合、積算値Ｖ_２は、Ｎ個の画素それぞれのエッジ強度を積算した値である。横積算ユニット２５は、第２領域３９の上端Ｐ_３から、第２領域３９の下端Ｐ_４までの範囲に属する全ての画素の行について、積算値Ｖ_２を算出する。上端Ｐ_３から下端Ｐ_４までの範囲に属する全ての画素の行は、縦方向における複数の位置に対応する。

ステップ１６では、縦方向位置決定ユニット２７が、位置Ｐ_Ｔと、位置Ｐ_Ｂとを決定する。位置Ｐ_Ｔとは、前記ステップ１５で算出した積算値Ｖ_２が予め設定された第２閾値Ｔｈ_２以上となる最も上側の位置である。位置Ｐ_Ｂとは、前記ステップ１５で算出した積算値Ｖ_２が予め設定された第２閾値Ｔｈ_２以上となる最も下側の位置である。位置Ｐ_Ｔ、位置Ｐ_Ｂの例を図６に示す。

ステップ１７では、矩形作成ユニット２８が、物標検出矩形を作成する。図６に示すように、物標検出矩形４７は、左端の位置がＰ_Ｌであり、右端の位置がＰ_Ｒであり、上端の位置がＰ_Ｔであり、下端の位置がＰ_Ｂである矩形である。

図３に戻り、ステップ４では、推定ユニット２９が、カメラ３から物標までの距離Ｌ、及び、物標の高さＨを推定する。距離Ｌ及び高さＨを推定する対象となる物標は、前記ステップ２で検出した第１領域に少なくとも一部が含まれる物標である。

メモリ１１は、距離Ｌと位置Ｐ_Ｂとの関係を規定する第１マップを予め記憶している。推定ユニット２９は、前記ステップ１６で決定した位置Ｐ_Ｂを第１マップに当てはめ、距離Ｌを推定する。
また、メモリ１１は、高さＨと、位置Ｐ_Ｂ及び位置Ｐ_Ｔとの関係を規定する第２マップを予め記憶している。推定ユニット２９は、前記ステップ１６で決定した位置Ｐ_Ｂ及び位置Ｐ_Ｔを第２マップに当てはめ、高さＨを推定する。

ステップ５では、出力ユニット３１が、前記ステップ４で推定した距離Ｌ及び高さＨを制御装置７に出力する。
制御装置７は、距離Ｌ及び高さＨに基づき、自車両の制御を行う。例えば、距離Ｌが予め設定された閾値以下であり、自車両のドライバがブレーキ操作を行っていない場合、制御装置７は、自動ブレーキの処理を実行する。

３．画像処理装置５及び制御システム１が奏する効果
（１Ａ）画像処理装置５は、上端Ｐ_３から下端Ｐ_４までの範囲に属する全ての画素の行について、積算値Ｖ_２を算出する。さらに、画像処理装置５は、積算値Ｖ_２が第２閾値Ｔｈ_２以上となる最も上側の位置を、位置Ｐ_Ｔとする。また、画像処理装置５は、積算値Ｖ_２が第２閾値Ｔｈ_２以上となる最も下側の位置を、位置Ｐ_Ｂとする。

積算値Ｖ_２は、横方向に１列に並ぶ複数の画素４５のエッジ強度の積算値である。物標の端部に位置する画素のエッジ強度は、その他の画素のエッジ強度より大きい。そのため、積算値Ｖ_２は、物標を横切る画素の行では大きくなる。積算値Ｖ_２は、物標の上端よりもさらに上方にある画素の行、又は、物標の下端よりもさらに下方にある画素の行では小さくなる。

よって、位置Ｐ_Ｔは、物標の上端の位置に該当する。また、位置Ｐ_Ｂは、物標の下端の位置に該当する。画像処理装置５は、物標の上端の位置に該当する位置Ｐ_Ｔ、及び物標の下端の位置に該当する位置Ｐ_Ｂを正確に検出することができる。

（１Ｂ）画像処理装置５は、左端Ｐ_１から右端Ｐ_２までの範囲に属する全ての画素の列について、積算値Ｖ_１を算出する。画像処理装置５は、積算値Ｖ_１が、第１閾値Ｔｈ_１以上となる最も左側の位置を位置Ｐ_Ｌとする。また、画像処理装置５は、積算値Ｖ_１が、第１閾値Ｔｈ_１以上となる最も右側の位置を位置Ｐ_Ｒとする。

積算値Ｖ_１は、第２領域３９内で縦方向に１列に並ぶ複数の画素４１のエッジ強度の積算値である。物標の端部に位置する画素のエッジ強度は、その他の画素のエッジ強度より大きい。そのため、積算値Ｖ_１は、物標を通る画素の列では大きくなる。積算値Ｖ_１は、物標の左端よりもさらに左方にある画素の列、又は、物標の右端よりもさらに右方にある画素の列では小さくなる。

よって、位置Ｐ_Ｌは、物標の左端の位置に該当する。また、位置Ｐ_Ｒは、物標の右端の位置に該当する。画像処理装置５は、積算値Ｖ_２を算出する対象を、第２領域のうち、横方向での位置が位置Ｐ_Ｌと位置Ｐ_Ｒとの間にある領域内に限定する。そのため、積算値Ｖ_２の算出において、物標の範囲外の画素に起因するノイズの影響を抑制できる。

（１Ｃ）画像処理装置５は、第１領域を含み、第１領域より広い第２領域を設定する。そのため、物標の上端又は下端が第１領域の外にある場合でも、物標の上端及び下端を第２領域に含めることができる。画像処理装置５は、第２領域において、積算値Ｖ_１、積算値Ｖ_２を算出し、位置Ｐ_Ｔ、位置Ｐ_Ｂを検出する。その結果、画像処理装置５は、物標の上端又は下端が第１領域の外にある場合でも、物標の上端の位置、及び下端の位置を正確に検出することができる。

（１Ｄ）画像処理装置５は、物標の一例である歩行者における上端の位置、及び下端の位置を正確に検出することができる。
（１Ｅ）画像処理装置５は、位置Ｐ_Ｔ及び位置Ｐ_Ｂに基づき、距離Ｌ及び高さＨを推定する。画像処理装置５は、前記（１Ａ）で述べたとおり、位置Ｐ_Ｔ及び位置Ｐ_Ｂを正確に検出することができる。そのため、画像処理装置５は、距離Ｌ及び高さＨを正確に推定することができる。

（１Ｆ）制御システム１は、画像処理装置５が推定した距離Ｌ及び高さＨに基づき自車両の制御を行う。前記（１Ｅ）で述べたとおり、画像処理装置５が推定した距離Ｌ及び高さＨは正確である。そのため、制御システム１は、正確な距離Ｌ及び高さＨに基づき、自車両の制御を適切に行うことができる。
４．他の実施形態
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）積算値Ｖ_１を算出するとき、左端Ｐ_１から右端Ｐ_２までの範囲に属する全ての画素の列のうち、全てではなく一部の画素の列について、積算値Ｖ_１を算出してもよい。
（２）積算値Ｖ_２を算出するとき、上端Ｐ_３から下端Ｐ_４までの範囲に属する全ての画素の行のうち、全てではなく一部の画素の行について、積算値Ｖ_２を算出してもよい。

（３）画像処理装置５は車載機ではなく、他の用途に用いられてもよい。
（４）画像処理装置５は、位置Ｐ_Ｔと、位置Ｐ_Ｂとのうち、一方のみを決定してもよい。
（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（６）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物標検出方法、距離推定方法、高さ推定方法等、種々の形態で本開示を実現することもできる。

１…制御システム、３…カメラ、５…画像処理装置、７…制御装置、９…ＣＰＵ、１１…メモリ、１３…画像取得ユニット、１５…第１領域設定ユニット、１７…第２領域設定ユニット、１９…エッジ強度算出ユニット、２１…縦積算ユニット、２３…横方向位置決定ユニット、２５…横積算ユニット、２７…縦方向位置決定ユニット、２８…矩形作成ユニット、２９…推定ユニット、３１…出力ユニット、３３…画像、３５…第１領域、３５Ａ…上端、３５Ｂ…下端、３７…物標、３７Ａ…上端、３７Ｂ…下端、３９…第２領域、４７…物標検出矩形

Claims

撮像ユニットを用いて画像を取得する画像取得ユニットと、
前記画像において、パターンマッチングにより、物標が存在する第１領域を検出する第１領域検出ユニットと、
前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定する第２領域設定ユニットと、
前記第２領域内の各画素におけるエッジ強度を算出するエッジ強度算出ユニットと、
前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_１を、横方向における複数の位置でそれぞれ算出する縦積算ユニットと、
前記積算値Ｖ_１が予め設定された第１閾値以上となる最も左側の位置Ｐ_Ｌと、前記積算値Ｖ_１が前記第１閾値以上となる最も右側の位置Ｐ_Ｒと、を決定する横方向位置決定ユニットと、
前記第２領域のうち、横方向での位置が前記位置Ｐ_Ｌと前記位置Ｐ_Ｒとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_２を、縦方向における複数の位置でそれぞれ算出する横積算ユニットと、
前記積算値Ｖ_２が予め設定された第２閾値以上となる最も上側の位置Ｐ_Ｔと、前記積算値Ｖ_２が前記第２閾値以上となる最も下側の位置Ｐ_Ｂと、を決定する縦方向位置決定ユニットと、
前記位置Ｐ _Ｔ及び前記位置Ｐ _Ｂに基づき、前記撮像ユニットから前記物標までの距離、及び／又は、前記物標の高さを推定する推定ユニットと、
を備える画像処理装置。
請求項１に記載の画像処理装置であって、
前記物標は歩行者である画像処理装置。
車両に搭載された請求項１又は２に記載の画像処理装置と、
前記推定ユニットが推定した前記距離、及び／又は、前記高さに基づき、前記車両の制御を行う制御装置と、
を備える制御システム。
撮像ユニットを用いて画像を取得し、
取得した前記画像において、パターンマッチングにより、物標が存在する第１領域を検出し、
前記画像において、前記第１領域を含み、前記第１領域より広い第２領域を設定し、
前記第２領域内の各画素におけるエッジ強度を算出し、
前記第２領域内で縦方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_１を、横方向における複数の位置でそれぞれ算出し、
前記積算値Ｖ_１が予め設定された第１閾値以上となる最も左側の位置Ｐ_Ｌと、前記積算値Ｖ_１が前記第１閾値以上となる最も右側の位置Ｐ_Ｒと、を決定し、
前記第２領域のうち、横方向での位置が前記位置Ｐ_Ｌと前記位置Ｐ_Ｒとの間にある領域内で横方向に並ぶ複数の画素のエッジ強度の積算値Ｖ_２を、縦方向における複数の位置でそれぞれ算出し、
前記積算値Ｖ_２が予め設定された第２閾値以上となる最も上側の位置Ｐ_Ｔと、前記積算値Ｖ_２が前記第２閾値以上となる最も下側の位置Ｐ_Ｂと、を決定し、
前記位置Ｐ _Ｔ及び前記位置Ｐ _Ｂに基づき、前記撮像ユニットから前記物標までの距離、及び／又は、前記物標の高さを推定する画像処理方法。
請求項４に記載の画像処理方法であって、
前記物標は歩行者である画像処理方法。