JP7379268B2

JP7379268B2 - 画像処理装置

Info

Publication number: JP7379268B2
Application number: JP2020085359A
Authority: JP
Inventors: フェリペゴメズカバレロ; 雅幸竹村; 健志磨
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2023-11-14
Anticipated expiration: 2040-05-14
Also published as: JP2021179849A; WO2021229866A1; DE112021001483T5; CN115485721A

Description

本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。

近年、近傍の移動物体および静的物体（障害物）を検出するために、画像を用いた物体検出装置が使用されている。

上記の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途で使用することができる。

車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。

このような物体検出装置として、例えば、車両周囲を撮像した画像を俯瞰変換し、時間的に異なる二つの俯瞰変換画像（以下、俯瞰画像とも称する）の差分を用いて障害物を検出する装置が知られている（特許文献１、２参照）。

特許第６００３９８６号公報特開２０１６－１３４７６４号公報

しかし、上記特許文献１、２に記載された装置は、障害物を検出するに当たって、時間的に異なる二つの俯瞰変換画像の差分を使用している。

よって、自車両と対象障害物が衝突経路にあり、自車両と対象障害物（歩行者など）が衝突点に近づく速度が同じであり、したがってそれらが衝突点に到達するまで対象障害物と自車両との相対角度が同じままであるシナリオで当該システムが使用される場合、自車両に搭載されたセンサによって取得された画像上で対象障害物の動きが最小になる効果を生み出し、これにより、センサによって取り込まれた画像間の差異量を減少させるので、誤検出または誤った物体検出結果を生み出し、システムの信頼性を低下させる可能性がある。

本発明は、上記事情に鑑みてなされたもので、本発明の目的は、対象移動障害物の自車両に対する相対角度が一定のままであっても、対象移動障害物の差分データを適切にクラスタリング（グループ化）でき、衝突経路のシナリオのように、対象障害物の差分データが減少しても、障害物の検出および認識の信頼性を向上させることのできる、障害物検出および認識のための画像処理装置を提供することである。

上記目的を達成すべく、本発明に係る画像処理装置は、画像に映る周囲の物体を検出する画像処理装置であって、時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部と、前記差分データをクラスタリングする差分データクラスタリング部と、前記差分データクラスタリング部の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部と、前記クラスター結合部の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部と、を有する。

本発明に係る画像処理装置は、この構成を採用することにより、クラスター結合部を使用して差分データクラスターを結合し、次にクラスター結合判定部を使用して適切な結合が実行されていると判定することにより、対象障害物の差分データが減少しても、対象移動障害物の差分データを適切にクラスタリング（グループ化）することによって障害物検出を行うことができるため、障害物検出および認識の信頼性ないし精度を高めることができ、したがって、衝突経路のシナリオでも、誤った障害物検出を回避することができる。

本発明によれば、対象移動障害物の差分データをクラスタリング（グループ化）し、差分データクラスターを結合し、適切なクラスター結合が実行されていると判定することにより、対象障害物の差分データが減少するときでも、障害物検出および認識の信頼性ないし精度を向上させることができる。

上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係る画像処理装置の概略構成図である。例示的なシナリオにおいて、センサにより取得され、画像変換部により変換された画像空間、そして画像差分算出部により算出された差分を説明する図である。自車両および対象歩行者が衝突点に向かって移動している状況の２つの異なる期間を示し、（ａ）は以前の期間、（ｂ）は現在の期間を示す図である。自車両および対象歩行者が衝突点に向かって移動している状況の差分画像（差分データ）算出を説明する図である。自車両および対象歩行者が衝突点に向かって移動している状況の差分データグループ化を説明する図である。

以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。

図１～図５を参照して、本実施形態の画像処理装置１１０の構成および動作について説明する。図示は省略するが、画像処理装置１１０は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。

以下に説明する構成では、２台のカメラセンサ（以下、単にカメラもしくはセンサと称することがある）が単一の車載ステレオカメラとして一対とされ、センシング部１１１に対応している。ただし、これは、単一の単眼カメラがセンシング部１１１として使用される他の構成で使用される装置を制限するものではない。

図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１１０は、例えば車両（自車両）に搭載され、カメラセンサ（センシング部１１１）で撮像した周囲の画像を俯瞰変換し、時間的に（時刻が）異なる複数の俯瞰変換画像（俯瞰画像）の差分を用いて障害物（画像に映る周囲の物体）を検出および認識する装置である。

図１において、画像処理装置１１０は、同じ高さに位置する２つのカメラセンサを含むセンシング部１１１、画像取得部１２１、画像変換部１３１、画像差分算出部１４１、差分データクラスタリング部１５１、クラスター結合部１６１、クラスター結合判定部１７１、障害物検出部１８１、制御アプリケーション処理部１９１を備える。

（画像取得部）
画像取得部１２１は、さらなる処理のために画像特性を調整するために、センシング部１１１に対応する２つのカメラセンサの一方または両方により取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る（トリミングする）画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。

（画像変換部）
画像変換部１３１は、予め計算または調整された特定の幾何学式または変換テーブルに基づいて、画像取得部１２１により取得および処理された画像の幾何学的画像変換を行う機能を有する。この画像変換には、これに限定されるものではないが、回転、拡大縮小、剪断、および平らな地面が基準と見なされる俯瞰画像変換などのアフィン変換が含まれ得る。

例えば、図２に示すように、取得された画像ＣＴ２１およびＣＴ２２は、画像変換部１３１により変換され、結果として、俯瞰変換画像ＣＴ３１および俯瞰変換画像ＣＴ３２になる。

（画像差分算出部）
画像差分算出部１４１は、画像変換部１３１により変換された時刻が異なる少なくとも２つの画像間の差異を示す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。

例えば、図２に示すように、歩行者Ｐ０から生じ得る差分データＰ０Ｄおよび所定の物体ＯＢ０から生じ得る差分データＯＢ０Ｄを示す差分画像ＣＴ４１は、以前の期間に対応する俯瞰変換画像ＣＴ３１および現在の期間に対応する俯瞰変換画像ＣＴ３２に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、画像差分算出部１４１により計算される。

（差分データクラスタリング部）
差分データクラスタリング部１５１は、画像差分算出部１４１により計算された差分画像の画素をクラスタリング（グループ化）する機能を有する。点（画素）間の距離を考慮した既知のクラスタリング手法が、このタスクに採用できる（例えば、K-meansアルゴリズム）。したがって、結果は、互いに近く、道路の上の対象障害物を表し得る差分画素（差分データ）のクラスターになる（図２とともに図４、図５を参照）。

（クラスター結合部）
クラスター結合部１６１は、クラスターグループおよび差分画像の特性に基づいて、差分データクラスタリング部１５１により作成された差分データのクラスター同士を結合する（組み合わせる）機能を有する。例えば、（差分画像上で）自車両に対して同じ放射状位置にある個々のクラスターは、同じ対象障害物に属する傾向があるため、所定の条件セット（例えば、所定のサイズまたは画素数）を満たす場合、単一のグループに結合され得る。クラスター同士を結合する他の方法も含めることができる。

（クラスター結合判定部）
クラスター結合判定部１７１は、クラスター結合部１６１が行う複数のクラスター結合の信頼性を判定する機能を有する。この判定は、原則として、対象障害物の観測可能な特徴（例えば、対象が歩行者の場合、実行可能なサイズ/形状）に関する所定の条件セットに基づいて行われる。この判定は、結果として、クラスター結合部１６１が行う結合操作の有効化またはキャンセルとなる。結合操作が有効であると、クラスター結合部１６１により結合されたクラスター（の結合）はそのまま維持される。結合操作がキャンセルされると、クラスター結合部１６１により結合されたクラスターは分離され、クラスター結合部１６１が行う操作の前の元の状態に戻る。

例示的な判定としては、システムが検出に焦点を合わせている対象障害物クラスに対応する識別器（歩行者識別器など）に対する所定の結合クラスターのテストがあり、結果としての識別スコアに応じて、結合クラスターは有効化またはキャンセルされ得る。画素輝度解析とマージされたクラスター間の比較、または、エッジ（輝度が急激に変化する画像内の画素）解析とマージされたクラスター間の比較など、他の方法を使用することができる。また、複数のクラスター結合を判断する他の方法も含めることができる。

（障害物検出部）
障害物検出部１８１は、画像取得部１２１が取得した画像、画像差分算出部１４１が計算した差分画像、差分データクラスタリング部１５１の結果、および、クラスター結合判定部１７１の結果により有効化されたクラスター結合部１６１の結果を用いて、画像に映る立体物を検出し、その位置を算出する機能を有する。

本明細書において、「障害物検出」とは、少なくとも次のタスクが実行される処理を指すことに留意されたい。つまり、対象物体検出（画像空間内の位置）、対象物体識別（自動車/車両、二輪車両、自転車、歩行者、ポールなど）、３次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さの計算である。

（制御アプリケーション処理部）
制御アプリケーション処理部１９１は、障害物検出部１８１により認識された障害物に応じて、当該画像処理装置１１０が搭載された車両が実行する制御アプリケーションを決定する機能を有する。

ここで、画像処理装置１１０を車両Ｖの周囲を監視するシステムとして適用する場合について、図３（ａ）、（ｂ）を参照して説明する。図３（ａ）、（ｂ）は、図３（ｂ）が図３（ａ）の後に起こり、既知の期間で区切られた異なる時間フレームでのシナリオを示している。上から見たシーンはそれぞれＣＴ１１およびＣＴ１２で示され、センシング部１１１に対応するセンサにより取得された画像に見られるシーンはそれぞれＣＴ２１およびＣＴ２２で示され、画像変換部１３１により変換された、取得されたシーンの画像はそれぞれＣＴ３１およびＣＴ３２で示されている。

以下で説明するケースでは、車両Ｖと歩行者Ｐ１は、衝突点ＣＰ１（交差点など）に向かって同じ速度で移動しており、これにより、車両Ｖと歩行者Ｐ１が衝突点ＣＰ１に近づくにつれてＸ_１（Ｐ１～ＣＰ１）、Ｚ_１（Ｖ～ＣＰ１）、およびＸ_２（Ｐ１～ＣＰ１）、Ｚ_２（Ｖ～ＣＰ１）で示される距離が減少する場合でも、図３（ａ）において角度（θ_１）および図３（ｂ）において角度（θ_２）で示されるように、車両Ｖと歩行者Ｐ１との間の一定の相対角度となる。車両Ｖに対する歩行者Ｐ１の位置の変化は、ＣＴ１１およびＣＴ１２の座標で明確に見えるが、歩行者Ｐ１と車両Ｖの間の一定の相対角度の影響は、ＣＴ２１およびＣＴ２２で示されるセンサ（センシング部１１１）により取得される画像、および、ＣＴ３１およびＣＴ３２で示されるそれらの対応する変換の両方に示される最小の動きに反映され、以降、画像差分算出部１４１により計算される差分画像に影響を与える。

（画像差分算出部の処理例）
画像差分算出部１４１による結果の一例を図４に示す。図４では、古い期間からのデータ（ＣＴ３１）が新しい期間からのデータ（ＣＴ３２）に最初に位置合わせされ、既知の方法、例えばフィルタベースの画像差分に基づいて画像差分計算を実行する。例えば、隣接画素差分フィルタスコアに基づく簡単なアプローチが実装され、２つの俯瞰画像間の差分を計算する。（例えば、斜めに分離された）フィルタ内の基準画素の近隣の画素のペアが比較され、それらの輝度差を計算し、次に同じ基準画素上の２つの異なる画像に対するフィルタの結果を比較し、最終的な値の差分カウントを計算する。この単純なアプローチでは、値の差分カウントが多いほど、２つの画像間の差分が大きくなるため、そのような差を画像内の動きに関連付けることができる。そのため、値の差分カウントに対して閾値を設定することは、信頼できる差分と見なされ、ノイズ除去を実行することができる。そして、ノイズ除去後の結果としての差分画像は、さらなる処理のために準備される。

なお、画素比較に使用される配置はフィルタと呼ばれる。フィルタを定義する解析される画素の形状、数、および比較方向（例えば、斜め、水平、垂直など）は、アプリケーションに基づいて調整できる。

ノイズ除去前の差分画像の例示的な結果はＣＴ４１で示されており、上記で説明したようなシナリオにおいて、歩行者Ｐ１の特定の部分のみが２つの異なる期間で取得されたデータ間で移動しているように見えることが分かる（このケースでは、上半身と下半身、および真ん中の非常に低い差分カウントの、例えば低い差分カウントのいくつかの画素の部分）。なお、ＣＴ４１において、画素に対応する四角の大きさは、画像間の差分の大きさ（強弱）を表している。

（差分データクラスタリング部、クラスター結合部、クラスター結合判定部の処理例）
次に、差分データクラスタリング部１５１、クラスター結合部１６１、およびクラスター結合判定部１７１が実行するタスクについて、図５に基づいて説明する。差分データクラスタリング部１５１が実行するタスクの結果（ここでは、ノイズ除去後）はＣＴ４１１に示されており、各差分画素間のクラスター中心候補に対する（画像空間の）距離を考慮したクラスタリング方法に基づいて、差分データ画素がグループ化され、説明されたシナリオにおいては、クラスター（ｇｒ１）（例えば歩行者Ｐ１の上半身に対応）とクラスター（ｇｒ２）（例えば歩行者Ｐ１の下半身に対応）で示される２つの異なるクラスターになる。

クラスター結合部１６１が実行するタスクの結果はＣＴ４１２に示されており、クラスター（ｇｒ１）およびクラスター（ｇｒ２）は、クラスターグループおよび差分画像の特性に基づいて一つの結合されたクラスター（以下、クラスターグループとも称する）（ｇｒ１１）に結合される。この特性には、これに限定されるものではないが、ノイズ除去前に結合されたクラスター間（ｓ１２）に存在していた低差分カウント画素（つまり、複数の俯瞰画像間の輝度差が所定値よりも小さい画素）の量（図４のＣＴ４１を併せて参照）、候補クラスター間の空間（間隔）、車両位置（詳しくは、カメラ位置）（ＣＴ４１２の座標の底部中心で表される）に対する各クラスターの角度の類似性の少なくとも一つが含まれ得る。クラスター（ｇｒ１１）は、画像変換部１３１（平らな地面が基準と考えられる俯瞰画像変換）が変換する画像が示す空間において、車両Ｖから所定の距離で地面に立っている同じ対象障害物の一部と考えることができる。

そして、クラスター結合判定部１７１は、クラスターグループ（ｇｒ１１）を判定処理のための入力とする。例えば、センサにより取り込まれる画像内のクラスターグループ（ｇｒ１１）のサイズおよび位置に対応するバウンディングボックス（図３（ｂ）のＣＴ２２内のものなど）が計算され、そのようなバウンディングボックスの内側のデータは、対象障害物（大人の歩行者、子どもの歩行者、自転車など）を識別するために事前にトレーニングされた１つまたは複数の識別器で処理され、１つまたは複数の識別器の結果は、クラスターグループ（ｇｒ１１）が有効なクラスターの組み合わせであるか、またはクラスターグループ（ｇｒ１１）がキャンセルされ、元のクラスター（ｇｒ１）とクラスター（ｇｒ２）に分離されるものかを判断するために使用される。クラスター結合の結果を判断するための別の例示的なメトリックは、例えば、画像変換部１３１が変換する画像上の結合されたグループ間の輝度差およびそれらの間の空間（間隔）の評価である。結合結果を評価する他の方法は、このような方法の組み合わせだけでなく、上記の方法と同様に使用される。クラスター結合判定部１７１が実行するタスクの結果はＣＴ４１３（有効である場合）、ＣＴ４１４（キャンセルされる場合）に示されており、ＣＴ４１３では、クラスターグループ（ｇｒ１１）がそのまま維持され、ＣＴ４１４では、クラスターグループ（ｇｒ１１）は元のクラスター（ｇｒ１）とクラスター（ｇｒ２）に分離される。

クラスター結合判定部１７１の結果を用いることにより、衝突点ＣＰ１（交差点など）付近において、画像に映る立体物検出および位置算出を行うことができ、車両が実行する制御アプリケーションを決定することができる。

以上で説明したように、図１に示される本実施形態に係る障害物検出および認識のための画像処理装置１１０は、
当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部１１１と、
センシング部１１１によって取得された画像を処理し、その特性（これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む）を調整する画像取得部１２１と、
画像取得部１２１によって取得されて処理された画像に対して所望の幾何学的画像変換を実行する画像変換部１３１と、
画像取得部１２１によって取得されて処理され、画像変換部１３１によって変換された少なくとも２つの画像間の差分を示す差分画像を算出する画像差分算出部１４１と、
画像差分算出部１４１によって算出された差分画像に対して、所定のクラスタリング手法を用いて画素レベルでデータクラスタリング（グループ化）を行い、自車両近傍環境の障害物を表す可能性のあるクラスター（グループ）のリストを作成する差分データクラスタリング部１５１と、
２つ以上のクラスターをそれらの特性に応じて単一のクラスターグループに結合できるように、差分データクラスタリング部１５１によって計算されたデータに対して、データ結合を実行するクラスター結合部１６１と、
所定の条件セットに基づいて、クラスター結合部１６１によって計算されたクラスター結合結果を判定し、結合結果が有効か否かを判定するクラスター結合判定部１７１と、
画像取得部１２１によって取得された画像と、差分データクラスタリング部１５１およびクラスター結合部１６１およびクラスター結合判定部１７１の結果とを用いて、物体検出および物体認識を行う障害物検出部１８１と、
障害物検出部１８１からの出力を少なくとも含み得る現在の状態に基づいて、当該画像処理装置１１０が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部１９１と、を備える。

すなわち、本実施形態に係る画像処理装置１１０は、時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部１４１と、前記差分データをクラスタリングする差分データクラスタリング部１５１と、前記差分データクラスタリング部１５１の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部１６１と、前記クラスター結合部１６１の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部１７１と、を有する。

上記の処理を採用することにより、画像平面の観測される動きの欠如によって生じる空きスペースが候補グループ間にある場合でも、歩行者Ｐ１に対応するすべての差分データをグループ化できる。したがって、車両Ｖおよび歩行者Ｐ１が衝突点ＣＰ１に向かって同じ速度で移動している場合でも、歩行者Ｐ１を正しく検出および認識でき、システムの安定性および信頼性が向上する。

以上、本実施形態に係る障害物検出および認識のための画像処理装置１１０の構成および動作について説明した。本実施形態に係る画像処理装置１１０は、交差点付近などにおいて、対象移動障害物の自車両に対する相対角度が一定のままであっても、対象移動障害物の差分データを適切にクラスタリング（グループ化）することにより、障害物認識の信頼性を高めることができ、同時に、誤った物体検出率を低減でき、物体検出の精度を高めて走行安全性を高めることができる。

現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の趣旨および範囲内の全ての変更は、添付の特許請求の範囲内にあるものと意図される。

また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１１０画像処理装置
１１１センシング部
１２１画像取得部
１３１画像変換部
１４１画像差分算出部
１５１差分データクラスタリング部
１６１クラスター結合部
１７１クラスター結合判定部
１８１障害物検出部
１９１制御アプリケーション処理部

Claims

画像に映る周囲の物体を検出する画像処理装置であって、
時刻が異なる複数の俯瞰画像の差分データを計算する画像差分算出部と、
前記差分データをクラスタリングする差分データクラスタリング部と、
前記差分データクラスタリング部の結果を用いて前記俯瞰画像の特徴に基づいてクラスター同士を結合するクラスター結合部と、
前記クラスター結合部の結合結果を対象物体の特徴に基づいて判定するクラスター結合判定部と、を有する、画像処理装置。
請求項１に記載の画像処理装置において、
前記俯瞰画像の特徴は、前記クラスター間に存在していた前記複数の俯瞰画像間の輝度差が所定値よりも小さい画素の量、前記クラスター間の間隔、または、前記画像を取得するセンサ位置に対する各クラスターの角度の類似性の少なくとも一つを含む、画像処理装置。
請求項１に記載の画像処理装置において、
前記クラスター結合判定部は、前記俯瞰画像内で結合されたクラスターグループのサイズおよび位置に対応するバウンディングボックス内のデータを、前記対象物体を識別するための識別器で処理することによって、前記クラスター結合部の結合結果を判定する、画像処理装置。
請求項１に記載の画像処理装置において、
前記クラスター結合判定部は、前記クラスター結合部が行う結合操作が有効である場合、前記クラスター結合部により結合されたクラスター同士の結合を維持し、前記クラスター結合部が行う結合操作がキャンセルされる場合、前記クラスター結合部により結合されたクラスター同士を元の状態に分離する、画像処理装置。