JP6014440B2 - 移動物体認識装置 - Google Patents

Description

車外の画像情報から移動物体を検出する移動物体認識装置に関する。

車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで前方を横切る歩行者を検知して、歩行者に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。

特許文献１では、ステレオカメラの左右カメラの見え方のずれから対象物までの３次元情報を求め、その中から立体物を検出し、検出した立体物が歩行者の形状や大きさであるかを判定し、さらには、検出した立体物の移動速度を求めることで、検出した立体物が自車進行路内に進入する可能性のある横切り歩行者であるか否かを判定している。

特開２００５−２２８１２７号公報

しかし、特許文献１のように、ステレオカメラで左右カメラの見え方のずれを求める際、左右カメラの画像の対応点を画像処理で求めているため、時系列のフレーム間で算出結果がゆらぎ、検出した立体物の移動速度の値が収束するまでに時間を要する。そのため、自車進行路内に進入する可能性のある横切り歩行者を検出するのに時間を要する。

上記課題に鑑み、本発明では、道路を横切るような移動物体をより早期に検出する移動物体認識装置を提供することを目的とする。

上記課題を鑑みて、本発明の移動物体認識装置は、第１の撮像部と、第２の撮像部と、第１の撮像部及び前記第２の撮像部で撮像した画像に基づいて移動物体を検出する移動物体検出部と、を有し、移動物体検出部は、第１の撮像部の撮像領域と第２の撮像部の撮像領域とが重複しない非重複領域を第一の領域、第１の撮像部の撮像領域と第２の撮像部の撮像領域とが重複する重複領域を第二の領域、とした場合、第一の領域と第二の領域とで、移動物体の検出方法が異なる構成とする。

道路を横切るような移動物体をより早期に検出する移動物体認識装置を提供できる。

本発明に係る移動物体認識装置の一実施形態を示した図である。 本発明に係る移動物体認識装置を説明する図である。 本発明の第一の領域処理部の処理フローを示す図である。 本発明の第二の領域処理部の処理フローを示す図である。 本発明の距離算出部の視差算出処理を説明する図である。

以下図面を用いて各実施例を説明する。

車両に搭載されたステレオカメラの映像を用いて、道路を横切る移動物体、本実施例では歩行者を検知する移動物体認識装置の一実施の形態を、図１を用いて説明する。

図１は、本発明の移動物体認識装置であるステレオカメラを実現するブロック図である。ステレオカメラは、第１の撮像部である左撮像部１０１と、第２の撮像部である右撮像部１０２と、左撮像部１０１及び右撮像部１０２で撮像した画像に基づいて移動物体を検出する移動物体検出部１０８と、を備え、ステレオカメラを搭載した車両の前方を撮像して移動物体を検出する。移動物体検出部１０８は、距離算出部１０３と第一の領域処理部１０４と第二の領域処理部１０５を備える。距離算出部１０３は、左撮像部１０１で撮像した第１の画像と、右撮像部１０２で撮像した第２の画像を入力し、同じ対象物を左撮像部１０１と右撮像部１０２が撮像した第１の画像と第２の画像上のズレから、対象物までの距離を算出する。距離算出部１０３の詳細は後述する。

第一の領域処理部１０４は、左撮像部１０１と右撮像部１０２の非重複領域の画像から横切り歩行者（道路を横切る歩行者）を検知する。ここで非重複領域とは、図２において、左撮像部１０１の撮像範囲２０１と右撮像部１０２の撮像範囲２０２が重複していない領域（左撮像部の非重複領域２０６、右撮像部の非重複領域２０７）である。画像上では、左撮像部で撮像した画像２０９、右撮像部で撮像した画像２１０となるため、左撮像部１０１の非重複領域の領域は第一の領域２０３、右撮像部１０２の非重複領域の領域は第一の領域２０４となる。第一の領域処理部１０４の詳細は後述する。

第二の領域処理部１０５は、左撮像部１０１と右撮像部１０２の重複領域の画像から横切り歩行者を検知する。ここで重複領域とは、図２において、左撮像部１０１の撮像範囲２０１と右撮像部１０２の撮像範囲２０２が重複している重複領域２０８である。画像上では、重複領域は、第二の領域２０５である。第二の領域処理部１０５の詳細は後述する。

本願発明の特徴は、上記説明した第一の領域２０３，２０４と第二の領域２０５とで、移動物体の検出方法が異なることである。詳細は、後述するが、第一の領域においては、第１の撮像部である左撮像部１０１又は第２の撮像部である右撮像部１０２の単眼カメラで撮像した１つの画像に基づいて移動物体を検出し、第二の領域においては、左撮像部１０１及び右撮像部１０２の２つのカメラをステレオカメラとして移動物体の検出することである。これにより、道路を横切るような歩行者などの移動物体をより早期に検出することが出来る。

横切り歩行者判定部１０６は、第二の領域処理部１０５で検知した横切り歩行者が、自車進行路内に進入して、自車と衝突するかどうか、又は衝突する可能性を判定する衝突判定部である。衝突する可能性が高いと判定した場合は、横切り歩行者情報出力部１０７から横切り歩行者の位置、速度の情報を出力し、車両は、その横切り歩行者の位置、速度の情報に基づき、ドライバへの警報の発報や、横切り歩行者に衝突しないように自動ブレーキ制御を行う。

次に図３を用いて第一の領域処理部１０４で行われる処理を説明する。

まず、左右画像取得処理３０１において、第１の撮像部である左撮像部１０１と第２の撮像部である右撮像部１０２で撮像した画像（第１の画像である左画像、第２の画像である右画像）を取得する。

次に、左画像の第一の領域での移動歩行者検出処理３０２において、左撮像部１０１で撮像した第１の画像（左画像）のうち、左右撮像部の非重複領域である第一の領域２０３の画像を用いて移動歩行者の候補を検出する。移動歩行者の候補を検出するには、まず、第一の領域２０３の時系列に連続する画像を比較して画像上変化して物体が移動した部分を検出する。画像上変化して物体が移動した部分を検出するには、まず、時系列に連続する画像のオプティカルフローを算出する。オプティカルフローは、２つのフレームの画像を比較し、２つの画像のそれぞれに含まれる同じ物体について、それぞれ対応する画素を同定することによって算出することができ、既に確立された公知技術である。次に求めた画像上変化して物体が移動した部分の中から、車両の移動に伴う背景の移動とは異なる動きを示している部分を抽出する。

車両の移動に伴う背景の移動を検出するには、車両の速度、ヨーレートといった車両情報とカメラの内部パラメータ（撮像素子のユニットセルサイズ、焦点距離、歪パラメータ）や外部パラメータ（カメラの設置高さ、俯角、回転角度）といった幾何条件を利用して、背景の動きを推定する。背景の動きの推定は、例えば、非特許文献「清原將裕、他：車両周辺監視のための移動体検出技術の開発、ＶｉＥＷビジョン技術の実利用ワークショップ講演論文集（２０１１）ｐｐ．５９−６３」に記載されている。最後に画像上変化して物体が移動した部分の中から、背景の動きをキャンセルして、車両の移動に伴う背景の移動とは異なる動きを示す部分を抽出した中から、ある一定範囲内の大きさを持つ部分を移動歩行者の候補とする。ここである一定範囲内の大きさとは、子供の歩行者から大人の歩行者までの平均的な大きさの物体が、画面上どの程度の大きさに撮像されるか予め計算した大きさとする。さらにその中から、第一の領域２０３から第二の領域２０５の方向へ移動している候補のみを、移動歩行者の候補とする。

次に、第二の領域進入判定処理３０３にて、左画像の第一の領域での移動歩行者検出処理３０２で検出した移動歩行者の候補が、次のフレームで第一の領域２０３から第二の領域２０５に進入するか否かを判定する。左画像の第一の領域での移動歩行者検知処理３０２で検知した移動歩行者の画像上での移動速度を用いて、次のフレームで第二の領域２０５に進入すると判定した場合は、移動歩行者位置・速度出力処理３０４へ進み、次のフレームで第二の領域２０５に進入しないと判定した場合は、右画像の第一の領域での移動歩行者検出処理３０５へ進む。

次に移動歩行者位置・速度出力処理３０４において、左画像の第一領域での移動歩行者検出処理３０２で検出した移動歩行者の候補の画像上の位置と速度を出力する。出力した結果は、第二の領域処理部１０５で移動歩行者を検知する際の初期値として利用する。

次に右画像の第一領域での移動歩行者検出処理３０５において、右撮像部１０２で撮像した第２の画像（右画像）のうち、左右撮像部の非重複領域である第一の領域２０４の画像を用いて移動歩行者の候補を検出する。移動歩行者の候補を検出する方法は左画像の第一の領域での移動歩行者検出処理３０２と同じであり、まず、第一の領域２０４の時系列に連続する画像を比較して画像上変化して物体が移動した部分を検出し、その中で、車両の移動に伴う背景の移動とは異なる動きを示していて、かつある一定範囲内の大きさを持つ部分を移動歩行者の候補とする。さらにその中から、第一の領域２０４から第二の領域２０５の方向へ移動している候補のみを、移動歩行者の候補とする。

次に、第二の領域進入判定処理３０６にて、右画像の第一領域での移動歩行者検出処理３０５で検出した移動歩行者の候補が、次のフレームで第一の領域２０４から第二の領域２０５に進入するか否かを判定する。右画像の第一の領域での移動歩行者検知処理３０５で検知した移動歩行者の画像上での移動速度を用いて、次のフレームで第二の領域２０５に進入すると判定した場合は、移動歩行者位置・速度出力処理３０７へ進み、次のフレームで第二の領域２０５に進入しないと判定した場合は、処理を終了する。

次に移動歩行者位置・速度出力処理３０７において、右画像の第一領域での移動歩行者検出処理３０５で検出した移動歩行者の候補の画像上の位置と速度を出力する。出力した結果は、第二の領域処理部１０５で移動歩行者を検知する際の初期値として利用する。

次に図４を用いて第二の領域処理部１０５で行われる処理を説明する。

距離情報取得処理４０１において、距離算出部１０３で算出した自車前方の対象物までの３次元の距離情報を取得する。距離算出部１０３で自車前方の対象物までの３次元の距離情報を取得する方法は後述する。

次に歩行者候補検出処理４０２において、距離情報取得処理４０１で取得した距離情報を用いて、まず、距離情報を可視化した距離画像において、距離画像を縦に分割した区分毎に、最も自車両に近い位置にある距離を１つずつ代表値として抽出し、その代表値の中で近くに存在する距離データどうしをグルーピングし、ある一定以上の大きさのグループを立体物とする。自車が走行する走行平面を推定し、走行平面から上部にある立体物を検出する。この立体物の抽出の処理に関しては、非特許文献「齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第１４回画像センシングシンポジウム講演論文集、ＩＮ２−１４（２００８）」に記載されている。

そして、検出した立体物の大きさと形状に基づき、検出した立体物が歩行者であるか否かを判定する。立体物の大きさについては、子供から大人までの歩行者の大きさの平均値を予め学習させておき、学習値の範囲内の大きさである場合は歩行者であると判定する。また、立体物の形については、検出した立体物の上方部分が人間の頭部と肩の形に似ている場合は歩行者であると判定する。さらには、歩行者と判定した立体物の中から、第二の領域２０５の第一の領域２０３、２０４に隣接する部分から、第二の領域の中央部に移動する立体物を抽出する。

次に、移動歩行者進入判定処理４０３にて、第一の領域２０３，２０４から第二の領域２０５に進入する移動歩行者がある場合は、移動歩行者位置・速度初期値入力処理４０４へ進み、第一の領域２０３，２０４から第二の領域２０５に進入する歩行者がない場合は、移動歩行者速度算出処理４０５へ進む。ここで、第一の領域から進入する移動歩行者があるかどうか判定するには、図３の第一の領域処理部１０４の処理フローの移動歩行者位置・速度出力処理３０４または３０７から結果の出力があった場合に、第一の領域から進入する移動歩行者があったと判定する。

次に、移動歩行者位置・速度初期値入力処理４０４では、移動歩行者位置・速度出力処理３０４，３０７で出力した移動歩行者の画面上の位置と速度を、歩行者候補検出処理４０２で検出した立体物の初期値とする。

次に移動歩行者速度算出処理４０５において、歩行者候補検出処理４０２で候補とした立体物に、移動歩行者位置・速度初期値入力処理４０４で得た位置と速度の初期値を与え、立体物の移動速度を求め、結果を移動歩行者の速度とする。この際、移動歩行者進入判定処理４０３で、第一の領域から第二の領域に進入する歩行者がないと判定して、移動歩行者の位置・速度の初期値がない場合は、速度の初期値は０として移動歩行者の速度を算出する。

次に図５を用いて、図１の距離算出部１０３で自車前方の対象物までの３次元距離情報を取得する方法を説明する。図５は、移動物体認識装置であるステレオカメラ装置の左撮像部で撮像した画像２０９と右撮像部で撮像された画像２１０の対応点６０１（左右撮像部で撮像された同一物体）のカメラからの距離を算出する方法を説明したものである。

図５において、左撮像部１０１は、レンズ６０２と撮像面６０３から成る焦点距離ｆ、撮像素子の光軸６０８のカメラであり、右撮像部１０２は、レンズ６０４と撮像面６０５から成る焦点距離ｆ、撮像素子の光軸６０９のカメラである。カメラ前方にある点６０１は、左撮像部１０１の撮像面６０３の点６０６（光軸６０８からｄ₂の距離）へ撮像され、左画像２０９では点６０６（光軸６０８からｄ₄画素の位置）となる。同様に、カメラ前方にある点６０１は、右撮像部１０２の撮像面６０５の点６０７（光軸６０９からｄ₃の距離）に撮像され、右画像２１０では点６０７（光軸６０９からｄ₅画素の位置）となる。

このように同一の物体の対応点６０１が、左画像２０９では光軸６０８から左へｄ₄画素の位置、右画像２１０では光軸６０９から右へｄ₅の位置に撮像され、ｄ₄＋ｄ₅画素の視差が発生する。このため、左撮像部１０１の光軸６０８と対応点６０１との距離をｘとすると、対応点６０１と左撮像部１０１との関係から ｄ₂：ｆ＝ｘ：Ｄ、対応点６０１と右撮像部１０２との関係から ｄ₃：ｆ＝（ｄ−ｘ）：Ｄ により、ステレオカメラ装置から対応点６０１までの距離Ｄを求めることができる。

従って、Ｄ＝ｆ×ｄ／（ｄ₂＋ｄ₃）＝ｆ×ｄ／（（ｄ４＋ｄ５）×ａ）となる。

ここで、ａは撮像面６０３，６０５の撮像素子のサイズである。

１０１：左撮像部、１０２：右撮像部、１０３：距離算出部、１０４：第一の領域処理部、１０５：第二の領域処理部、１０６：横切り歩行者判定部、１０７：横切り歩行者情報出力部、１０８：移動物体検出部、２０１：左撮像部の撮像範囲、２０２：右撮像部の撮像範囲、２０３：第一の領域、２０４：第一の領域、２０５：第二の領域、２０６：左撮像部の非重複領域、２０７：右撮像部の非重複領域、２０８：重複領域、２０９：左撮像部で撮像した画像、２１０：右撮像部で撮像した画像、３０１：左右画像取得処理、３０２：左画像の第一の領域での移動歩行者検出処理、３０３：第二の領域進入判定処理、３０４：移動歩行者位置・速度出力処理、３０５：右画像の第一の領域での移動歩行者検出処理、３０６：第二の領域進入判定処理、３０７：移動歩行者位置・速度出力処理、４０１：距離情報取得処理、４０２：歩行者候補検出処理、４０３：移動歩行者進入判定処理、４０４：移動歩行者位置・速度初期値入力処理、４０５：移動歩行者速度算出処理、６０１：対応点、６０２：レンズ、６０３：撮像面、６０４：レンズ、６０５：撮像面、６０６：点、６０７：点、６０８：光軸、６０９：光軸

Claims (4)

1. 第１の撮像部と、
   第２の撮像部と、
   前記第１の撮像部及び前記第２の撮像部で撮像した画像に基づいて移動物体を検出する移動物体検出部と、を有し、
   前記移動物体検出部は、前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域とが重複しない非重複領域を第一の領域、前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域とが重複する重複領域を第二の領域、とした場合、前記第一の領域と前記第二の領域とで、移動物体の検出方法が異なり、
   前記移動物体検出部は、
   前記第１の撮像部及び前記第２の撮像部で撮像した画像に基づいて、移動物体までの距離を算出する距離算出部と、
   前記第一の領域の画像から移動物体を検知する第一の領域処理部と、
   前記距離算出部で算出された前記移動物体までの距離と、前記第一の領域処理部での前記移動物体の検知結果と、に基づいて前記第二の領域の画像から移動物体を検知する第二の領域処理部と、を有し、
   前記第一の領域処理部は、
   前記第１の撮像部で撮像した第１の画像と、前記第２の撮像部で撮像した第２の画像を取得する画像取得部と、
   前記第１の画像又は前記第２の画像の前記第一の領域において時系列の画像情報を用いて移動物体候補を検出する移動歩行者検出部と、
   前記移動歩行者検出部で検出された前記移動物体候補が前記第二の領域に進入するか否かを判定する第二の領域進入判定部と、
   前記第二の領域進入判定部にて前記移動物体候補が前記第二の領域に進入すると判定された場合、前記移動物体候補の画像上の位置と速度の情報を出力する移動歩行者位置速度出力部と、を有し、
   前記第二の領域処理部は、
   前記距離算出部で算出された前記移動物体までの距離情報を取得する距離情報取得処理部と、
   前記距離情報取得処理部で取得した前記距離情報から距離画像を生成し、前記距離画像から前記移動物体が歩行者か否か判定し、歩行者候補を検出する歩行者候補検出部と、
   前記歩行者候補検出部で検出された歩行者候補において前記第一の領域から前記第二の領域に移動する歩行者が存在するか否かを判定する移動歩行者進入判定部と、
   前記移動歩行者進入判定部において、歩行者が存在すると判定された場合、前記移動歩行者位置速度出力部で出力された前記移動物体候補の画像上の位置と速度の情報を前記歩行者の初期値として設定する移動歩行者位置速度初期値入力部と、
   前記初期値として設定された前記歩行者の位置及び速度からの前記歩行者の移動速度を得る移動歩行者速度算出部と、を有する移動物体認識装置。
2. 請求項１記載の移動物体認識装置において、
   前記第一の領域においては、前記第１の撮像部又は前記第２の撮像部で撮像した１つの画像に基づいて移動物体の検出し、
   前記第二の領域においては、前記第１の撮像部及び前記第２の撮像部で撮像した２つの画像に基づいて移動物体の検出する移動物体認識装置。
3. 請求項１記載の移動物体認識装置において、
   前記距離算出部は、前記第二の領域において、前記第１の撮像部及び前記第２の撮像部で撮像した画像の見え方のずれから三次元の距離情報を算出する移動物体認識装置。
4. 請求項１記載の移動物体認識装置において、
   前記第二の領域処理部で検知された前記移動物体が自車と衝突するか否か、又は衝突する可能性を判定する衝突判定部と、
   前記衝突判定部による判定結果に基づいて、前記移動物体の情報を出力する移動物体情報出力部と、を有する移動物体認識装置。