WO2008044592A1

WO2008044592A1 - Mobile object recognizing device, mobile object recognizing method, and computer program

Info

Publication number: WO2008044592A1
Application number: PCT/JP2007/069463
Authority: WO
Inventors: Tokihiko Akita; Keita Hayashi
Original assignee: Aisin Seiki Kabushiki Kaisha
Priority date: 2006-10-06
Filing date: 2007-10-04
Publication date: 2008-04-17
Also published as: US20090252377A1; EP2081154B9; US8290209B2; EP2081154B1; EP2081154A4; EP2081154A1; JP2008097126A; JP4367475B2

Description

明細書

移動物体認識装置、移動物体認識方法及びコンピュータプログラム技術分野

[0001] 本発明は、画像を用いて移動物体を認識する移動物体認識装置、移動物体認識方法及びコンピュータプログラムに関する。

背景技術

[0002] 近年、車両をより安全に運転できるように運転者に他車の接近を知らせる目的で、車両に接近してくる移動物体、とりわけ進行方向の後方から接近する車両等を検知する技術が提案されている。

[0003] 例えば、特許文献 1の技術は、撮像画像から導出されたオプティカルフローと、車速センサによる自車の走行速度に対応したオプティカルフローとの一致、不一致に基づいて、斜め後方の走行車を検出するものである。

[0004] 特許文献 2は、喑所を走行している場合においても他車両を認識するための技術が記載されている。特許文献 2の技術は、自車両の後側方を撮像した所定時間相前後する 2画像中における同一点について、当該点の無限遠点から発散する方向の移動をオプティカルフローとして検出する。そして、自車両の走行方向情報及び走行距離情報に基づいて算出した移動量により、オプティカルフローの無限遠点の位置を変更する。

[0005] 特許文献 3は、自車が直進走行して!/、な!/、状況にお!/、ても得られたオプティカルフローから車両周囲の移動物体を認識する技術が記載されている。特許文献 3の技術は、時系列の画像から算出されたオプティカルフローを、変化が連続的な複数群に分類する。一方、車速センサ及びョーレートセンサから推定した自車の運動方向に基づいてオプティカルフローを補正する。そして、補正されたオプティカルフロー群から移動物体を抽出し、相対速度を演算する。

特許文献 1：特開平 6— 130076号公報

特許文献 2：特開平 9 86314号公報

特許文献 3 :特開平 6— 282655号公報発明の開示

発明が解決しょうとする課題

[0006] 従来技術は画像を使って後側方からの接近車を認識するものである力これらは、

2枚の時系列画像からオプティカルフローを抽出し、オプティカルフローから接近車両を検出する技術を基本としてレ、る。

[0007] 特許文献 1の技術では、オプティカルフローと自車速の差から移動体を検出している。画像面上では自車速は背景のオプティカルフローに対応している。背景とは異なるオプティカルフローを移動体と認識できる力 S、オプティカルフローをグルーピングしないので、移動体ごとの対応が取れない。

[0008] 特許文献 2は、無限遠点からのオプティカルフローの方向力移動体を検出している力これも見かけ上 (画像面上)のフローをグルーピングすることはできない。

[0009] 特許文献 3は、変化が連続的なオプティカルフローを複数群に分けている力変化の連続性だけでは画像上の位置で幾何学的な大きさが異なる為、グルーピングができない場合がある。特に広角レンズを使用する場合、同一移動物体のオプティカルフローであっても接近時に広がりが大きいため、方向や大きさが変わってしまいグルービングが難しく、間違えてしまう場合があった。

[0010] 本発明は、上記事情に鑑みてなされたものであり、画像から移動物体を正確に検出できる移動物体認識装置を提供することを目的とする。

課題を解決するための手段

[0011] 上記目的を達成するため、本発明の第 1の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、 1つの移動物体に属するォプティカルフローとして選択するグルーピング手段と、を備えることを特徴とする。

[0012] 好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。

[0013] さらに、前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えてもよい。

[0014] 本発明の第 2の観点に係る移動物体認識装置は、時系列の画像を撮像する撮像手段と、前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するォプティカルフロー生成手段と、前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも 1つの特徴点までの距離を検知する距離検知手段と、前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、前記変位算出手段で算出された変位が等しい特徴点を 1つの移動物体に属する特徴点として選択する等変位点選択手段と、を備えることを特徴とする。

[0015] 好ましくは、前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする。

[0016] さらに、前記距離検知手段は、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、 1つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、前記グルーピング手段でグルーピングしたォプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、を備え、前記距離算出手段で算出した距離を特徴点までの距離としてもよい。 [0017] なお、前記距離検知手段は、光、電磁波もしくは音波などを用いる物理的手段によつて前記移動物体までの距離を計測する構成としてもよい。

[0018] 本発明の第 3の観点に係る移動物体認識方法は、時系列の画像を入力する撮像ステップと、前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽出ステップと、前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成ステップと、前記オプティカルフローのうち、前記ォプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記ォプティカルフローの延長線において前記オプティカルフローの一方の端点を外分点として

、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しレ、オプティカルフローを選択するグルーピングステップと、を備えることを特徴とする。

[0019] 好ましくは、前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする。

[0020] 本発明の第 4の観点に係るコンピュータプログラムは、コンピュータを、時系列の画像を撮像手段から入力する画像入力手段と、画像入力手段で入力した時系列の各画像の特徴点を抽出する特徴点抽出手段と、前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフ口一を生成するオプティカルフロー生成手段と、前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1 点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記ォプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフローを、 1つの移動物体に属するオプティカルフローとして選択するグルーピング手段、として機能させることを特徴とする。

発明の効果

[0021] 本発明の移動物体認識装置によれば、時系列の画像から抽出した特徴点のォプティカルフローを、移動物体毎に正しくグルーピングして移動物体を検出できる。図面の簡単な説明

[図 1]本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。

[図 2]移動物体認識装置の物理的な構成の一例を示すブロック図である。

[図 3]オプティカルフローを説明する図である。

園 4]車両のカメラ取り付け位置の例を示す図である。

園 5]広角レンズの後方モニタカメラで撮像した画像の例である。

[図 6]図 5の歪みを補正した画像の例である。

[図 7]図 6の画像を正規化した画像を示す図である。

[図 8]オプティカルフローの例を示す図である。

園 9]オプティカルフローと消失点の外分比を変形した直線の式の X成分（a)と y成分

[図 10]オプティカルフローの世界座標を XY平面に投影した図である。

[図 11]移動物体認識の動作の一例を示すフローチャートである。

[図 12]実施の形態 2に係る移動物体認識装置の論理的な構成の例を示すブロック図である。

[図 13]実施の形態 2の移動物体認識の動作の一例を示すフローチャートである。符号の説明

1 移動物体認識装置

2 カメラ (撮像手段）

3 距離計測器 (距離検知手段）

5 データ保持部

7 表示装置

10 内部バス

11 制御部（特徴点抽出手段、オプティカルフロー生成手段、グルーピング手段、変位算出手段、等変位点選択手段、画像補正手段）

12 主記憶部 13 外部記憶部

14 操作部

15 画面表示部

16 送受信部

21 画像入力部

22 画像補正部（画像補正手段）

23 特徴点抽出部 (特徴点抽出手段）

24 オプティカルフロー生成部（オプティカルフロー生成手段）

25 グルーピング処理部（グルーピング手段）

26 移動物体判定部

27 表示処理部

28 データ取得部

29 等変位点抽出処理部 (変位算出手段、等変位点選択手段)

51 収集時系列画像データ

52 補正時系列画像データ

53 特徴点データ

54 オプティカルフローデータ

55 グルーピングデータ

56 距離データ

発明を実施するための最良の形態

[0024] 以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。本発明に係る移動物体認識装置の一実施の形態として、車両の移動物体認識装置につ!/、て、図を参照して説明する。

[0025] (実施の形態 1)

図 1は、本発明の一実施の形態である移動物体認識装置の論理的な構成を示すブロック図である。移動物体認識装置 1は、カメラ 2、画像入力部 21、画像補正部 22 、特徴点抽出部 23、オプティカルフロー生成部 24、グルーピング処理部 25、データ保持部 5、移動物体判定部 26、表示処理部 27、表示装置 7などから構成される。データ保持部 5には、収集時系列画像データ 51、補正時系列画像データ 52、特徴点データ 53、オプティカルフローデータ 54、グルーピングデータ 55が記憶保持される。移動物体認識装置 1は、車両の周囲に移動物体があるかどうか、また、どのような移動物体であるかを認識する。特に、移動物体認識装置 1は、車両進行方向の後方から接近する車両等を検出する。

[0026] ここで、オプティカルフローとそのグルーピング手法について説明する。図 3は、ォプティカルフローを説明する図である。図 3では、移動物体として車両がカメラ 2の方に近づいてくる場合を模式的に示す。現在の画像 Π における特徴点を xli (i= l . . . n)とする。過去の画像 Π における xliに対応する特徴点を x2iとする。現在の画像

2

Π に過去の画像 Π の特徴点 x2iを重ねて表したときに、 x2iから xliに向力、うベクトル

[0027] 画像が透視図である場合は、カメラ 2に固定された座標（カメラ座標）に対して平行に（カメラ座標で直進）運動する物体の特徴点のオプティカルフローを延長すると、画像上で、ある 1点で交わる（図 3)。カメラ座標に対して各特徴点は平行な直線を描くので、これを透視図法で見れば平行線は 1点で交わるからである。この点を消失点（ FOE : Focus Of Expansion)という。異なる移動物体が互いに平行に移動していなければ、それらのオプティカルフローは異なる消失点で交わる。

[0028] カメラ座標に対して平行に移動している 1つの物体のオプティカルフローは、画像が透視図の場合は次の関係が成り立つ。

ここで、 xliは現在の画像 Π 1の特徴点の画像上の座標、 x2iは過去の画像 Π 2の特徴点の画像上の座標、 xfoeは消失点の画像上の座標、 Cは定数である。

[0029] すなわち、オプティカルフローの一方の端点である現在の画像の特徴点 xliを外分点として、オプティカルフローの過去の画像の特徴点 x2i (他方の端点）と消失点 xfoe とを結ぶ線分の外分比力 1つの平行移動する物体では一定である。したがって、 1 点の消失点で交わり、かつ、上記の外分比が等しいオプティカルフローを 1つの物体のオプティカルフローとしてグルーピングできる。外分比としては上記のほかに、例えば、消失点を外分点として、オプティカルフローの外分比をとつても 1つの平行移動物体では一定である。

[0030] 図 1に戻って、移動物体認識装置 1の各部の作用を説明する。カメラ 2は画像を撮像しデジタル画像データに変換する。画像入力部 21は、一定時間間隔でカメラ 2から時系列の画像データを入力し、画像データを収集時系列画像データ 51としてデータ保持部 5に保存する。

[0031] 移動物体を撮像するカメラ 2として、例えば図 4に示すような車両 4の後方モニタ用のカメラ 2を利用することができる。後方モニタ用のカメラ 2を用いることによって、新たにカメラ 2を設ける必要がなぐ低コストで移動物体認識装置 1を構成できる。

[0032] 駐車支援の後方モニタカメラは広角レンズであるので、画像の周辺が歪んでおり、遠方の分解能が低い。また、後方モニタカメラは取り付け位置が低い。これらの条件は、実世界座標として画像を処理するのに都合が悪ぐ接近する移動物体を認識するのを難しくしている。

[0033] そこで、撮像した画像の歪みを補正する。図 1の画像補正部 22は、撮像した画像をレンズの特性に応じて歪みを補正し、透視図の画像に変換する。画像補正部 22は、補正した画像を補正時系列画像データとしてデータ保持部 5に保存する。

[0034] 透視図の画像の座標 (X, y)とそれに対応する補正前画像の座標 (χ' , y' )は次の式の関係がある。

χ' = r'！ r . (x - x₀ ) + χ'₀ , ν'= /·' / r - y - ν₀ ) + y ここで、（xO, yO)は補正画像の歪み中心座標、（x'0、y'0)は補正前の画像の歪み中心座標である。 fn(r)はカメラレンズ歪み特性関数である。

さらに、カメラ 2の向きを水平にした場合の画像に変換してもよい。カメラ 2の向きを変える場合の変換は、変換前の座標を (χ' , y )、変換後の座標を (χ' , y )として、次の式で表される。

國 χ,,_ ^ ( -^y'。)+ ^ (v'— '。)+ ニ + 4 . 二！ „ ' ヌ,,― __e0

ここで、 0はカメラ 2のチルト角、 ζはスケール因子、 e0は画像変換前の消失点と画像中心の距離、 H= [hij]は画像変換行列をそれぞれ表す。

[0036] 図 5は、広角レンズの後方モニタカメラで撮像した画像の例である。図 6は、図 5の歪みを補正した画像の例である。図 5では、路面の白線が湾曲しているが、図 6の補正画像では直線道路の白線が補正されて直線になっている。図 7は図 6の画像を正規化した画像を示す。これは、さらにカメラ 2の向きを水平にして撮像した画像に変換したものである。図 6では、鉛直線が下方の 1点に収束する力図 7ではカメラ 2の向きを水平に補正して!/、るので、鉛直線が平行になって!/、る。

[0037] 次に補正された時系列の画像データから、画像間の比較を行うための特徴点を抽出する。特徴点抽出部 23は、補正時系列画像データ 52から特徴点を抽出し、特徴点を特徴点データ 53としてデータ保持部 5に保存する。オプティカルフロー生成部 2 4は、特徴点を画像間で比較してパターンの相関の高い特徴点を結ぶベクトルをォプティカルフローとして生成する。オプティカルフロー生成部 24は、生成したォプティカルフローをオプティカルフローデータ 54としてデータ保持部 5に保存する。特徴点抽出とオプティカルフロー生成の方法を次に説明する。

[0038] 背景差分によって得られた探索領域に対して、接近物体を検出するため、動きべクトルを算出する。動きベクトルの算出方法には各種考えられる力比較的環境の変化に強!/、テンプレートマッチングを採用することができる。テンプレートマッチングには追跡しやすい画像ブロックを選択することが重要である。例えば、 KLT特徴点計算法を用いることができる。

[0039] 輝度勾配 VI= [Ix, Iy] Tのモーメント行列を、

[数 4] b Ixly

Iylx ダとおく。ここで、

[数 5コ

Ix =— , Iv =—

dx dy である。 KLT特徴量を λ 2/ λ 1 (行列 Μ (χ, y)の条件数 =固有値の比）、もしくは m in ( λ 2, λ ΐ)として、 KLT特徴点計算法は次の計算式で表される。

[数 6]

Ix¹ + Iy¹ (Ix¹—か² )² ₂

=—— ^—— + J , + W

[0040] 得られた特徴点の周りにテンプレートを設定し、時系列の後の画像か

トと相関の高い領域を探索する。その移動ベクトルが動きベクトル (オプティカルフロ一）として得られる。テンプレートマッチングの手法として、正規化相関法 (NCC)を採用できる。正規化相関法の類似度 RNCCは次の式によって求められる。

[数 7]

ここで、 Iは N行 X M列の領域の輝度値ベクトル、 Tは N行 X M列のテンプレート領域の輝度値ベクトルである。変数の上のバーはそれぞれの領域内の平均値を表す。

[0041] 領域の全探索を行うと計算量が大きいので、状況に応じて物体の移動制約量を想定し、その制約された領域のみを探索して計算量を低減する。例えば、接近方向以外は探索しない。または、過去の移動量から物理的に可能性が低い領域は探索しない、等である。さらに、カメラ 2に近い物体は画像上で移動量が大きいので階層化処理を行い、上位階層でのマッチングで探索領域を絞った上で詳細探索することによつて、計算量を低減できる。

[0042] 図 8は、オプティカルフローの例を示す。白抜きの四角が前回フレームの特徴点、白抜きの丸がそれと相関値の高い最新フレームの点を表す。 1つの移動物体のォプティカルフローであっても、例えば、フロントグリルのオプティカルフローと後輪のォプティカルフローでは、方向と長さが異なり、 1つの移動物体のオプティカルフローとしてグノレ一ビングするのは難し!/、。

[0043] そこで、前述のとおり、 1点の消失点で交わり、かつ、数 1の外分比が等しいォプティカルフローを 1つの物体のォプティカルフ口一としてグルーピングする。グルーピング処理部 25は、例えば、次のようにオプティカルフローをグルーピングする。

[0044] 数 1は 2つのパラメータ（消失点と外分比定数）があり、各オプティカルフローに対して、パラメータが同様の値であることがグルーピングの条件である。そこで、数 1を 2つの変数に対する直線の式に変形する。

[数 8コ

dxi =し - xli― C丄

ここで、 dxi = xli— x2i、 C l = C * xfoeである。

[0045] 各オプティカルフローに対して、 dxiと xliを X座標と y座標それぞれについて平面にプロットすると、図 9のようになる。図 9 (a)は、 xliの X座標に対する dxiの X成分を示す。図 9 (b)は、 xliの y座標に対する dxiの y成分を示す。

[0046] 図 9のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングできる。直線上にあるかどうかを判定するには種々の方法がある力 ^s、例えば、 RANSAC (RANdom SAmple Consensu s)を用いること力 Sできる。 RANSACは任意の 2点を選んで、その 2点を結ぶ直線の一定許容幅内にある点の数を数え、最も点数の多レ、直線を選択するアルゴリズムである。選択された直線の一定許容幅内にある点を 1つのオプティカルフローのグループとする。

[0047] 1つのグループに分類された点を除いて、さらにある誤差を許容して直線上にある点を選択することによって、別の移動物体に属するオプティカルフローをグルーピングできる。これを繰り返して、複数の移動物体を認識することができる。

[0048] グルーピング処理部 25は、グルーピングしたオプティカルフローのデータをグルービングデータ 55としてデータ保持部 5に保存する。移動物体判定部 26は、グルーピングデータ 55から移動物体を判定する。例えば、特徴点の配置から移動物体の大きさ、車種などを判定する。また、移動物体判定部 26は、移動物体までの距離を算出することあでさる。

[0049] オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、次の式で移動物体までの距離を算出することができる。ここでの距離 Zは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平 (路面に平行）とする。画像平面座標を (u, V)、世界座標を（ X, Υ, Z)、画像中心座標を（cu、 cv)とする。 U = u— cu、 V =v—cvとおく。

[数 9コ

ここで、 fはカメラ 2の焦点距離、 δ u、 δ νはそれぞれ横方向、縦方向の画素の物理的間隔、 hは路面からのカメラ高さである。また、 R= [rij]は射影変換行列係数の回転行列、 T= [tk]^Tは射影変換行列係数の平行移動ベクトルである。

[0050] 表示処理部 27は、移動物体判定部 26で判定した結果を表示装置 7に表示する。

例えば、後方の接近車の位置の自車両との関係を平面図で示す。また、表示装置 7 の表示は、音声又はチャイムなどの音響を伴ってもょレ、。

[0051] 図 2は、移動物体認識装置 1の物理的な構成の一例を示すブロック図である。図 1 に示す本発明の移動物体認識装置 1は、ハードウェアとしては図 2に示すように、制御部 11、主記憶部 12、外部記憶部 13、操作部 14、画面表示部 15、送受信部 16、カメラ 2、距離計測器 3及び表示装置 7から構成される。制御部 11、主記憶部 12、外部記憶部 13、操作部 14、画面表示部 15及び送受信部 16はいずれも内部バス 10を介して制御部 11に接続されて!/、る。 [0052] 制御部 11は CPU (Central Processing Unit)等から構成され、外部記憶部 13に記憶されているプログラムに従って、画像入力部 21、画像補正部 22、特徴点抽出部 2 3、オプティカルフロー生成部 24、グルーピング処理部 25、移動物体判定部 26及び表示処理部 27の処理を実行する。画像入力部 21、画像補正部 22、特徴点抽出部 2 3、オプティカルフロー生成部 24、グルーピング処理部 25、移動物体判定部 26及び表示処理部 27は、制御部 11とその上で実行されるプログラムで実現される。

[0053] 主記憶部 12は RAM (Random-Access Memory)等から構成され、制御部 11の作業領域として用いられる。データ保持部 5は、主記憶部 12の一部に記憶領域の構造体として記憶保持される。

[0054] 外部記憶部 13は、フラッシュメモリ、ハードディスク、 DVD (Digital Versatile Disc)、 DVD― RAM (Digital Versatile Disc Random-Access Memory)、 DVD— RW (Digit al Versatile Disc Rewritable)等の不揮発性メモリから構成され、前記の処理を制御部 11に行わせるためのプログラムを予め記憶し、また、制御部 11の指示に従って、このプログラムのデータを制御部 11に供給し、制御部 11から供給されたデータを記憶する。例えば、時系列画像データは、外部記憶部 13に格納されている場合がある。

[0055] 操作部 14は、オペレータが移動体認識装置 1に指令を与えるために、キースィッチ、ジョグダイヤル、キーボード及びマウスなどのポインティングデバイス等と、それらを内部バス 10に接続するインタフェース装置を備える。操作部 14を介して、移動物体認識判定条件の入力、移動物体認識の開始などの指令が入力され、制御部 11に供糸 m る。

[0056] 表示装置 7は、 CRT (Cathode Ray Tube)または LCD (Liquid Crystal Display)などから構成され、操作部 14から入力された指令に応じた制御部 11の命令によって、収集時系列画像データ 51、補正時系列画像データ 52、移動物体判定結果などを表示する。画面表示部 15は、表示装置 7に表示する画面のデータを、表示装置 7を駆動する信号に変換する。

[0057] 表示装置 7は、スピーカ又はブザーなどを備えてもよい。その場合、画面表示部 15 は、音声又はチャイムなどの音響を表示装置 7から出力させる。

[0058] カメラ 2は、例えば、 CCDなどでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。距離計測器 3は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などであって、物体までの距離を電気信号として出力する。実施の形態 1では、距離計測器 3は用いない。後述する実施の形態 2で物体までの距離を測定するのに用いる。

[0059] 送受信部 16は、モデム又は網終端装置、及びそれらと接続するシリアルインタフエース又は LAN (Local Area Network)インタフェースから構成されている。制御部 11 は、送受信部 16を介して、カメラ 2又は距離計測器 3から時系列データを入力する。

[0060] つぎに、移動物体認識装置 1の動作について説明する。なお、上述のように、移動物体認識装置 1の動作は、制御部 11が主記憶部 12、外部記憶部 13、操作部 14、画面表示部 15及び送受信部 16と協働して行う。

[0061] 図 11は、移動物体認識の動作の一例を示すフローチャートである。制御部 11は送受信部 16を介してカメラ 2から時系列の画像を入力する (ステップ Al)。そして、前述のとおり、カメラ 2のレンズ特性に応じて画像を補正する（ステップ A2)。さらに、カメラ 2のチルト角を補正して水平方向の画像に正規化してもよい。

[0062] 制御部 11は、補正された画像の特徴点を、例えば前述の KLT特徴点抽出法で抽出する（ステップ A3)。制御部 11は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップ A4)。

[0063] 次にオプティカルフローをグルーピングする（ステップ A5)。前述のとおり、図 9のようにプロットした点のうち、ある誤差を許容して直線上にある点を同一の移動物体に属するオプティカルフローとしてグルーピングする。直線上にあるかどうかを判定するには、例えば、 RANSACを用いる。そして、グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップ A6)。さらに、ォプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数 9に示した方法で移動物体までの距離を算出してもよい。

[0064] 移動物体が認識された場合は（ステップ A7； Yes)、制御部 11は、画面表示部 15 を介して、表示装置 7にその情報を表示する（ステップ A8)。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、表示装置 7は、音声又はチャイムなどの音響で運転者にしらせてもよい。そして、時系列画像データ入力（ステップ A1) にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は (ステップ A 7 ; No)、表示を行わずに移動物体認識を繰り返す (ステップ Al)。

[0065] 本発明の移動物体認識装置 1によれば、時系列の画像データから生成されたォプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識すること力 Sできる。また、カメラ 2のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データ力、ら生成されたオプティカルフローを、移動物体ごとに正しくグルーピングできる。

[0066] (実施の形態 2)

次に、オプティカルフローにおける特徴点の座標を算出し、 2つの画像間の変位が等しい特徴点を 1つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置 1について説明する。図 12は、本発明の実施の形態 2に係る移動物体認識装置 1の論理的な構成の例を示すブロック図である。

[0067] 移動物体認識装置 1は、カメラ 2、距離計測器 3、データ取得部 28、画像補正部 22 、特徴点抽出部 23、オプティカルフロー生成部 24、等変位点抽出処理部 29、データ保持部 5、移動物体判定部 26、表示処理部 27、表示装置 7などから構成される。データ保持部 5には、収集時系列画像データ 51、距離データ 56、補正時系列画像データ 52、特徴点データ 53、オプティカルフローデータ 54、グルーピングデータ 55 が記憶保持される。

[0068] カメラ 2、画像補正部 22、特徴点抽出部 23、オプティカルフロー生成部 24、移動物体判定部 26、表示処理部 27、表示装置 7は、実施の形態 1と同様である。

[0069] 距離計測器 3は、例えば、ミリ波レーダ、レーザ距離計、超音波距離計などの物理的方法によって距離を測定する計測器であって、カメラ 2で撮像する方向にある物体までの距離を計測する。データ取得部 28は、カメラ 2から時系列の画像を取得して、該画像を収集時系列画像データ 51としてデータ保持部 5に保存する。また、データ取得部 28は、距離計測器 3のデータを取得し、該データを距離データ 56としてデータ保持部 5に保存する。

[0070] 等変位点抽出処理部 29は、特徴点までの距離とその特徴点を含むオプティカルフローから、そのオプティカルフローにおける特徴点の変位を算出する。また、等変位点抽出処理部 29は、算出した変位が等しい特徴点を 1つの移動物体に属する特徴点としてグルーピングする。そして、等変位点抽出処理部 29は、グルーピングしたォプティカルフローのデータをグルーピングデータ 55としてデータ保持部 5に保存するオプティカルフローの端点である特徴点までの距離から、以下の式で特徴点の世界座標 (X, Y)を算出することができる。ここでの距離 Zは、カメラから物体の特徴点までの距離の撮像方向への方向余弦である。撮像方向はカメラの光軸の向きであるが、画像を水平方向に正規化した場合は、水平方向（路面に平行）である。以下は、撮像方向を水平 (路面に平行）とする。特徴点の画像平面における座標を (u, V)、世界座標を（X, Υ, Z)、画像中心座標を（cu、 cv)とする。（Xnum, Ynum)はオプティカルフローの始点の世界座標である。始点の世界座標として、前回計算した値を用いること力 Sできる。

[数 10]

+ (c_u -u)(r_i2t₂ -r₂₂t_i)S_v +(c_v -vXr₁₂t_i-r_i2t₁)S_u +(r_ut₂ -r₂₂t₁)S_liS_v

-― " X num.

^Ynu_m = (^cu — ")(''₂₁'w— + - ^{v r},i^ru - ^rn^} )^Su^Z + - ^}n^} )^Su^S,^Z

+ — ") ' 3— ^Λ) +^_v -vXr₃₁t₁ -r₁₁t_i)S_u +(r₂₁t₁ -r₁₁t₂)S_uS_v γ― Y num

i^cu -ii ''₃i''₂₂ -r_i2r_n)S_v +(c_v - v)(r_nr_i2 - r₁₂r₃₁)^ + (r_nr₂₂ - r₁₂r_n )S_uS_v ここで、 Su、 Svはスケールファクタ、 R=[rij]は射影変換行列係数の回転行歹 IJ、 T = [tk]^Tは射影変換行列係数の平行移動ベクトルである。すなわち、 6 Pan、 Θ Tilt, Θ Rollをカメラ取り付け角度、 T、 T、 Tをカメラ取り付け位置として、射影変換行列

X Y Z

係数は次の式で表される。

[数 11]

' ^ θ_ραη 。 θ 0、[ 。。 0、(co - sin ¾_oii 。 0丫 1 0 。 Τ_χ、

0 1 0 0 0 cos ¾_;i - ^ e_m 0 sin 9_Roll cos ¾_oii 0 0 0 1 0 Γ₇

~ - sm 0_Pa„ 0 cos O_Pa„ 0 0 sm θ_ΉΙί cos O_TlJl 0 0 0 1 0 0 0 1

、 0 0 0 1 j、0 0 0 1 0 0 0 1 J o 0 0 \ _J

[0072] 端点の zに関して、始点の z座標は前回計算した値、終点の z座標はオプティカルフローの最下点を路面と仮定して数 9で計算した値とすることができる。すなわち、実施の形態 1で計算した距離 Zを用いることができる。その場合、距離計測器 3は用いなくてもよい。

[0073] 特徴点それぞれの距離 Zを計測して、特徴点の世界座標を計算すれば、世界座標における変位 (ベクトル）が等しい特徴点を 1つの移動物体に属するものとして、グノレ一ビングできる。近似的には、処理領域の特徴点までの距離 Zを 1つの値で代表して、距離 z (撮像方向への方向余弦）が同じとみなして世界座標を計算してもよい。近似的には、例えば次のようにグルーピングする。

[0074] 算出した端点を始点から終点へのベクトルとして、（X, Y)座標を平面にプロットすると、図 10のようになる。このベクトルの方向と長さが同様のもの、すなわち、変位が所定の誤差範囲で等しいオプティカルフローを、 1つの移動物体に属する特徴点としてグルーピングする。グルーピングされたオプティカルフローから移動物体を判定し、表示処理することは、実施の形態 1と同様である。

[0075] 次に、オプティカルフローにおける特徴点の座標を算出し、 2つの画像間の変位が等しい特徴点を 1つの移動物体に属する特徴点としてグルーピングする場合の移動物体認識装置 1の動作につ!/、て説明する。実施の形態 2における移動物体認識装置 1の物理的な構成は、例えば図 2で示される。図 13は、実施の形態 2の移動物体認識の動作の一例を示すフローチャートである。

[0076] 制御部 11は送受信部 16を介してカメラ 2から時系列の画像を入力する（ステップ B D oまた、制御部 11は距離計測器 3から距離データ 56を入力する (ステップ B2)。距離 Zをオプティカルフローの最下点を路面と仮定して数 9で計算した値とする場合は、前回の値を用いる。前述のとおり、制御部 11はカメラ 2のレンズ特性に応じて画像を補正する（ステップ B3)。さらに、カメラ 2のチルト角を補正して水平方向の画像に正規化してもよい。

[0077] 制御部 11は、補正された画像の特徴点を、例えば前述の KLT特徴点抽出法で抽出する（ステップ B4)。制御部 11は、抽出した特徴点を時系列の画像間で比較し、前述のテンプレートマッチングでオプティカルフローを生成する（ステップ B5)。

[0078] 次に、オプティカルフローと距離 Zから特徴点の世界座標を計算する（ステップ B6) 。距離 Zをオプティカルフローの最下点を路面と仮定して数 9で計算した値とする場合は、前回の最下点だった特徴点のオプティカルフローから距離 Zを計算する。そして、等変位点をグルーピングする（ステップ B7)。前述のとおり、図 10のようにプロットしたベクトルのうち、ある誤差を許容して同じ方向と大きさのベクトルを同一の移動物体に属するオプティカルフローとしてグルーピングする。

[0079] グルーピングされたオプティカルフローに属する特徴点のパターンから、移動物体を判定する（ステップ B8)。さらに、オプティカルフローの最下点を路面（自車と同じ平面上にある）と仮定して、数 9に示した方法で移動物体までの距離を算出してもよい。

[0080] 移動物体が認識された場合は（ステップ B9 ; Yes)、制御部 11は、画面表示部 15を介して、表示装置 7にその情報を表示する（ステップ B 10)。例えば、後方の接近車の位置を自車両との関係で平面図に示す。また、表示装置 7は、音声又はチャイムなどの音響で運転者にしらせてもよい。そして、時系列画像データ入力（ステップ B1)にもどって、移動物体認識を繰り返す。移動物体が認識されない場合は (ステップ B9 ; N o)、表示を行わずに移動物体認識を繰り返す (ステップ Bl)。

[0081] 本発明の移動物体認識装置 1によれば、時系列の画像データから生成されたォプティカルフローを、移動物体ごとに正しくグルーピングできる。その結果、移動物体を正確に認識すること力 Sできる。また、移動物体認識装置 1は、カメラ 2のレンズ特性に応じて画像を補正するので、例えば、広角レンズを使用する後方カメラなどであっても、補正された画像データから生成されたオプティカルフローを、移動物体ごとに正しくグノレーピングできる。

[0082] その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更及び修正が可能である。

[0083] 制御部 11、主記憶部 12、外部記憶部 13、操作部 14、画面表示部 15、送受信部 1 6及び内部バス 10などから構成される移動物体認識装置 1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、 CD-ROM, DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する移動物体認識装置 1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプロダラムを格納しておき、通常のコンピュータシステムがダウンロード等することで移動物体認識装置 1を構成してもよい。

[0084] また、移動物体認識装置 1の機能を、 OS (オペレーティングシステム）とアプリケーシヨンプログラムの分担、または OSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

[0085] また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板 (BBS, Bulletin Board Syste m)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、 OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行でさるように構成してあよい。

[0086] 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

[0087] 本出願は、 2006年 10月 6日に出願された日本国特許出願 2006— 275387号に基づく。本明細書中に日本国特許出願 2006— 275387号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。産業上の利用可能性

本発明は、時系列の画像から抽出した特徴点のオプティカルフローを、移動物体毎に正しくグルーピングして移動物体を検出するための移動物体認識装置に利用できる。

Claims

請求の範囲

[1] 時系列の画像を撮像する撮像手段と、

前記撮像手段で撮像した前記時系列の各画像の特徴点を抽出する特徴点抽出手段と、

前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、

前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記ォプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフロ一を、 1つの移動物体に属するオプティカルフローとして選択するグルーピング手段と、

を備えることを特徴とする移動物体認識装置。

[2] 前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、

前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項 1に記載の移動物体認識装置。

[3] 前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段を備えることを特徴とする請求項 1に記載の移動物体認識装置。

[4] 時系列の画像を撮像する撮像手段と、

前記撮像手段から、前記特徴点抽出手段で抽出した少なくとも 1つの特徴点までの距離を検知する距離検知手段と、

前記距離検知手段で検知した特徴点までの距離と前記特徴点を含むオプティカルフローから、前記オプティカルフローにおける特徴点の変位を算出する変位算出手段と、

前記変位算出手段で算出された変位が等しい特徴点を 1つの移動物体に属する特徴点として選択する等変位点選択手段と、

を備えることを特徴とする移動物体認識装置。

[5] 前記撮像手段で撮像した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正手段を備え、

前記特徴点抽出手段は、前記画像補正手段で補正された画像の特徴点を抽出することを特徴とする請求項 4に記載の移動物体認識装置。

[6] 前記距離検知手段は、

前記グルーピング手段でグルーピングしたオプティカルフローを用いて、前記撮像手段から前記移動物体までの距離を算出する距離算出手段と、を備え、

前記距離算出手段で算出した距離を特徴点までの距離とすることを特徴とする請求項 4に記載の移動物体認識装置。

[7] 前記距離検知手段は、物理的手段によって前記移動物体までの距離を計測することを特徴とする請求項 4に記載の移動物体認識装置。

[8] 時系列の画像を入力する撮像ステップと、

前記撮像ステップで入力した前記時系列の各画像の特徴点を抽出する特徴点抽前記時系列の画像の特徴点を異なる画像間で比較して、同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記ォプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフロ一を選択するグルーピングステップと、

を備えることを特徴とする移動物体認識方法。

[9] 前記撮像ステップで入力した画像を、前記撮像手段のレンズの特性に合わせて、透視図に補正する画像補正ステップを備え、

前記特徴点抽出ステップは、前記画像補正ステップで補正された画像の特徴点を抽出することを特徴とする請求項 8に記載の移動物体認識方法。

[10] コンピュータを、

時系列の画像を撮像手段から入力する画像入力手段と、

前記画像入力手段で入力した時系列の各画像の複数の特徴点を抽出する特徴点抽出手段と、

前記時系列の画像の特徴点を異なる画像間で比較して、画像上で位置が変化した同じパターンを有する前記特徴点を結ぶベクトルであるオプティカルフローを生成するオプティカルフロー生成手段と、

前記オプティカルフローのうち、前記オプティカルフローの延長線が所定の誤差範囲で 1点の消失点で交わり、かつ、前記オプティカルフローの延長線において前記ォプティカルフローの一方の端点を外分点として、前記オプティカルフローの他方の端点と前記消失点とを結ぶ線分の外分比が所定の誤差範囲で等しいオプティカルフロ一を、 1つの移動物体に属するオプティカルフローとして選択するグルーピング手段として機能させることを特徴とするコンピュータプログラム。