JPH05314262A - 移動物体の移動ベクトル抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 領域抽出結果に影響されず、精度良く移動物
体の移動ベクトルを抽出すること。 【構成】 移動物体を撮像した画像の中から対象とする
移動物体の存在領域を抽出し、さらに時間的に連続し、
かつ異なる時刻で移動物体を撮像した複数の画像におけ
る各画素のオプティカルフローを抽出し、その抽出され
たオプティカルフローの方向角に基づいた統計処理とオ
プティカルフローの大きさに基づいた統計処理により不
正確なものを排除し、この統計処理によって残されたオ
プティカルフローから１つのベクトルを算出し、さらに
そのベクトルの始点を算出して対象の移動物体について
の移動ベクトルを決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理によって移動
物体の移動ベクトルを抽出する移動ベクトル抽出装置に
関するものである。

【０００２】

【従来の技術】移動ベクトルとは、対象移動物体の３次
元運動が画像に投影された時に生じる画像上の見かけの
速度ベクトルのことであるが、従来において、画像処理
によって車両等の移動物体の移動ベクトルを抽出する場
合に用いられる主な技術の１つに、画像間で領域の対応
をとる方法がある。

【０００３】この方法は、まず、移動物体を連続的に撮
像して得られる時間的に連続した複数フレームの画像の
それぞれから対象とする移動物体が存在する領域を抽出
する。

【０００４】次に、各フレームの画像間で最も近傍にあ
る領域が同一移動物体の領域であるといった仮定の下
で、それらの領域の対応づけを行う。その後、対応づけ
られた一方の領域を他方の領域に画像から抽出される特
徴に基づいて重ね合わせ、一致したと判定された段階で
その領域の移動量を算出し、移動ベクトルの抽出を行
う。この場合、領域の重ね合わせに用いられる画像の特
徴には、画像の濃淡値，色，領域の外形などがある。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような領域対応によって移動ベクトルを抽出する方法で
は、領域抽出段階において複数フレームの画像から同一
移動物体の領域が精度良く同様な形状で抽出された場合
には良好な移動ベクトル抽出結果が得られるが、画像の
ノイズ等により領域の抽出精度が悪化した場合には、移
動ベクトル抽出結果に誤りが生じ易くなるといった問題
があった。

【０００６】本発明の目的は、領域抽出結果に影響され
ず、精度良く移動物体の移動ベクトルを抽出することが
できる移動物体の移動ベクトル抽出装置を提供すること
にある。

【０００７】

【課題を解決するための手段】前記目的を達成するため
に、本発明においては、移動物体を撮像した画像の中か
ら対象とする移動物体の存在領域を抽出する領域抽出手
段と、時間的に連続し、かつ異なる時刻で移動物体を撮
像した複数の画像における各画素のオプティカルフロー
を抽出するオプティカルフロー抽出手段と、抽出された
オプティカルフローを前記領域抽出手段で抽出された領
域についてオプティカルフローの方向角に基づいた統計
処理とオプティカルフローの大きさに基づいた統計処理
により不正確なものを排除する統計処理手段と、この統
計処理手段の統計処理によって残されたオプティカルフ
ローから１つのベクトルを算出し、さらにそのベクトル
の始点を算出して対象の移動物体についての移動ベクト
ルを決定する移動ベクトル決定手段とを具備させた。

【０００８】

【作用】前述の手段によれば、移動物体を撮像した画像
から対象とする移動物体の存在領域を抽出し、次にオプ
ティカルフロー抽出手段で複数フレームにわたる複数の
画像から画像内における各画素のオプティカルフローを
抽出する。すなわち、オプティカルフローとは、連続す
る画像間での同一の点の動きを示すベクトルであるが、
オプティカルフロー抽出手段で時間的に連続し、かつ異
なる時刻で移動物体を撮像した複数の画像における各画
素のオプティカルフローを抽出する。この後、統計処理
手段でオプティカルフローを領域抽出手段で抽出された
領域についてオプティカルフローの角度に基づいて統計
処理し、さらにオプティカルフローの大きさに基づいて
統計処理して不正確なものを排除する。そして、残され
たオプティカルフローから１つのベクトルを算出し、さ
らにそのベクトルの始点を算出して対象物体の領域につ
いての移動ベクトルを決定する。

【０００９】この結果、領域抽出結果に影響されず、精
度良く移動物体の移動ベクトルを抽出することができ
る。

【００１０】

【実施例】以下、本発明を図面を用いて詳細に説明す
る。

【００１１】図１は本発明による移動物体の移動ベクト
ル抽出装置の一実施例を示す全体構成図であり、移動物
体等の被写体を撮像するテレビカメラ１、このテレビカ
メラ１で撮像された画像をディジタル画像に変換するア
ナログ・ディジタル変換回路（Ａ／Ｄ）２、コンピュー
タからなる情報処理装置３、画像データや情報データ等
を表示する表示装置（ＣＲＴ）４、磁気ディスクや光デ
ィスク等からなる補助記憶装置５を備えている。この場
合、情報処理装置３を構成するコンピュータはＣＰＵ３
０とメモリ３１を備えている。

【００１２】このＣＰＵ３０とメモリ３１から構成され
る情報処理装置３を機能的に分解すると、図２に示すよ
うに、画像入力部３０２、領域抽出部３０３、オプティ
カルフロー抽出部３０４、統計処理部３０５、移動ベク
トル決定部３０６、データバス３０７から構成される。

【００１３】次に、本実施例の移動物体の移動ベクトル
抽出装置の動作を説明する。

【００１４】図１および図２において、移動物体をテレ
ビカメラ１で撮像する。この撮像した移動物体の画像
は、アナログ・ディジタル変換回路（Ａ／Ｄ）２により
ディジタル画像に変換され、情報処理装置３の画像入力
部３０２に入力される。この画像入力部３０２に入力さ
れた移動物体のディジタル画像は、領域抽出部３０３で
任意のしきい値により処理され、対象移動物体が存在す
る領域とその他の領域に分割される。

【００１５】一方、オプティカルフロー抽出部３０４で
は、図３のフローチャートに示すように、入力された移
動物体の画像に対して任意の窓関数により平滑化処理
（ステップ６１）を行う。次に、この平滑化処理された
画像に対して微分処理（ステップ６２）を行い、各画素
における水平・垂直方向の濃度の微分値（Ｉ_x，Ｉ_y）を
求める。また、連続する２つのフレームの画像から濃度
の差分値（Ｉ_t）を求める。これらの値を用いて構成さ
れる方程式 Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t＝０ ｕ：オプティカルフローの水平方向成分 ｖ：オプティカルフローの垂直方向成分 から最小自乗演算（ステップ６３）により、各画素にお
けるオプティカルフロー（ｕ，ｖ）を求める。この手法
は勾配法と呼ばれる。

【００１６】また、統計処理部３０５では、領域抽出部
３０３とオプティカルフロー抽出部３０４から得られた
結果から、図４のフローチャートに示すように、方向角
に基づく統計処理（ステップ７１）と大きさに基づく統
計処理（ステップ７２）という２つの統計処理により、
１つの領域内で誤りであると想定されるオプティカルフ
ローを排除する。以下に、この二つの統計処理を図６，
図７，図８を用いて説明する。

【００１７】図６における（ｘ，ｙ）は画像平面の座標
を表す。ここに示されている領域Ｒは、領域抽出部３０
３において抽出された１つの対象移動物体の領域である
とする。Ｗ_i（ｕ_i，ｖ_i）はオプティカルフローを示す
ベクトルであり、領域Ｒ内に存在するものを示す。ま
た、ここで用いた添字ｉは領域内の第ｉ番目のオプティ
カルフローを示す。

【００１８】まず、オプティカルフローの方向角に基づ
く統計処理（ステップ７１）では、前述の図６のような
入力から、次の式により各Ｗiの方向角θ_iを求める。 θ_i＝ｔａｎ~¹（ｖ_i／ｕ_i） （０≦θi＜３６０°） このθiの値を用い、図７に示すように横軸を方向角、
縦軸をオプティカルフローの数としたヒストグラムを作
成する。このヒストグラムのピーク位置Ｐ１を中心とし
た任意の範囲Ｄ１に含まれないオプティカルフローを排
除する。

【００１９】次に、オプティカルフローの大きさに基づ
く統計処理（ステップ７２）では、方向角に基づく統計
処理（ステップ７１）で残ったものについて、さらに各
Ｗ_iの大きさ｜Ｗ_i｜を求める。 ｜Ｗ_i｜＝√（ｕ_i ²＋ｖ_i ²） この｜Ｗ_i｜の値を用い、同様に図８に示すように横軸
を大きさ、縦軸をオプティカルフローの数としたヒスト
グラムを作成する。このヒストグラムのピーク位置Ｐ２
を中心とした任意の範囲Ｄ２に含まれないオプティカル
フローをさらに排除する。

【００２０】１つの領域内で以上のような処理を行い、
誤りである想定されるオプティカルフローを排除する。

【００２１】移動ベクトル決定部３０６では、図５のフ
ローチャートに示すように、ベクトル算出処理（ステッ
プ８１）において前記統計処理部３０５で残ったオプテ
ィカルフローの平均をとることにより、対象移動物体の
移動ベクトルの方向および大きさの算出を行い、さら
に、オプティカルフローの始点の重心をとることによ
り、移動ベクトルの始点算出（ステップ８２）を行う。

【００２２】以上の説明からわかるように、本実施例に
よれば、図１に示す領域抽出部３０３の処理により得ら
れた領域を用いて、図４に示すような方向角に基づいた
ヒストグラム処理によりオプティカルフローから統計的
に移動ベクトルを決定しているため、移動ベクトルの決
定に際して画像のノイズ等による悪影響を受け難い。

【００２３】また、領域抽出についても、領域同士の対
応により移動量を算出してはいないので、対象移動物体
の形状に忠実な、精度の良い領域抽出は必要なく、画像
上で対象とする物体を包括する範囲の抽出で十分であ
る。したがって、領域抽出により処理負担が少なく、ま
たその結果に移動ベクトルが決定が大きく悪影響を受け
ない。

【００２４】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されることな
く、その要旨に逸脱しない範囲において種々変更し得る
ことはいうまでもない。

【００２５】

【発明の効果】以上説明したように、本発明によれば、
移動物体を撮像した画像の中から対象とする移動物体の
存在領域を抽出する領域抽出手段と、時間的に連続し、
かつ異なる時刻で移動物体を撮像した複数の画像におけ
る各画素のオプティカルフローを抽出するオプティカル
フロー抽出手段と、抽出されたオプティカルフローを前
記領域抽出手段で抽出された領域についてオプティカル
フローの方向角に基づいた統計処理とオプティカルフロ
ーの大きさに基づいた統計処理により不正確なものを排
除する統計処理手段と、この統計処理手段の統計処理に
よって残されたオプティカルフローから１つのベクトル
を算出し、さらにそのベクトルの始点を算出して対象の
移動物体についての移動ベクトルを決定する移動ベクト
ル決定手段とを具備させたので、対象移動物体の領域抽
出が多少の誤りを含んでも、オプティカルフローを用い
て方向角に基づいた統計処理を行うことにより、精度良
く安定して移動物体の移動ベクトルを抽出することがで
きるといった効果がある。

【図面の簡単な説明】

【図１】 本発明による移動物体の移動ベクトル抽出装
置の一実施例を示す全体構成図である。

【図２】 図１における情報処理装置の機能ブロック図
である。

【図３】 オプティカルフロー抽出部における処理の手
順を示すフローチャートである。

【図４】 統計処理部における処理の手順を示すフロー
チャートである。

【図５】 移動ベクトル決定部における処理の手順を示
すフローチャートである。

【図６】 統計処理を説明するための説明図である。

【図７】 方向角に基づいた統計処理を説明するための
説明図である。

【図８】 大きさに基づいた統計処理を説明するための
説明図である。

【符号の説明】

１…テレビカメラ、２…アナログ・ディジタル変換回路
（Ａ／Ｄ）、３…情報処理装置、４…表示装置（ＣＲ
Ｔ）、５…補助記憶装置、３０…ＣＰＵ、３０２…画像
入力部、３０３…領域抽出部、３０４…オプティカルフ
ロー抽出部、３０５…統計処理部、３０６…移動ベクト
ル決定部、３０７…データバス。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 移動物体を撮像した画像から移動物体の
   移動ベクトルを画像処理によって抽出する装置であっ
   て、前記画像の中から対象とする移動物体の存在領域を
   抽出する領域抽出手段と、時間的に連続し、かつ異なる
   時刻で移動物体を撮像した複数の画像における各画素の
   オプティカルフローを抽出するオプティカルフロー抽出
   手段と、抽出されたオプティカルフローを前記領域抽出
   手段で抽出された領域についてオプティカルフローの方
   向角に基づいた統計処理と大きさに基づいた統計処理に
   より不正確なものを排除する統計処理手段と、この統計
   処理手段の統計処理によって残されたオプティカルフロ
   ーから１つのベクトルを算出し、さらにそのベクトルの
   始点を算出して対象の移動物体についての移動ベクトル
   を決定する移動ベクトル決定手段とを具備することを特
   徴とする移動物体の移動ベクトル抽出装置。