JPH05135177A - 画像速度検出方法およびその装置 - Google Patents

Abstract

(57)【要約】 【目的】 オプティカル・フローの算出精度を高める。 【構成】 特徴点抽出により画像速度を得る場合に、所
定形状の基準領域と同じサイズの複数の対応領域におけ
る各画素の明度の差の二乗の総和を算出し、算出した誤
差に基づいて近似曲面を作成し、近似曲面の最小点と基
準領域の中心点とのの座標変化量および時間間隔に基づ
いて画像速度を得る

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は動画像上の見かけの速
度であるオプティカル・フローを算出するための方法お
よびその装置に関する。

【０００２】

【従来の技術】従来から、時々刻々と変化する画像を対
象とする動画像処理、動画像解析をコンピュータを用い
て行なうことが各種の分野で盛んになってきつつある。
この動画像は静止画像と異なり、画像がある速度で移動
するという特質を持っているため、動画像上の見かけの
速度であるオプティカル・フローを算出することが動画
像処理、動画像解析のために必須となる。そして、オプ
ティカル・フローを算出するための方法として、時空間
微分フィルタを用いる方法および特徴点を用いる方法が
知られている。

【０００３】前者の方法を説明すると、図１５（Ａ）に
実線で示すように、画像上の点（ξ，η）の時刻ｔにお
ける明るさをＩ（ξ，η，ｔ）とし、図１５（Ａ）に破
線で示すように、微小時間△ｔの間に物体がξ軸，η軸
の方向にそれぞれ△ξ，△ηだけ移動し、物体上の点の
明るさが変化しないと仮定すれば次式が成立する。 Ｉ（ξ，η，ｔ） ＝Ｉ（ξ＋△ξ，η＋△η，ｔ＋△ｔ） そして、この式の右辺をテイラー展開して高次項を無視
すれば、数１が得られる。

【０００４】

【数１】

【０００５】数１は、見かけの速度ベクトルを（ｕ，
ｖ）、空間的な明るさの勾配をＩξ，Ｉη、時間的な変
化分をＩｔとすれば、 Ｉξ・ｕ＋Ｉη・ｖ＋Ｉｔ＝０ と書き直すことができる。ところで、この式は、図１５
（Ｂ）に示すように、（ｕ，ｖ）平面における直線を示
しているのであるから、速度ベクトルを一義に定めるた
めには何らかの条件が必要である。そして、この条件と
して、例えば、速度分布が滑らかに変化するという条件
を加味し、誤差を最小とする（ｕ，ｖ）を各点の速度ベ
クトルとすることが知られている。

【０００６】後者の方法は、物体の境界等の任意の部分
に着目し、この部分に最も近い部分を次の画像の中から
抽出してオプティカル・フローを算出する方法であり、
例えば、図１６中破線で包囲した部分に含まれる輪郭Ａ
と図１６中一点鎖線で包囲した部分に含まれる輪郭Ｂと
の各対応点間の距離の二乗の総和を算出し、予め設定さ
れた移動予想範囲内において総和が最小になる輪郭を対
応する輪郭として抽出し、元の輪郭と対応する輪郭との
距離に基づいてオプティカル・フローを算出する方法で
ある。この方法では、仮定条件に基づいて速度ベクトル
を得るのではなく、対応する輪郭を抽出してから両輪郭
間の距離を算出し、この距離に基づいてオプティカル・
フローを算出するのであるから、本質的な誤差が存在せ
ず、高精度にオプティカル・フローを算出できる可能性
がある。

【０００７】

【発明が解決しようとする課題】前者の方法において
は、物体の境界上（遠くの物体と近くの物体、背景と動
く物体等の場合における境界）で速度分布が急激に変化
するので上記条件から外れてしまい、本質的に誤差が大
きくなってしまうという不都合があるのみならず、Ｉ
ξ，Ｉηをディジタル的に算出することに伴なう誤差を
も含み、一層精度が低下することになるという不都合が
ある。

【０００８】また、後者の方法においては、対象が曲線
か否かを考慮しながら各点間の距離を算出しなければな
らないので、距離の二乗の総和を算出する処理が複雑化
するとともに、部分的にノイズが乗った場合に、ノイズ
の影響を受けて、正確な対応輪郭よりも手前または後に
ずれた部分を対応輪郭として抽出し、この結果、オプテ
ィカル・フローが不正確に算出されてしまうという不都
合がある。また、上記ノイズの影響は、例えばエッジ・
フィルタを用いて輪郭を抽出する場合に頻繁に発生する
ので、高精度にオプティカル・フローを算出する場合に
は到底無視し得ないことになってしまう。

【０００９】さらに、後者の方法はかなりはっきりした
特徴点が存在しない画像には適用できないという不都合
もある。また、本件発明者らは距離の二乗に基づいて対
応領域を抽出する代わりに、所定領域に含まれる全画素
（量子化した格子点）の明度情報に基づいて基準領域に
対応する対応領域を抽出し、基準領域と抽出された対応
領域とに基づいてオプティカル・フローの検出を行なう
方法を考えた。この方法をさらに詳細に説明すると、基
準領域と等しいサイズの複数の領域の中から領域全体と
しての明度差が最も少ない領域を対応領域として抽出
し、基準領域と対応領域との座標変化量および画像の時
間間隔に基づいてオプティカル・フローを得る方法であ
る。したがって、距離の二乗に基づいて対応領域を抽出
する場合と比較して対応領域抽出精度を著しく高めるこ
とができるとともに、対応領域抽出のための処理を簡素
化でき、オプティカル・フロー検出精度を著しく高める
ことができる。また、はっきりとした特徴点が存在しな
い場合であってもある程度の明度の変化が存在していれ
ばかなり正確に対応領域を抽出できる。

【００１０】しかし、この方法は、単に領域全体として
の明度差が最小になる対応領域を抽出するようにしてい
るのであるから、座標変化量が格子点間距離の整数倍で
あればオプティカル・フローを正確に得ることができる
が、座標変化量が格子点間距離の整数倍でなければ量子
化誤差に起因してオプティカル・フローが誤差を含むこ
とになるという不都合がある。特に、多数の画像に基づ
いて長時間にわたってオプティカル・フローの検出を行
なう場合には、上記量子化誤差に起因するオプティカル
・フローの誤差が累積してしまい、オプティカル・フロ
ーを余り高精度には検出できなくなってしまう。

【００１１】

【発明の目的】この発明は上記の問題点に鑑みてなされ
たものであり、ノイズの影響を大幅に低減し、しかも量
子化誤差に起因する誤差の発生を防止してオプティカル
・フローを高精度に算出することができる画像速度検出
方法およびその装置を提供することを目的としている。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めの、請求項１の画像速度検出方法は、所定時間間隔で
得られた、標本化された複数の格子点から構成される複
数の画像のうち、基準となる画像を選択し、この基準と
なる画像から所定の対象画像の少なくとも一部を含む所
定領域を基準領域として設定するとともに、基準領域の
全範囲の明度情報を基準情報として設定し、基準となる
画像の次の画像から基準領域と等しいサイズの領域を順
次抽出して抽出領域の全範囲の明度情報と基準情報との
差を算出し、算出された差に基づいて近似曲面を発生さ
せてこの曲面中の差が最小となる点を抽出し、抽出され
た点を新たな基準領域の中心としてさらに次の画像から
差が最小となる点を抽出し、基準領域の中心点と抽出さ
れた差が最小となる点との座標変化量および画像の時間
間隔に基づいて画像速度を得る方法である。但し、近似
曲面としては、例えばβ−スプライン曲面が例示できる
が、これ以外の曲面を用いることもできる。

【００１３】請求項２の画像速度検出方法は、新たな基
準領域の中心点が格子点と一致していないことに応答し
て、中心点の周囲の格子点を中心とする複数の仮の基準
領域のそれぞれに基づいて差が最小となる点を抽出して
仮の画像速度を算出し、中心点に対する各格子点の相対
位置に基づいて、算出された複数の仮の画像速度の重み
付け平均を算出して真の画像速度を得る方法である。

【００１４】請求項３の画像速度検出装置は、所定時間
間隔で得られた、標本化された複数の格子点から構成さ
れる複数の画像を保持する画像保持手段と、複数の画像
の中の基準となる画像から所定の対象画像の少なくとも
一部を含む所定領域を基準領域として設定する基準領域
設定手段と、基準領域の全範囲の明度情報を算出して基
準情報を得る基準情報設定手段と、基準となる画像の次
の画像から基準領域と等しいサイズの領域を順次抽出す
る領域抽出手段と、抽出領域の全範囲の明度情報と基準
情報との差を算出する差算出手段と、算出された差に基
づいて近似曲面を発生させる近似曲面発生手段と、発生
された近似曲面中の差が最小となる点を抽出する最小点
抽出手段と、抽出された点を新たな基準領域の中心とし
て領域抽出手段、差算出手段、近似曲面発生手段および
最小点抽出手段を反復動作させる第１反復制御手段と、
基準領域の中心点と抽出された差が最小となる点との座
標変化量および画像の時間間隔に基づいて画像速度を算
出する第１画像速度算出手段とを含んでいる。

【００１５】請求項４の画像速度検出装置は、基準領域
の中心点が格子点と一致しているか否かを判別する中心
点判別手段と、中心点が格子点と一致していないことを
示す中心点判別手段による判別結果に応答して、中心点
の周囲の格子点を中心とする複数の仮の基準領域のそれ
ぞれについて領域抽出手段、差算出手段、近似曲面発生
手段、最小点抽出手段および第１画像速度算出手段を反
復動作させる第２反復制御手段と、仮の基準領域の中心
点と各格子点の相対位置に基づいて各格子点の重み付け
を算出する重み付け算出手段と、重み付け算出手段によ
り算出された重み付けに基づいて、算出された複数の仮
の画像速度の重み付け平均を算出して真の画像速度を得
る第２画像速度算出手段とをさらに含んでいる。

【００１６】

【作用】請求項１の画像速度検出方法であれば、所定時
間間隔で得られた、量子化された複数の格子点から構成
される複数の画像のうち、基準となる画像を選択し、こ
の基準となる画像から所定の対象画像の少なくとも一部
を含む所定領域を基準領域として設定し、この基準領域
に含まれる全範囲の明度情報を基準情報として設定して
おく。そして、基準となる画像の次の画像から基準領域
と等しいサイズの領域を順次抽出して抽出領域の全範囲
の明度情報と基準情報との差を算出し、算出された差に
基づいて近似曲面を発生させてこの曲面中の差が最小と
なる点を抽出する。そして、基準領域の中心点と抽出さ
れた差が最小となる点との座標変化量および画像の時間
間隔に基づいて画像速度を得ることができる。次いで、
抽出された点を新たな基準領域の中心として上記方法を
反復することにより、各画像間における画像速度を得る
ことができる。

【００１７】以上の説明から明らかなように、所定領域
に含まれる全範囲の明度情報と基準領域と等しいサイズ
の領域の全範囲の明度情報との差に基づいて明度情報の
差を示す近似曲面を発生し、近似曲面中における最小点
を得て画像速度を算出するのであるから、画像速度検出
精度を著しく高めることができ、多数の画像に基づいて
画像速度を追跡する場合であっても、画像速度検出精度
を高く維持できる。

【００１８】請求項２の画像速度検出方法であれば、新
たな基準領域の中心点が格子点と一致していない場合
に、中心点の周囲の格子点を中心とする複数の仮の基準
領域のそれぞれに基づいて差が最小となる点を抽出して
仮の画像速度を算出し、中心点に対する各格子点の相対
位置に基づいて、算出された複数の仮の画像速度の重み
付け平均を算出して真の画像速度を得るのであるから、
基準領域が格子点上に設定されていないにも拘らず、格
子点上に設定された仮の基準領域に基づいて仮の画像速
度を得、得られた複数の仮の画像速度の重み付け平均を
算出することにより高精度の画像速度を得ることができ
る。

【００１９】請求項３の画像速度検出装置であれば、所
定時間間隔で得られた、量子化された複数の格子点から
構成される複数の画像を画像保持手段に保持しておき、
領域設定手段により、複数の画像の中の基準となる画像
から所定の対象画像の少なくとも一部を含む所定領域を
基準領域として設定する。そして、先ず基準情報設定手
段により、基準領域の全範囲の明度情報を算出して基準
情報を得、次いで領域抽出手段により基準となる画像の
次の画像から基準領域と等しいサイズの領域を順次抽出
し、差算出手段により抽出領域の全範囲の明度情報と基
準情報との差を算出し、近似曲線発生手段により、算出
された差に基づいて近似曲面を発生させ、最小点抽出手
段により、発生された近似曲面中の差が最小となる点を
抽出する。そして、基準領域の中心点と抽出された差が
最小となる点との座標変化量および画像の時間間隔に基
づいて第１画像速度算出手段により画像速度を得ること
ができる。次いで、抽出された点を新たな基準領域の中
心として第１反復制御手段によって上記一連の処理を反
復させることにより、各画像間における画像速度を得る
ことができる。

【００２０】以上の説明から明らかなように、所定領域
に含まれる全範囲の明度情報と基準領域と等しいサイズ
の領域の全範囲の明度情報との差に基づいて明度情報の
差を示す近似曲面を発生し、近似曲面中における最小点
を得て画像速度を算出するのであるから、画像速度検出
精度を著しく高めることができ、多数の画像に基づいて
画像速度を追跡する場合であっても、画像速度検出精度
を高く維持できる。

【００２１】請求項４の画像速度検出装置であれば、新
たな基準領域の中心点が格子点と一致していないと中心
点判別手段により判別された場合に、中心点の周囲の格
子点を中心とする複数の仮の基準領域のそれぞれに基づ
いて第２反復制御手段により領域抽出手段、差算出手
段、近似曲面発生手段、最小点抽出手段および画像速度
算出手段を反復動作させて差が最小となる点を抽出して
仮の画像速度を算出し、中心点に対する各格子点の相対
位置に基づいて重み付け算出手段により算出された各格
子点の重み付けに基づいて、第２画像速度算出手段によ
り、算出された複数の仮の画像速度の重み付け平均を算
出して真の画像速度を得るのであるから、基準領域が格
子点上に設定されていないにも拘らず、格子点上に設定
された仮の基準領域に基づいて仮の画像速度を得、得ら
れた複数の仮の画像速度の重み付け平均を算出すること
により高精度の画像速度を得ることができる。

【００２２】

【実施例】以下、実施例を示す添付図面によって詳細に
説明する。図１はこの発明の画像速度検出方法の一実施
例を説明するフローチャートであり、ステップＳＰ１に
おいて、所定時間間隔で得られた、量子化された複数の
格子点から構成される複数の画像に対してエッジ・フィ
ルタ処理を施すことにより、各画像に含まれる物体のエ
ッジを抽出し、ステップＳＰ２において複数の画像の中
から基準となる画像を選択し、ステップＳＰ３において
基準となる画像における所定の対象画像の少なくとも一
部を含む所定領域を基準領域として設定し、ステップＳ
Ｐ４において、設定された基準領域に含まれる全ての格
子点の明度情報を算出し、ステップＳＰ５において基準
となる画像の次の画像における、予め定められた広さの
探索領域を設定し、ステップＳＰ６において、基準領域
と等しいサイズの候補領域を探索領域の中から選択し、
ステップＳＰ７において候補領域に含まれる全ての格子
点の明度情報を算出し、ステップＳＰ８において候補領
域の各格子点の明度情報と基準領域の対応画素の明度情
報との差の二乗の総和を算出し、ステップＳＰ９におい
て探索領域に含まれる全ての候補領域に対するステップ
ＳＰ７，ＳＰ８の処理が完了したか否かを判別し、完了
していないと判別された場合には、再びステップＳＰ６
の処理を行なう。逆に、全ての候補領域に対する処理が
完了したと判別された場合には、ステップＳＰ１０にお
いて、算出された全ての総和に基づいて近似曲面を作成
し、ステップＳＰ１１において近似曲面の最小点を抽出
し、ステップＳＰ１２において、抽出された最小点およ
び基準領域の中心点に基づいて座標変化量を算出し、ス
テップＳＰ１３において座標変化量と画像間の時間間隔
とに基づいて速度ベクトルを算出し、ステップＳＰ１４
において対応領域を新たな基準領域に設定し、再びステ
ップＳＰ４の処理を行なう。

【００２３】以上の説明から明らかなように、候補領域
は格子点上の領域として設定されるのであるから、基準
領域の明度情報および候補領域の明度情報に基づいて算
出される値は格子点間隔毎の離散的な値になってしま
い、そのままでは画像速度（速度ベクトル）を正確に算
出することができない。しかし、この実施例において
は、離散的な値に基づいて近似曲面を作成し、近似曲面
の最小点と基準領域の中心点とに基づいて画像速度を算
出するようにしているのであるから画像速度の精度を高
めることができる。

【００２４】さらに具体的に説明すると、図２に示すよ
うに基準領域よりも広い探索領域が設定された場合に
は、図２中に破線で示すように探索領域中において順次
候補領域が設定され、各候補領域について明度情報の差
の二乗の総和が算出される（図３中実線参照）。その
後、図３中に破線で示すように近似曲面を作成し、近似
曲面の最小点（ｘＶｎ＋１，ｙＶｎ＋１）を選択して基
準領域の中心点との相対関係に基づいて画像速度を算出
する。尚、差をＥで示している。したがって、格子点間
隔の制約を排除して画像速度の高精度化を達成できる。

【００２５】尚、この実施例においては基準領域を１つ
だけ設定する場合について説明しているが、複数の基準
領域を設定して各基準領域について同様の処理を順次行
なわせるようにしてもよいことはもちろんである。

【００２６】

【実施例２】図４および図５はこの発明の画像速度検出
方法の他の実施例を説明するフローチャートであり、図
１の実施例と異なる点は、ステップＳＰ１４の処理とス
テップＳＰ４の処理との間に、新たな基準領域の中心点
が格子点と一致しているか否かを判別するステップＳＰ
１４ａと、中心点が格子点と一致していない場合に中心
点の周囲の格子点を抽出するステップＳＰ１４ｂと、中
心点と抽出された格子点との相対位置に基づいて重み付
け係数を算出するステップＳＰ１４ｃと、抽出された何
れかの格子点を中心とする仮の基準領域を設定するステ
ップＳＰ１４ｄとを含み、中心点と格子点とが一致して
いる場合にステップＳＰ１４ｂからステップＳＰ１４ｄ
の処理を省略するようにした点、ステップＳＰ１３の処
理とステップＳＰ１４の処理との間に、抽出された全て
の格子点に基づく処理が行なわれたか否かを判別するス
テップＳＰ１３ａと、抽出された全ての格子点に基づく
処理が行なわれた場合に、対応する全ての速度ベクトル
に基づいて重み付け係数に基づく重み付け平均処理を施
して真の画像速度を算出するステップＳＰ１３ｂとを含
み、抽出された一部の格子点について処理が行なわれて
いない場合に直ちにステップＳＰ１４ｄの処理を行なう
ようにした点のみである。

【００２７】したがって、この実施例の場合には、図１
のフローチャートに基づく処理を１回だけ行なうことに
より得られた新たな基準領域の中心点Ｃが、図６に示す
ように格子点と一致しない場合には、図６にＡ１，Ａ
２，Ａ３，Ａ４で示す４つの格子点を選択し、各格子点
を中心とする仮の基準領域を設定する（図７中破線参
照）。また、この場合には、格子点Ａ１，Ａ２，Ａ３，
Ａ４で定まる小領域を中心点Ｃを通る直線で区画するこ
とにより得られる領域Ｒ１，Ｒ２，Ｒ３，Ｒ４の面積を
重み付け係数として設定する。

【００２８】そして、各仮の基準領域に基づいて図１の
フローチャートに基づく処理を行なって仮の速度ベクト
ルを算出し、設定された重み付け係数に基づいて算出さ
れた４つの速度ベクトルを重み付け平均することにより
真の画像速度を算出することができる。以上の説明から
明らかなように、新たな基準領域が格子点上で設定され
ないような場合であっても、格子点上の仮の基準領域に
基づく速度ベクトルの算出を行ない、最終的に重み付け
平均処理を施すことにより高精度に画像速度を算出でき
る。

【００２９】この実施例に基づいて追跡フレーム数が５
０フレームで、誤差が生じない場合の移動ベクトルの長
さが１１７格子点である特徴領域のオプティカル・フロ
ーを算出した場合の誤差が２格子点であった。これに対
して近似曲面を用いることなく誤差が最小の格子点に基
づいてオプティカル・フローを算出したところ誤差が９
格子点であった。

【００３０】図８から図１２は具体例を説明する図であ
り、ビディオ・カメラの向きを所定速度で変化させて得
た画像に基づく画像速度検出動作を説明するものであ
る。図８（Ａ１）は所定時間間隔で得られた５０枚のビ
ディオ画像のうち第１枚目のビディオ画像（以下、第１
フレームと称する）を、図８（Ａ２）は第５０フレーム
をそれぞれ示している。これらのビディオ画像は明度が
高い領域と低い領域が大半を占めているのであるから、
明度分布をとれば中間の明度が殆ど存在しなくなる。し
たがって、このような明度に対応して閾値を設定して２
値化表示を行なえば、図９に示すようにエッジが抽出で
きる。尚、第１フレームのビディオ画像に明度に基づい
て定まるエッジを一点鎖線で、第５０フレームに基づく
エッジを二点鎖線で重畳表示してある。

【００３１】図１０は基準領域と候補領域とのマッチン
グ誤差を示す図である。このマッチング誤差は、例えば
第ｎフレームの明度値をＬn （ｘ，ｙ）、第（ｎ＋１）
フレームへの移動ベクトルを（ｖｘ，ｖｙ）とし、形状
変化がないと仮定すれば、数２になるが、実際には形状
変化およびサンプリング誤差が含まれるのであるから、
誤差の評価式Ｅを数３（但し、Ａは基準領域におけるサ
ンプリング数）に設定して所定の探索領域内におけるマ
ッチング誤差を算出することにより図１０が得られる。

【００３２】

【数２】

【００３３】

【００３４】

【数３】

【００３５】尚、図１０中、縦軸がマッチング誤差、横
軸がｘ方向速度をそれぞれ示し、ｙ方向の速度を変化さ
せた場合に対応する複数のサンプリング誤差曲線を示し
ている。そして、図１０のサンプリング誤差曲線から探
索領域の各格子点に対応するサンプリング誤差を得るこ
とができるので、得られた各格子点のサンプリング誤差
に基づいて近似曲面を得ることができ（例えば、図３中
破線参照）、近似曲面の最小点に基づいて対応するフレ
ーム間の速度ベクトルを得ることができる。

【００３６】また、基準領域の中心点が格子点と一致し
ない場合には、中心点の周囲の格子点を抽出して仮の基
準領域を設定し、複数の仮の基準領域に基づいて仮の速
度ベクトルを得、重み付け平均処理を施すことにより真
の速度ベクトルを得ることができる。図１１（Ａ１）は
以上の結果に基づいて算出されたオプティカル・フロー
を示す図である。

【００３７】また、以上のようにしてオプティカル・フ
ローが得られれば、物体の３次元的形状情報、ビディオ
・カメラの３次元的移動ベクトル等を把握できるのであ
るから、各画像上に他の静止物体を合成表示する場合に
正確な透視変換を施すことができ、自然な合成画像を得
ることができる。即ち、無人移動ロボットや、実写ビデ
ィオ画像とコンピュータ・モデルとの合成等に応用でき
ることになる。

【００３８】図１２（Ａ１）は第１フレームに鉄塔を合
成表示した状態を示し、図１２（Ａ２）は第５０フレー
ムに鉄塔を合成表示した状態を示す線図である。尚、以
上にはエッジ上の任意の点を含む矩形領域を基準領域と
して画像速度を得る場合についてのみ説明したが、エッ
ジ以外の箇所であっても、明度変化がある矩形領域であ
れば同様に基準領域として設定しておくことが可能であ
り、この場合にも高精度に画像速度を得ることができ
る。

【００３９】さらに、両目視差画像等の対応づけ等にも
適用できる。

【００４０】

【実施例３】図１３はこの発明の画像速度検出装置の一
実施例を示すブロック図であり、ビディオ・カメラ１に
より所定時間毎に得られた、量子化された複数の格子点
から構成される複数の画像を保持する画像保持部２と、
画像保持部２に保持されている複数の画像の中から基準
となる画像（例えば第１フレーム）を選択して読み出す
第１画像選択部３と、選択された画像から所定の対象画
像（例えば、フレーム中に含まれている物体の画像）の
少なくとも一部を含む所定領域を基準領域として設定す
る基準領域設定部４と、何れかの基準領域を選択し、選
択された基準領域の全範囲の明度情報を算出して基準情
報を得る基準情報設定部５と、基準となる画像の次の画
像を画像保持部２から選択して読み出す第２画像選択部
６と、選択された画像から、基準領域の座標値を基準と
して所定の探索領域を設定する探索領域設定部７と、設
定された探索領域から上記基準領域と等しいサイズの候
補領域を設定する候補領域設定部８と、候補領域の全領
域の明度情報を算出して候補情報を得る候補情報算出部
９と、各格子点についての候補情報と基準情報との差の
二乗の総和をマッチング誤差として算出するマッチング
誤差算出部１０と、探索領域内において順次異なる候補
領域を設定すべく候補領域設定部８を制御する制御部１
１と、探索領域内の全ての候補領域に基づくマッチング
誤差が算出されたことを条件として近似曲面を作成する
近似曲面作成部１２と、作成された近似曲面の最小点を
抽出する最小点抽出部１３と、最小点と基準領域の中心
点との座標変化量およびフレーム間の時間間隔に基づい
て画像速度を算出する画像速度算出部１４と、選択され
た対応領域を新たな基準領域として指示する基準領域指
示部１５とを有している。

【００４１】上記の構成の画像速度検出装置の動作は次
のとおりである。ビディオ・カメラ１により所定時間毎
に得られた複数の画像を画像保持部２に保持しておき、
第１画像選択部３により、画像保持部２に保持されてい
る複数の画像の中から基準となる画像を選択して読み出
す。そして、基準領域設定部４により、選択された画像
から所定の対象画像の少なくとも一部を含む所定領域を
基準領域として設定し、基準情報設定部５により、何れ
かの基準領域を選択し、選択された基準領域の全範囲の
明度情報を算出して基準情報を得る。また、第２画像選
択部６により、基準となる画像の次の画像を画像保持部
２から選択して読み出し、探索領域設定部７により、選
択された画像から、基準領域の座標値を基準として所定
の探索領域を設定する。そして、候補領域設定部８によ
り、設定された探索領域の中から上記基準領域と等しい
サイズの候補領域を設定し、候補情報算出部９により、
候補領域の全範囲の明度情報を算出して候補情報を得
る。その後、マッチング誤差算出部１０により、各格子
点についての候補情報と基準情報との差の二乗の総和を
マッチング誤差として算出する。この候補領域に対する
一連の処理は、制御部１１により、探索領域内において
順次異なる候補領域を設定すべく候補領域設定部８を制
御するのであるから、探索領域内に含まれる全ての候補
領域に対して行なわれる。そして、探索領域内の全ての
候補領域に基づくマッチング誤差が算出された場合に、
近似曲面作成部１２により、算出されたマッチング誤差
に基づいて近似曲面を作成し、最小点抽出部１３により
近似曲面の最小点を抽出する。そして、最小点と基準領
域の中心点との座標変化量およびフレーム間の時間間隔
に基づいて画像速度算出部１４により画像速度、即ち、
速度ベクトルを算出する。

【００４２】以上のようにして画像速度が算出された後
は、基準領域指示部１５により、選択された対応領域を
新たな基準領域として指示するのであるから、同様にし
てさらに次のフレームとの間における画像速度を算出で
きる。さらに、第１フレームにおける所望の基準領域に
基づく一連の処理が終了した後は、第１フレームにおけ
る他の基準領域を選択して上記と同様の処理を行なえば
よい。

【００４３】したがって、この実施例の場合にも、物体
の３次元的形状情報、ビディオ・カメラの３次元的移動
ベクトル等を把握できるのであるから、各画像上に他の
静止物体を合成表示する場合に正確な透視変換を施すこ
とができ、自然な合成画像を得ることができる。即ち、
無人移動ロボットや、実写ビディオ画像とコンピュータ
・モデルとの合成等に応用できることになる。

【００４４】さらに、両目視差画像等の対応づけ等にも
適用できる。

【００４５】

【実施例４】図１４はこの発明の画像速度検出装置の他
の実施例を示すブロック図であり、図１３の画像速度検
出装置と異なる点は、基準領域指示部１５により新たな
基準領域として指示された対応領域の中心が格子点と一
致しているか否かを判別する中心判別部１６と、中心が
格子点と一致していないことを示す中心判別部１６から
の判別結果に応答して中心点の周囲の格子点を抽出する
格子点抽出部１７と、中心点と抽出された格子点との相
対位置に基づいて重み付け係数を算出する重み付け係数
算出部１８と、抽出された格子点を中心点とする仮の基
準領域を設定する仮基準領域設定部１９と、仮基準領域
設定部１９により設定された仮の基準領域に基づく基準
情報設定部５、第２画像選択部６、探索領域設定部７、
候補領域設定部８、候補情報算出部９、マッチング誤差
算出部１０、制御部１１、近似曲面作成部１２、最小点
抽出部１３および画像速度算出部１４による処理を各仮
の基準領域毎に反復させる反復制御部２０と、各仮の基
準領域に基づいて算出された仮の画像速度に基づいて重
み付け平均を行なって真の画像速度を算出する重み付け
平均処理部２１とをさらに有している点のみである。

【００４６】したがって、この実施例の場合には、図１
３のブロック図に基づく処理を１回だけ行なうことによ
り得られた新たな基準領域の中心点Ｃが格子点と一致し
ているか否かを中心点判別部１６により判別する。そし
て、中心点が格子点と一致していれば図１３のブロック
図に基づく処理を反復するが、図６に示すように格子点
と一致しない場合には、格子点抽出部１７により、図６
にＡ１，Ａ２，Ａ３，Ａ４で示す４つの格子点を選択
し、仮基準領域設定部１９により各格子点を中心とする
仮の基準領域を設定する（図７中破線参照）。また、こ
の場合には、重み付け係数算出部１８により、格子点Ａ
１，Ａ２，Ａ３，Ａ４で定まる小領域を中心点Ｃを通る
直線で区画することにより得られる領域Ｒ１，Ｒ２，Ｒ
３，Ｒ４の面積を重み付け係数として設定する。

【００４７】そして、各仮の基準領域に基づいて図１３
のブロック図に基づく処理を行なって仮の速度ベクトル
を算出し、重み付け平均処理部２１により、設定された
重み付け係数に基づいて算出された４つの速度ベクトル
を重み付け平均することにより真の画像速度を算出する
ことができる。以上の説明から明らかなように、新たな
基準領域が格子点上で設定されないような場合であって
も、格子点上の仮の基準領域に基づく速度ベクトルの算
出を行ない、最終的に重み付け平均処理を施すことによ
り高精度に画像速度を算出できる。

【００４８】

【発明の効果】以上のように請求項１の発明は、所定領
域に含まれる全範囲の明度情報と基準領域と等しいサイ
ズの領域の全範囲の明度情報との差に基づいて明度情報
の差を示す近似曲面を発生し、近似曲面中における最小
点を得て画像速度を算出するのであるから、画像速度検
出精度を著しく高めることができ、多数の画像に基づい
て画像速度を追跡する場合であっても、画像速度検出精
度を高く維持できるという特有の効果を奏する。

【００４９】請求項２の発明は、基準領域が格子点上に
設定されていない場合であっても、格子点上に設定され
た仮の基準領域に基づいて仮の画像速度を得、得られた
複数の仮の画像速度の重み付け平均を算出することによ
り高精度の画像速度を得ることができるという特有の効
果を奏する。請求項３の発明は、所定領域に含まれる全
範囲の明度情報と基準領域と等しいサイズの領域の全範
囲の明度情報との差に基づいて明度情報の差を示す近似
曲面を発生し、近似曲面中における最小点を得て画像速
度を算出するのであるから、画像速度検出精度を著しく
高めることができ、多数の画像に基づいて画像速度を追
跡する場合であっても、画像速度検出精度を高く維持で
きるという特有の効果を奏する。

【００５０】請求項４の発明は、基準領域が格子点上に
設定されていない場合であっても、格子点上に設定され
た仮の基準領域に基づいて仮の画像速度を得、得られた
複数の仮の画像速度の重み付け平均を算出することによ
り高精度の画像速度を得ることができるという特有の効
果を奏する。

【図面の簡単な説明】

【図１】この発明の画像速度検出方法の一実施例を示す
フローチャートである。

【図２】探索領域中における候補領域の設定を説明する
概略図である。

【図３】各候補領域について算出された明度情報の差の
二乗の総和および近似曲面を説明する概略図である。

【図４】この発明の画像速度検出方法の他の実施例の要
部を示すフローチャートである。

【図５】この発明の画像速度検出方法の他の実施例の残
部を示すフローチャートである。

【図６】新たな基準領域の中心点と抽出される格子点と
の関係を示す概略図である。

【図７】中心点と抽出された格子点に基づく重み付け係
数の算出を説明する概略図である。

【図８】ビディオ画像の一例を示す概略図である。

【図９】ビディオ画像に基づいて２値化することにより
得られたエッジを示す図である。

【図１０】基準領域と候補領域とのマッチング誤差を示
す図である。

【図１１】得られたオプティカル・フローを示す図であ
る。

【図１２】オプティカル・フローに基づいて得られた合
成画像を示す概略図である。

【図１３】この発明の画像速度検出装置の一実施例を示
すブロック図である。

【図１４】この発明の画像速度検出装置の他の実施例を
示すブロック図である。

【図１５】従来方法を説明する概略図である。

【図１６】従来方法を説明する概略図である。

【符号の説明】

２ 画像保持部 ３ 第１画像選択部 ４基準領域
設定部 ５ 基準情報設定部 ８ 候補領域設定部 ９ 候
補情報算出部 １０ マッチング誤差算出部 １１ 制御部 １２
近似曲面作成部 １３ 最小点抽出部 １４ 画像速度算出部 １５
基準領域指示部 １６ 中心判別部 １７ 格子点抽出部 １８ 重
み付け係数算出部 １９ 仮基準領域設定部 ２０ 反復制御部 ２１
重み付け平均処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井上 紀宏 愛知県名古屋市緑区大高町字北関山20番地 の１ 中部電力株式会社技術開発本部電力 技術研究所内 (72)発明者 岡本 敬 大阪府堺市金岡町1304番地 ダイキン工業 株式会社堺製作所金岡工場内 (72)発明者 石淵 耕一 大阪府堺市金岡町1304番地 ダイキン工業 株式会社堺製作所金岡工場内 (72)発明者 高島 純 大阪府堺市金岡町1304番地 ダイキン工業 株式会社堺製作所金岡工場内 (72)発明者 平野 徹 大阪府堺市金岡町1304番地 ダイキン工業 株式会社堺製作所金岡工場内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 所定時間間隔で得られた、標本化された
   複数の格子点から構成される複数の画像のうち、基準と
   なる画像を選択し、この基準となる画像から所定の対象
   画像の少なくとも一部を含む所定領域を基準領域として
   設定するとともに、基準領域の全範囲の明度情報を基準
   情報として設定し、基準となる画像の次の画像から基準
   領域と等しいサイズの領域を順次抽出して抽出領域の全
   範囲の明度情報と基準情報との差を算出し、算出された
   差に基づいて近似曲面を発生させてこの曲面中の差が最
   小となる点を抽出し、抽出された点を新たな基準領域の
   中心としてさらに次の画像から差が最小となる点を抽出
   し、基準領域の中心点と抽出された差が最小となる点と
   の座標変化量および画像の時間間隔に基づいて画像速度
   を得ることを特徴とする画像速度検出方法。
2. 【請求項２】 新たな基準領域の中心点が格子点と一致
   していないことに応答して、中心点の周囲の格子点を中
   心とする複数の仮の基準領域のそれぞれに基づいて差が
   最小となる点を抽出して仮の画像速度を算出し、中心点
   に対する各格子点の相対位置に基づいて、算出された複
   数の仮の画像速度の重み付け平均を算出して真の画像速
   度を得る請求項１に記載の画像速度検出方法。
3. 【請求項３】 所定時間間隔で得られた、標本化された
   複数の格子点から構成される複数の画像を保持する画像
   保持手段（２）と、複数の画像の中の基準となる画像か
   ら所定の対象画像の少なくとも一部を含む所定領域を基
   準領域として設定する基準領域設定手段（３）（４）
   と、基準領域の全範囲の明度情報を算出して基準情報を
   得る基準情報設定手段（５）と、基準となる画像の次の
   画像から基準領域と等しいサイズの領域を順次抽出する
   領域抽出手段（８）（１１）と、抽出領域の全範囲の明
   度情報と基準情報との差を算出する差算出手段（９）
   （１０）と、算出された差に基づいて近似曲面を発生さ
   せる近似曲面発生手段（１２）と、発生された近似曲面
   中の差が最小となる点を抽出する最小点抽出手段（１
   ３）と、抽出された点を新たな基準領域の中心として領
   域抽出手段（８）（１１）、差算出手段（９）（１
   ０）、近似曲面発生手段（１２）および最小点抽出手段
   （１３）を反復動作させる第１反復制御手段（１５）
   と、基準領域の中心点と抽出された差が最小となる点と
   の座標変化量および画像の時間間隔に基づいて画像速度
   を算出する第１画像速度算出手段（１４）とを含むこと
   を特徴とする画像速度検出装置。
4. 【請求項４】 基準領域の中心点が格子点と一致してい
   るか否かを判別する中心点判別手段（１６）と、中心点
   が格子点と一致していないことを示す中心点判別手段
   （１６）による判別結果に応答して、中心点の周囲の格
   子点を中心とする複数の仮の基準領域のそれぞれについ
   て領域抽出手段（８）（１１）、差算出手段（９）（１
   ０）、近似曲面発生手段（１２）、最小点抽出手段（１
   ３）および第１画像速度算出手段（１４）を反復動作さ
   せる第２反復制御手段（１７）（１９）（２０）と、仮
   の基準領域の中心点と各格子点の相対位置に基づいて各
   格子点の重み付けを算出する重み付け算出手段（１８）
   と、重み付け算出手段（１８）により算出された重み付
   けに基づいて、算出された複数の仮の画像速度の重み付
   け平均を算出して真の画像速度を得る第２画像速度算出
   手段（２１）とをさらに含む請求項３に記載の画像速度
   検出装置。