JPH1063860A - 画像特徴抽出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 分割した小領域のサイズを越える大きさの移
動量を検出することができる画像特徴抽出方法および装
置を提供すること。 【解決手段】 画像１，２を小領域に分割し(a) 、位置
の異なる小領域Ａ，Ｂを切り出す(b) 。その局所画像を
ハフ変換等により直線成分の位置ρ、方位θで表す平面
に変換し、異なる画像フレームの２つの小領域から得ら
れた２つのρθ平面の相関を取り、θτ平面に変換する
(c) (d) 。該平面を逆ハフ変換等によりｘ方向変位量と
ｙ方向変位量で表す平面に変換し、ピーク位置検出によ
り各小領域内の画像の移動ベクトルＶを検出する(e) 。
上記のようにして求めた見かけの移動ベクトルＶと、小
領域Ａと小領域Ｂの相対位置ベクルトに基づき、真の移
動ベクトルＶ’を求める。また、τのシフト量Δτを、
上記相対位置ベクルトと線分方位θにより求め、上記相
関結果に対してτ座標シフトを行ってもよい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連続した時系列画
像からの速度ベクトルの検出をしたり、２つのカメラ画
像からの視差を検出するなど、画像処理により対象物の
変位ベクトルを検出する画像特徴抽出方法および装置に
関し、本発明は、例えば、ロボットの眼、あるいはマル
チメディアにおける画像解析・画像認識等に広く適用す
ることができる。

【０００２】

【従来の技術】画像処理を行う際、画像全体をまとめて
処理すると演算量が膨大となり、また、異なった対象領
域を同一に扱うことによる精度の低下が問題となる。そ
の解決法として、画像を小領域に分割し、それらの各領
域毎に独立に線分検出あるいは速度検出等の処理を行う
方法が取られている。この方法を用いれば、各領域の演
算量は大幅に小さくなり、それらの並列分散処理による
高速化も可能となる。

【０００３】上記手法の一つとして図２３，図２４に示
す方法が提案されている。すなわち、図２３（ａ）に示
す画像１、画像２を分割し、（ｂ）に示すように小領域
を切り出す。ついで、（ｃ）に示すようにそれぞれの局
所画像をハフ変換あるいは投影処理などの手法によって
ρθデータに変換する。なお、以下ではこれらの各手法
を含めてハフ変換として統一して説明する。ここで、上
記ρは直線の位置（原点から垂線の足までの長さ）、θ
は小領域内の直線の方位（直線への垂線とＸ軸との角
度）であり、τ１、τ２はρθ平面における直線１、直
線２の移動量である。これらパラメータを空間表示する
と図２４のＡに示すようになる。

【０００４】次に図２４（ｄ）に示すように、ρθデー
タ間で相関処理を行い、一次元的移動量を求める。そし
て、それを逆ハフ変換（ハフ変換の逆の操作）して同図
（ｅ）に示す２次元的移動量を求める。上記図２３、図
２４において、画像１と画像２が時間的に連続した画像
であれば、速度の検出となり、左右のカメラからの画像
であれば両眼視差（奥行き）の検出となる。また、分割
した小領域毎に図２３、図２４の処理を施せば、オプテ
ィカルフローあるいはデプスマップなどを得ることがで
きる（上記処理については、例えば本出願人が先に提案
した特開平６−４４３６４号公報を参照されたい）。

【０００５】

【発明が解決しようとする課題】図２３，図２４に示す
方法では、例えば時間的に連続した２フレームの画像に
おいて、分割した小領域のサイズを越える動きを検出す
ることは不可能である。すなわち、図２５に示す画像２
のように小領域を越えて移動すると、小領域を切り出し
たとき、小領域に直線が存在しないため検出が不可能と
なる（ρθτデータ以降は省略）。これは、相関をとる
べき２つのρθデータの一方で何も線分が検出されなく
なるためである。

【０００６】しかし、単純に分割するサイズを大きくし
たのでは、ハフ変換の演算量が増大し、画像を分割する
ことによる効果がなくなってしまう。したがって、もと
の画像分割サイズを変更することなく大きな移動量（高
速の動き、あるいは大きな両眼視差）を検出することが
求められる。また、大きな移動量を検出するという目的
中には、ある特定の方向の移動ベクトルだけを検出する
場合、任意の方向の移動ベクトルを検出する場合、ある
いは特定の小領域の移動ベクトルではなく複数の小領域
を含めた広範な画像領域全体の移動ベクトルを検出する
場合などの様々なケースへの効果的な対処も含まれてい
る。

【０００７】本発明は上記事情に鑑みなされたものであ
り、本発明の第１の目的は、分割した小領域のサイズを
越える大きさの移動量を検出することができる画像特徴
抽出方法および装置を提供することである。本発明の第
２の目的は、分割した小領域のサイズを越える大きさの
特定方向の移動量、任意の方向の移動量、もしくは分割
した小領域のサイズより広い領域の全体的な移動量を効
率よく正確に検出することができる画像特徴抽出方法お
よび装置を提供することである。

【０００８】

【課題を解決するための手段】図１〜図８は本発明の原
理を説明する図であり、図１、図２は本発明の請求項
１，６の発明、図３、図４は請求項２，７の発明、図
５、図６は請求項３の発明、図７は請求項４の発明、図
８は請求項５の発明にそれぞれ対応している。

【０００９】以下、図１〜図８により本発明の原理を説
明する。 (a) 以下、図１で説明するように、移動した対象物が含
まれる異なった位置の小領域のρθデータの間で相関を
取ることにより移動量を検出することができる。但し、
ここで得られた移動量は見かけの移動ベクトルであり、
図２に示すように小領域の相対位置に基づく補正が必要
である。すなわち、図１に示すように、画像１，２を小
領域に分割し〔同図の（ａ）〕、小領域を切り出す〔同
図（ｂ）〕。ついで、それぞれをハフ変換し〔同図
（ｃ）〕、相関処理を行いθτデータを得る〔同図
（ｄ）〕。次に、θτデータを逆ハフ変換することによ
り見かけの移動ベクトルが求まる〔同図（ｅ）〕。そし
て、図２に示すように、画像１の小領域Ａに対する画像
２の小領域Ｂの相対位置ベクトルを（Ｄx ，Ｄy ）と
し、見かけの移動ベクトルをＶ（τx0，τy0）とする
と、真の移動ベクトルＶ’（τx0' ，τy0' ）は次の式
で求まる。ここで、上記移動ベクトルＶ，Ｖ’を２次元
的移動量という。 Ｖ（τx0' ，τy0' ）＝Ｖ（τx0，τy0）＋（Ｄx ，Ｄ
y ）

【００１０】(b) 小領域の位置関係による座標シフトを
パラメータτに対して行うことも可能である。シフト量
を加えることによりθτ平面のτの範囲は拡大するが、
新たに得られたθτ’をそのまま逆ハフ変換することに
より真の移動ベクトルが求まる。すなわち、図３に示す
ように画像１の小領域Ａに対する画像２の小領域Ｂの相
対位置ベクトルを（Ｄx ，Ｄy ）、見かけの移動量（直
線の垂線方向の移動量）をτ0 とし、それぞれを図４に
示すようにハフ変換する。ここで、τのシフト量Δτ
は、相対位置（Ｄx ，Ｄy ）と線分方位θの簡単な関係
式で決定されΔτ＝Ｄx cosθ＋Ｄy sinθで表される
ので、真の移動量τ’は図４に示すように、次式で表さ
れる。 τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ） θτ平面は、方位θの直線がその垂線方向にどれだけ移
動しているかという量を示しており、その移動量τ0 あ
るいはτ' を一次元的移動量と呼ぶ。

【００１１】(c) 上記のようにして移動ベクトルを求め
る際、特定方向の移動ベクトルを求めるのであれば、単
一の小領域の相関結果だけから移動ベクトルを求めれば
よい。すなわち、図５、図６に示すように、画像１，２
を小領域に分割し〔図５（ａ）〕、対象物が含まれる画
像１と画像２の一つずつの小領域だけを切り出し〔図５
（ｂ）〕、それぞれをハフ変換する〔図５（ｃ）〕。そ
して、相関処理を行い、真の移動量を得るため上記(b)
で説明したようにτ座標シフトを行ってθτ’データを
得る〔図５、図６（ｄ）〕。次に、θτ’データを逆ハ
フ変換し、そのピーク座標位置を検出すればその点が移
動ベクトルを示している〔図６（ｅ）〕。この方法は、
小領域間の相対位置を基準とする特定の方向の移動量し
か求めることができないが、処理量は非常に少なくて済
む。また、小領域サイズの小さな対象物の移動量を正確
に検出することができる。なお、上記(b) で説明したτ
座標シフトではなく、前記(a) で説明したＶ座標シフト
によっても同様の結果が得られる。

【００１２】(d) ある特定の小領域に対して、もう一方
の画像の複数あるいは周囲全てとの間で相関処理をする
ことにより、より広範な移動方向を同時に検出すること
ができる。すなわち、図７（ａ）に示すように、画像１
の小領域Ａ１に対して、画像２の複数の小領域Ａ２，Ｂ
２，Ｃ２，Ｄ２との相関を取り、それらの結果を全て統
合すれば、検出可能な移動ベクトルの分布方向が増加す
る。さらに進めて、図７（ｂ）に示すように周囲全ての
小領域との相関結果を統合すれば、任意の方向の移動ベ
クトルを求めることができる。

【００１３】(e) 複数の小領域に着目し、それぞれの小
領域の相関結果を統合することで、広い領域の移動ベク
トルを検出することができる。すなわち、図８に示すよ
うに、画像１の小領域Ａ１，Ｂ１，Ｃ１，Ｄ１につい、
その相関処理結果を統合すればＡ１，Ｂ１，Ｃ１，Ｄ１
からなる広い領域の全体的な移動ベクトルを求めること
ができる。

【００１４】本発明は上記(a) 〜(e) で説明したよう
に、次のようにして前記課題を解決する。 （１）画像を小領域に分割し、その局所画像を直線成分
の位置ρ、方位θで表す平面に変換し、異なる画像フレ
ームの２つの小領域から得られた上記２つのρθ平面に
対して、そのθ軸のデータ毎の相関を取ることによって
直線方位θ・変位量τであらわすθτ平面に変換し、該
平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表
す平面に変換し、その平面上のピーク位置の検出によっ
て各小領域内の画像の移動ベクトルを検出する画像特徴
抽出方法において、位置の異なる２つの小領域間でρθ
データ平面の相関処理を行う。

【００１５】（２）上記（１）において、位置の異なる
２つの小領域の相対位置に応じて、上記変位量τに対し
て、方位θ毎の座標シフトを行う。 （３）上記（１）（２）において、それぞれの小領域間
で単独の相関結果を求め、求めた相関結果を独立して処
理する。 （４）上記（１）（２）において、特定の１小領域に対
して、複数の領域と相関を取り、それらの相関結果をま
とめて処理する。 （５）上記（１）（２）において、複数の小領域に対し
て、その各小領域と複数の小領域と相関をとり、上記複
数の各小領域についての相関結果をさらにまとめて処理
をする。

【００１６】（６）画像特徴抽出装置を、第１および第
２の画像を入力する画像入力手段と、上記第１、第２の
画像から位置の異なる２つの小領域を切り出す手段と、
上記第１、第２の画像から切り出された位置の異なる２
つの小領域を直線成分の位置ρ、方位θで表す平面に変
換し、そのθ軸のデータ毎の相関を取ることによって直
線方位θ・変位量τで表すθτ平面に変換する手段と、
上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙ
で表す平面に変換し、その平面上のピーク位置の検出に
よって各小領域内の画像の移動ベクトルを検出する手段
とから構成する。

【００１７】（７）画像特徴抽出装置を、第１および第
２の画像を入力する画像入力手段と、上記第１、第２の
画像から位置の異なる２つの小領域を切り出す手段と、
上記第１、第２の画像から切り出された２つの小領域を
直線成分の位置ρ、方位θで表す平面に変換し、そのθ
軸のデータ毎の相関を取ることによって直線方位θ・変
位量τで表すθτ平面に変換する手段と、上記小領域の
相対位置に応じたシフト量Δτを求める手段と、上記シ
フト量Δτに基づき、上記θτ平面を真の移動量τ’、
直線方位θで表すθτ’平面に変換する手段と、該平面
をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平
面に変換し、その平面上のピーク位置の検出によって各
小領域内の画像の移動ベクトルを検出する手段とから構
成する。

【００１８】本発明の請求項１，６の発明においては、
上記（１）（６）のようにしたので、分割した小領域の
サイズを越える移動量を検出することができる。本発明
の請求項２，７の発明においては、上記（２）（７）の
ようにしたので、対象物を構成する直線成分の小領域の
サイズを越える大きさの一次元的な移動量を検出するこ
とができる。本発明の請求項３の発明においては、上記
（３）のようにしたので、分割小領域のサイズを越える
大きさの、特定方向の移動量を効率的かつ正確に検出す
ることができる。本発明の請求項４の発明においては、
上記（４）のようにしたので、分割した小領域のサイズ
を越える大きさのあらゆる方向の移動量を検出すること
ができる。本発明の請求項５の発明は、上記（５）のよ
うにしたので、分割した小領域のサイズよりも広い領域
の、全体的な移動量を検出することができる。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、以下の説明では、画像を間隔一定の
直交格子状に分割する場合を考えているが、任意の位置
関係にある小領域に対して本発明を適用することができ
る。また、以下の説明では、画像１、画像２を連続する
時系列画像の内の２フレームとして説明するが、任意の
画像（同一の画像も含む）に適用可能である。また、原
画像に対してのみならず、何らかの前処理を施した画像
（微分画像など）に対しても有効である。

【００２０】また、着目している小領域の周囲の小領域
を隣接する８方向で扱っているが、さらに広い範囲の領
域を含めて処理することもできる。さらに、画像を直線
方位θ・位置ρのパラメータ空間に変換する手法として
ハフ変換を用いているが、同様の作用をもたらす変換で
あればどのような処理手法を用いてもよい。逆ハフ変換
についても、θとτからなるパラメータ平面によりその
平面上の正弦波状曲線を一点に変換するものであれば同
様に利用することができる。また、ハフ変換後のρθデ
ータに対して、ρ方向の一次元フィルタリング処理を行
うことも考えられる。

【００２１】（１）実施例１ 図９は本発明の第１の実施例の装置構成図、図１０は本
発明の第１の実施例の処理を示すフローチャートであ
り、同図により本発明の第１の実施例について説明す
る。なお、本実施例は請求項１，６の発明に対応する。
図９において、１はカメラ等から構成される画像入力
部、２ａ，２ｂは入力された全体画像を格納する全体画
像格納部、３は全体画像格納部２ａ，２ｂに格納された
全体画像から小領域選定部５により選定された局所画像
を切り出す小領域切り出し部、４ａ，４ｂは切り出され
た局所画像を格納する局所画像格納部である。また、６
ａ，６ｂは上記局所画像をハフ変換するハフ変換部、７
はハフ変換したρθデータの相関演算を行う相関処理
部、８は相関演算結果を逆ハフ変換する逆ハフ変換部で
ある。

【００２２】９は小領域選定部５により選定された小領
域の相対位置からＶシフト量（Ｄx，Ｄy ）を得るＶシ
フト計算部、１０は逆ハフ変換部８により得たＶデータ
をＶシフト計算部９で求めたシフト量だけシフトした
Ｖ’平面データを格納するＶ’平面格納部、１１はピー
ク検出部でありピーク検出部１１により求めた速度ベク
トルは速度ベクトル格納部１２に格納される。

【００２３】次に、前記図１、図２を参照しながら、図
１０により本実施例の処理を説明する。ステップＳ１、
ステップＳ１’において、画像１，２を入力し、ステッ
プＳ２，Ｓ２’において、図１（ａ）に示したように画
像分割する。ステップＳ３，Ｓ３’において、対象領域
を選定し、ステップＳ４，Ｓ４’において局所画像切り
出しを行い、図１（ｂ）に示したように小領域Ａ，Ｂi
を切り出す。ついで、切り出した小領域について、ステ
ップＳ５、Ｓ５’においてハフ変換を行い図１（ｃ）に
示したようにρθデータを得る。

【００２４】ステップＳ６において、相関演算を行い図
１（ｄ）に示したようなθτデータを得て、ステップＳ
７において逆ハフ変換を行い、図１（ｅ）に示したよう
なＶデータ（見かけの移動速度）を得る。次に、ステッ
プＳ８において、上記小領域Ａ，Ｂの相対位置から前記
図２に示したようにＶシフト量（Ｄx ，Ｄy ）を計算
し、ステップＳ９においてＶシフト量に基づき上記Ｖデ
ータをシフトしＶ’平面書き込みを行うことにより真の
速度平面が求められる。ついで、ステップＳ１０におい
て、隣接領域の処理が全て終了したかを調べ、終了して
いない場合には、小領域Ａに隣接する小領域を新たな領
域Ｂi としてステップＳ３’に戻る。そして、上記処理
を繰り返し得られたデータをＶ’平面に書き加えていく
ことにより最終的な速度平面Ｖ’を得る。

【００２５】そしてステップＳ１１において、上記のよ
うにして得られたＶ’平面上での最大のピーク（相関値
が最大の座標位置）を抽出し、ステップＳ１２において
速度ベクトルを得る。これにより隣接する小領域までの
大きさの速度ベクトルを検出することができる。次いで
ステップＳ１３において、全画像の処理が終了したかを
調べ、終了していない場合にはステップＳ３に戻り、新
たな対象領域を設定し、上記処理を繰り返す。

【００２６】なお、上記説明ではＶ’平面上でピーク検
出を行っているが、Ｖ’平面上でピーク検出を行わず、
Ｖ’平面をそのまま次の処理に用いてもよい。以上のよ
うに分割した画像１の全領域に渡って、小領域Ａを順次
置き換えながら処理を繰り返すことにより、画像１と画
像２の間のオプティカルフローが求まる。

【００２７】（２）実施例２ 図１１は本発明の第２の実施例の装置構成図、図１２は
本発明の第２の実施例の処理を示すフローチャートであ
り、同図により本発明の第２の実施例について説明す
る。なお、本実施例は請求項２，７の発明に対応する。
本実施例においては、図１１に示すように前記図９のＶ
シフト計算部９とＶ’平面格納部１０に代え、τシフト
計算部１３とτ’θ平面格納部１４を設けたものであ
り、τシフト量計算部１３は、小領域の相対位置（Ｄx
，Ｄy ）と線分方位θによりτシフト量Δτを前記式
Δτ＝Ｄx cosθ＋Ｄy sinθで求める。また、τ’θ
平面格納部１４は、相関演算結果を上記τシフト量だけ
シフトしてτ’θ平面に格納する。

【００２８】次に前記図３、図４を参照しながら図１２
により本実施例の処理を説明する。図１２において、ス
テップＳ１からステップＳ６までの処理は前記図１０と
同じであり、入力画像を画像分割して対象領域を選定
し、局所画像を切り出す（ステップＳ１〜ステップＳ
４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，
Ｂi についてハフ変換を行ったのち、相関演算を行い、
見かけの一次元速度τを得る（ステップＳ５，Ｓ５’、
ステップＳ６）。

【００２９】ついで、ステップＳ７において、図３に示
したように小領域の相対位置（Ｄx，Ｄy ）からτシフ
ト量を求め、ステップＳ８において、図４に示したよう
にτ’θ平面に書き込み、真の一次元速度τ’を下記式
により得る。 τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ） ステップＳ９において上記τ’θ平面を逆ハフ変換する
ことにより、速度平面Ｖ’が得られる。

【００３０】ついで、ステップＳ１０において、前記図
１０と同様に、隣接領域の処理が全て終了したか調べ、
終了していない場合には、小領域Ａに隣接する小領域を
新たな領域Ｂi としてステップＳ３’に戻り、上記処理
を繰り返す。そしてステップＳ１１において、前記した
ように最大のピーク（相関値が最大の座標位置）を抽出
し、ステップＳ１２において速度ベクトルを得る。これ
により隣接する小領域までの大きさの速度ベクトルを検
出することができる。

【００３１】次いでステップＳ１３において、全画像の
処理が終了したかを調べ、終了していない場合にはステ
ップＳ３に戻り、新たな対象領域を設定し、上記処理を
繰り返す。本実施例においては、上記のような処理を行
うことにより、上記第１の実施例と同等な結果を得るこ
とができる。

【００３２】（３）実施例３ 図１３、図１７は本発明の第３の実施例の処理を示すフ
ローチャートである。また、本実施例を実現するための
装置としては、Ｖ座標シフトを用いる場合には前記図
９、τ座標シフトを用いる場合には前記図１１に示した
ものを使用することができる。なお、本実施例は請求項
３の発明に対応する。

【００３３】 特定位置の小領域Ｂと小領域Ａとの間
だけで移動量を計算する場合 図１３は特定位置の小領域Ｂと小領域Ａとの間だけで移
動量を計算する実施例を示している。次に、図１３によ
り本実施例の処理を説明する。本実施例の処理は、前記
図１０に示した第１の実施例におけるステップＳ１０に
よる繰り返し処理を省略したものであり、その他は基本
的に前記図１０の処理と同じである。

【００３４】図１３において、入力画像を画像分割して
対象領域を選定し、局所画像を切り出す（ステップＳ１
〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出し
た小領域Ａ，Ｂについてハフ変換を行ってρθ平面を得
たのち、相関演算を行いθτ平面を得る（ステップＳ
５，Ｓ５’、ステップＳ６）。次に相関演算結果を逆ハ
フ変換するとともに、Ｖシフト量を計算し、Ｖ’平面に
書き込む（ステップＳ７，Ｓ８，Ｓ９）。そして、Ｖ’
平面上での最大のピーク（相関値が最大の座標位置）を
抽出し、速度ベクトルを得る（ステップＳ１０，Ｓ１
１）。さらに、ステップＳ１２において、全画像につい
て処理が終了したか調べ、終了していない場合には、ス
テップＳ３に戻り、新たな対象領域を設定し、上記処理
を繰り返す。

【００３５】以上のように、位置の異なった小領域Ａと
Ｂの各々のハフ変換データに対して相関処理を施すこと
によりθτ平面が得られる。さらに、このθτ平面に逆
ハフ変換を施せば速度平面を得ることができ、見かけの
速度を検出することができる。この速度は見かけの速度
であるので、上記したように小領域Ａ，Ｂの相対位置に
基づきＶ座標シフトを行うか、あるいは前記した第２の
実施例で説明したτ座標シフトを行うことにより、真の
一次元速度Ｖ’、あるいは真の一次元速度τ’を得るこ
とができる。

【００３６】図１４、図１５は上記Ｖ座標シフトとτ座
標シフトを説明する図である。図１４に示すように小領
域Ａ，Ｂの相対位置関係が（Ｄx ，Ｄy ）であるとき、
ρθ平面の相関処理を行いθτ平面を得る。そして、Ｖ
座標シフトにおいては、図１５（ａ）に示すように、θ
τデータの逆ハフ変換を行って見かけの移動速度を得た
のち、上記Ｖシフト量（Ｄx ，Ｄy）に基づき同図のａ
に示すＶ座標シフトを行って真の移動速度Ｖ’平面を得
る。

【００３７】一方、τ座標シフトにおいては、図１５
（ｂ）に示すようにρθ平面の相関処理を行うことによ
りθτ平面を得て、前記したようにτ’＝τ0 ＋Δτ＝
τ0 ＋（Ｄx cosθ＋Ｄy sinθ）によりτ座標シフト
を行って逆ハフ変換を行うことにより真の速度平面Ｖ’
を得る。図１４、図１５ではデータ平面全てのシフトを
しているが、特定のデータのみを同じ数式で補正するこ
とも可能である。なお、τ座標シフトは、上記したよう
にθτデータに対してのみならず、その前のρθτデー
タに対しても行うことができる。

【００３８】図１６は上記した特定位置の小領域Ｂと小
領域Ａ間の相関処理を説明する図である。同図（ｂ）に
示すように時刻ｔおよび時刻ｔ＋１におけるハフ平面
（ρθデータ）の配列を用意しておき、分割画像ａにお
いて、時刻ｔにおける小領域Ａの対象物が時刻ｔ＋１に
おいて小領域Ｂに移動したとき、それぞれのρθデータ
を対応する位置の配列に格納し、２つのρθデータ間に
対して相関処理を行うことにより、速度ベクトルを得る
ことができる。対象物が小さい場合には、上記のように
単一の小領域だけとの相関から速度ベクトルを検出した
方が検出精度が向上する場合もある。

【００３９】 個々の小領域との相関演算を複数独立
に行う場合 また、個々の小領域との相関を複数独立に行うことも考
えられる。図１７は上記した個々の小領域との相関を複
数独立に行う場合のフローチャートであり、図１７によ
り本実施例の処理を説明する。図１７において、入力画
像を画像分割して対象領域を選定し、局所画像を切り出
す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。
ついで、切り出した小領域Ａ，Ｂについてハフ変換を行
ってρθ平面を得たのち、相関演算を行いθτ平面を得
る（ステップＳ５，Ｓ５’、ステップＳ６）。

【００４０】次に相関演算結果を逆ハフ変換して最大ピ
ークを検出し、Ｖシフト量計算を行って、速度ベクトル
を検出する。（ステップＳ７，Ｓ８，Ｓ９，Ｓ１０）。
そして、ステップＳ１１において、隣接領域の処理が全
て終了したかを調べ、終了していない場合には、ステッ
プＳ３’に戻り新たな隣接領域を選択して上記処理を繰
り返す。以上のようにして、個々の小領域との相関を複
数独立に行うことにより複数の速度を検出する（ステッ
プＳ１２）。そして、全画像について処理が終了したか
調べ（ステップＳ１３）、終了していない場合には、ス
テップＳ３に戻り、新たな対象領域を設定し、上記処理
を繰り返す。

【００４１】図１８は上記した複数の速度を検出する場
合の処理を説明する図である。前記した図１６と同様、
同図に示すように時刻ｔおよび時刻ｔ＋１におけるハフ
平面（ρθデータ）の配列を用意し、それぞれのρθデ
ータを対応する位置の配列に格納する。そして、例えば
小領域Ａから複数方向に対象物が移動した場合、小領域
Ａと小領域Ｂ１および小領域Ａと小領域Ｂ２から個々独
立に速度検出を行うことにより複数の速度検出を行う。

【００４２】対象物が小さい場合には、上記、のよ
うに単一の小領域との相関から速度ベクトルを検出した
方が検出精度が向上する場合もある。また、上記のよ
うに小領域Ａから複数の対象物が別々の方向に動き出す
ような場合にも、個々の速度検出を独立に行うことで複
数の速度を正確に検出することが可能となる。これらの
独立の速度平面を統合することももちろん可能である。

【００４３】（４）実施例４ 本実施例は隣接する全ての小領域との相関結果を加算
し、速度ベクトルを検出する実施例であり、本実施例に
より任意の方向の速度を同時に検出することができる。
本実施例は前記した図１０、図１２のフローチャートに
より実現することができ、また、本実施例を実現するた
めの装置としては、Ｖ座標シフトを用いる場合には前記
図９、τ座標シフトを用いる場合には前記図１１に示し
たものを使用することができる。なお、本実施例は請求
項４の発明に対応する。

【００４４】図１９は本実施例を説明する図であり、同
図に示すように、小領域Ａに対して、それと隣接する３
×３の小領域Ｂi （小領域Ａも含む）との相関結果を全
て統合すれば、３倍のサイズの速度平面を得られ、その
分だけ高速度の検出を実現することができる。そして、
同図に示す統合した速度平面Ｖ’に対してピーク抽出な
どの処理を施すことにより、小領域Ａ内の画像がどれだ
け移動したかを求めることができる。

【００４５】また、左右のカメラからとられたステレオ
画像からの視差検出の場合など特定方向の移動量のみを
求める場合には、周囲の全小領域と相関処理を行う必要
はなく、図２０に示すように必要な方向に存在する複数
の小領域のみを処理の対象とすればよい。上記場合にお
いても、前記したＶ座標シフト、τ座標シフトのいずれ
の手法を用いてもよい。

【００４６】（５）実施例５ 本実施例は、複数の小領域に着目しそれぞれの小領域の
相関結果を統合することにより広い領域の移動ベクトル
を検出できるようにしたものである。すなわち、図２１
に示すように、小領域Ａの周囲の小領域Ａk において、
そのＡK の周囲の小領域Ｂi との間で前記図１９に示し
たように相関をとって統合し、各小領域Ａk の画像の平
面速度を求め、各Ａk について得られた速度平面を更に
加算することにより小領域Ａを含む広い範囲の全体速度
ベクトルを求める。なお、本実施例は請求項５の発明に
対応する。

【００４７】図２２は本実施例の処理を示すフローチャ
ートであり、また、本実施例を実現するための装置とし
ては、Ｖ座標シフトを用いる場合には前記図９、τ座標
シフトを用いる場合には前記図１１に示したものを使用
することができる。図２２において、ステップＳ１から
ステップＳ９までの処理は前記図１０と同じであり、入
力画像を画像分割して対象領域を選定し、局所画像を切
り出す（ステップＳ１〜ステップＳ３，Ｓ１’〜Ｓ
３’）。ついで、切り出した小領域Ａ，Ｂi についてハ
フ変換を行ってρθ平面を得たのち、相関演算を行いθ
τ平面を得る（ステップＳ４，Ｓ４’、ステップＳ
５）。

【００４８】次に相関演算結果を逆ハフ変換するととも
に、Ｖシフト量を計算し、Ｖ’平面に書き込む（ステッ
プＳ６，Ｓ７，Ｓ８）。ついで、ステップＳ９におい
て、隣接領域の処理が全て終了したかを調べ、終了して
いない場合には、小領域Ａに隣接する小領域を新たな領
域Ｂi としてステップＳ２’に戻る。

【００４９】小領域Ａの周囲の領域Ｂi の処理が終わる
と、ステップＳ１０に行き、小領域Ａに隣接する小領域
Ａk についての処理が全て終了したかを調べ、終了して
いない場合には、ステップＳ２に戻り、新たな小領域Ａ
k について上記と同様な処理を行う。以上のようにして
小領域Ａk について処理が終了すると、ステップＳ１２
において、全画像の処理が終了したかを調べ、終了して
いない場合にはステップＳ３に戻り、新たな対象領域を
設定し、上記処理を繰り返す。以上のように本実施例に
おいては、分割した領域のサイズ（小領域Ａ）よりも広
い範囲（図２１ではＡの３×３倍分）内の平均速度を得
ることができる。このため、全体が一様に動いているよ
うな場合、あるいは、小領域サイズよりも大きい対象物
が動いている場合にはノイズ抑制の効果も大きく現れ
る。

【００５０】

【発明の効果】以上説明したように本発明においては、
以下の効果を得ることができ、連続した時系列画像から
の速度ベクトルの検出や、２つのカメラ画像からの視差
の検出等において、分割した小領域のサイズを越える動
きを少ない演算量で効率的かつ正確に検出することがで
きる。

【００５１】（１）移動した対象物が含まれる異なった
位置の小領域のρθデータの間で相関を取っているの
で、分割した小領域のサイズを越える移動量を検出する
ことができる。 （２）上記（１）において、位置の異なる２つの小領域
の相対位置に応じて、上記変位量τに対して、方位θの
座標シフトを行っているので、対象物を構成する直線成
分の小領域のサイズを越える大きさの一次元的な移動量
を検出することができる。 （３）上記（１）（２）において、それぞれの小領域間
で単独の相関結果を求め、求めた相関結果を独立して処
理しているので、分割小領域のサイズを越える大きさ
の、特定方向の移動量を効率的かつ正確に検出すること
ができる。

【００５２】（４）上記（１）（２）において、特定の
１小領域に対して、複数の領域と相関を取り、それらの
相関結果をまとめて処理しているので、分割した小領域
のサイズを越える大きさのあらゆる方向の移動量を検出
することができる。 （５）上記（１）（２）において、複数の小領域に対し
て、その各小領域と複数の小領域と相関をとり、上記複
数の各小領域についての相関結果をさらにまとめて処理
しているので、分割した小領域のサイズよりも広い領域
の、全体的な移動量を検出することができる。

【図面の簡単な説明】

【図１】本発明の請求項１，６の原理を説明する図であ
る。

【図２】本発明の請求項１，６の原理を説明する図（続
き）である。

【図３】本発明の請求項２，７の原理を説明する図であ
る。

【図４】本発明の請求項２，７の原理を説明する図（続
き）である。

【図５】本発明の請求項３の原理を説明する図である。

【図６】本発明の請求項３の原理を説明する図（続き）
である。

【図７】本発明の請求項４の原理を説明する図である。

【図８】本発明の請求項５の原理を説明する図である。

【図９】第１の実施例のシステム構成図である。

【図１０】第１の実施例の処理を示すフローチャートで
ある。

【図１１】第２の実施例のシステム構成図である。

【図１２】第２の実施例の処理を示すフローチャートで
ある。

【図１３】第３の実施例の処理を示すフローチャート
である。

【図１４】Ｖ座標シフトとτ座標シフトを説明する図で
ある。

【図１５】Ｖ座標シフトとτ座標シフトを説明する図
（続き）である。

【図１６】特定位置の小領域Ｂと小領域Ａ間の相関処理
を説明する図である。

【図１７】第３の実施例のフローチャートである。

【図１８】複数の速度を検出する場合の処理を説明する
図である。

【図１９】第４の実施例を説明する図である。

【図２０】第４の実施例において特定方向の移動量のみ
を求める場合を示す図である。

【図２１】第５の実施例を説明する図である。

【図２２】第５の実施例の処理を示すフローチャートで
ある。

【図２３】従来の移動ベクトル検出方法を示す図であ
る。

【図２４】従来の移動ベクトル検出方法を示す図（続
き）である。

【図２５】移動量が大きい場合を説明する図である。

【符号の説明】

１ 画像入力部 ２ａ，２ｂ 全体画像格納部 ３ 局所画像格納部 ５ 小領域選定部 ４ａ，４ｂ 局所画像格納部 ６ａ，６ｂ ハフ変換部 ７ 相関処理部 ８ 逆ハフ変換部 ９ Ｖシフト計算部 １０ Ｖ’平面格納部 １１ ピーク検出部 １２ 速度ベクトル格納部 １３ τシフト計算部 １４ τ’θ平面格納部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像を小領域に分割し、その局所画像を
   直線成分の位置ρ、方位θで表す平面に変換し、 異なる画像フレームの２つの小領域から得られた上記２
   つのρθ平面に対して、そのθ軸のデータ毎の相関を取
   ることによって直線方位θ・変位量τであらわすθτ平
   面に変換し、 上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙ
   で表す平面に変換し、その平面上のピーク位置の検出に
   よって各小領域内の画像の移動ベクトルを検出する画像
   特徴抽出方法であって、 位置の異なる２つの小領域間でρθデータ平面の相関処
   理を行うことを特徴とする画像特徴抽出方法。
2. 【請求項２】 位置の異なる２つの小領域の相対位置に
   応じて、上記変位量τに対して、方位θの座標シフトを
   行うことを特徴とする請求項１の画像特徴抽出方法。
3. 【請求項３】 それぞれの小領域間で単独の相関結果を
   求め、求めた相関結果を独立して処理することを特徴と
   する請求項１または請求項２の画像特徴抽出方法。
4. 【請求項４】 特定の１小領域に対して、複数の領域と
   相関を取り、それらの相関結果をまとめて処理すること
   を特徴とする請求項１または請求項２の画像特徴抽出方
   法。
5. 【請求項５】 複数の小領域に対して、その各小領域と
   複数の小領域と相関をとり、上記複数の各小領域につい
   ての相関結果をさらにまとめて処理をすることを特徴と
   する請求項１または請求項２の画像特徴抽出方法。
6. 【請求項６】 第１および第２の画像を入力する画像入
   力手段と、 上記第１、第２の画像から位置の異なる２つの小領域を
   切り出す手段と、 上記第１、第２の画像から切り出された位置の異なる２
   つの小領域を直線成分の位置ρ、方位θで表す平面に変
   換し、そのθ軸のデータ毎の相関を取ることによって直
   線方位θ・変位量τで表すθτ平面に変換する手段と、 上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙ
   で表す平面に変換し、その平面上のピーク位置の検出に
   よって各小領域内の画像の移動ベクトルを検出する手段
   とを備えたことを特徴とする画像特徴抽出装置。
7. 【請求項７】 第１および第２の画像を入力する画像入
   力手段と、 上記第１、第２の画像から位置の異なる２つの小領域を
   切り出す手段と、 上記第１、第２の画像から切り出された２つの小領域を
   直線成分の位置ρ、方位θで表す平面に変換し、そのθ
   軸のデータ毎の相関を取ることによって直線方位θ・変
   位量τで表すθτ平面に変換する手段と、 上記小領域の相対位置に応じたシフト量Δτを求める手
   段と、 上記シフト量Δτに基づき、上記θτ平面を真の移動量
   τ’、直線方位θで表すθτ’平面に変換する手段と、 上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙ
   で表す平面に変換し、その平面上のピーク位置の検出に
   よって各小領域内の画像の移動ベクトルを検出する手段
   とを備えたことを特徴とする画像特徴抽出装置。