JPH06168329A - オプティカルフロー演算回路 - Google Patents

Abstract

(57)【要約】 【目的】 従来よりも短い時間で演算を行うことのでき
るオプティカルフロー演算回路を得る。 【構成】 勾配演算回路１３は、異なる時刻における２
枚の画像を入力し、それらの画像の間の空間濃度勾配と
時間濃度勾配とを演算する。係数演算回路１４は、勾配
演算回路１３の各出力からオプティカルフローの繰り返
し演算の係数を演算する。縦列に接続された複数の動き
場ｕ，ｖ演算回路１６ａ〜１６ｃは、係数演算回路１４
の出力を遅延回路１７ａ〜１７ｃを介して入力し、それ
を用いてオプティカルフローを表す動き場をパイプライ
ン的に演算する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ビデオカメラ等で撮
影された異なる時刻における、すなわち時間的に異なる
２枚の画像から、物体の移動ベクトルであるオプティカ
ルフローを実時間で求めるものであって、画像認識等に
用いられるオプティカルフロー演算回路に関するもので
ある。

【０００２】

【従来の技術】２枚の画像から見かけの動き場（オプテ
ィカルフロー）を求める手法として、「デターミニング
オプティカル フロー（Determining Optical Flo
w）」，アーティフィカル インテリジェンス（Artific
al Intelligence）第１７巻第１−３号（１９８１）p
p．185〜203で提案されたものがある。

【０００３】その手法の原理を以下に示す。時刻ｔにお
ける画像中のある座標（ｘ，ｙ）の濃度をＩ（ｘ，ｙ，
ｔ）で表すと、物体の濃度は時間的に不変であるという
第１の仮定より（１）式の近似式が成立する。

【０００４】 Ｉ_x u ＋Ｉ_y v ＋Ｉ_t ＝０ ・・・（１）

【０００５】ここで、Ｉ_x ，Ｉ_y は空間方向（ｘ方向，
ｙ方向）の濃度勾配、Ｉ_t は時間方向の濃度勾配、ｕ，
ｖはオプティカルフローのｘ方向，ｙ方向の成分であ
る。Ｉ_x ，Ｉ_y ，Ｉ_t は以下の式で与えられる。

【０００６】 Ｉ_x ＝｛Ｉ（i+1,j,t ）−Ｉ（i,j,t ）＋Ｉ（i+1,j+i,t ）−Ｉ（i,j+1,t ） ＋Ｉ（i+1,j,t+1 ）−Ｉ（i,j,t+1 ）＋Ｉ（i+1,j+1,t+1 ） −Ｉ（i,j+1,t+1 ）｝／４ ・・・（２）

【０００７】 Ｉ_y ＝｛Ｉ（i,j+1,t ）−Ｉ（i,j,t ）＋Ｉ（i+1,j+i,t ）−Ｉ（i+1,j,t ） ＋Ｉ（i,j+1,t+1 ）−Ｉ（i,j,t+1 ）＋Ｉ（i+1,j+1,t+1 ） −Ｉ（i+1,j,t+1 ）｝／４ ・・・（３）

【０００８】 Ｉ_t ＝｛Ｉ（i,j,t+1 ）−Ｉ（i,j,t ）＋Ｉ（i+1,j+i,t ）−Ｉ（i+1,j,t ） ＋Ｉ（i,j+1,t+1 ）−Ｉ（i,j+1,t ）＋Ｉ（i+1,j+1,t+1 ） −Ｉ（i+1,j+1,t ）｝／４ ・・・（４）

【０００９】また、（１）式に対して局所的な速度変化
は滑らかであるという第２の仮定を加えると、以下の誤
差関数Ｅを最小にするｕ，ｖがオプティカルフローとな
る。

【００１０】 Ｅ＝∬（Ｅ_b ² ＋α² Ｅ_c ）dxdy ・・・（５）

【００１１】ここで、Ｅ_b ，Ｅ_c は、それぞれ（６）
式，（７）式で表され、Ｅ_b は第１の仮定による誤差関
数、Ｅ_c は第２の仮定による誤差関数である。また、α
は２つの誤差関数間の重み係数であり、観測データが信
頼できるときには小さな値、観測データが雑音等で信頼
できないときには第２の仮定による平滑化効果を大きく
するために大きな値とされる。

【００１２】 Ｅ_b ＝Ｉ_x u ＋Ｉ_y v ＋Ｉ_t ・・・（６） Ｅ_c ＝（∂u/∂x ）² ＋（∂u/∂y ）² ＋（∂v/∂x ）² ＋（∂v/∂y ）² ・・・（７）

【００１３】（５）式を最小にするｕおよびｖは次の繰
り返し式を計算することにより得られる。

【００１４】 ｕ⁽ⁿ⁺⁾ ＝ｕ_av ⁽ⁿ⁾ −｛［Ｉ_x （Ｉ_x ｕ_av ⁽ⁿ⁾ ＋Ｉ_y ｖ_av ⁽ⁿ⁾ ＋Ｉ_t ）］ ／［α² ＋Ｉ_x ² ＋Ｉ_y ² ］｝ ・・・（８） ｖ⁽ⁿ⁺⁾ ＝ｖ_av ⁽ⁿ⁾ −｛［Ｉ_y （Ｉ_x ｕ_av ⁽ⁿ⁾ ＋Ｉ_y ｖ_av ⁽ⁿ⁾ ＋Ｉ_t ）］ ／［α² ＋Ｉ_x ² ＋Ｉ_y ² ］｝ ・・・（９） ここで、ｕ_av ⁽ⁿ⁾ はｕ⁽ⁿ⁾ の８近傍画素の平均値、ｖ_av
⁽ⁿ⁾ はｖ⁽ⁿ⁾ の８近傍画素の平均値、ｎは繰り返し回数
である。

【００１５】以上のことから、上記文献に記載された手
法によると、異なる時刻における２枚の画像が入力され
たときに、（２）〜（４）式に従って空間濃度勾配Ｉ
_x ，Ｉ_y と時間濃度勾配Ｉ_t を計算し、それらの濃度勾
配を用いて（８）式、（９）式の繰り返し計算を適当な
回数実行することによりオプティカルフローｕ，ｖが求
められる。

【００１６】図１２は以上の処理を実行するオプティカ
ルフロー演算回路の構成を示すブロック図である。図に
おいて、１１，１２は時間的に異なる２つの画像を示し
ている。そして、勾配演算回路１３は、空間濃度勾配Ｉ
_x ，Ｉ_y と時間濃度勾配Ｉ_tを計算しそれらを勾配メモ
リ２１に格納する。そして、動き場ｕ，ｖ演算回路２２
は、動き場ｕ，ｖメモリ２３内のｕ⁽ⁿ⁾ ，ｖ⁽ⁿ⁾ を入力
してｕ⁽ⁿ⁺¹⁾ ，ｖ^{(n+1 )} を算出する。そして、次の回の
繰り返し演算のためにｕ⁽ⁿ⁺¹⁾ ，ｖ⁽ⁿ⁺¹⁾ を動き場ｕ，
ｖメモリ２３に格納する。なお、先行技術として特開平
３−７４７８２号公報に示されたものがある。

【００１７】

【発明が解決しようとする課題】従来のオプティカルフ
ロー演算回路は以上のように構成されているので、ｎ＋
１回目のオプティカルフローの値を計算するには、全画
面にわたってｎ回目の値があらかじめ計算されていなけ
ればならず、繰り返し回数に比例して計算時間が長くか
かるという問題点があった。また、画素毎の濃度勾配を
記憶する勾配メモリ２１とｎ回目の値を記憶する動き場
ｕ，ｖメモリ２３が必須のものであり、回路規模が増大
するという問題点もあった。

【００１８】この発明は上記のような問題点を解消する
ためになされたもので、メモリを必要とせず、かつ、従
来よりも短い時間でオプティカルフローの演算を行うこ
とのできるオプティカルフロー演算回路を得ることを目
的とする。

【００１９】

【課題を解決するための手段】請求項１記載の発明に係
るオプティカルフロー演算回路は、異なる時刻における
２枚の画像を入力し、それらの画像の間の空間濃度勾配
と時間濃度勾配とを演算する勾配演算回路と、この勾配
演算回路の各出力からオプティカルフローの繰り返し演
算の係数を演算する係数演算回路と、この係数演算回路
の出力を用いてオプティカルフローを表す動き場を演算
する縦列に接続された複数の動き場ｕ，ｖ演算回路と、
係数演算回路の出力を遅延させてその出力と各動き場
ｕ，ｖ演算回路の演算とを同期させる遅延回路とを備え
たものである。

【００２０】請求項２記載の発明に係るオプティカルフ
ロー演算回路は、請求項１記載の発明に係るオプティカ
ルフロー演算回路において、勾配演算回路の前段に、２
枚の画像間の背景の位置ずれを検出し、その位置ずれを
補正する位置ずれ補正部を備えたものである。

【００２１】請求項３記載の発明に係るオプティカルフ
ロー演算回路は、請求項１記載の発明に係るオプティカ
ルフロー演算回路において、勾配演算回路が、２枚の画
像における同じ位置の画素間の加算値と減算値とを算出
した後に、画像の間の空間濃度勾配と時間濃度勾配とを
演算する構成になっているものである。

【００２２】そして、請求項４記載の発明に係るオプテ
ィカルフロー演算回路は、請求項１記載の発明に係るオ
プティカルフロー演算回路において、勾配演算回路と係
数演算回路との間に、勾配演算回路の各出力と係数演算
の重み定数とのビット数を低減するビット数低減回路を
備えたものである。

【００２３】

【作用】請求項１記載の発明における複数の動き場ｕ，
ｖ演算回路は、オプティカルフローの繰り返し演算をパ
イプライン的に実行する。その際、係数演算回路は、繰
り返し演算に必要とされる各係数をあらかじめ算出し、
そのパイプライン的演算を可能にする。

【００２４】請求項２記載の発明における位置ずれ補正
部は、２枚の画像間の背景の位置合わせを行い、背景の
位置ずれによるオプティカルフローの発生を防止する。

【００２５】請求項３記載の発明における勾配演算回路
は、あらかじめ２枚の画像における同じ位置の画素間の
加算値と減算値とを算出しておき、積和演算を簡略化す
る。

【００２６】そして、請求項４記載の発明におけるビッ
ト数低減回路は、係数演算回路が扱う各データのビット
数を低減し、係数演算回路における内部演算のビット数
を減じ係数演算回路の構成を簡略化する。

【００２７】

【実施例】

実施例１．図１はこの発明の一実施例によるオプティカ
ルフロー演算回路の構成を示すブロック図である。図に
おいて、１１，１２は２枚の画像を示し、１３は従来の
ものと同様の勾配演算回路である。１４はオプティカル
フローの繰り返し演算に必要な係数をあらかじめ演算す
る係数演算回路である。ここで、αは係数演算に必要と
される重み定数である。また、１５は繰り返し演算の初
期値を示している。

【００２８】１６ａは１回目の演算を行う動き場ｕ，ｖ
演算回路、１６ｂは２回目の演算を行う動き場ｕ，ｖ演
算回路、１６ｃは３回目の演算を行う動き場ｕ，ｖ演算
回路、１７ａは係数演算回路１４の出力に対して動き場
ｕ，ｖ演算回路１６ａにおける演算時間に相当する遅延
を与える遅延回路、１７ｂは遅延回路１７ａの出力に対
して動き場ｕ，ｖ演算回路１６ｂにおける演算時間に相
当する遅延を与える遅延回路、１７ｃは遅延回路１７ｂ
の出力に対して動き場ｕ，ｖ演算回路１６ｃにおける演
算時間に相当する遅延を与える遅延回路である。

【００２９】次に動作について説明する。第１画像１１
は時刻ｔ＋１における画像であり、第２画像１２は時刻
ｔにおける画像であるが、それぞれ２系統の画像バスか
らラスタースキャンにより勾配演算回路１３に入力され
る。図２に示すように、第１画像１１は、ラインメモリ
３１ａにより１行分の遅延を受け、ラインメモリ３１ａ
およびラインメモリ３１ｂにより２行分の遅延を受け
る。また、第２画像１２は、ラインメモリ３１ｃにより
１行分の遅延を受け、ラインメモリ３１ｃおよびライン
メモリ３１ｄにより２行分の遅延を受ける。そして、各
ラインメモリ３１ａ〜３１ｄの出力は、３つの４×２積
和演算回路３２ａ〜３２ｃに入力する。

【００３０】ここで、ラインメモリ３１ｂ内のデータを
ｊ行目のものとすると、ラインメモリ３１ａ内のデータ
はｊ＋１行目のものである。また、ラインメモリ３１ｄ
内のデータをｊ行目のものとすると、ラインメモリ３１
ｃ内のデータはｊ＋１行目のものである。よって、４×
２積和演算回路３２ａは、入力データに対して図３
（ａ）に示す係数を掛け、結果の和を取ることにより、
（２）式による濃度勾配Ｉ_x を算出する。なお、図３
（ａ）において、右列の４つの係数はｉ画素目に対する
係数であり、左列の４つの係数はｉ＋１画素目に対する
係数である。

【００３１】同様に、４×２積和演算回路３２ｂは、入
力データに対して図３（ｂ）に示す係数を掛け、結果の
和を取ることにより、（３）式による濃度勾配Ｉ_y を算
出し、４×２積和演算回路３２ｃは、入力データに対し
て図３（ｃ）に示す係数を掛け、結果の和を取ることに
より、（４）式による濃度勾配Ｉ_t を算出する。
（８），（９）式の繰り返し式は、（１０），（１１）
式のように変形できる。

【００３２】 ｕ⁽ⁿ⁺¹⁾ ＝｛（α² ＋Ｉ_y ² ）ｕ_av ⁽ⁿ⁾ −Ｉ_x Ｉ_y ｖ_av ⁽ⁿ⁾ −Ｉ_x Ｉ_t ｝ ／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１０） ｖ⁽ⁿ⁺¹⁾ ＝｛（α² ＋Ｉ_x ² ）ｖ_av ⁽ⁿ⁾ −Ｉ_x Ｉ_y ｕ_av ⁽ⁿ⁾ −Ｉ_y Ｉ_t ｝ ／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１１）

【００３３】繰り返し演算に必要な係数ａ〜ｅを以下の
ようにおくことにより、繰り返し式は、（１７），（１
８）式のように書ける。

【００３４】 ａ＝（α² ＋Ｉ_y ² ）／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１２） ｂ＝Ｉ_x Ｉ_y ／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１３） ｃ＝（α² ＋Ｉ_x ² ）／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１４） ｄ＝Ｉ_x Ｉ_t ／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１５） ｅ＝Ｉ_y Ｉ_t ／（α² ＋Ｉx ² ＋Ｉy ² ） ・・・（１６）

【００３５】 ｕ⁽ⁿ⁺¹⁾ ＝ａｕ_av(n) −ｂｖ_av ⁽ⁿ⁾ −ｄ ・・・（１７） ｖ⁽ⁿ⁺¹⁾ ＝ｃｖ_av(n) −ｂｕ_av ⁽ⁿ⁾ −ｅ ・・・（１８）

【００３６】係数演算回路１４は、（１２）〜（１６）
式の演算を行う。図４は、係数演算回路１４の構成を示
すブロック図である。図に示すように、乗算器５１ａ〜
５１ｃは、それぞれα² 、Ｉ_x ² 、Ｉ_y ² の計算を行
う。また、乗算器５２ａ〜５２ｃは、それぞれＩ_x Ｉ
_y 、Ｉ_x Ｉ_t 、Ｉ_y Ｉ_t の計算を行う。そして、加算器
５３は、α² ＋Ｉ_x ² ＋Ｉ_y ² の計算を行い、加算器５
４ａ〜５４ｂは、それぞれα² ＋Ｉ_x ² 、α² ＋Ｉ_y ²
の計算を行う。

【００３７】図５は動き場ｕ，ｖ演算回路１６ａの構成
を示すブロック図である。なお、動き場ｕ，ｖ演算回路
１６ｂ〜１６ｃの構成も図５に示すものと同じである。
動き場ｕ，ｖ演算回路１６ａにおいて、初期値ｕ⁽⁰⁾ ，
ｖ⁽⁰⁾ が入力されると、平均値演算回路６１ａはｕ⁽⁰⁾
の８近傍の平均値ｕ_av ⁽⁰⁾ を計算し、平均値演算回路６
１ｂはｖ⁽⁰⁾ の８近傍の平均値ｖ_avav⁽⁰⁾ を計算する。

【００３８】平均値演算回路６１ａは例えば図６に示す
ように構成され、ｕ⁽⁰⁾ は、ラインメモリ７１ａ〜７１
ｃにより１行〜３行分の遅延が与えられる。そして、ラ
インメモリ７１ａ〜７１ｃの出力が３×３積和演算回路
７２に入力する。３×３積和演算回路７２は、各ライン
メモリ７１ａ〜７１ｃの出力に対して図７に示す係数を
各画素に掛け、その結果の和をとることにより平均値ｕ
_av ⁽⁰⁾ を算出する。なお、平均値演算回路６１ｂも同様
の構成であり、ｖ⁽⁰⁾ に対する平均値ｖ_av ⁽⁰⁾を算出す
る。

【００３９】この演算において、ｕ_av ⁽⁰⁾ ，ｖ_av ⁽⁰⁾
は、ｕ⁽⁰⁾ ，ｖ⁽⁰⁾ に対して２行１画素遅れて平均値演
算回路６１ａ，６１ｂから出力される。そこで、遅延回
路１７ａは、この遅れに相当する遅延を係数ａ，ｂ，
ｃ，ｄ，ｅに与えた後、動き場ｕ，ｖ演算回路１６ａに
出力する。動き場ｕ，ｖ演算回路１６ａにおける乗算器
６２ａは、平均値ｕ_av ⁽⁰⁾) と係数ａとを入力し、ａｕ
_av ⁽⁰⁾ を算出する。また、乗算器６２ｂは、平均値ｖ_av
⁽⁰⁾) と係数ｂとを入力し、ｂｖ_av ⁽⁰⁾ を算出する。乗
算器６２ｃは、平均値ｖ_av ⁽⁰⁾ と係数ｃとを入力し、ｃ
ｖ_av ⁽⁰⁾ を算出する。また、乗算器６２ｄは、平均値ｕ
_av ⁽⁰⁾ と係数ｂとを入力し、ｂｕ_av ⁽⁰⁾ を算出する。

【００４０】そして、ｕｖ演算器６３ａは、（１９）式
の演算を行いｕ⁽¹⁾ を算出する。また、ｕｖ演算器６３
ｂは、（２０）式の演算を行いｖ⁽¹⁾ を算出する。

【００４１】 ｕ⁽¹⁾ ＝ａｕ_av ⁽⁰⁾ −ｂｖ_av ⁽⁰⁾ −ｄ ・・・（１９） ｖ⁽¹⁾ ＝ｃｖ_av ⁽⁰⁾ −ｂｕ_av ⁽⁰⁾ −ｅ ・・・（２０）

【００４２】算出されたｕ⁽¹⁾ ，ｖ⁽¹⁾ は、次段の動き
場ｕ，ｖ演算回路１６ｂに与えられる。また、動き場
ｕ，ｖ演算回路１６ｂには、２段目の遅延回路１７ｂで
遅延された係数ａ，ｂ，ｃ，ｄ，ｅも与えられる。

【００４３】よって、動き場ｕ，ｖ演算回路１６ｂは、
動き場ｕ，ｖ演算回路１６ａと同様に動作して、ｕ
⁽²⁾ ，ｖ⁽²⁾ を出力する。動き場ｕ，ｖ演算回路１６ｃ
には、ｕ⁽²⁾ ，ｖ⁽²⁾ と３段目の遅延回路１７ｃで遅延
された係数ａ，ｂ，ｃ，ｄ，ｅが入力し、ｕ⁽³⁾ ，ｖ
⁽³⁾ が算出される。

【００４４】以上のようにして、繰り返し回数３のオプ
ティカルフロー演算が実現される。なお、繰り返し回数
を多くしたい場合には、動き場ｕ，ｖ演算回路および遅
延回路の段数を増やしていけばよい。

【００４５】実施例２．上記実施例では、異なる時刻に
おける２枚の画像から直接オプティカルフローが演算さ
れている。しかし、例えば、カメラの移動等により背景
に位置ずれが起こると、移動物体のオプティカルフロー
のみならず、背景の相対的移動によるオプティカルフロ
ーも検出されてしまう。そして、移動物体のオプティカ
ルフローの抽出は困難である。

【００４６】そこで、図８に示すように、第１画像１１
および第２画像１２がそれぞれ一旦第１フレームメモリ
９１と第２フレームメモリ９２に蓄積される構成とす
る。それとともに、第１画像１１および第２画像１２が
位置合わせ回路９３に入力される。位置合わせ回路９３
は、背景の位置ずれ量を検出する。そして、位置ずれ補
正信号９４によって、第２フレームメモリ９２から勾配
演算回路１３へのデータ読み出し位置を、背景の位置ず
れがなくなるように制御する。このようにして、背景の
位置ずれによるオプティカルフローの発生は防止され、
移動物体のみによるオプティカルフローが得られる。な
お、位置ずれ補正部は、第１フレームメモリ９１、第２
フレームメモリ９２および位置合わせ回路９３で実現さ
れている。また、勾配演算回路１３以降の部分の構成
は、図１に示す構成と同じである。

【００４７】実施例３．実施例１では、勾配演算回路１
３に第１画像１１および第２画像１２が入力され、４×
２積和演算回路３２ａ〜３２ｃが空間濃度勾配と時間濃
度勾配を計算していた。しかし、（２）〜（４）式は、
時間的に異なる同じ画素位置の和および差が含まれてい
るので、（２１）〜（２５）式で表すことができる。

【００４８】 Ｉ_x ＝｛−g(i,j)＋g(i+1,j)−g(i,j+1)＋g(i+1,j+1)｝／４ ・・・（２１） Ｉ_y ＝｛−g(i,j)−g(i+1,j)＋g(i,j+1)＋g(i+1,j+1)｝／４ ・・・（２２） Ｉ_t ＝｛h(i,j)＋h(i+1,j)＋h(i,j+1)＋h(i+1,j+1)｝／４ ・・・（２３）

【００４９】 g(i,j)＝Ｉ(i,j,t+1) ＋Ｉ(i,j,t) g(i+1,j)＝Ｉ(i+1,j,t+1) ＋Ｉ(i+1,j,t) g(i,j+1)＝Ｉ(i,j+1,t+1) ＋Ｉ(i,j+1,t) g(i+1,j+1)＝Ｉ(i+1,j+1,t+1) ＋Ｉ(i+1,j+1,t) ・・・（２４）

【００５０】 h(i,j)＝Ｉ(i,j,t+1) −Ｉ(i,j,t) h(i+1,j)＝Ｉ(i+1,j,t+1) −Ｉ(i+1,j,t) h(i,j+1)＝Ｉ(i,j+1,t+1) −Ｉ(i,j+1,t) h(i+1,j+1)＝Ｉ(i+1,j+1,t+1) −Ｉ(i+1,j+1,t) ・・・（２５）

【００５１】すなわち、２枚の画像の和および差をあら
かじめ計算しておけば、勾配演算回路１３における積和
演算回路は２×２のものでよい。図９は、そのような考
え方にもとづくこの発明の第３の実施例によるオプティ
カルフロー演算回路における勾配演算回路１３の構成を
示すブロック図である。図に示すように、加算器１０１
は（２４）式の演算を行い、減算器１０２は（２５）式
の演算を行う。

【００５２】加算器１０１の出力は、ラインメモリ３１
ａおよびラインメモリ３１ｂで１行分または２行分の遅
延を受ける。また、減算器１０２出力は、ラインメモリ
３１ｃおよびラインメモリ３１ｄで１行分または２行分
の遅延を受ける。ラインメモリ３１ａおよびラインメモ
リ３１ｂの出力は２×２積和演算回路１０３ａ，１０３
ｂに入力され、ラインメモリ３１ｃおよびラインメモリ
３１ｄ出力は２×２積和演算回路１０３ｃに入力され
る。

【００５３】そして、２×２積和演算回路１０３ａ，１
０３ｂ，１０３ｃは、それぞれ図１０（ａ），（ｂ），
（ｃ）に示す係数を掛け、結果の和を取ることにより、
それぞれ（２１），（２２），（２３）式によるＩ_x ，
Ｉ_y ，Ｉ_t を算出する。

【００５４】実施例４．実施例１では、係数演算回路１
４は、（１２）〜（１６）式に従って係数を演算してい
る。ここで、第１画像および第２画像がそれぞれ８ビッ
トで表現されているとすると、勾配演算回路１３の出力
は、９ビットの符号付き整数となる。また、定数αが最
大８ビットで入力されるとすると、符号を考慮してα
² ，Ｉ_x ²，Ｉ_y ² はそれぞれ１６ビット、Ｉ_x Ｉ_y ，
Ｉ_x Ｉ_t ，Ｉ_y Ｉ_t はそれぞれ１７ビットの整数とな
る。さらに、α² ＋Ｉ_x ² ＋Ｉ_y ² は１８ビット、α²
＋Ｉ_x ² ，α² ＋Ｉ_y ² はそれぞれ１７ビットを必要と
し、内部的なデータ量が増加する。

【００５５】ここで、係数演算回路１４における演算は
最終的には比演算であることに着目し、オプティカルフ
ローの値が入力画像と同程度の階調を持てばよい事を考
慮すると、各係数は８ビット程度の有効桁を持てばよい
ことになる。そこで、α，Ｉ_x ，Ｉ_y ，Ｉ_t のうち絶対
値が最大のものが４ビット程度の数値のものになるよう
に各値をシフトすればよい。すなわち、図１１に示すビ
ット数削減回路を図１に示す構成における勾配演算回路
１３と係数演算回路１４との間に置けばよい。

【００５６】ビット数削減回路における最大値検出回路
１２１は、α，Ｉ_x ，Ｉ_y ，Ｉ_t のうち絶対値が最大の
ものを検出する。そして、最大値をシフト量決定回路１
２２に出力する。シフト量決定回路１２２は、その最大
値の最上位の「１」が４ビット目にくるようにシフト量
を決定し、それを各シフト回路１２４ａ〜１２４ｄに与
える。各シフト回路１２４ａ〜１２４ｄは、シフト量に
従って、それぞれα，Ｉ_x ，Ｉ_y ，Ｉ_t をシフトしビッ
ト数を減じたα_S ，Ｉ_xS，Ｉ_yS，Ｉ_ySを出力する。

【００５７】そして、この場合には、図４に示す係数演
算回路１４は、α，Ｉ_x ，Ｉ_y ，Ｉ_t に代えてα_S ，Ｉ
_xS，Ｉ_yS，Ｉ_ySついて係数演算を行う。よって、乗算器
５１ａ〜５１ｃ，５２ａ〜５２ｃおよび加算器５３，５
４ａ，５４ｂのビット数は削減される。また、除算器５
５ａ〜５５ｅにおける除算の分子、分母ともにビット数
が削減され構成は簡単になる。なお、除算については、
分子、分母を入力アドレスとし除算結果を出力とするＲ
ＯＭによる変換テーブルで実現してもよく、その場合に
は、処理がより高速化される。

【００５８】

【発明の効果】以上のように、請求項１記載の発明によ
れば、オプティカルフロー演算回路を、係数演算回路が
あらかじめ必要な各係数を演算し、遅延回路がそれらの
係数を遅延させて各動き場ｕ，ｖ演算回路のパイプライ
ン的演算を可能とする構成としたので、メモリを必要と
せず、かつ、従来の場合に比べて高速にオプティカルフ
ローの演算を実行でき、実時間でオプティカルフローを
求めることができるものが得られる効果がある。

【００５９】請求項２記載の発明によれば、オプティカ
ルフロー演算回路を、位置ずれ補正部が２枚の画像間の
背景の位置ずれをを補正する構成としたので、背景の動
きによるオプティカルフローの発生を防止でき、画像中
の移動体のみのオプティカルフローを求めることができ
るものが得られる効果がある。

【００６０】請求項３記載の発明によれば、オプティカ
ルフロー演算回路を、２枚の画像における同じ位置の画
素間の加算値と減算値とを算出した後にそれらの画像の
間の空間濃度勾配と時間濃度勾配とを演算する構成とし
たので、勾配演算回路の構成を簡略化できるものが得ら
れる効果がある。

【００６１】そして、請求項４記載の発明によれば、オ
プティカルフロー演算回路を、ビット数低減回路が勾配
演算回路の各出力と係数演算の重み定数とのビット数を
低減する構成としたので、係数演算回路の構成を簡略化
できるものが得られる効果がある。

【図面の簡単な説明】

【図１】この発明の一実施例によるオプティカルフロー
演算回路の構成を示すブロック図である。

【図２】勾配演算回路の構成を示すブロック図である。

【図３】４×２積和演算回路における係数を示す説明図
である。

【図４】係数演算回路の構成を示すブロック図である。

【図５】動き場ｕ，ｖ演算回路の構成を示すブロック図
である。

【図６】平均値演算回路の構成を示すブロック図であ
る。

【図７】平均値演算回路の２×２積和演算回路における
係数を示す説明図である。

【図８】この発明の他の実施例によるオプティカルフロ
ー演算回路の要部示すブロック図である。

【図９】勾配演算回路の他の構成を示すブロック図であ
る。

【図１０】図９における２×２積和演算回路における係
数を示す説明図である。

【図１１】ビット数低減回路の構成を示すブロック図で
ある。

【図１２】従来のオプティカルフロー演算回路の構成を
示すブロック図である。

【符号の説明】

１３ 勾配演算回路 １４ 係数演算回路 １６ａ〜１６ｃ 動き場ｕ，ｖ演算回路 １７ａ〜１７ｃ 遅延回路 ９１ 第１フレームメモリ（位置ずれ補正部） ９２ 第２フレームメモリ（位置ずれ補正部） ９３ 位置合わせ回路（位置ずれ補正部） １２１ 最大値検出回路（ビット数低減回路） １２２ シフト量決定回路（ビット数低減回路） １２４ａ〜１２４ｄ シフト回路（ビット数低減回路）

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年４月１６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００２

【補正方法】変更

【補正内容】

【０００２】

【従来の技術】２枚の画像から見かけの動き場（オプテ
ィカルフロー）を求める手法として、「デターミニング
オプティカル フロー（Determining Optical Flo
w）」，アーティフィシャル インテリジェンス（Artif
icial Intelligence ）第１７巻第１−３号（１９８
１）pp．185〜203で提案されたものがある。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】 Ｉ_t ＝｛Ｉ（i,j,t+1 ）−Ｉ（i,j,t ）＋Ｉ（i+1,j,t+i ）−Ｉ（i+1,j,t ） ＋Ｉ（i,j+1,t+1 ）−Ｉ（i,j+1,t ）＋Ｉ（i+1,j+1,t+1 ） −Ｉ（i+1,j+1,t ）｝／４ ・・・（４）

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】ｕ⁽ⁿ⁺¹⁾ ＝ｕ_av ⁽ⁿ⁾ −｛［Ｉ_x （Ｉ_x ｕ_av ⁽ⁿ⁾ ＋Ｉ_y ｖ_av ⁽ⁿ⁾ ＋Ｉ_t ）］ ／［α² ＋Ｉ_x ² ＋Ｉ_y ² ］｝ ・・・（８）ｖ⁽ⁿ⁺¹⁾ ＝ｖ_av ⁽ⁿ⁾ −｛［Ｉ_y （Ｉ_x ｕ_av ⁽ⁿ⁾ ＋Ｉ_y ｖ_av ⁽ⁿ⁾ ＋Ｉ_t ）］ ／［α² ＋Ｉ_x ² ＋Ｉ_y ² ］｝ ・・・（９） ここで、ｕ_av ⁽ⁿ⁾ はｕ⁽ⁿ⁾ の８近傍画素の平均値、ｖ_av
⁽ⁿ⁾ はｖ⁽ⁿ⁾ の８近傍画素の平均値、ｎは繰り返し回数
である。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】図５は動き場ｕ，ｖ演算回路１６ａの構成
を示すブロック図である。なお、動き場ｕ，ｖ演算回路
１６ｂ〜１６ｃの構成も図５に示すものと同じである。
動き場ｕ，ｖ演算回路１６ａにおいて、初期値ｕ⁽⁰⁾ ，
ｖ⁽⁰⁾ が入力されると、平均値演算回路６１ａはｕ⁽⁰⁾
の８近傍の平均値ｕ_av ⁽⁰⁾ を計算し、平均値演算回路６
１ｂはｖ⁽⁰⁾ の８近傍の平均値ｖ_av ⁽⁰⁾ を計算する。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正内容】

【００３９】この演算において、ｕ_av ⁽⁰⁾ ，ｖ_av ⁽⁰⁾
は、ｕ⁽⁰⁾ ，ｖ⁽⁰⁾ に対して２行１画素遅れて平均値演
算回路６１ａ，６１ｂから出力される。そこで、遅延回
路１７ａは、この遅れに相当する遅延を係数ａ，ｂ，
ｃ，ｄ，ｅに与えた後、動き場ｕ，ｖ演算回路１６ａに
出力する。動き場ｕ，ｖ演算回路１６ａにおける乗算器
６２ａは、平均値ｕ_av ⁽⁰⁾ と係数ａとを入力し、ａｕ_av
⁽⁰⁾ を算出する。また、乗算器６２ｂは、平均値ｖ_av
⁽⁰⁾ と係数ｂとを入力し、ｂｖ_av ⁽⁰⁾ を算出する。乗算
器６２ｃは、平均値ｖ_av ⁽⁰⁾ と係数ｃとを入力し、ｃｖ
_av ⁽⁰⁾ を算出する。また、乗算器６２ｄは、平均値ｕ_av
⁽⁰⁾ と係数ｂとを入力し、ｂｕ_av ⁽⁰⁾ を算出する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００５６

【補正方法】変更

【補正内容】

【００５６】ビット数削減回路における最大値検出回路
１２１は、α，Ｉ_x ，Ｉ_y ，Ｉ_t のうち絶対値が最大の
ものを検出する。そして、最大値をシフト量決定回路１
２２に出力する。シフト量決定回路１２２は、その最大
値の最上位の「１」が４ビット目にくるようにシフト量
を決定し、それを各シフト回路１２４ａ〜１２４ｄに与
える。各シフト回路１２４ａ〜１２４ｄは、シフト量に
従って、それぞれα，Ｉ_x ，Ｉ_y ，Ｉ_t をシフトしビッ
ト数を減じたα_s ，Ｉ_xs，Ｉ_ys，Ｉ_ts を出力する。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正内容】

【００５７】そして、この場合には、図４に示す係数演
算回路１４は、α，Ｉ_x ，Ｉ_y ，Ｉ_t に代えてα_s ，Ｉ
_xs，Ｉ_ys，Ｉ_tsについて係数演算を行う。よって、乗算
器５１ａ〜５１ｃ，５２ａ〜５２ｃおよび加算器５３，
５４ａ，５４ｂのビット数は削減される。また、除算器
５５ａ〜５５ｅにおける除算の分子、分母ともにビット
数が削減され構成は簡単になる。なお、除算について
は、分子、分母を入力アドレスとし除算結果を出力とす
るＲＯＭによる変換テーブルで実現してもよく、その場
合には、処理がより高速化される。

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正内容】

【図８】

Claims (4)

【特許請求の範囲】
1. 【請求項１】 異なる時刻における２枚の画像を入力
   し、それらの画像の間の空間濃度勾配と時間濃度勾配と
   を演算する勾配演算回路と、前記勾配演算回路の各出力
   からオプティカルフローの繰り返し演算の係数を演算す
   る係数演算回路と、前記係数演算回路の出力を用いてオ
   プティカルフローを表す動き場を演算する縦列に接続さ
   れた複数の動き場ｕ，ｖ演算回路と、前記係数演算回路
   の出力を遅延させてその出力と各動き場ｕ，ｖ演算回路
   の演算とを同期させる遅延回路とを備えたオプティカル
   フロー演算回路。
2. 【請求項２】 異なる時刻における２枚の画像を入力
   し、それらの画像間の背景の位置ずれを検出し、その位
   置ずれを補正する位置ずれ補正部と、前記位置ずれ補正
   部が補正した２枚の画像を入力し、それらの画像の間の
   空間濃度勾配と時間濃度勾配とを演算する勾配演算回路
   と、前記勾配演算回路の各出力からオプティカルフロー
   の繰り返し演算の係数を演算する係数演算回路と、前記
   係数演算回路の出力を用いてオプティカルフローを表す
   動き場を演算する縦列に接続された複数の動き場ｕ，ｖ
   演算回路と、前記係数演算回路の出力を遅延させてその
   出力と各動き場ｕ，ｖ演算回路の演算とを同期させる遅
   延回路とを備えたオプティカルフロー演算回路。
3. 【請求項３】 異なる時刻における２枚の画像を入力
   し、それらの画像における同じ位置の画素間の加算値と
   減算値とを算出した後、それらの画像の間の空間濃度勾
   配と時間濃度勾配とを演算する勾配演算回路と、前記勾
   配演算回路の各出力からオプティカルフローの繰り返し
   演算の係数を演算する係数演算回路と、前記係数演算回
   路の出力を用いてオプティカルフローを表す動き場を演
   算する縦列に接続された複数の動き場ｕ，ｖ演算回路
   と、前記係数演算回路の出力を遅延させてその出力と各
   動き場ｕ，ｖ演算回路の演算とを同期させる遅延回路と
   を備えたオプティカルフロー演算回路。
4. 【請求項４】 異なる時刻における２枚の画像を入力
   し、それらの画像の間の空間濃度勾配と時間濃度勾配と
   を演算する勾配演算回路と、前記勾配演算回路の各出力
   と係数演算の重み定数とのビット数を低減するビット数
   低減回路と、前記ビット数低減回路の各出力からオプテ
   ィカルフローの繰り返し演算の係数を演算する係数演算
   回路と、前記係数演算回路の出力を用いてオプティカル
   フローを表す動き場を演算する縦列に接続された複数の
   動き場ｕ，ｖ演算回路と、前記係数演算回路の出力を遅
   延させてその出力と各動き場ｕ，ｖ演算回路の演算とを
   同期させる遅延回路とを備えたオプティカルフロー演算
   回路。