JPH1091793A

JPH1091793A - オプティカルフロー算出方法及び装置

Info

Publication number: JPH1091793A
Application number: JP8243098A
Authority: JP
Inventors: Akitoshi Tsukamoto; 明利塚本; Koji Matsumoto; 浩司松本; Naohiro Amamoto; 直弘天本; Akihiro Fujii; 明宏藤井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-09-13
Filing date: 1996-09-13
Publication date: 1998-04-10

Abstract

(57)【要約】【課題】画像中のノイズ成分や画像内容の平坦度によ
る影響を受けにくいオプティカルフローを算出する。【解決手段】一方の画像において設定したブロック領
域内において画像の複雑さの評価値を算出する。複雑さ
の評価値を予め設定した閾値と比較することにより、複
雑さを示しているか否かの判定を行なう。複雑さの評価
値が複雑さを示している場合にのみ、当該ブロック領域
に最も似た領域を他方の画像において検索し、得られた
移動ベクトルをオプティカルフローとして出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像におけるオプ
ティカルフロー（移動ベクトル）を算出するオプティカ
ルフロー算出方法及び装置に関するものである。

【０００２】

【従来の技術】従来より、画像情報により移動物体を検
知する方法に関しては、異なる時刻に撮影された画像か
らオプティカルフロー（移動ベクトル）を求め、これを
解析して移動物体を抽出する手法が提案されている。オ
プティカルフローを得る方法としては、ブロックマッチ
ング等の種々の方法がある。

【０００３】文献１『特開平８−３０７９２号公報』例えば、上記文献１には、車載カメラによって撮影され
た映像に対してブロックマッチングにより算出されたオ
プティカルフローについて、それが橋の欄干やガードレ
ール等の周期的に出現する構造物に起因する偽のオプテ
ィカルフローか、移動物体による真のオプティカルフロ
ーかを識別する移動物体検出方法について開示されてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、ブロッ
クマッチングを用いてオプティカルフローを算出する場
合に、当該ブロック内の画像パターンが模様等を含まな
いほぼ単一色の領域であるときには、本来そのブロック
についてはオプティカルフローの大きさは０となるはず
であり、また画像パターンが単一の直線エッジだけを含
むときには、本来そのエッジに直交する方向のフローの
みが得られるはずであるが、実際には画像信号中に含ま
れるノイズ等の影響により、本来求まるべきオプティカ
ルフローが得られないという課題があった。

【０００５】図２（ａ）及び（ｂ）には、僅かに異なる
時刻ｔ０、ｔ１で得られた画像の一例を示している。こ
れらの画像にはいくつかの単一色領域や直線エッジが含
まれている。これらの画像からブロックマッチングによ
りオブティカルフローを算出すると、理想的には図２
（ｃ）のように求められるはずであるが、実際には図２
（ｄ）のようにノイズの影響により単一色領域において
もオプティカルフローが得られたり、直線エッジの中間
部では画像信号中のエッジに平行な方向成分が含まれて
しまう等、正確なオプティカルフローが算出されない。

【０００６】そのため、不正確なオプティカルフローが
算出結果に含まないようにし得るオプティカルフロー算
出方法及び装置が求められている。

【０００７】

【課題を解決するための手段】第１の本発明は、異なる
時刻に撮像された２枚の画像からオプティカルフローを
算出するオプティカルフロー算出方法において、(1) 一
方の画像において設定したブロック領域内において画像
の複雑さの評価値を算出し、(2) 複雑さの評価値を予め
設定した閾値と比較することにより、複雑さを示してい
るか否かの判定を行ない、(3) 複雑さの評価値が複雑さ
を示している場合にのみ、当該ブロック領域に最も似た
領域を他方の画像において検索し、得られた移動ベクト
ルをオプティカルフローとして出力することを特徴とす
る。

【０００８】第２の本発明は、異なる時刻に撮像された
２枚の画像からオプティカルフローを算出するオプティ
カルフロー算出方法において、(1) 入力された撮像画像
のそれぞれについて多重解像度画像を作成し、(2) 一方
の撮像画像において設定したブロック領域内において画
像の複雑さの評価値を算出し、(3) 複雑さの評価値を予
め設定した閾値と比較することにより、複雑さを示して
いるか否かの判定を行ない、(4) 複雑さの評価値が複雑
さを示している場合に、当該ブロック領域に最も似た領
域を他方の撮像画像において検索し、得られた移動ベク
トルをその解像度の画像のオプティカルフローとして出
力すると共に、複雑さの評価値が複雑さを示していない
場合に、多重解像度画像のうち低解像度の画像につい
て、撮像画像に対すると同じ処理により、当該ブロック
領域を含むブロック領域についてオプティカルフローを
求めて、又は、撮像画像に対すると同じ処理により予め
求められた低解像度の画像についてのオプティカルフロ
ーを、当該ブロック領域のオプティカルフローとして出
力することを特徴とする。

【０００９】第３の本発明は、異なる時刻に撮像された
２枚の画像からオプティカルフローを算出するオプティ
カルフロー算出装置において、(1) 一方の画像において
設定したブロック領域内において画像の複雑さの評価値
を算出する画像複雑さ算出手段と、(2) 複雑さの評価値
を予め設定した閾値と比較することにより、複雑さを示
しているか否かの判定を行なう複雑さ判定手段と、(3)
複雑さの評価値が複雑さを示している場合にのみ、当該
ブロック領域に最も似た領域を他方の画像において検索
し、得られた移動ベクトルをオプティカルフローとして
出力するオプティカルフロー算出手段とを備えたことを
特徴とする。

【００１０】第４の本発明は、異なる時刻に撮像された
２枚の画像からオプティカルフローを算出するオプティ
カルフロー算出装置において、(1) 入力された撮像画像
のそれぞれについて多重解像度画像を作成する多重解像
度画像作成手段と、(2) 一方の撮像画像において設定し
たブロック領域内において画像の複雑さの評価値を算出
する画像複雑さ算出手段と、(3) 複雑さの評価値を予め
設定した閾値と比較することにより、複雑さを示してい
るか否かの判定を行なう複雑さ判定手段と、(4) 複雑さ
の評価値が複雑さを示している場合に、当該ブロック領
域に最も似た領域を他方の撮像画像において検索し、得
られた移動ベクトルをその解像度の画像のオプティカル
フローとすると共に、複雑さの評価値が複雑さを示して
いない場合に、多重解像度画像のうち低解像度の画像に
ついて、撮像画像に対すると同じ処理により、オプティ
カルフローを求めて、又は、撮像画像に対すると同じ処
理により予め求められた低解像度の画像についてのオプ
ティカルフローを、当該ブロック領域のオプティカルフ
ローとして出力するオプティカルフロー算出手段とを備
えたことを特徴とする。

【００１１】第１及び第３の本発明により、複雑さの評
価値が十分高いブロック領域についてのみブロックマッ
チングを適用してオプティカルフローを算出でき、画像
中のノイズ成分や画像内容の平坦度による影響を受けに
くいオプティカルフローを得ることができる。

【００１２】第２及び第４の本発明により、複雑さの評
価値が十分高いブロック領域についてのみブロックマッ
チングを適用してオプティカルフローを算出でき、画像
中のノイズ成分や画像内容の平坦度による影響を受けに
くいオプティカルフローを得ることができると共に、撮
像画像についてはオプティカルフローが得られないブロ
ック領域に対しては低解像度の画像について求めたオプ
ティカルフローを出力するようにしたので、オプティカ
ルフローが有効な値をとるブロック領域を多くすること
ができる。

【００１３】

【発明の実施の形態】

（Ａ）第１の実施形態以下、本発明によるオプティカルフロー算出方法及び装
置の第１の実施形態を図面を参照しながら詳述する。

【００１４】この第１の実施形態は、ブロックマッチン
グによりオプティカルフローを算出する際に、単一色の
ブロックや単一の直線エッジだけを含むブロックについ
てはオプティカルフローを求めないようにしたことを特
徴とするものである。すなわち、一方の画像中のブロッ
クについてそのブロック内の画像パターンの複雑さに関
する評価値を算出し、その値が閾値を越えたブロックに
ついてだけオプティカルフローを算出することを特徴と
するものである。

【００１５】図３は、第１の実施形態に係るシステム構
成を示すブロック図である。図３において、ビデオカメ
ラ１０により得られた画像信号（アナログ信号）はアナ
ログ／デジタル変換器（Ａ／Ｄ変換器）ｌｌにより逐次
デジタル画像信号に変換され、切替スイッチ１２を介し
てフレームバッファ１３ａ又は１３ｂに交互に供給され
て格納される。

【００１６】なお、移動物体検知装置に第１の実施形態
のオプティカルフロー算出方法及び装置を適用する場合
においては、ビデオカメラ１０は、監視を行なう移動物
体の内容に応じた位置に設置される。例えば、車両に搭
載あるいは道路側方に設置する等が考えられる。

【００１７】フレームバッファ１３ａ及び１３ｂにはそ
れぞれ異なる時刻に撮影された画像信号（以下、場合に
よっては単に画像と呼ぶ）が格納されるが、これは切替
スイッチ１２を適当な時間間隔で切替えることにより行
なわれる。

【００１８】オプティカルフロー算出装置１４は、２個
のフレームバッファ１３ａ及び１３ｂに格納された時刻
が異なる画像信号を参照して、オプティカルフローを算
出するものである。

【００１９】図１は、オプティカルフロー算出装置１４
の処理内容を示すフローチャートである。

【００２０】まず、処理を開始すると、撮像時刻が古い
側の画像が格納されているフレームバッファ（ここでは
フレームバッファ１３ａとする）の画像に対し、オプテ
ィカルフローを求める１個のブロック領域を設定する
（ステップＳＰ２）。

【００２１】そして、当該ブロック領域内の画像パター
ンの複雑さに関する評価値Ｃを算出する（ステップＳＰ
３）。

【００２２】評価値Ｃの算出方法については、例えば文
献２『C.Tomasi & T.Kanade ，「Detection and Tracki
ng of Point Features」，CMU-CS-91-132 』に記載の方
法を用いることができる。以下、この方法について説明
する。

【００２３】フレームバッファ１３ａに格納された時刻
ｔにおける画像の第ｉ列第ｊ行目の位置にある画素の輝
度をＩ_t（i,j ）と記述する。まず、当該ブロック領域
内の各画素について、縦横方向に隣接する画素間の輝度
の差Δ_xＩ_t（i,j ）、Δ_yＩ_t（i,j ）をそれぞれ、
(1) 式及び(2) 式に示すように算出する。 Δ_xＩ_t（i,j ）＝Ｉ_t（i+1,j ）−Ｉ_t（i,j ） …(1) Δ_yＩ_t（i,j ）＝Ｉ_t（i,j+1 ）−Ｉ_t（i,j ） …(2) 但し、当該ブロック領域の最終列（右端）及び最終行
（下端）については算出しない。

【００２４】次に、上述した輝度差についての２次のモ
ーメントｍ20、ｍ11、ｍ02をそれぞれ(3) 式、(4) 式、
(5) 式に従って求めた後、(6) 式に従って係数行列Ｇを
作成する。なお、(3) 式、(4) 式、(5) 式における総和
Σは、ブロック領域内についてである。また、Ｍは各式
の総和Σで足し合わせる要素の数、すなわち、当該ブロ
ック領域の大きさを縦横各々ｗ、ｈ画素とすると、Ｍ＝
（ｗ−１）・（ｈ−１）である。

【００２５】ｍ20＝ Σ Δ_xＩ_t ²／Ｍ …(3) ｍ11＝ Σ Δ_xＩ_t・Δ_yＩ_t／Ｍ …(4) ｍ02＝ Σ Δ_yＩ_t ²／Ｍ …(5)

【数１】最後に、作成した２×２の係数行列Ｇから２つの固有値
Ｌ１及びＬ２を求め、そのうち小さい方を当該ブロック
領域の画像の複雑さに関する評価値Ｃとする。固有値算
出の方法は各種存在し、その内容については、例えば文
献３『W.H.Press 著、丹慶勝市訳、「Numerical Recipe
sin Ｃ」、技術評論社、1993』に記載されている。この
方法によれば、当該ブロック領域内の画像パターンがほ
ぼ単一の輝度を持つ平坦な領域であったり、又は一方向
のエッジだけを含むような場合には、求められる評価値
Ｃは小さくなる。

【００２６】また、複雑さの評価値Ｃを求める他の方法
としては、以下の方法を挙げることができる。すなわ
ち、当該ブロック領域内の縦横方向に隣接する画素間の
輝度の差ΔＩ_x（i,j ）、ΔＩ_y（i,j ）から、輝度勾
配及びその方向を求め、当該ブロック領域内におけるこ
れらの分布から画像の複雑さＣを求める方法を挙げるこ
とができる。以下、この方法を説明する。

【００２７】まず、輝度勾配ｇ（i,j ）及びエッジの方
向θ（i,j ）をそれぞれ、(7) 式、(8) 式に従って求め
る。

【００２８】ｇ_t（i,j ）＝（Δ_xＩ_t（i,j ）²＋Δ_yＩ_t（i,j ）²）^-1/2…(7) θ_t（i,j ）＝tan ^-1（Δ_yＩ_t（i,j ）／Δ_xＩ_t（i,j ）） …(8) そして、この方向角の適当な区間内における輝度勾配の
ヒストグラムを、(9)式に従って求める。なお、(9) 式
における総和Σは、(10)式で示される２個の区間境界の
間にある方向角θ（i,j ）の輝度勾配ｇ（i,j ）につい
てなされる（θ(n) ≦θ(i,j) ＜θ(n+1) ）。ｈ_t（ｎ）＝ Σ ｇ_t（i,j ） …(9) θ（n ）＝πｎ／Ｎ−π／２，０≦ｎ＜Ｎ， θ（Ｎ）＝０ …(10) ここで、Ｎはヒストグラムの区間数である。

【００２９】そして、例えば、このヒストグラムｈ
_t（ｎ）の各区間のうち閾値Ｈ以上の値をとる区間の数
等を画像の複雑さに関する評価値Ｃとして算出する。ま
た例えば、このヒストグラムｈ_t（ｎ）の各区間におい
て、互いに直交する方向角を表す全ての区間同士の組合
せについて、その区間の値の積を足し合わせて得た値を
画像の複雑さに関する評価値Ｃとして算出する。

【００３０】上述した２通りの方法のいずれかの方法で
画像の複雑さに関する評価値Ｃを得たにせよ、また、他
の方法によって画像の複雑さに関する評価値Ｃを得たに
せよ、評価値Ｃが得られると、その評価値Ｃを予め適当
な値に設定した閾値Ｔと比較する（ステップＳＰ４）。
ここで、Ｃ＞Ｔであれば、当該ブロック領域が十分複雑
な画像を持つものとしてブロックマッチングを行ない、
当該ブロック領域におけるオプティカルフローを求める
（ステップＳＰ５）。一方、Ｃ＜Ｔであれば、後述する
ステップＳＰ７に直ちに進む。

【００３１】ブロックマッチングによるオプティカルフ
ローの算出方法は、以下の通りである。ブロック領域の
大きさを縦横それぞれｈ，ｗ画素とし、当該ブロック領
域の左上座標を（ｉ，ｊ）とすると、まず探索範囲内の
各位置（ｘ，ｙ）について，(11)式に従って、残差Ｄ
（x,y ）を求める。なお、(11)式における総和ΣΣは、
ｍが０〜ｗ，ｎが０〜ｈについてである。Ｄ（x,y ）＝ ΣΣ ｜Ｉ_t+1（ｉ＋ｘ＋ｍ，ｊ＋ｙ＋ｎ） −Ｉ_t（ｉ＋ｍ，ｊ＋ｎ）｜ …(11) ここで、Ｉ_t+1（i,j ）はフレームバッファ１３ｂに記
録された時刻ｔ＋１における画像の画素位置（ｉ，ｊ）
における輝度値である。

【００３２】次に、探索範囲内の座標中で、(13)式に示
すように、この残差の最小値を与える（Ｘ、Ｙ）を求
め、(12)式に示すように、これを当該ブロック領域の中
心（ｉ＋ｗ／２，ｊ＋ｈ／２）から発生するオプティカ
ルフローのベクトルＶ（ｉ＋ｗ／２，ｊ＋ｈ／２）とす
る。Ｖ（ｉ＋ｗ／２，ｊ＋ｈ／２）＝（Ｘ，Ｙ） …(12) Ｄ（Ｘ，Ｙ）＝ min Ｄ（ｘ，ｙ） …(13) このブロックマッチングの方法は、例えば文献４『廣
田、李、徐、辻、「相関法を用いた実時間物体追跡シス
テムの製作（２）」、情報処理学会第４８回全国大会、
No.5M-4 、1994』に記載の装置等を用いて実行可能であ
る。

【００３３】このようにして得られたオプティカルフロ
ーは、内蔵するメモリに記憶される（ステップＳＰ
６）。

【００３４】そして、上述したステップＳＰ２〜ＳＰ６
でなる各ブロック領域毎の処理を画面全体に対して繰り
返すことにより（ステップＳＰ７）、十分複雑な画像を
有する全てのブロック領域についてオプティカルフロー
が求められる。

【００３５】なお、このような方法で求めたオプティカ
ルフローは、それ自身移動物体の存在を示しており、こ
れにより移動物体を検出することが可能である。すなわ
ち、第１の実施形態のオプティカルフロー算出方法及び
装置を、移動物体検知方法及び装置に適用することによ
り、移動物体を検知することができる。算出されたオプ
ティカルフローから移動物体を検知する方法としては、
例えば、上記文献１に記載の方法を適用できる。

【００３６】以上のように、第１の実施形態によれば、
複雑さの評価値が十分高いブロック領域についてのみブ
ロックマッチングを適用してオプティカルフローを算出
するため、画像中のノイズ成分や画像内容の平坦度によ
る影響を受けにくいオプティカルフローを得ることがで
きる。

【００３７】（Ｂ）第２の実施形態次に、本発明によるオプティカルフロー算出方法及び装
置の第２の実施形態を図面を参照しながら詳述する。

【００３８】この第２の実施形態は、第１の実施形態と
同様に、複雑さの評価値が十分高いブロック領域につい
てのみオプティカルフローを算出することを基本としな
がら、第１の実施形態以上に、有意な値のオプティカル
フローを有するブロック領域の数を増大させるようにし
たものである。

【００３９】図４は、第２の実施形態に係るシステム構
成を示すブロック図である。図４及び図３の比較から明
らかなように、２個のフレームバッファ１３ａ及び１３
ｂに、撮像時刻が異なるデジタル画像信号を格納させる
までの構成は、第１の実施形態と同様である。

【００４０】この第２の実施形態においては、オプティ
カルフロー算出装置は、２個の多重解像度画像生成部２
１ａ及び２１ｂと、オプティカルフロー算出部２２とか
ら構成されている。

【００４１】各多重解像度画像生成部２１ａ、２１ｂに
は、対応するりフレームバッファ１３ａ、１３ｂに格納
されているデジタル画像信号が供給され、各多重解像度
画像生成部２１ａ、２１ｂはそれぞれ、入力されたデジ
タル画像信号に対する多重解像度画像を生成するもので
ある。ここで、多重解像度画像とは、図５に示すよう
に、原画像の大きさを様々な縮尺で縮小した一連の画像
群のことをいう。

【００４２】例えば、縮尺を１／２に設定し、原画像の
縦横方向に隣り合う４画素の輝度平均値を縮小画像の１
画素の輝度とすることによって、一段小さい画像を生成
し、この形成された画像を原画像として同様な処理を行
ない、かかる処理を繰り返すことで多重解像度画像を生
成する。この他、多重解像度画像の作成は、文献５『P.
J.Burt、「Smart Sensing within a Pyramid Vision Ma
chine 」、ProceedingIEEE 、Vol.76、No.8、 pp.1006-
1015 、1988』に記載の装置を使っても可能である。

【００４３】ここで、原画像と縮尺画像とについて、縦
横同じ大きさのブロックを考えた場合、縮尺画像のブロ
ックは、原画像における縮尺の２乗の逆数の大きさに対
応しているので、通常、画像内容の変化（複雑さ）は大
きくなる。

【００４４】オプティカルフロー算出部２２は、各多重
解像度画像生成部２１ａ、２１ｂが生成した多重解像度
画像を参照して、オプティカルフローを算出するもので
ある。

【００４５】図６は、オプティカルフロー算出部２２の
処理手順を示すフローチャートであり、上述した第１の
実施形態に係る図１との同一、対応処理ステップには同
一符号を付して示している。

【００４６】第２の実施形態のオプティカルフロー算出
部２２は、解像度が異なる全ての画像に対する処理が終
了していないことを確認しながら（ステップＳＰ１
０）、最も低解像度の画像から最も高解像度の画像の順
に、各画像についてそれぞれ、ステップＳＰ２〜ＳＰ９
でなる処理ループを実行する。

【００４７】ここで、各画像に対する処理は、第１の実
施形態における処理とほぼ同様である。すなわち、オプ
ティカルフローを求めるブロック領域を設定し（ステッ
プＳＰ２）、そのブロック領域内におけるパターン（画
像内容）の複雑さの評価値Ｃを求め（ステップＳＰ
３）、その結果のブロック領域内の複雑さの評価値Ｃを
閾値Ｔと比較する（ステップＳＰ４）。そして、評価値
Ｃが閾値Ｔより大きければ、当該ブロック領域が十分複
雑な画像を持つものとしてブロックマッチングを行な
い、当該ブロック領域におけるオプティカルフローを求
めて（ステップＳＰ５）、内蔵メモリに記録して（ステ
ップＳＰ６）次のブロック領域の処理に移行する（ステ
ップＳＰ７）。

【００４８】しかしながら、この第２の実施形態の場
合、ブロック領域内の複雑さの評価値Ｃが閾値Ｔ以下の
場合の処理が第１の実施形態とは異なっている。すなわ
ち、この場合には、低解像度画像からブロックマッチン
グにより事前に求めたオプティカルフローのうち、当該
処理ブロック領域を含むブロック領域に関するものを呼
び出し（ステップＳＰ９）、これを当該処理ブロック領
域におけるオプティカルフローとして記録する（ステッ
プＳＰ６）。なお、上記ステップＳＰ９の処理におい
て、低解像度画像におけるブロック領域における複雑さ
の評価値Ｃが閾値Ｔ以下であった場合には、さらに低解
像度の画像において対応するブロック領域を再帰的に求
め、そのブロック領域について得られるオプティカルフ
ローを呼び出す。

【００４９】上述したように、このような各解像度の画
像についての処理を、ステップＳＰ１０において全画像
について終了したという結果が得られるまで、最も解像
度の低い画像から順次行なうことにより、原画像（最も
解像度が高い画像）におけるオプティカルフローを得る
ことができる。

【００５０】以上のように、第２の実施形態によれば、
多重解像度画像を作成し、それを利用したオプティカル
フローを統合するようにしたので、第１の実施形態にお
けるオプティカルフローよりも多くのオプティカルフロ
ーを得ることができる。

【００５１】すなわち、第１の実施形態においてブロッ
クマッチングによりオプティカルフローを求める際に、
当該ブロック領域における複雑さの評価値Ｃが閾値Ｔ以
下であれば、そのブロック領域におけるオプティカルフ
ローは得られなかった。しかし、第２の実施形態におい
ては、低解像度の画像を利用しているため、低解像度画
像における１つのブロック領域は原画像のブロックより
も広い範囲を含むことから、低解像度画像のブロックが
別のパターンを含めばより高い複雑さの評価値を持つこ
ととなる。この場合には、得られたオプティカルフロー
を当該ブロック領域のオプティカルフローとして扱うこ
とができ、結局、画像の複雑さが不足していたブロック
領域についてもオプティカルフローを得ることができ
る。

【００５２】（Ｃ）他の実施形態上記実施形態においては、撮像時刻が古い画像から新し
い画像へのオプティカルフローを算出するものを示した
が、逆に、撮像時刻が新しい画像から古い画像へのオプ
ティカルフローを算出するのに本発明を適用することが
できる。

【００５３】また、上記実施形態においては、ブロック
領域の画像内容の複雑さを撮像時刻が古い画像について
得るものを示したが、ブロック領域の画像内容の複雑さ
を撮像時刻が新しい画像について得るようにしても良
い。

【００５４】さらに、上記第２の実施形態においては、
低解像度の画像から高解像度の画像の順に処理して撮像
画像についてのオプティカルフローを得るものを示した
が、逆に、当初から撮像画像についてのオプティカルフ
ローの算出を行ない、算出できないブロック領域につい
て、低解像度の画像についてのオプティカルフローの算
出を行なうようにしても良い。

【００５５】本発明のオプティカルフロー算出方法及び
装置は、例えば、車載カメラによる移動物体（他の車
両）や割り込みや追い越し等の検知、移動ロボットによ
る環境地図獲得や視覚によるナビゲーション、あるいは
道路側方に設置したビデオカメラによる道路交通状況の
監視や侵入者監視等の物体検知装置に適用することがで
きる。このような監視機能を備えた装置だけでなく、オ
プティカルフロー（動きベクトル）を必要とする各種装
置に広く適用することができる。

【００５６】

【発明の効果】第１の本発明のオプティカルフロー算出
方法及び第３の本発明のオプティカルフロー算出装置に
よれば、一方の画像において設定したブロック領域内に
おいて画像の複雑さの評価値を算出し、複雑さの評価値
を予め設定した閾値と比較することにより、複雑さを示
しているか否かの判定を行ない、複雑さの評価値が複雑
さを示している場合にのみ、当該ブロック領域に最も似
た領域を他方の画像において検索し、得られた移動ベク
トルをオプティカルフローとして出力するので、画像中
のノイズ成分や画像内容の平坦度による影響を受けにく
いオプティカルフローを得ることができる。

【００５７】第２の本発明のオプティカルフロー算出方
法及び第４の本発明のオプティカルフロー算出装置によ
れば、入力された撮像画像のそれぞれについて多重解像
度画像を作成し、一方の撮像画像において設定したブロ
ック領域内において画像の複雑さの評価値を算出し、複
雑さの評価値を予め設定した閾値と比較することによ
り、複雑さを示しているか否かの判定を行ない、複雑さ
の評価値が複雑さを示している場合に、当該ブロック領
域に最も似た領域を他方の撮像画像において検索し、得
られた移動ベクトルをその解像度の画像のオプティカル
フローとして出力すると共に、複雑さの評価値が複雑さ
を示していない場合に、多重解像度画像のうち低解像度
の画像について、当該ブロック領域を含むブロック領域
について、撮像画像に対すると同じ処理によりオプティ
カルフローを求めて、又は、撮像画像に対すると同じ処
理により予め求められた低解像度の画像についてのオプ
ティカルフローを、当該ブロック領域のオプティカルフ
ローとして出力するので、画像中のノイズ成分や画像内
容の平坦度による影響を受けにくいオプティカルフロー
を得ることができると共に、オプティカルフローが有効
な値をとるブロック領域を多くすることができる。

【図面の簡単な説明】

【図１】第１の実施形態のオプティカルフロー算出装置
の処理フローチャートである。

【図２】従来の課題の説明図である。

【図３】第１の実施形態に係るシステム構成を示すブロ
ック図である。

【図４】第２の実施形態に係るシステム構成を示すブロ
ック図である。

【図５】多重解像度画像の説明図である。

【図６】第２の実施形態のオプティカルフロー算出部の
処理フローチャートである。

【符号の説明】

１４…オプティカルフロー算出装置、２１ａ、２１ｂ…
多重解像度画像生成部、２２…オプティカルフロー算出
部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤井明宏東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】異なる時刻に撮像された２枚の画像から
オプティカルフローを算出するオプティカルフロー算出
方法において、一方の画像において設定したブロック領域内において画
像の複雑さの評価値を算出し、上記複雑さの評価値を予め設定した閾値と比較すること
により、複雑さを示しているか否かの判定を行ない、上記複雑さの評価値が複雑さを示している場合にのみ、
当該ブロック領域に最も似た領域を他方の画像において
検索し、得られた移動ベクトルをオプティカルフローと
して出力することを特徴とするオプティカルフロー算出
方法。
【請求項２】異なる時刻に撮像された２枚の画像から
オプティカルフローを算出するオプティカルフロー算出
方法において、入力された撮像画像のそれぞれについて多重解像度画像
を作成し、一方の撮像画像において設定したブロック領域内におい
て画像の複雑さの評価値を算出し、上記複雑さの評価値を予め設定した閾値と比較すること
により、複雑さを示しているか否かの判定を行ない、上記複雑さの評価値が複雑さを示している場合に、当該
ブロック領域に最も似た領域を他方の撮像画像において
検索し、得られた移動ベクトルをその解像度の画像のオ
プティカルフローとして出力すると共に、上記複雑さの
評価値が複雑さを示していない場合に、上記多重解像度
画像のうち低解像度の画像について、当該ブロック領域
を含むブロック領域について、撮像画像に対すると同じ
処理によりオプティカルフローを求めて、又は、撮像画
像に対すると同じ処理により予め求められた低解像度の
画像についてのオプティカルフローを、当該ブロック領
域のオプティカルフローとして出力することを特徴とす
るオプティカルフロー算出方法。
【請求項３】上記複雑さの評価値として、ブロック領
域内で縦横方向にそれぞれ隣接する画素間の輝度差分を
求め、この２次のモーメントから算出される係数行列の
固有値のうち小さい方の値を適用したことを特徴とする
請求項１又は２に記載のオプティカルフロー算出方法。
【請求項４】上記複雑さの評価値として、ブロック領
域内で縦横方向にそれぞれ隣接する画素間の輝度差分か
ら輝度勾配及びその方向を求め、当該ブロック領域内に
おける上記輝度勾配及びその方向の分布状況を表す値を
適用したことを特徴とする請求項１又は２に記載のオプ
ティカルフロー算出方法。
【請求項５】上記輝度勾配の方向をいくつかの区間に
分割し、上記勾配方向の各区間に入る輝度勾配値を足し
合わせた輝度勾配合計値を算出し、この輝度勾配合計値
が予め設定された閾値を越える勾配方向区間の数を、上
記輝度勾配及びその方向の分布状況を表す値とすること
を特徴とする請求項４に記載のオプティカルフロー算出
方法。
【請求項６】上記輝度勾配の方向をいくつかの区間に
分割し、上記勾配方向の各区間に入る輝度勾配値を足し
合わせた輝度勾配合計値を算出し、上記勾配方向区間の
うち、互いに直交する方向を表す全ての区間の組合せに
ついて、上記輝度勾配合計値の積を足し合わせた値を、
上記輝度勾配及びその方向の分布状況を表す値とするこ
とを特徴とする請求項４に記載のオプティカルフロー算
出方法。
【請求項７】異なる時刻に撮像された２枚の画像から
オプティカルフローを算出するオプティカルフロー算出
装置において、一方の画像において設定したブロック領域内において画
像の複雑さの評価値を算出する画像複雑さ算出手段と、上記複雑さの評価値を予め設定した閾値と比較すること
により、複雑さを示しているか否かの判定を行なう複雑
さ判定手段と、上記複雑さの評価値が複雑さを示している場合にのみ、
当該ブロック領域に最も似た領域を他方の画像において
検索し、得られた移動ベクトルをオプティカルフローと
して出力するオプティカルフロー算出手段とを備えたこ
とを特徴とするオプティカルフロー算出装置。
【請求項８】異なる時刻に撮像された２枚の画像から
オプティカルフローを算出するオプティカルフロー算出
装置において、入力された撮像画像のそれぞれについて多重解像度画像
を作成する多重解像度画像作成手段と、一方の撮像画像において設定したブロック領域内におい
て画像の複雑さの評価値を算出する画像複雑さ算出手段
と、上記複雑さの評価値を予め設定した閾値と比較すること
により、複雑さを示しているか否かの判定を行なう複雑
さ判定手段と、上記複雑さの評価値が複雑さを示している場合に、当該
ブロック領域に最も似た領域を他方の撮像画像において
検索し、得られた移動ベクトルをその解像度の画像のオ
プティカルフローとすると共に、上記複雑さの評価値が
複雑さを示していない場合に、上記多重解像度画像のう
ち低解像度の画像についてオプティカルフローを求め
て、又は、予め求められた低解像度の画像についてのオ
プティカルフローを、当該ブロック領域のオプティカル
フローとして出力するオプティカルフロー算出手段とを
備えたことを特徴とするオプティカルフロー算出装置。
【請求項９】上記画像複雑さ算出手段は、上記複雑さ
の評価値として、ブロック領域内で縦横方向にそれぞれ
隣接する画素間の輝度差分を求め、この２次のモーメン
トから算出される係数行列の固有値のうち小さい方の値
を適用することを特徴とする請求項７又は８に記載のオ
プティカルフロー算出装置。
【請求項１０】上記画像複雑さ算出手段は、上記複雑
さの評価値として、ブロック領域内で縦横方向にそれぞ
れ隣接する画素間の輝度差分から輝度勾配及びその方向
を求め、当該ブロック領域内における上記輝度勾配及び
その方向の分布状況を表す値を適用することを特徴とす
る請求項７又は８に記載のオプティカルフロー算出装
置。
【請求項１１】上記画像複雑さ算出手段は、上記輝度
勾配の方向をいくつかの区間に分割し、上記勾配方向の
各区間に入る輝度勾配値を足し合わせた輝度勾配合計値
を算出し、この輝度勾配合計値が予め設定された閾値を
越える勾配方向区間の数を、上記輝度勾配及びその方向
の分布状況を表す値とすることを特徴とする請求項１０
に記載のオプティカルフロー算出装置。
【請求項１２】上記画像複雑さ算出手段は、上記輝度
勾配の方向をいくつかの区間に分割し、上記勾配方向の
各区間に入る輝度勾配値を足し合わせた輝度勾配合計値
を算出し、上記勾配方向区間のうち、互いに直交する方
向を表す全ての区間の組合せについて、上記輝度勾配合
計値の積を足し合わせた値を、上記輝度勾配及びその方
向の分布状況を表す値とすることを特徴とする請求項１
０に記載のオプティカルフロー算出装置。