JPH10240945A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 高精度の実数値を用いた大量の繰り返し計算
を伴うため大規模の記憶容量を必要とし、オプティカル
・フローを実時間で計算するためには高速化のための専
用ハードウェアが必要である課題があった。 【解決手段】 時刻的に連続する複数枚の画像を用い、
それらの差分画像を求め、画素毎に周辺画素との画素値
を比較して方位毎に動きの方向を推定し、それらのベク
トル和平均を計算することで画素毎の動きベクトルを計
算してオプティカルフローを求めるものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像に含まれる
物体の動きを抽出し、その物体の動く方向を計算する画
像処理装置に関するものである。

【０００２】

【従来の技術】画像に含まれる物体の動きの方向を計算
する従来の技術として、例えば特開平４−２４１０７７
号公報に開示されたニューラルネットワークを用いた方
法が知られている。この方法は、動く物体の各点の速度
ベクトルを求めるために、物体の動きを反映した、オプ
ティカル・フローと呼ばれる、各点の近傍の速度ベクト
ルが滑らかに変化すると仮定した拘束条件を表す汎関数
を用い、この汎関数が平衡状態に収束するまで繰り返し
計算を行う。この計算結果としてオプティカル・フロー
が得られる。

【０００３】

【発明が解決しようとする課題】従来の画像処理装置
は、高精度の実数値を用いた大量の繰り返し計算を伴う
ため大規模の記憶容量を必要とし、オプティカル・フロ
ーを実時間で計算するためには高速化のための専用ハー
ドウェアが必要であるなどの課題があった。

【０００４】この発明は上記のような課題を解決するた
めになされたもので、繰り返し計算を伴わないアルゴリ
ズムで画像に含まれる物体の動きを抽出し、動きの方向
ベクトルを高速に計算することのできる画像処理装置を
得ることを目的とする。

【０００５】

【課題を解決するための手段】この発明に係る画像処理
装置は、時刻的に連続する複数枚の画像を用い、それら
の差分画像を求め、画素毎に周辺画素との画素値を比較
して方位毎に動きの方向を推定し、それらのベクトル和
平均を計算することで画素毎の動きベクトルを計算する
ものである。

【０００６】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置を示す構成図であり、図において、１は画像
センサを有し動きのある物体の画像を撮影する画像入力
部、２は画像入力部１の撮影した画像を時刻順に記憶す
る画像記憶部、３は画像記憶部２で記憶されている時刻
順に連続した複数枚の画像の差分（以下、差分画像と呼
ぶ）を計算しこれを保持する差分記憶部、４は各画素の
動きの向きを推定する方位推定部、５は方位推定部４に
よって推定された画素Ｐでの４方位に関する動き方向の
ベクトル和（以下、初期推定ベクトルと呼ぶ）を計算す
る方向計算部、６は画素Ｐを含む近傍画素の範囲内で初
期推定ベクトルの平均ベクトルを計算する方向平滑部で
ある。

【０００７】次に動作について説明する。この実施の形
態においては、連続した２画像から差分画像を計算する
場合について説明する。動きのある物体の画像が画像入
力部１で撮影されると、その物体の画像は画像記憶部２
に時刻順に記憶される。この画像記憶部２に記憶された
複数枚の画像の差分を差分記憶部３が計算し、得られた
差分画像を保持する。

【０００８】方位推定部４は画像記憶部２に記憶されて
いる現時刻または一時刻前の２枚の画像（以下、それぞ
れ現画像、前画像と呼ぶ）と、差分記憶部３に保持され
ている差分画像とを参照し、ある画素Ｐにおいて縦、
横、右上（左下）および左上（右下）の４方位に関して
隣接する２つの画素値を比較し、各方位に関して動きの
向きを推定する。

【０００９】以下、各画素における全ての方位に沿って
向きを推定する方位推定部４の向き推定アルゴリズムを
図２〜図４を用いて説明する。この実施の形態において
は、画像の明暗エッジの明るい方を輝度５０、暗い方を
輝度１０として説明する。

【００１０】図２は動く明暗エッジを一次元的に示した
ものであり、細線および太線はそれぞれ前時刻および現
時刻の明暗エッジを表し、矢印は明暗エッジの動く方向
を示す。これに対し図３は図２に示した動く明暗エッジ
の各画素位置における輝度値について、現時刻と前時刻
の差分をとった結果を示すものであり、図３（ａ）〜図
３（ｄ）は図２（ａ）〜図２（ｄ）に対応している。こ
れらを比較すると、差分画素値が負のときの動く方向は
前時刻の明暗エッジの明るい方、差分画素値が正のとき
の動く方向は前時刻の明暗エッジの暗い方であることが
分かる。

【００１１】これらの差分値と明暗エッジの動く方向と
の関係を各方位に沿った動きの向き推定法則と仮定し
て、方位推定部４では図４のフローチャートに示したア
ルゴリズムに従って各画素における全４方位の向き推定
を行う。以下、図４のフローチャートを参照しながら方
位推定部４の向き推定動作を説明する。

【００１２】方位推定部４は、まず、画像記憶部２に記
憶されている前画像を参照して、ある画素Ｐにおいて特
定方位上で隣接する２画素の画素値を比較し（ステップ
ＳＴ１）、両者の画素値が等しいか否かを判別する（ス
テップＳＴ２）。両者の画素値が等しい場合には画素Ｐ
は明暗エッジ部ではないので、方位推定部４は向き推定
動作を終了する。

【００１３】隣接する２画素の画素値が異なる場合に
は、方位推定部４は、それらの画素値のうち小さい方を
Ｌ、大きい方をＧとする（ステップＳＴ３）。方位推定
部４は、続いて、差分記憶部３に保持されている差分画
像を参照し、画素Ｐでの差分画像の画素値が０か否かを
判別する（ステップＳＴ４）。差分画素値が０である場
合には、画素Ｐにおいて前画像と現画像とで明暗差がな
いのであるから、方位推定部４はその動作を終了する
（ステップＳＴ４）。

【００１４】差分画素値が０以外である場合には、方位
推定部４は、差分画素値が負であるか否かを判別する
（ステップＳＴ５）。差分画素値が負のときは、方位推
定部４は、向き推定法則に従って、画素Ｐ→画素Ｇの向
きを選択し（ステップＳＴ６）、差分画素値が負でない
とき、即ち正のときは、方位推定部４は、画素Ｐ→画素
Ｌの向きを選択して（ステップＳＴ７）方位推定動作を
終了する。

【００１５】次に、動きのある画像からどのようにオプ
ティカル・フローが計算されるかについて、図５に示し
た入力画像を例に取ってこの実施の形態における図１に
示した各構成部分の動作を説明する。以下の説明におい
ては、６×６画素を画像入力部１の解像度として、一様
な輝度値１０の明るさを背景とした一様な輝度値５０の
正方形の物体（以下、視標と呼ぶ）が動く場合を説明す
る。

【００１６】まず、画像入力部１は、図５のように視標
が右および下方向に１画素分だけ動く画像を撮影する。
細実線および太実線はそれぞれ前時刻および現時刻にお
ける視標の位置を示す。このとき前画像と現画像は画像
記憶部２に図６に示すように各画素毎の輝度値として格
納される。図６（ａ）と図６（ｂ）はそれぞれ前画像と
現画像に対応する。差分記憶部３はこの２枚の画像の差
分の値を図７のように保持している。

【００１７】次に、この差分値に基づいた方位推定部４
の動作を図８と図９を用いて説明する。図８（ａ）〜図
８（ｄ）は画素（ｘ₁ ，ｙ₁ ）における各方位の向き推
定を示す。図８（ａ）の場合では画素（ｘ₁ ，ｙ₁ ）の
差分画素値は−４０、画素（ｘ₁ ，ｙ₁ ）に隣接する前
画像の左右の画素値はそれぞれ１０と５０であるので、
画素（ｘ₁ ，ｙ₁ ）における左右の方位に関する向き推
定は図４のアルゴリズムに従って画素（ｘ₁ ，ｙ₁ ）→
画素（ｘ₂ ，ｙ₁ ）となる。同様に、図８（ｂ）および
図８（ｃ）の場合ではそれぞれ画素（ｘ₁ ，ｙ₁ ）→画
素（ｘ₁ ，ｙ₂）、画素（ｘ₁ ，ｙ₁ ）→画素（ｘ₂ ，
ｙ₂ ）となる。図８（ｄ）の場合は前画像における隣接
２画素の画素値が等しいので向き推定はなされない。図
９は方位推定部４の出力をベクトル的に表す図であり、
全画素に図４に示したアルゴリズムを適用した結果であ
る。

【００１８】図１０は方向計算部５の出力であり、図９
に示した方位推定部４の出力を用いて各画素において初
期推定ベクトルを計算したものである。図１１は方向平
滑部６の出力であり、各画素について周辺画素８個を含
む初期推定ベクトルの和の平均を計算することでオプテ
ィカル・フローが得られる。

【００１９】以上のように、この実施の形態１によれ
ば、繰り返し計算なしでオプティカル・フローを計算す
ることができるという効果が得られる。なお、この実施
の形態では差分画像の計算に時刻的に連続する２画像を
用いる例を示したが、連続する３枚の画像を用いてもよ
い。また、この実施の形態１では、方向計算部で画素Ｐ
における４方位の動きを考慮する例を示したが、４方位
以上の動きを考慮してもよい。さらに、この実施の形態
１では、明暗エッジの明るい方を輝度５０、暗い方を輝
度１０として説明したが、輝度値に差があれば輝度値の
如何に関わらず大きい方と小さい方を各々明るい方と暗
い方に対応させてもよい。

【００２０】

【発明の効果】以上のように、請求項１記載の発明によ
れば、時刻的に連続する複数枚の画像の差分画像を求
め、画素毎に周辺画素との画素値を比較して方位毎に動
きの方向を推定し、それらのベクトル和平均を計算する
ことにより画素毎の動きベクトルを計算するように構成
したので、繰り返し計算なしで高速にオプティカル・フ
ローを計算することができ、実時間で物体の動きを計算
することが可能となる効果がある。また、この請求項１
記載のアルゴリズムを画像認識システムに搭載すること
で、実時間で人間のジェスチャー等の動きを認識するこ
とが可能であり、このことによりジョイスティック等の
インタフェースを必要としないゲーム機操作が実現可能
となる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像処理装置
を示す構成図である。

【図２】 この発明の実施の形態１における一次元の明
暗エッジの動きを示す図である。

【図３】 この発明の実施の形態１において一次元の明
暗エッジが動くときの前時刻と現時刻の差分画素値を示
す図である。

【図４】 この発明の実施の形態１における方位推定部
の向き推定アルゴリズムを示すフローチャートである。

【図５】 この発明の実施の形態１における動きを含む
入力画像の例を示す図である。

【図６】 この発明の実施の形態１において画像記憶部
に記憶されている前時刻と現時刻の画像の画素値を示す
図である。

【図７】 この発明の実施の形態１における差分画像部
で保持されている前時刻と現時刻の画像の差分画素値を
示す図である。

【図８】 この発明の実施の形態１における方位推定部
の特定画素での動作を説明するための図である。

【図９】 この発明の実施の形態１における方位推定部
の出力を示す図である。

【図１０】 この発明の実施の形態１における方向計算
部の出力を示す図である。

【図１１】 この発明の実施の形態１における方向平滑
部の出力を示す図である。

【符号の説明】

１ 画像入力部、２ 画像記憶部、３ 差分記憶部、４
方位推定部、５ 方向計算部、６ 方向平滑部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 時刻毎の画像を連続して撮影することの
   できる画像入力部と、 前記画像入力部で撮影された前記時刻毎の画像を記憶す
   る画像記憶部と、 前記画像記憶部に記憶された複数枚の画像のうち時刻的
   に前後する画像の差分を求めこれを保持する差分記憶部
   と、 前記差分記憶部に保持されている差分画像を参照して前
   記画像の全画素について方位毎の動きの向きを推定する
   方位推定部と、 前記方位推定部で推定した方位毎の前記動きの向きのベ
   クトル和を計算する方向計算部と、 前記方向計算部のベクトル和を各画素の近傍で平均化す
   る方向平滑部とを備えたことを特徴とする画像処理装
   置。