JP3930935B2

JP3930935B2 - 画像処理装置

Info

Publication number: JP3930935B2
Application number: JP4675097A
Authority: JP
Inventors: 裕史鹿毛
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-02-28
Filing date: 1997-02-28
Publication date: 2007-06-13
Anticipated expiration: 2017-02-28
Also published as: JPH10240945A; US6160901A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像に含まれる物体の動きを抽出し、その物体の動く方向を計算する画像処理装置に関するものである。
【０００２】
【従来の技術】
画像に含まれる物体の動きの方向を計算する従来の技術として、例えば特開平４−２４１０７７号公報に開示されたニューラルネットワークを用いた方法が知られている。この方法は、動く物体の各点の速度ベクトルを求めるために、物体の動きを反映した、オプティカル・フローと呼ばれる、各点の近傍の速度ベクトルが滑らかに変化すると仮定した拘束条件を表す汎関数を用い、この汎関数が平衡状態に収束するまで繰り返し計算を行う。この計算結果としてオプティカル・フローが得られる。
【０００３】
【発明が解決しようとする課題】
従来の画像処理装置は、高精度の実数値を用いた大量の繰り返し計算を伴うため大規模の記憶容量を必要とし、オプティカル・フローを実時間で計算するためには高速化のための専用ハードウェアが必要であるなどの課題があった。
【０００４】
この発明は上記のような課題を解決するためになされたもので、繰り返し計算を伴わないアルゴリズムで画像に含まれる物体の動きを抽出し、動きの方向ベクトルを高速に計算することのできる画像処理装置を得ることを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る画像処理装置は、時刻的に連続する複数枚の画像を用い、それらの差分画像を求め、画素毎に周辺画素との画素値を比較して方位毎に動きの方向を推定し、それらのベクトル和平均を計算することで画素毎の動きベクトルを計算するものである。
【０００６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、１は画像センサを有し動きのある物体の画像を撮影する画像入力部、２は画像入力部１の撮影した画像を時刻順に記憶する画像記憶部、３は画像記憶部２で記憶されている時刻順に連続した複数枚の画像の差分（以下、差分画像と呼ぶ）を計算しこれを保持する差分記憶部、４は各画素の動きの向きを推定する方位推定部、５は方位推定部４によって推定された画素Ｐでの４方位に関する動き方向のベクトル和（以下、初期推定ベクトルと呼ぶ）を計算する方向計算部、６は画素Ｐを含む近傍画素の範囲内で初期推定ベクトルの平均ベクトルを計算する方向平滑部である。
【０００７】
次に動作について説明する。
この実施の形態においては、連続した２画像から差分画像を計算する場合について説明する。
動きのある物体の画像が画像入力部１で撮影されると、その物体の画像は画像記憶部２に時刻順に記憶される。この画像記憶部２に記憶された複数枚の画像の差分を差分記憶部３が計算し、得られた差分画像を保持する。
【０００８】
方位推定部４は画像記憶部２に記憶されている現時刻または一時刻前の２枚の画像（以下、それぞれ現画像、前画像と呼ぶ）と、差分記憶部３に保持されている差分画像とを参照し、ある画素Ｐにおいて縦、横、右上（左下）および左上（右下）の４方位に関して隣接する２つの画素値を比較し、各方位に関して動きの向きを推定する。
【０００９】
以下、各画素における全ての方位に沿って向きを推定する方位推定部４の向き推定アルゴリズムを図２〜図４を用いて説明する。この実施の形態においては、画像の明暗エッジの明るい方を輝度５０、暗い方を輝度１０として説明する。
【００１０】
図２は動く明暗エッジを一次元的に示したものであり、細線および太線はそれぞれ前時刻および現時刻の明暗エッジを表し、矢印は明暗エッジの動く方向を示す。これに対し図３は図２に示した動く明暗エッジの各画素位置における輝度値について、現時刻と前時刻の差分をとった結果を示すものであり、図３（ａ）〜図３（ｄ）は図２（ａ）〜図２（ｄ）に対応している。これらを比較すると、差分画素値が負のときの動く方向は前時刻の明暗エッジの明るい方、差分画素値が正のときの動く方向は前時刻の明暗エッジの暗い方であることが分かる。
【００１１】
これらの差分値と明暗エッジの動く方向との関係を各方位に沿った動きの向き推定法則と仮定して、方位推定部４では図４のフローチャートに示したアルゴリズムに従って各画素における全４方位の向き推定を行う。以下、図４のフローチャートを参照しながら方位推定部４の向き推定動作を説明する。
【００１２】
方位推定部４は、まず、画像記憶部２に記憶されている前画像を参照して、ある画素Ｐにおいて特定方位上で隣接する２画素の画素値を比較し（ステップＳＴ１）、両者の画素値が等しいか否かを判別する（ステップＳＴ２）。両者の画素値が等しい場合には画素Ｐは明暗エッジ部ではないので、方位推定部４は向き推定動作を終了する。
【００１３】
隣接する２画素の画素値が異なる場合には、方位推定部４は、それらの画素値のうち小さい方をＬ、大きい方をＧとする（ステップＳＴ３）。方位推定部４は、続いて、差分記憶部３に保持されている差分画像を参照し、画素Ｐでの差分画像の画素値が０か否かを判別する（ステップＳＴ４）。差分画素値が０である場合には、画素Ｐにおいて前画像と現画像とで明暗差がないのであるから、方位推定部４はその動作を終了する（ステップＳＴ４）。
【００１４】
差分画素値が０以外である場合には、方位推定部４は、差分画素値が負であるか否かを判別する（ステップＳＴ５）。差分画素値が負のときは、方位推定部４は、向き推定法則に従って、画素Ｐ→画素Ｇの向きを選択し（ステップＳＴ６）、差分画素値が負でないとき、即ち正のときは、方位推定部４は、画素Ｐ→画素Ｌの向きを選択して（ステップＳＴ７）方位推定動作を終了する。
【００１５】
次に、動きのある画像からどのようにオプティカル・フローが計算されるかについて、図５に示した入力画像を例に取ってこの実施の形態における図１に示した各構成部分の動作を説明する。以下の説明においては、６×６画素を画像入力部１の解像度として、一様な輝度値１０の明るさを背景とした一様な輝度値５０の正方形の物体（以下、視標と呼ぶ）が動く場合を説明する。
【００１６】
まず、画像入力部１は、図５のように視標が右および下方向に１画素分だけ動く画像を撮影する。細実線および太実線はそれぞれ前時刻および現時刻における視標の位置を示す。このとき前画像と現画像は画像記憶部２に図６に示すように各画素毎の輝度値として格納される。図６（ａ）と図６（ｂ）はそれぞれ前画像と現画像に対応する。差分記憶部３はこの２枚の画像の差分の値を図７のように保持している。
【００１７】
次に、この差分値に基づいた方位推定部４の動作を図８と図９を用いて説明する。図８（ａ）〜図８（ｄ）は画素（ｘ₁ ，ｙ₁ ）における各方位の向き推定を示す。図８（ａ）の場合では画素（ｘ₁ ，ｙ₁ ）の差分画素値は−４０、画素（ｘ₁ ，ｙ₁ ）に隣接する前画像の左右の画素値はそれぞれ１０と５０であるので、画素（ｘ₁ ，ｙ₁ ）における左右の方位に関する向き推定は図４のアルゴリズムに従って画素（ｘ₁ ，ｙ₁ ）→画素（ｘ₂ ，ｙ₁ ）となる。同様に、図８（ｂ）および図８（ｃ）の場合ではそれぞれ画素（ｘ₁ ，ｙ₁ ）→画素（ｘ₁ ，ｙ₂ ）、画素（ｘ₁ ，ｙ₁ ）→画素（ｘ₂ ，ｙ₂ ）となる。図８（ｄ）の場合は前画像における隣接２画素の画素値が等しいので向き推定はなされない。
図９は方位推定部４の出力をベクトル的に表す図であり、全画素に図４に示したアルゴリズムを適用した結果である。
【００１８】
図１０は方向計算部５の出力であり、図９に示した方位推定部４の出力を用いて各画素において初期推定ベクトルを計算したものである。図１１は方向平滑部６の出力であり、各画素について周辺画素８個を含む初期推定ベクトルの和の平均を計算することでオプティカル・フローが得られる。
【００１９】
以上のように、この実施の形態１によれば、繰り返し計算なしでオプティカル・フローを計算することができるという効果が得られる。なお、この実施の形態では差分画像の計算に時刻的に連続する２画像を用いる例を示したが、連続する３枚の画像を用いてもよい。
また、この実施の形態１では、方向計算部で画素Ｐにおける４方位の動きを考慮する例を示したが、４方位以上の動きを考慮してもよい。
さらに、この実施の形態１では、明暗エッジの明るい方を輝度５０、暗い方を輝度１０として説明したが、輝度値に差があれば輝度値の如何に関わらず大きい方と小さい方を各々明るい方と暗い方に対応させてもよい。
【００２０】
【発明の効果】
以上のように、請求項１記載の発明によれば、時刻的に連続する複数枚の画像の差分画像を求め、画素毎に周辺画素との画素値を比較して方位毎に動きの方向を推定し、それらのベクトル和平均を計算することにより画素毎の動きベクトルを計算するように構成したので、繰り返し計算なしで高速にオプティカル・フローを計算することができ、実時間で物体の動きを計算することが可能となる効果がある。
また、この請求項１記載のアルゴリズムを画像認識システムに搭載することで、実時間で人間のジェスチャー等の動きを認識することが可能であり、このことによりジョイスティック等のインタフェースを必要としないゲーム機操作が実現可能となる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１における一次元の明暗エッジの動きを示す図である。
【図３】この発明の実施の形態１において一次元の明暗エッジが動くときの前時刻と現時刻の差分画素値を示す図である。
【図４】この発明の実施の形態１における方位推定部の向き推定アルゴリズムを示すフローチャートである。
【図５】この発明の実施の形態１における動きを含む入力画像の例を示す図である。
【図６】この発明の実施の形態１において画像記憶部に記憶されている前時刻と現時刻の画像の画素値を示す図である。
【図７】この発明の実施の形態１における差分画像部で保持されている前時刻と現時刻の画像の差分画素値を示す図である。
【図８】この発明の実施の形態１における方位推定部の特定画素での動作を説明するための図である。
【図９】この発明の実施の形態１における方位推定部の出力を示す図である。
【図１０】この発明の実施の形態１における方向計算部の出力を示す図である。
【図１１】この発明の実施の形態１における方向平滑部の出力を示す図である。
【符号の説明】
１画像入力部、２画像記憶部、３差分記憶部、４方位推定部、５方向計算部、６方向平滑部。

Claims

時刻毎の画像を連続して撮影することのできる画像入力部と、
前記画像入力部で撮影された前記時刻毎の画像を記憶する画像記憶部と、
前記画像記憶部に記憶された複数枚の画像のうち時刻的に前後する２枚の画像について、時刻的に後の画像から前の画像の差分を同じ座標の画素値毎に求めこれを保持する差分記憶部と、
前記差分記憶部に保持されている差分画像を参照して前記画像の全画素について、前記時刻的に前の画像における前記画素の上下・左右・右斜め・左斜めで構成される４種類の方位毎の動きの向きを、前記時刻的に前の画像において前記画素を挟んで前記４種類の方位毎に並ぶ２個の画素値を比較して、前記画素位置における差分画素値が正値であれば前記方位の前記２個の画素値のうち画素値の小さい方を動き方向とし、前記差分画素値が負値であれば前記方位の前記２個の画素値のうち画素値の大きい方を動き方向として推定する方位推定部と、
前記方位推定部で推定した前記４種類の方位毎の前記動きの向きのベクトル和を画素毎に計算する方向計算部と、
前記方向計算部のベクトル和を各画素の近傍で平均化する方向平滑部とを備えたことを特徴とする画像処理装置。