JP4407985B2 - 画像処理方法及び装置並びに記憶媒体 - Google Patents
画像処理方法及び装置並びに記憶媒体 Download PDFInfo
- Publication number
- JP4407985B2 JP4407985B2 JP24823799A JP24823799A JP4407985B2 JP 4407985 B2 JP4407985 B2 JP 4407985B2 JP 24823799 A JP24823799 A JP 24823799A JP 24823799 A JP24823799 A JP 24823799A JP 4407985 B2 JP4407985 B2 JP 4407985B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- group
- image processing
- frequently occurring
- motion amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及び装置並びに記憶媒体に関し、より具体的には、動画像におけるオブジェクトを抽出する画像処理方法及び装置、並びに、その方法を実行するプログラム・ソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
近年、動画像をオブジェクトという構成要素の合成からなると把握し、そのオブジェクトを単位として圧縮符号化する方式が、検討され、現在、ＭＰＥＧ４として標準化作業が進行中である。オブジェクトは任意の形状を取り得るので、形状情報を表すシェイプと呼ばれるデータと画像の内容を表すテクスチャと呼ばれるデータの組合わせで表現される。
【０００３】
オブジェクトの生成方法として、スタジオセット等を用いたクロマキー分離法、コンピュータ・グラフィックス（ＣＧ）による目的のオブジェクトを生成する方法、及び自然画から抽出する方法などが知られている。
【０００４】
クロマキー法は、スタジオにブルーバックと呼ばれる均一な青色の背景を用意し、撮影画像からブルーの部分を切り取ることにより、対象のオブジェクトを抽出する方法である。
【０００５】
コンピュータ・グラフィックスでは、初めから任意形状の画像を生成できるので、特に抽出処理を考える必要はない。また、アニメーション画像の場合は、１つ１つのセル画を各オブジェクトと見なせば、ＣＧと同様に処理できる。
【０００６】
自然画からオブジェクトを抽出する場合、最初のフレームで抽出対象の輪郭をユーザが大まかに指定した輪郭を画像処理により対象物に収束させることで、対象物の正確な輪郭を抽出する。２枚目以降のフレームでは、前のフレームでの輪郭抽出結果を初期輪郭として対象物を追跡する。輪郭追跡の代表的な方法として、スネークスと呼ばれる動的輪郭モデルのエネルギー最小化がよく知られている（例えば、Ｍｉｃｈａｅｌ Ｋａｓｓ， Ａｎｄｒｅｗ Ｗｉｔｋｉｎ， ａｎｄ Ｄｅｍｅｔｒｉ ＴｅｒｚｏＰｏｕｌｏｓ， ”Ｓｎａｋｅｓ：Ａｃｔｉｖｃ Ｃｏｎｔｏｕｒ Ｍｏｄｅ１ｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．１， Ｎｏ．３，ｐｐ．３２１−３３１， １９８８）。
【０００７】
スネークスは、輪郭線が抽出されたときに最小となるエネルギー関数を定義し、適当な初期値からその極小解を反復計算により求めるものである。エネルギー関数は、エッジ点を通る制約の外部エネルギーと滑らかさの制約である内部エネルギーの線形和で定義される。
【０００８】
【発明が解決しようとする課題】
これらの抽出方法は、いずれも困難な問題点を含んでいる。すなわち、クロマキー法は、背景色が均一である必要があり、精度の高い抽出を目指すと、大掛かりなスタジオセットが必要となる。また、オブジェクト対象が背景色を含んでいる場合に、対象を正しく抽出できないので、対象の色が制約される。
【０００９】
コンピュータ・グラフィックス及びアニメーションでは、抽出処理は必要ないが、ビデオカメラで撮影したような自然画に適用できない致命的な欠点を有している。
【００１０】
自然画からオブジェクトを抽出する方法は、画像内容に対する制約が低く、汎用性が高いという利点がある反面、初期輪郭をある程度正確に指定する必要があるという欠点がある。これは、動的輪郭モデルの極小解が初期輪郭の影響を大きく受けることによる。第２フレーム以降の初期輪郭は、前フレームの輪郭抽出結果を初期値として利用すればよいが、最初のフレームだけは、ユーザがグラフィカル・ユーザ・インターフェース（ＧＵＩ）等によりマニュアル操作で設定する必要がある。マニュアルによる初期輪郭設定では、マウスを使った操作が一般的であるが、操作性が悪く、再現性のある初期輪郭設定が困難である。輪郭の形状が複雑になるほど、ユーザの負担が大きくなる。
【００１１】
本発明は、より簡易な操作で、より正確な輪郭線を抽出できる画像処理方法及び装置並びに記憶媒体を提示することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、画像データを複数のブロックに分割するブロック分割ステップと、時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出ステップと、当該動き量算出ステップで算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類ステップと、当該ブロック分類ステップの分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成ステップと、当該初期輪郭生成ステップで生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定ステップとを具備することを特徴とする。
【００１３】
本発明に係る画像処理装置は、画像データを複数のブロックに分割するブロック分割手段と、時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出手段と、当該動き量算出手段で算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類手段と、当該ブロック分類手段の分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成手段と、当該初期輪郭生成手段で生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定手段とを具備することを特徴とする。
【００１４】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが格納される。
【００１５】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１６】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０は、ビデオカメラ及び画像再生装置などからなり、動画像をメモリ１２に入力する画像入力装置である。メモリ１２は、画像入力装置１０から入力された画像データを数フレーム分、一時記憶する。動き量検出回路１４は、メモリ１２に一時記憶された複数のフレームの画像データから、所望のフレーム上での各部の動き量を検出する。境界設定回路１６は、動き量検出回路１４の検出結果に従い、背景部分とオブジェクト部分の境界を求め、初期輪郭設定回路１８は、境界設定回路１６で求めた境界に従い閉じた初期輪郭を設定する。輪郭抽出回路２０は、初期輪郭を実際のオブジェクトの輪郭に収束させ、その収束結果をメモリ１２に格納する。メモリ１２は、輪郭抽出回路２０で得られた輪郭で囲まれる閉領域の画像を目的のオブジェクト部分として画像出力装置２２に出力する。輪郭は次のフレームの初期輪郭として、フレームの更新のタイミングで初期輪郭設定回路１８に設定される。
【００１７】
図２は、本実施例の動作フローチャートを示す。スタートフレームとエンドフレームを決定する（Ｓ１，Ｓ２）。これらは抽出したいオブジェクトを含む期間を規定するものであり、例えば、図３に示すように、画面上に一連のフレームを同時に表示するグラフィカル・ユーザ・インターフェースを用いることで、容易に設定できる。次に、抽出対象を含む先頭フレームをターゲットフレームとして設定する（Ｓ３）。通常は、スタートフレームがターゲットフレームとなる。
【００１８】
ターゲットフレームを図４に示すように、水平及び垂直方向でブロック化する。ブロックサイズは任意であるが、例えば画像サイズを７２０×４８０画素とし、１つのブロックのサイズを１６×１６画素であるとすると、ブロック数は（７２０／１６）×（４８０／１６）＝１３５０となる。ＲＧＢ３つのプレーンで処理する場合、１フレームの全ブロック数は１３５０×３＝４０５０となる。輝度成分と色差成分が４：２：２のフォーマットの場合、１３５０×２＝２７００となる。輝度信号だけで処理する場合は、ブロック数は１３５０でよい。
【００１９】
サンプルフレームを設定する（Ｓ５）。通常はターゲットフレームと時間的に連続したフレームを最初のサンプルフレームとする。図３に示す動画像例では、サンプルフレームは、図４に示すターゲットフレームに対して、図５に示すようにオブジェクトが右方向に動いたものになる。動き量検出回路１４が、サンプルフレームにおいて各ブロック単位で動きベクトルを検出する（Ｓ６）。
【００２０】
ターゲットの動きが２次元のアフィン変換に従うと仮定できる場合、ターゲットフレームの位置（ｘ，ｙ）とサンプルフレーム上の位置（Ｘ，Ｙ）との間には、下記式が成立する。すなわち、
Ｘ＝ａ×ｘ＋ｂ×ｙ＋ｃ （１）
Ｙ＝ｄ×ｘ＋ｅ×ｙ＋ｆ （２）
動きが平行移動のみと仮定できる場合には、簡略化でき、
Ｘ＝ｘ＋ｃ （３）
Ｙ＝ｙ＋ｆ （４）
となる。サーチ範囲を上式で動かしながら差分二乗和を求め、サーチ範囲内でそれが最小であった位置をマッチングの取れた場所とし、動きベクトル値を記憶する。
【００２１】
フレーム内の全てのブロックに対し動きベクトル値が求まったら、動きベクトルを分類する（Ｓ７）。実質的に同じ動きベクトル値を持つものを同じグループとして登録する。サーチ範囲が水平及び垂直に＋／−１６画素で、１画素精度の平行移動とした場合、発生し得る動きベクトルの種類は、３３×３３＝１０８９パターンとなる。図６は、そのように分類されたブロックのヒストグラム例を示す。図６の横軸は動きベクトル、縦軸は発生頻度又はブロック数をそれぞれ示す。但し、横軸方向には、発生頻度の多い順に配列してある。
【００２２】
画面全体で有意な動きが検出できなかった場合（Ｓ８）、サンプルフレームを変更して（Ｓ５）、再度、動きベクトルを算出し（Ｓ６）、動きベクトルを分類する（Ｓ７）。
【００２３】
画面全体で有意な動きを検出できたら（Ｓ８）、各ブロックを、背景のブロック、オブジェクト（前景）のブロック、及び背景とオブジェクトの両方にまたがった境界のブロックの３グループに分類する（Ｓ９）。このグループ化の方法は後ほど詳細に説明する。例えば、図７に例示するように、前景ブロックを境界ブロックが囲み、その外側に背景ブロックが位置するような関係になる。ブロック化の設定位置によっては、図８に示すように、境界ブロックが存在せずに、背景ブロックとオブジェクトブロックが接している場合もありうる。このような状態は、ブロック内のほとんどの部分が背景で、わずかにオブジェクト部分が含まれている場合、又は、その逆に、ブロック内のほとんどの部分がオブジェクトで、わずかに背景部分が含まれている場合などに起こりうる。
【００２４】
境界ブロックと判定されたブロックは、そのブロック内に輪郭線を含むので、そのブロック内に初期輪郭を構成する点を設定する（Ｓ１０）。背景ブロックとオブジェクトブロックが接している場合、その接している部分に初期輪郭を構成する点を設定する（Ｓ１１）。これらの点を順次つないで閉曲線を作り、これを初期輪郭とする（Ｓ１２）。
【００２５】
ブロック内及びブロック境界上に設定する点の数は任意であるが、隣接ブロックの点との連続性を考慮すべきである。図９は、初期輪郭の設定例を示す。背景ブロックとオブジェクトブロックの接している部分では、境界線上を初期輪郭とし、境界ブロックでは、オブジェクト内部と外部がほぼ等しく分かれるように初期輪郭を設定する。
【００２６】
このように設定された初期輪郭をオブジェクトの輪郭に収束させる（Ｓ１３）。例えば、スネークスと呼ばれる処理を実行する。図８は、初期輪郭がオブジェクトの輪郭に合うように収束していく様子を示す。このようにして輪郭線が決定すると（Ｓ１４）、第１フレームのオブジェクト抽出処理が終わる。この抽出結果を基に、次フレームの初期輪郭を設定する（Ｓ１５）。最も単純な方法では、前フレームの輪郭線抽出結果を新たな初期輪郭に設定する。
【００２７】
ターゲットフレームを更新し（Ｓ１６）、Ｓ１３２〜Ｓ１６を再度、実行する。ターゲットフレームがエンドフレームに到達して、Ｓ１３〜Ｓ１６の処理を終了すると（Ｓ１７）、全てのフレームに対するオブジェクト抽出処理が終了したことになるので、一連の処理を終える。
【００２８】
図１１は、ブロックのグループ化（Ｓ９）の詳細なフローチャートを示す。もちろん、図１１は一例であり、この種のグループ化には幾つかの方法が考えられる。
【００２９】
１番目に発生頻度の高いブロックを背景ブロックとし（Ｓ２１，Ｓ２２）、２番目に発生頻度の高いブロックを前景ブロックとし（Ｓ２３，Ｓ２４）、これら以外のブロックを境界ブロックする（Ｓ２５）。全てのブロックをこの基準で分類する（Ｓ２６）。図６に示す動きベクトルの分類例では、図１２に示すように、背景ブロック、前景ブロック及び境界ブロックにグループ化される。
【００３０】
ブロックの発生頻度が高いということは、まとまった動きのあることを示しており、一番広い領域が背景と考えられる。次にまとまった動きのある領域がオブジェクトと考えられるので、それを前景ブロックとしている。まとまった動きが２つしかない場合、３番目以降のブロックの発生頻度は極端に少なくなる。これらは、対応する部分がうまく見つからなかったブロックである。ブロック内に背景部分とオブジェクトの部分の両方を含んでいる場合、同様のブロックをサンプルフレームのサーチ範囲から見つけることができないので、結果としてさまざまなベクトル値を持つことになる。従って、これらのブロックを境界ブロックと設定すればよい。
【００３１】
背景に分類されるブロックと前景に分類されるブロックを、動きベクトルに対するブロックの発生頻度で決定したが、位置情報を考慮し、画面端に多く接しているブロックを背景としてもよい。
【００３２】
図１３は、ブロックのグループ化（Ｓ９）の別の詳細なフローチャートを示す。１番目に発生頻度の高いブロックを背景ブロックと設定する（Ｓ３１，Ｓ３２）。１番目に発生頻度の高いブロックではないが、１番目に発生頻度の高いブロック（背景ブロック）に隣接しているブロックを、境界ブロックと設定する（Ｓ３３，Ｓ３５）。背景ブロック及び境界ブロックのどちらでもないブロックを前景ブロックと設定する（Ｓ３３，Ｓ３４）。以上の処理を全てのブロックについて実行する（Ｓ３６）。
【００３３】
この方法は、背景ブロックに隣接しているブロックを境界ブロックするものであるが、逆に、前景ブロックを求め、それに隣接するブロックを境界ブロックとしても、類似した又は同様の結果が得られる。
【００３４】
また、発生頻度が３番目以降のブロックに対しベクトルの類似度を求め、１番目に発生頻度の高いブロックと２番目に発生頻度の高いブロックのいずれか近い方に分類する方法もある。図１４は、そのフローチャートを示す。
【００３５】
先ず、１番目に発生頻度の高いブロックを背景ブロックと設定する（Ｓ４１，Ｓ４２）。２番目に発生頻度の高いブロックを、前景ブロックと設定する（Ｓ４３，Ｓ４４）。３番目以降に発生頻度の高いブロックの場合（Ｓ４３）、背景ブロック及び前景ブロックとの動きベクトルの類似度を計算する。これは、該当ブロックの動きベクトルが、１番目に発生頻度の高いグループの動きベクトル値と、２番目に発生頻度の高いグループの動きベクトル値のどちらに近いかを求めるものである。例えば、各動きベクトルの内積により動きベクトル間の距離を求めればよい。この計算結果を基に、１番目に発生頻度の高いグループの動きベクトルに近いければ（Ｓ４６）、暫定的に背景ブロック（暫定背景ブロック）と設定し（Ｓ４７）、２番目に発生頻度の高いグループの動きベクトルに近ければ（Ｓ４６）、暫定的に前景ブロック（暫定前景ブロック）と設定する（Ｓ４８）。以上の処理を全てのブロックについて実行する（Ｓ４９）。
【００３６】
図１４に示す方法による暫定的な分類結果の例を図１５に示す。１番目に発生頻度の高いブロックと２番目に発生頻度の高いブロックの、互いに隣接するブロック（図１４による暫定背景ブロック及び暫定前景ブロック）が、境界ブロックとなる。両者の内で、１番目に発生頻度の高いブロックを境界ブロックとするか、２番目に発生頻度の高いブロックを境界ブロックとするかは任意である。
【００３７】
図１６は、図１４による結果を引き継いで、最終的に境界ブロックを決定する方法のフローチャートを示す。注目ブロックが暫定背景ブロックかどうかを判定し（Ｓ５１）、暫定波形ブロックである場合には（Ｓ５１）、前景ブロックに隣接しているか否かを判定する（Ｓ５２）。前景ブロックに隣接していれば（Ｓ５２）、このブロックを境界ブロックとし（Ｓ５３）、隣接していなければ（Ｓ５２）、このブロックを背景ブロックとする（Ｓ５４）。暫定前景ブロックに対しても同様に（Ｓ５５）、背景ブロックに隣接していれば（Ｓ５６）、境界ブロックと設定し（Ｓ５７）、そうでなければ前景ブロックと設定する（Ｓ５８）。暫定ブロック以外のブロックはそのままとする。以上の処理を全てのブロックについて実行する（Ｓ５９）。
【００３８】
図１５に示す例を図１６に示す方法で最終的に分類した結果を図１７に示す。
【００３９】
初期輪郭設定の精度を更に向上させる第２実施例を説明する。図１８は、第２の実施例の特徴部分の処理フローチャートを示す。図１８に示すフローは、図２のＳ５〜Ｓ８の部分を代替する。
【００４０】
図２のＳ５〜Ｓ８と同様に、先ず、サンプルフレームを設定し、全ブロックについて動きベクトルを算出及び分類する（Ｓ６１〜６４）。各ブロックが発生頻度に関してどのブロック・グループに属するかを調べ（Ｓ６５，Ｓ６６）、２番目に発生頻度の高いブロックであって１番目に発生頻度の高いブロックに隣接するブロック（Ｓ６６，Ｓ６７）と、３番目以降に発生頻度の高いブロック（Ｓ６６）とを、再分割可能かどうかを調べ（Ｓ６８）、可能であれば（Ｓ６８）、再分割する（Ｓ６９）。ブロックサイズが１６×１６の場合、例えば４つの８×８ブロックに分割する。
【００４１】
ブロックを再分割した後で（Ｓ６９）、再び、動きベクトルの算出及び分類を全ブロックについて実行する（Ｓ６２〜Ｓ６４）。２番目に発生頻度の高いブロックであって１番目に発生頻度の高いブロックに隣接するブロック（Ｓ６６，Ｓ６７）と、３番目以降に発生頻度の高いブロック（Ｓ６６）とがあり、それが再分割可能である限り（Ｓ６８）、ブロックを再分割して、以上を繰り返す。
【００４２】
このようにブロックを再帰的に分割していくことにより、境界ブロックとなる部分を絞り込んでいくことができる。
【００４３】
これ以上のブロック分割が不可能と判断された場合（Ｓ６８）、ブロック（再分割した場合には、分割後のブロック）のグループ属性を保持したまま、次のブロックを同様に処理する（Ｓ６５〜Ｓ６８）。
【００４４】
再分割されたブロックも含め、フレーム内での全てのブロックの処理が終わると（Ｓ７０）、サンプルフレームを変更し（Ｓ６１）、同様の処理を繰り返す。全てのサンプルフレームに対する処理が終了すると（Ｓ７１）、このルーチンを終える。以後は、図２のＳ９以降と同じ処理を実行する。
【００４５】
図１９は、図１８による処理結果例である。３番目以降に発生頻度の高いブロックを再分割すると共に、２番目に発生頻度の高いブロックであって、１番目に発生頻度の高いブロックに隣接するブロックも再分割している。再分割及び再分類が終った後、オブジェクト判定により、１番目に発生頻度の高いブロックを背景ブロック、２番目に発生頻度の高いブロックを前景ブロック、それ以外を境界ブロックと設定している。
【００４６】
図２０は、図１９に示す例で初期輪郭線設定のためのブロックのみの表示する図である。図２１は、図２０に示す表示例から得られた初期輪郭を示す。第１実施例における初期輪郭（図９）に比べて、精度の高い結果が得られることがわかる。図２２は、図２１に示す初期輪郭がオブジェクトの輪郭に収束する様子を示す。
【００４７】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、動画のオブジェクト抽出を行う際の先頭フレームの初期輪郭を自動的に高精度に設定できる。これにより、ユーザの負担が大幅に軽減される。初期輪郭を自動設定するので、再現性のある初期輪郭を得ることも可能となる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 第１実施例の全体処理のフローチャートである。
【図３】 スタートフレームとエンドフレームの設定を説明する模式図である。
【図４】 ターゲットフレームのブロック化例である。
【図５】 サンプルフレームの画像例である。
【図６】 動きベクトルに関して分類されたブロックのヒストグラム例である。
【図７】 分類されたブロック例である。
【図８】 別のブロック分類例である。
【図９】 第１実施例による初期輪郭例である。
【図１０】 第１実施例による輪郭線の収束の模式図である。
【図１１】 ブロックのオブジェクト判定のフローチャートである。
【図１２】 ブロック・グループの配属例である。
【図１３】 オブジェクト判定の別のフローチャートである。
【図１４】 暫定ブロックを設定するオブジェクト判定法のフローチャートである。
【図１５】 図１４による暫定的なグループ化の結果例である。
【図１６】 暫定ブロックを最終的に決定する処理のフローチャートである。
【図１７】 図１６による処理結果例である。
【図１８】 本発明の第２実施例の特徴部分の処理フローチャートである。
【図１９】 ブロック再分割の模式図である。
【図２０】 第２実施例における初期輪郭のブロック位置を例示する模式図である。
【図２１】 第２実施例での初期輪郭例である。
【図２２】 第２実施例における輪郭線の収束する様子の模式図である。
【符号の説明】
１０：画像入力装置
１２：メモリ
１４：動き量検出回路
１６：境界設定回路
１８：初期輪郭設定回路
２０：輪郭抽出回路
２２：画像出力装置
【発明の属する技術分野】
本発明は、画像処理方法及び装置並びに記憶媒体に関し、より具体的には、動画像におけるオブジェクトを抽出する画像処理方法及び装置、並びに、その方法を実行するプログラム・ソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
近年、動画像をオブジェクトという構成要素の合成からなると把握し、そのオブジェクトを単位として圧縮符号化する方式が、検討され、現在、ＭＰＥＧ４として標準化作業が進行中である。オブジェクトは任意の形状を取り得るので、形状情報を表すシェイプと呼ばれるデータと画像の内容を表すテクスチャと呼ばれるデータの組合わせで表現される。
【０００３】
オブジェクトの生成方法として、スタジオセット等を用いたクロマキー分離法、コンピュータ・グラフィックス（ＣＧ）による目的のオブジェクトを生成する方法、及び自然画から抽出する方法などが知られている。
【０００４】
クロマキー法は、スタジオにブルーバックと呼ばれる均一な青色の背景を用意し、撮影画像からブルーの部分を切り取ることにより、対象のオブジェクトを抽出する方法である。
【０００５】
コンピュータ・グラフィックスでは、初めから任意形状の画像を生成できるので、特に抽出処理を考える必要はない。また、アニメーション画像の場合は、１つ１つのセル画を各オブジェクトと見なせば、ＣＧと同様に処理できる。
【０００６】
自然画からオブジェクトを抽出する場合、最初のフレームで抽出対象の輪郭をユーザが大まかに指定した輪郭を画像処理により対象物に収束させることで、対象物の正確な輪郭を抽出する。２枚目以降のフレームでは、前のフレームでの輪郭抽出結果を初期輪郭として対象物を追跡する。輪郭追跡の代表的な方法として、スネークスと呼ばれる動的輪郭モデルのエネルギー最小化がよく知られている（例えば、Ｍｉｃｈａｅｌ Ｋａｓｓ， Ａｎｄｒｅｗ Ｗｉｔｋｉｎ， ａｎｄ Ｄｅｍｅｔｒｉ ＴｅｒｚｏＰｏｕｌｏｓ， ”Ｓｎａｋｅｓ：Ａｃｔｉｖｃ Ｃｏｎｔｏｕｒ Ｍｏｄｅ１ｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．１， Ｎｏ．３，ｐｐ．３２１−３３１， １９８８）。
【０００７】
スネークスは、輪郭線が抽出されたときに最小となるエネルギー関数を定義し、適当な初期値からその極小解を反復計算により求めるものである。エネルギー関数は、エッジ点を通る制約の外部エネルギーと滑らかさの制約である内部エネルギーの線形和で定義される。
【０００８】
【発明が解決しようとする課題】
これらの抽出方法は、いずれも困難な問題点を含んでいる。すなわち、クロマキー法は、背景色が均一である必要があり、精度の高い抽出を目指すと、大掛かりなスタジオセットが必要となる。また、オブジェクト対象が背景色を含んでいる場合に、対象を正しく抽出できないので、対象の色が制約される。
【０００９】
コンピュータ・グラフィックス及びアニメーションでは、抽出処理は必要ないが、ビデオカメラで撮影したような自然画に適用できない致命的な欠点を有している。
【００１０】
自然画からオブジェクトを抽出する方法は、画像内容に対する制約が低く、汎用性が高いという利点がある反面、初期輪郭をある程度正確に指定する必要があるという欠点がある。これは、動的輪郭モデルの極小解が初期輪郭の影響を大きく受けることによる。第２フレーム以降の初期輪郭は、前フレームの輪郭抽出結果を初期値として利用すればよいが、最初のフレームだけは、ユーザがグラフィカル・ユーザ・インターフェース（ＧＵＩ）等によりマニュアル操作で設定する必要がある。マニュアルによる初期輪郭設定では、マウスを使った操作が一般的であるが、操作性が悪く、再現性のある初期輪郭設定が困難である。輪郭の形状が複雑になるほど、ユーザの負担が大きくなる。
【００１１】
本発明は、より簡易な操作で、より正確な輪郭線を抽出できる画像処理方法及び装置並びに記憶媒体を提示することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、画像データを複数のブロックに分割するブロック分割ステップと、時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出ステップと、当該動き量算出ステップで算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類ステップと、当該ブロック分類ステップの分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成ステップと、当該初期輪郭生成ステップで生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定ステップとを具備することを特徴とする。
【００１３】
本発明に係る画像処理装置は、画像データを複数のブロックに分割するブロック分割手段と、時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出手段と、当該動き量算出手段で算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類手段と、当該ブロック分類手段の分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成手段と、当該初期輪郭生成手段で生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定手段とを具備することを特徴とする。
【００１４】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが格納される。
【００１５】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１６】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０は、ビデオカメラ及び画像再生装置などからなり、動画像をメモリ１２に入力する画像入力装置である。メモリ１２は、画像入力装置１０から入力された画像データを数フレーム分、一時記憶する。動き量検出回路１４は、メモリ１２に一時記憶された複数のフレームの画像データから、所望のフレーム上での各部の動き量を検出する。境界設定回路１６は、動き量検出回路１４の検出結果に従い、背景部分とオブジェクト部分の境界を求め、初期輪郭設定回路１８は、境界設定回路１６で求めた境界に従い閉じた初期輪郭を設定する。輪郭抽出回路２０は、初期輪郭を実際のオブジェクトの輪郭に収束させ、その収束結果をメモリ１２に格納する。メモリ１２は、輪郭抽出回路２０で得られた輪郭で囲まれる閉領域の画像を目的のオブジェクト部分として画像出力装置２２に出力する。輪郭は次のフレームの初期輪郭として、フレームの更新のタイミングで初期輪郭設定回路１８に設定される。
【００１７】
図２は、本実施例の動作フローチャートを示す。スタートフレームとエンドフレームを決定する（Ｓ１，Ｓ２）。これらは抽出したいオブジェクトを含む期間を規定するものであり、例えば、図３に示すように、画面上に一連のフレームを同時に表示するグラフィカル・ユーザ・インターフェースを用いることで、容易に設定できる。次に、抽出対象を含む先頭フレームをターゲットフレームとして設定する（Ｓ３）。通常は、スタートフレームがターゲットフレームとなる。
【００１８】
ターゲットフレームを図４に示すように、水平及び垂直方向でブロック化する。ブロックサイズは任意であるが、例えば画像サイズを７２０×４８０画素とし、１つのブロックのサイズを１６×１６画素であるとすると、ブロック数は（７２０／１６）×（４８０／１６）＝１３５０となる。ＲＧＢ３つのプレーンで処理する場合、１フレームの全ブロック数は１３５０×３＝４０５０となる。輝度成分と色差成分が４：２：２のフォーマットの場合、１３５０×２＝２７００となる。輝度信号だけで処理する場合は、ブロック数は１３５０でよい。
【００１９】
サンプルフレームを設定する（Ｓ５）。通常はターゲットフレームと時間的に連続したフレームを最初のサンプルフレームとする。図３に示す動画像例では、サンプルフレームは、図４に示すターゲットフレームに対して、図５に示すようにオブジェクトが右方向に動いたものになる。動き量検出回路１４が、サンプルフレームにおいて各ブロック単位で動きベクトルを検出する（Ｓ６）。
【００２０】
ターゲットの動きが２次元のアフィン変換に従うと仮定できる場合、ターゲットフレームの位置（ｘ，ｙ）とサンプルフレーム上の位置（Ｘ，Ｙ）との間には、下記式が成立する。すなわち、
Ｘ＝ａ×ｘ＋ｂ×ｙ＋ｃ （１）
Ｙ＝ｄ×ｘ＋ｅ×ｙ＋ｆ （２）
動きが平行移動のみと仮定できる場合には、簡略化でき、
Ｘ＝ｘ＋ｃ （３）
Ｙ＝ｙ＋ｆ （４）
となる。サーチ範囲を上式で動かしながら差分二乗和を求め、サーチ範囲内でそれが最小であった位置をマッチングの取れた場所とし、動きベクトル値を記憶する。
【００２１】
フレーム内の全てのブロックに対し動きベクトル値が求まったら、動きベクトルを分類する（Ｓ７）。実質的に同じ動きベクトル値を持つものを同じグループとして登録する。サーチ範囲が水平及び垂直に＋／−１６画素で、１画素精度の平行移動とした場合、発生し得る動きベクトルの種類は、３３×３３＝１０８９パターンとなる。図６は、そのように分類されたブロックのヒストグラム例を示す。図６の横軸は動きベクトル、縦軸は発生頻度又はブロック数をそれぞれ示す。但し、横軸方向には、発生頻度の多い順に配列してある。
【００２２】
画面全体で有意な動きが検出できなかった場合（Ｓ８）、サンプルフレームを変更して（Ｓ５）、再度、動きベクトルを算出し（Ｓ６）、動きベクトルを分類する（Ｓ７）。
【００２３】
画面全体で有意な動きを検出できたら（Ｓ８）、各ブロックを、背景のブロック、オブジェクト（前景）のブロック、及び背景とオブジェクトの両方にまたがった境界のブロックの３グループに分類する（Ｓ９）。このグループ化の方法は後ほど詳細に説明する。例えば、図７に例示するように、前景ブロックを境界ブロックが囲み、その外側に背景ブロックが位置するような関係になる。ブロック化の設定位置によっては、図８に示すように、境界ブロックが存在せずに、背景ブロックとオブジェクトブロックが接している場合もありうる。このような状態は、ブロック内のほとんどの部分が背景で、わずかにオブジェクト部分が含まれている場合、又は、その逆に、ブロック内のほとんどの部分がオブジェクトで、わずかに背景部分が含まれている場合などに起こりうる。
【００２４】
境界ブロックと判定されたブロックは、そのブロック内に輪郭線を含むので、そのブロック内に初期輪郭を構成する点を設定する（Ｓ１０）。背景ブロックとオブジェクトブロックが接している場合、その接している部分に初期輪郭を構成する点を設定する（Ｓ１１）。これらの点を順次つないで閉曲線を作り、これを初期輪郭とする（Ｓ１２）。
【００２５】
ブロック内及びブロック境界上に設定する点の数は任意であるが、隣接ブロックの点との連続性を考慮すべきである。図９は、初期輪郭の設定例を示す。背景ブロックとオブジェクトブロックの接している部分では、境界線上を初期輪郭とし、境界ブロックでは、オブジェクト内部と外部がほぼ等しく分かれるように初期輪郭を設定する。
【００２６】
このように設定された初期輪郭をオブジェクトの輪郭に収束させる（Ｓ１３）。例えば、スネークスと呼ばれる処理を実行する。図８は、初期輪郭がオブジェクトの輪郭に合うように収束していく様子を示す。このようにして輪郭線が決定すると（Ｓ１４）、第１フレームのオブジェクト抽出処理が終わる。この抽出結果を基に、次フレームの初期輪郭を設定する（Ｓ１５）。最も単純な方法では、前フレームの輪郭線抽出結果を新たな初期輪郭に設定する。
【００２７】
ターゲットフレームを更新し（Ｓ１６）、Ｓ１３２〜Ｓ１６を再度、実行する。ターゲットフレームがエンドフレームに到達して、Ｓ１３〜Ｓ１６の処理を終了すると（Ｓ１７）、全てのフレームに対するオブジェクト抽出処理が終了したことになるので、一連の処理を終える。
【００２８】
図１１は、ブロックのグループ化（Ｓ９）の詳細なフローチャートを示す。もちろん、図１１は一例であり、この種のグループ化には幾つかの方法が考えられる。
【００２９】
１番目に発生頻度の高いブロックを背景ブロックとし（Ｓ２１，Ｓ２２）、２番目に発生頻度の高いブロックを前景ブロックとし（Ｓ２３，Ｓ２４）、これら以外のブロックを境界ブロックする（Ｓ２５）。全てのブロックをこの基準で分類する（Ｓ２６）。図６に示す動きベクトルの分類例では、図１２に示すように、背景ブロック、前景ブロック及び境界ブロックにグループ化される。
【００３０】
ブロックの発生頻度が高いということは、まとまった動きのあることを示しており、一番広い領域が背景と考えられる。次にまとまった動きのある領域がオブジェクトと考えられるので、それを前景ブロックとしている。まとまった動きが２つしかない場合、３番目以降のブロックの発生頻度は極端に少なくなる。これらは、対応する部分がうまく見つからなかったブロックである。ブロック内に背景部分とオブジェクトの部分の両方を含んでいる場合、同様のブロックをサンプルフレームのサーチ範囲から見つけることができないので、結果としてさまざまなベクトル値を持つことになる。従って、これらのブロックを境界ブロックと設定すればよい。
【００３１】
背景に分類されるブロックと前景に分類されるブロックを、動きベクトルに対するブロックの発生頻度で決定したが、位置情報を考慮し、画面端に多く接しているブロックを背景としてもよい。
【００３２】
図１３は、ブロックのグループ化（Ｓ９）の別の詳細なフローチャートを示す。１番目に発生頻度の高いブロックを背景ブロックと設定する（Ｓ３１，Ｓ３２）。１番目に発生頻度の高いブロックではないが、１番目に発生頻度の高いブロック（背景ブロック）に隣接しているブロックを、境界ブロックと設定する（Ｓ３３，Ｓ３５）。背景ブロック及び境界ブロックのどちらでもないブロックを前景ブロックと設定する（Ｓ３３，Ｓ３４）。以上の処理を全てのブロックについて実行する（Ｓ３６）。
【００３３】
この方法は、背景ブロックに隣接しているブロックを境界ブロックするものであるが、逆に、前景ブロックを求め、それに隣接するブロックを境界ブロックとしても、類似した又は同様の結果が得られる。
【００３４】
また、発生頻度が３番目以降のブロックに対しベクトルの類似度を求め、１番目に発生頻度の高いブロックと２番目に発生頻度の高いブロックのいずれか近い方に分類する方法もある。図１４は、そのフローチャートを示す。
【００３５】
先ず、１番目に発生頻度の高いブロックを背景ブロックと設定する（Ｓ４１，Ｓ４２）。２番目に発生頻度の高いブロックを、前景ブロックと設定する（Ｓ４３，Ｓ４４）。３番目以降に発生頻度の高いブロックの場合（Ｓ４３）、背景ブロック及び前景ブロックとの動きベクトルの類似度を計算する。これは、該当ブロックの動きベクトルが、１番目に発生頻度の高いグループの動きベクトル値と、２番目に発生頻度の高いグループの動きベクトル値のどちらに近いかを求めるものである。例えば、各動きベクトルの内積により動きベクトル間の距離を求めればよい。この計算結果を基に、１番目に発生頻度の高いグループの動きベクトルに近いければ（Ｓ４６）、暫定的に背景ブロック（暫定背景ブロック）と設定し（Ｓ４７）、２番目に発生頻度の高いグループの動きベクトルに近ければ（Ｓ４６）、暫定的に前景ブロック（暫定前景ブロック）と設定する（Ｓ４８）。以上の処理を全てのブロックについて実行する（Ｓ４９）。
【００３６】
図１４に示す方法による暫定的な分類結果の例を図１５に示す。１番目に発生頻度の高いブロックと２番目に発生頻度の高いブロックの、互いに隣接するブロック（図１４による暫定背景ブロック及び暫定前景ブロック）が、境界ブロックとなる。両者の内で、１番目に発生頻度の高いブロックを境界ブロックとするか、２番目に発生頻度の高いブロックを境界ブロックとするかは任意である。
【００３７】
図１６は、図１４による結果を引き継いで、最終的に境界ブロックを決定する方法のフローチャートを示す。注目ブロックが暫定背景ブロックかどうかを判定し（Ｓ５１）、暫定波形ブロックである場合には（Ｓ５１）、前景ブロックに隣接しているか否かを判定する（Ｓ５２）。前景ブロックに隣接していれば（Ｓ５２）、このブロックを境界ブロックとし（Ｓ５３）、隣接していなければ（Ｓ５２）、このブロックを背景ブロックとする（Ｓ５４）。暫定前景ブロックに対しても同様に（Ｓ５５）、背景ブロックに隣接していれば（Ｓ５６）、境界ブロックと設定し（Ｓ５７）、そうでなければ前景ブロックと設定する（Ｓ５８）。暫定ブロック以外のブロックはそのままとする。以上の処理を全てのブロックについて実行する（Ｓ５９）。
【００３８】
図１５に示す例を図１６に示す方法で最終的に分類した結果を図１７に示す。
【００３９】
初期輪郭設定の精度を更に向上させる第２実施例を説明する。図１８は、第２の実施例の特徴部分の処理フローチャートを示す。図１８に示すフローは、図２のＳ５〜Ｓ８の部分を代替する。
【００４０】
図２のＳ５〜Ｓ８と同様に、先ず、サンプルフレームを設定し、全ブロックについて動きベクトルを算出及び分類する（Ｓ６１〜６４）。各ブロックが発生頻度に関してどのブロック・グループに属するかを調べ（Ｓ６５，Ｓ６６）、２番目に発生頻度の高いブロックであって１番目に発生頻度の高いブロックに隣接するブロック（Ｓ６６，Ｓ６７）と、３番目以降に発生頻度の高いブロック（Ｓ６６）とを、再分割可能かどうかを調べ（Ｓ６８）、可能であれば（Ｓ６８）、再分割する（Ｓ６９）。ブロックサイズが１６×１６の場合、例えば４つの８×８ブロックに分割する。
【００４１】
ブロックを再分割した後で（Ｓ６９）、再び、動きベクトルの算出及び分類を全ブロックについて実行する（Ｓ６２〜Ｓ６４）。２番目に発生頻度の高いブロックであって１番目に発生頻度の高いブロックに隣接するブロック（Ｓ６６，Ｓ６７）と、３番目以降に発生頻度の高いブロック（Ｓ６６）とがあり、それが再分割可能である限り（Ｓ６８）、ブロックを再分割して、以上を繰り返す。
【００４２】
このようにブロックを再帰的に分割していくことにより、境界ブロックとなる部分を絞り込んでいくことができる。
【００４３】
これ以上のブロック分割が不可能と判断された場合（Ｓ６８）、ブロック（再分割した場合には、分割後のブロック）のグループ属性を保持したまま、次のブロックを同様に処理する（Ｓ６５〜Ｓ６８）。
【００４４】
再分割されたブロックも含め、フレーム内での全てのブロックの処理が終わると（Ｓ７０）、サンプルフレームを変更し（Ｓ６１）、同様の処理を繰り返す。全てのサンプルフレームに対する処理が終了すると（Ｓ７１）、このルーチンを終える。以後は、図２のＳ９以降と同じ処理を実行する。
【００４５】
図１９は、図１８による処理結果例である。３番目以降に発生頻度の高いブロックを再分割すると共に、２番目に発生頻度の高いブロックであって、１番目に発生頻度の高いブロックに隣接するブロックも再分割している。再分割及び再分類が終った後、オブジェクト判定により、１番目に発生頻度の高いブロックを背景ブロック、２番目に発生頻度の高いブロックを前景ブロック、それ以外を境界ブロックと設定している。
【００４６】
図２０は、図１９に示す例で初期輪郭線設定のためのブロックのみの表示する図である。図２１は、図２０に示す表示例から得られた初期輪郭を示す。第１実施例における初期輪郭（図９）に比べて、精度の高い結果が得られることがわかる。図２２は、図２１に示す初期輪郭がオブジェクトの輪郭に収束する様子を示す。
【００４７】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、動画のオブジェクト抽出を行う際の先頭フレームの初期輪郭を自動的に高精度に設定できる。これにより、ユーザの負担が大幅に軽減される。初期輪郭を自動設定するので、再現性のある初期輪郭を得ることも可能となる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 第１実施例の全体処理のフローチャートである。
【図３】 スタートフレームとエンドフレームの設定を説明する模式図である。
【図４】 ターゲットフレームのブロック化例である。
【図５】 サンプルフレームの画像例である。
【図６】 動きベクトルに関して分類されたブロックのヒストグラム例である。
【図７】 分類されたブロック例である。
【図８】 別のブロック分類例である。
【図９】 第１実施例による初期輪郭例である。
【図１０】 第１実施例による輪郭線の収束の模式図である。
【図１１】 ブロックのオブジェクト判定のフローチャートである。
【図１２】 ブロック・グループの配属例である。
【図１３】 オブジェクト判定の別のフローチャートである。
【図１４】 暫定ブロックを設定するオブジェクト判定法のフローチャートである。
【図１５】 図１４による暫定的なグループ化の結果例である。
【図１６】 暫定ブロックを最終的に決定する処理のフローチャートである。
【図１７】 図１６による処理結果例である。
【図１８】 本発明の第２実施例の特徴部分の処理フローチャートである。
【図１９】 ブロック再分割の模式図である。
【図２０】 第２実施例における初期輪郭のブロック位置を例示する模式図である。
【図２１】 第２実施例での初期輪郭例である。
【図２２】 第２実施例における輪郭線の収束する様子の模式図である。
【符号の説明】
１０：画像入力装置
１２：メモリ
１４：動き量検出回路
１６：境界設定回路
１８：初期輪郭設定回路
２０：輪郭抽出回路
２２：画像出力装置
Claims (17)
- 画像処理装置が実行する画像処理方法であって、
画像データを複数のブロックに分割するブロック分割ステップと、
時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出ステップと、
当該動き量算出ステップで算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類ステップと、
当該ブロック分類ステップの分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成ステップと、
当該初期輪郭生成ステップで生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定ステップ
とを具備することを特徴とする画像処理方法。 - 当該ブロック分類ステップは、当該動き量算出ステップで算出された動き量の発生頻度に従い、発生頻度の１番目に多いグループのブロックを当該背景ブロック・グループに分類し、発生頻度の２番目に多いグループのブロックを当該抽出対象ブロック・グループに分類し、発生頻度の３番目以降に多いグループのブロックを当該境界ブロック・グループに分類する請求項１に記載の画像処理方法。
- 当該ブロック分類ステップが、
３番目以降に発生頻度の高いグループのブロックの動き量が、１番目に発生頻度の高いグループのブロックの動き量及び２番目に発生頻度の高いグループのブロックの動き量の何れと類似するかを判定する類似度判定ステップと、
当該類似度判定ステップの判定結果に従い、３番目以降に発生頻度の高いグループのブロックを、類似度の高いグループに再分類ステップ
とを具備する請求項２に記載の画像処理方法。 - 当該類似度判定ステップが、当該動き量算出ステップで算出される動き量のベクトル内積を計算する請求項３に記載の画像処理方法。
- 当該類似度判定ステップが、当該動き量算出ステップで算出される動き量のベクトル距離を計算する請求項３に記載の画像処理方法。
- 当該ブロック分類ステップは、当該動き量算出ステップで算出された動き量の発生頻度及び近隣ブロックの動き量に従い、当該画像データの各ブロックを、当該抽出対象ブロック・グループ、当該背景ブロック・グループ及び当該境界ブロック・グループの何れかに分類する請求項１に記載の画像処理方法。
- 当該ブロック分類ステップが、１番目に発生頻度の多いグループのブロックを当該背景ブロック・グループに分類し、２番目以降に発生頻度の多いグループのブロックのうち、１番目に発生頻度の多いグループのブロックに隣接するブロックを当該境界ブロック・グループに分類する請求項６に記載の画像処理方法。
- 当該ブロック分類ステップが、２番目に発生頻度の多いグループのブロックを当該抽出対象ブロック・グループに分類し、１番目に発生頻度の多いグループのブロックの内、２番目に発生頻度の多いグループのブロックに隣接するブロックを当該境界ブロック・グループに分類する請求項６に記載の画像処理方法。
- 当該ブロック分類ステップが、
３番目以降に発生頻度の高いグループのブロックの動き量が、１番目に発生頻度の高いグループのブロックの動き量及び２番目に発生頻度の高いグループのブロックの動き量の何れと類似するかを判定する類似度判定ステップと、
当該類似度判定ステップの判定結果に従い、３番目以降に発生頻度の高いグループのブロックを、類似度の高いグループに再分類ステップ
とを具備する請求項６に記載の画像処理方法。 - 当該類似度判定ステップが、当該動き量算出ステップで算出される動き量のベクトル内積を計算する請求項９に記載の画像処理方法。
- 当該類似度判定ステップが、当該動き量算出ステップで算出される動き量のベクトル距離を計算する請求項９に記載の画像処理方法。
- 更に、
当該ブロック分類ステップの分類結果に応じて所定のブロックのサイズを変更するブロックサイズ変更ステップと、
サイズを変更されたブロックに対し、当該動き量算出ステップ及び当該ブロック分類ステップを再実行させる繰り返し制御ステップ
とを具備する請求項１に記載の画像処理方法。 - 当該所定のブロックが、３番目以降に発生頻度の多いグループのブロックである請求項１２に記載の画像処理方法。
- 当該所定のブロックが、１番目に発生頻度の多いグループのブロックに隣接するブロックであって２番目に発生頻度の多いグループに所属するブロックと、３番目以降に発生頻度の多いグループのブロックとからなる請求項１２に記載の画像処理方法。
- 当該所定のブロックが、２番目に発生頻度の多いグループのブロックに隣接するブロックであって１番目に発生頻度の多いグループに所属するブロックと、３番目以降に発生頻度の多いグループのブロックとからなる請求項１２に記載の画像処理方法。
- 画像データを複数のブロックに分割するブロック分割手段と、
時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出手段と、
当該動き量算出手段で算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類手段と、
当該ブロック分類手段の分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成手段と、
当該初期輪郭生成手段で生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定手段
とを具備することを特徴とする画像処理装置。 - 画像データを複数のブロックに分割するブロック分割ステップと、
時間的に離れた画像データとの間で、当該ブロック単位で動き量を算出する動き量算出ステップと、
当該動き量算出ステップで算出した動き量の発生頻度に従い、当該画像データの各ブロックを、抽出対象に対応する抽出対象ブロック・グループ、当該抽出対象の背景に対応する背景ブロック・グループ及び当該抽出対象と当該背景の境界となる境界ブロック・グループの何れかに分類するブロック分類ステップと、
当該ブロック分類ステップの分類結果に従い、当該境界ブロック内に当該抽出対象の初期輪郭を生成する初期輪郭生成ステップと、
当該初期輪郭生成ステップで生成された当該初期輪郭に基づいて当該抽出対象の輪郭を決定する輪郭決定ステップ
とを具備する画像処理装置が実行する画像処理方法のプログラム・ソフトウエアを記憶することを特徴とする記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24823799A JP4407985B2 (ja) | 1999-09-02 | 1999-09-02 | 画像処理方法及び装置並びに記憶媒体 |
| US09/650,738 US7024040B1 (en) | 1999-09-02 | 2000-08-30 | Image processing apparatus and method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24823799A JP4407985B2 (ja) | 1999-09-02 | 1999-09-02 | 画像処理方法及び装置並びに記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001076161A JP2001076161A (ja) | 2001-03-23 |
| JP2001076161A5 JP2001076161A5 (ja) | 2006-10-12 |
| JP4407985B2 true JP4407985B2 (ja) | 2010-02-03 |
Family
ID=17175210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24823799A Expired - Fee Related JP4407985B2 (ja) | 1999-09-02 | 1999-09-02 | 画像処理方法及び装置並びに記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7024040B1 (ja) |
| JP (1) | JP4407985B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003061B2 (en) | 2000-12-21 | 2006-02-21 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
| US20030174890A1 (en) * | 2002-03-14 | 2003-09-18 | Masaki Yamauchi | Image processing device and ultrasonic diagnostic device |
| EP1710751A1 (en) * | 2004-01-06 | 2006-10-11 | Sony Corporation | Image processing device and method, recording medium, and program |
| US20080144716A1 (en) * | 2004-03-11 | 2008-06-19 | Gerard De Haan | Method For Motion Vector Determination |
| US7463755B2 (en) * | 2004-10-10 | 2008-12-09 | Qisda Corporation | Method for correcting motion vector errors caused by camera panning |
| KR100775104B1 (ko) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 |
| JP2008016903A (ja) * | 2006-07-03 | 2008-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 動きベクトル信頼度測定方法，動フレーム判定方法，動画像符号化方法，およびそれらの装置，並びにそれらのプログラムおよびその記録媒体 |
| WO2008091205A1 (en) * | 2007-01-26 | 2008-07-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Image block classification |
| WO2009071106A1 (en) * | 2007-12-05 | 2009-06-11 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Image analysis method, image analysis system and uses thereof |
| JP4623122B2 (ja) * | 2008-04-03 | 2011-02-02 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、およびプログラム |
| JP4947136B2 (ja) | 2009-12-25 | 2012-06-06 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5036084B2 (ja) * | 2010-10-14 | 2012-09-26 | シャープ株式会社 | 映像処理装置、映像処理方法、及びプログラム |
| JP4980486B1 (ja) * | 2011-06-14 | 2012-07-18 | 株式会社ナナオ | 動き画像領域判定装置またはその方法 |
| JP2013030838A (ja) * | 2011-07-26 | 2013-02-07 | Jvc Kenwood Corp | 動きベクトル導出装置および方法 |
| JP5131399B2 (ja) * | 2012-01-19 | 2013-01-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR101436369B1 (ko) * | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2951230B2 (ja) * | 1994-09-22 | 1999-09-20 | 三洋電機株式会社 | ２次元映像から３次元映像を生成する方法 |
| JP3052893B2 (ja) * | 1997-05-16 | 2000-06-19 | 日本電気株式会社 | 動画像符号化装置 |
| US5999651A (en) * | 1997-06-06 | 1999-12-07 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for tracking deformable objects |
| JP2000013643A (ja) * | 1998-06-18 | 2000-01-14 | Sony Corp | ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法 |
| JP4564634B2 (ja) * | 2000-08-14 | 2010-10-20 | キヤノン株式会社 | 画像処理方法及び装置並びに記憶媒体 |
-
1999
- 1999-09-02 JP JP24823799A patent/JP4407985B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-30 US US09/650,738 patent/US7024040B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7024040B1 (en) | 2006-04-04 |
| JP2001076161A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4407985B2 (ja) | 画像処理方法及び装置並びに記憶媒体 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| JP4564634B2 (ja) | 画像処理方法及び装置並びに記憶媒体 | |
| JP3679512B2 (ja) | 画像抽出装置および方法 | |
| JP4668921B2 (ja) | 画像中のオブジェクト検出 | |
| JP5435382B2 (ja) | モーフィングアニメーションを生成するための方法および装置 | |
| US6975755B1 (en) | Image processing method and apparatus | |
| US6912313B2 (en) | Image background replacement method | |
| US8605795B2 (en) | Video editing methods and systems | |
| JP2006318474A (ja) | 画像シーケンス内のオブジェクトを追跡するための方法及び装置 | |
| JP2001043376A (ja) | 画像抽出方法及び装置並びに記憶媒体 | |
| CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
| KR20030060328A (ko) | 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치 | |
| CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN107610153A (zh) | 电子设备以及相机 | |
| CN111723713B (zh) | 一种基于光流法的视频关键帧提取方法及系统 | |
| CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
| CN112614149A (zh) | 基于实例分割的语义合成方法 | |
| Moscheni et al. | Robust region merging for spatio-temporal segmentation | |
| Gallego et al. | Joint multi-view foreground segmentation and 3d reconstruction with tolerance loop | |
| CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
| CN111881732B (zh) | 一种基于svm的人脸质量评价方法 | |
| EP0959625A2 (en) | Segmenting video images based on joint region and contour information | |
| CN108182391A (zh) | 一种基于教育视频自动提取不重复的幻灯片方法 | |
| JP2004062505A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060824 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060824 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |