JPH11213156A

JPH11213156A - 画像処理装置および方法、記録媒体

Info

Publication number: JPH11213156A
Application number: JP10016486A
Authority: JP
Inventors: Osamu Itokawa; 修糸川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-01-29
Filing date: 1998-01-29
Publication date: 1999-08-06

Abstract

(57)【要約】【課題】簡単な構成により、確実かつ高速に背景と前
景とを分離することのできる手法を提供する。【解決手段】動画像中の１画面を複数のブロックに分
割して（ステップＳ１０２）各ブロックの動きベクトル
を夫々算出し（ステップＳ１０３）、その算出結果を利
用して背景画像と前景画像との分離を行うようにするこ
とにより（ステップＳ１０４〜Ｓ１１１）、動画像から
背景部分と前景部分とを分離する処理を簡単なアルゴリ
ズムによって実現できるようにし、これにより、動画像
のリアルタイム性を損なうことなく、背景と前景との分
離処理を高速に行うことができるようにするとともに、
従来のブルーバック方式のように背景以外の画像部分が
背景であると誤認識されてしまうという不都合を防止で
きるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
方法、記録媒体に関し、特に、動画像に対して背景と前
景の分離／合成処理を行う装置に用いて好適なものであ
る。

【０００２】

【従来の技術】近年、高性能化したＣＰＵを搭載したパ
ーソナルコンピュータ（パソコン）の普及に伴い、パソ
コン上での動画像の編集に対する要求が高まってきてい
る。編集作業の例として、フレーム間での時間順序の入
れ替え、色合いの調整、別画像の挿入など様々なものが
あり、背景と前景の分離／合成処理もその一つである。
背景と前景を分離／合成する技術には、古くからブルー
バックと呼ばれる手法が知られている。これは、スタジ
オセットなどでブルーの背景をあらかじめ用意してお
き、スイッチャーでブルーの部分を別の画像に置き換え
るものである。

【０００３】図１９および図２０を用いてこのブルーバ
ック方式の概要を説明する。ここでは、背景がブルーの
画像Ａと、合成後に背景となる画像Ｂとの２種類の画像
から画像Ｃを作成する過程を説明する。図２０は、ブル
ーバック方式のシステム全体の構成を示す図である。図
２０において、２００１は画像Ａの入力部、２００２は
画像Ｂの入力部、２００６は合成画像Ｃの出力部であ
る。また、２００３はスイッチャーと呼ばれる装置であ
り、スイッチ部２００４とブルーの判定部２００５とか
ら構成されている。

【０００４】図１９は、この方式のアルゴリズムを示す
フローチャートである。図１９において、まず最初に、
２つの入力部２００１，２００２においてＡ，Ｂ２種類
の画像を同期を取って入力し（ステップＳ１９０１）、
画像Ａの信号がブルーかどうかをブルーの判定部２００
５で判定する（ステップＳ１９０２）。

【０００５】そして、ブルーでなければそのまま画像Ａ
の信号を通し（ステップＳ１９０３）、ブルーならば画
像Ｂの信号を通すように（ステップＳ１９０４）スイッ
チ部２００４を切り替える。これを、信号の最初から最
後まで時間順で繰り返し処理する（ステップＳ１９０
５）ことにより、画像Ｂを画像Ａの背景とした合成画像
Ｃを生成する。このような処理のため、ブルーバック方
式は古くからアナログ処理で利用されている。

【０００６】また、最近ではデジタル技術を利用した画
像の分離／合成処理も注目されている。このデジタル技
術を利用した分離／合成処理としては、前景となる画像
と背景となる画像とで輝度・色分布が異なることを利用
する方法や、フィルタリングによリエッジ検出を行い、
輪郭を抽出する方法などがある。

【０００７】

【発明が解決しようとする課題】しかしながら、従来の
ブルーバックを利用する方法では、背景部分以外にも青
い絵柄があるとそこが背景と誤認識されてしまうという
問題があった。また、スタジオ設備の準備が必要という
問題もあった。これらの欠点を補うことのできるデジタ
ル処理においても、演算にかかる時間が長くなるため、
動画像に適応する場合、リアルタイム性を犠牲にしなけ
ればならないという問題があった。

【０００８】ところで、近年の画像の高精細化に伴い、
画像が持つ情報の内容も変わりつつある。例えば、動画
像の上に文字を重ねて伝送したり、別の画像を重ねて伝
送したりすることがある。また、単位時間当たりに送れ
る情報量は増大している。これら複数の情報の中から必
要な部分のみを取り出し、保存または再編集する必要性
はこれから更に増してくる。

【０００９】本発明は、このような問題を解決するため
に成されたものであり、簡単な構成により、確実かつ高
速に背景と前景とを分離することのできる手法を提供す
ることを目的としている。

【００１０】

【課題を解決するための手段】本発明の画像処理装置
は、動画像から背景画像と前景画像との分離を行う機能
を有する画像処理装置において、画面を複数のブロック
に分割して各ブロックの動きベクトルを夫々算出し、そ
の算出結果を利用して背景画像と前景画像との分離を行
うようにしたことを特徴とする。動きベクトルの算出
は、例えば、同一時間内の画像（現フレーム）を複数の
ブロックに分割し、異なる時間の画像（前フレーム）と
のパターンマッチングをとり、動き量を検出することに
より行う。また、画像の分離処理は、例えば、各ブロッ
ク毎に算出した動きベクトルの値（動きベクトルの大き
さおよび方向を含む）に応じて各ブロックを背景ブロッ
クおよび前景ブロックの２種類に分類し、その分類結果
に応じて背景画像と前景画像との分離を行う。このよう
に構成した本発明によれば、各ブロックの動き量の違い
から背景部分と前景部分とが正確かつ簡単に分離される
ようになる。

【００１１】また、本発明の他の特徴とするところで
は、各ブロック毎に算出した動きベクトルに応じて上記
各ブロックを背景ブロック、前景ブロック、背景と前景
との境界ブロックの３種類に分類し、境界ブロックにお
いてはブロックサイズを変更して再度動きベクトルの算
出並びに算出した動きベクトルに応じた分類を行い、境
界ブロックに分類されるブロックがなくなるまで、上記
ブロックサイズの変更と上記動きベクトルの算出および
分類とを繰り返し行うようにする。このように構成した
本発明によれば、１つのブロック内に背景部分と前景部
分の画像が混在する場合は、そのブロックが更に分割さ
れ、再度動きベクトルを求めて分類する処理が繰り返し
行われることにより、背景画像と前景画像との分離が更
に確実に行われるようになる。

【００１２】

【発明の実施の形態】（第１の実施形態）以下、図面を
参照して本発明の好適な実施形態を詳細に説明する。図
２は、本実施形態の画像処理装置の構成を示すブロック
図であり、図２（ａ）は全体構成を示している。以下、
この図２（ａ）に従って画像の入力から出力までの全体
の処理の流れを説明する。ここでは、画像Ａと画像Ｂと
の２種類の画像を入力し、分離処理および合成処理の後
に合成画像Ｃを出力する過程を説明する。ここで、画像
Ａは合成画像Ｃの前景として取り出したい画像を含んで
おり、画像Ｂは合成画像Ｃの背景として取り出したい画
像を含んでいるものとする。

【００１３】図２（ａ）において、２０１は画像Ａの入
力部（例えば、ビデオカメラ）、２０２は画像Ｂの入力
部（例えば、ビデオカメラ）、２０３は画像Ａから前景
／背景を分離する分離処理部、２０４は画像Ｂから前景
／背景を分離する分離処理部、２０５は分離した前景画
像と背景画像とを合成する画像合成処理部、２０６は合
成画像Ｃの出力部である。画像合成処理部２０５での処
理は、前景画像と背景画像とを重ねあわせ、重なった部
分は前景画像を優先して用い、それ以外は背景画像を選
択することにより実現できる。

【００１４】分離処理部２０３で前景画像を抽出する処
理と、分離処理部２０４で背景画像を抽出する処理と
は、どちらも基本アルゴリズムは同じであり、後述する
ように本発明固有の処理である。分離処理部２０３では
分離処理した画像のうち前景画像を利用し、分離処理部
２０４では背景画像を利用する点のみが異なる。背景画
像として利用したい画像が、あらかじめ分離処理を必要
としないものであれば、分離処理部２０４の処理は省略
可能である。また、合成後に背景とする画像は動画に限
らず、静止画でもなんら問題はない。

【００１５】図２（ｂ）は、上記分離処理部２０３，２
０４の内部構成を示す機能ブロック図である。図２
（ｂ）において、２１０は入力された動画像中の１フレ
ームを複数のブロックに分割するブロック化手段、２１
１は分割された各ブロックの動きベクトルを夫々算出す
る動きベクトル算出手段、２１２は各ブロック毎に算出
した動きベクトルの値に応じて各ブロックを背景ブロッ
クおよび前景ブロックの２種類に分類する分類手段、２
１３は分類の結果に応じて背景画像と前景画像との分離
を行う分離手段、２１４は分離した背景画像および前景
画像の何れかを選択的に抽出する抽出手段である。

【００１６】上記分類手段２１２は、最初は、各ブロッ
ク毎に算出した動きベクトルの値に応じて上記各ブロッ
クを背景ブロック、前景ブロック、背景と前景との境界
ブロックの３種類に分類する。境界ブロックに関して
は、ブロック化手段２１０に通知することにより当該ブ
ロック化手段２１０でブロックサイズを変更する。そし
て、動きベクトル算出手段２１１および分類手段２１２
により、変更したブロックサイズの下で再度動きベクト
ルの算出および分類を行う。以上の処理を境界ブロック
に分類されるブロックがなくなるまで繰り返し行うこと
により、各ブロックを背景ブロックと前景ブロックとの
２種類に分類する。

【００１７】上記分類手段２１２は、最初に各ブロック
を背景ブロック、前景ブロック、境界ブロックの３種類
に分類したときに、背景ブロックと判断したブロックの
動きベクトルの値と、前景ブロックと判断したブロック
の動きベクトルの値とをメモリ２１５に記憶しておく。
その後、境界ブロックのブロックサイズを変更した後で
再度算出した動きベクトルから分類を行うときに、先に
記憶しておいた動きベクトルの値を利用して分類を行
う。このようにすることにより、２度目以降は、分類判
定を行うための動きベクトル値の決定処理ステップを省
略することができる。

【００１８】以下に、図１のフローチャートおよび図３
〜図１４の画面イメージによる説明図を用いて本発明固
有の処理、すなわち分離処理部２０３，２０４の動作の
詳細を説明する。ここでは、図３に示すように、前景の
物体３０１が１フレームの時間内に（図３（ａ）の前フ
レームから図３（ｂ）の現フレームにかけて）別の場所
に移動した場合を例に説明する。背景３０２は動いてい
ないものとする。

【００１９】図１において、まず、図３（ｂ）に示した
現フレームの画像を複数のブロックに分割する。すなわ
ち、まず最初のステップＳ１０１として、Ｎ×Ｎのブロ
ックサイズの初期値を決める。ここでは初期値がＮ＝
８、すなわち１つのブロックが８×８のサイズであると
して説明する。ブロックサイズの初期化の後、ステップ
Ｓ１０２において画像のブロック化を行う。図４は、初
期段階におけるブロック化のイメージを表す図である。

【００２０】次に、ステップＳ１０３で、分割したブロ
ック各々につき、動きベクトルの算出を行う。動きベク
トルの算出は、対象とするブロックの画像と同じ画像を
前のフレームからサーチするパターンマッチングという
方法が一般的である。このパターンマッチング方法を図
５を用いて説明する。ここでは図５（ａ）に示すよう
に、現フレームの各ブロックのうち、代表的なブロック
５０１，５０２，５０３を例にとって説明する。

【００２１】ブロック５０１のように動いていない背景
のような画像の場合は、そのブロックの画像と同じ画像
を前フレームからサーチすると、図５（ｂ）のブロック
５０４が該当する。図５（ｄ）のように、図５（ａ）と
図５（ｂ）とを重ねて考えると、ブロック５０１とブロ
ック５０４とは画面上の位置が同じなので、動きベクト
ルは０（ゼロ）となる。

【００２２】また、ブロック５０３のようにフレーム間
で平行移動した前景の物体３０１の画像の場合には、そ
のブロック５０３の画像と同じ画像を前フレームからサ
ーチすると、図５（ｃ）のブロック５０５が該当する。
図５（ｄ）のように、図５（ａ）と図５（ｃ）とを重ね
て考えると、ブロック５０３とブロック５０５との位置
関係から、動きベクトル５０８が求まる。図５（ｅ）の
ブロック５０３，５０６，５０７のように前景の物体３
０１が複数のブロックを含んでいる場合は、これらの動
きベクトル５０８，５０９，５１０は何れも同じとな
る。

【００２３】さらに、ブロック５０２のように、ブロッ
クが前景の画像と背景の画像との両方を含んでいる場合
は、前のフレーム中に全く同じパターンの画像を見つけ
ることができない。通常のパターンマッチングでは、サ
ーチした範囲内で画素間の最小二乗誤差が最も小さいブ
ロックから動きベクトルを算出するため、上記のブロッ
ク５０２では、物体内部の動きベクトルとも背景の動き
ベクトルとも異なったベクトル値が算出される。

【００２４】１つの現フレーム画像中に含まれるすべて
のブロックの動きベクトルが求まった段階で、各ブロッ
クを背景ブロック、前景ブロック、背景と前景との境界
ブロックに分類する。すなわち、まず初めにステップＳ
１０４で背景ブロックの動きベクトル値が決定済かどう
かを判断し、決まっていない場合は、ステップＳ１０５
に進んで背景ブロックの動きベクトル値Ｖｂを決めなけ
ればならない。ステップＳ１０５は背景ブロックの動き
ベクトル値Ｖｂを決めるルーチンであるが、背景画像が
あらかじめ動いていないと分かっている場合は、０（ゼ
ロ）が背景ブロックの動きベクトル値Ｖｂであるとすれ
ばよい。

【００２５】背景ブロックの動きベクトル値Ｖｂが決定
したら、次にステップＳ１０６で、現フレーム中の各ブ
ロックに対し、各ブロックの動きベクトル値と上記決定
した背景ブロックの動きベクトル値Ｖｂとの比較を行う
ことにより、当該ブロックが背景ブロックであるかどう
かを夫々判断する。ここでのベクトル値同志の比較の結
果、値のほぼ一致したブロックについてはステップＳ１
０７で背景ブロックとして処理する。

【００２６】前景画像を抽出したい場合（例えば図２の
分離処理部２０３の場合）は、背景ブロックを廃棄して
もよいが、背景画像を抽出したい場合（例えば図２の分
離処理部２０４の場合）は、すべての背景ブロックがそ
ろうまで分離処理部２０４内の図示しないメモリにデー
タを蓄えておく必要がある。

【００２７】次に、ステップＳ１０８で、前景ブロック
と判定するための動きベクトル値が決定済かどうかを判
断し、決まっていなければ、これを求めなければならな
い。上述したように、前景の物体３０１内部のブロック
はすべて同じ動きベクトル値となるので、ステップＳ１
０９でこの値を前景ブロックの動きベクトル値Ｖａとす
ればよい。

【００２８】前景ブロックの動きベクトル値Ｖａが決定
したら、次にステップＳ１１０で、現フレーム中の各ブ
ロックに対し、各ブロックの動きベクトル値と上記決定
した前景ブロックの動きベクトル値Ｖａとを比較するこ
とにより、当該ブロックが前景ブロックか否かを夫々判
断する。なお、実際には境界ブロックであっても、その
動きベクトル値が前景ブロックの動きベクトル値とほぼ
同じであれば、それは前景ブロックであると判断され
る。ここでのベクトル値同志の比較の結果、値のほぼ一
致したブロックについてはステップＳ１１１で前景ブロ
ックとして処理する。

【００２９】上記ステップＳ１０６およびステップＳ１
１０において背景ブロックでも前景ブロックでもないと
判断されれば、そのブロックは境界ブロックであること
を意味する。以上のように、算出した動きベクトル値か
ら、１つの現フレーム画像中に含まれる８×８サイズの
複数ブロックを背景ブロック、前景ブロック、境界ブロ
ックの３種類に分類することが可能である。分類した様
子を図６に示す。図７は、このうち境界ブロックのみを
取り出した図である。

【００３０】上述のような分類処理後、境界ブロック
は、ステップＳ１１２でブロックサイズを更に縦横半
分、すなわちＮ＝４とされ、ステップＳ１０２に戻って
再びブロック化される。図７に示した複数の境界ブロッ
クの各々を更に４×４のサイズに再ブロック化した結果
が、図８である。次に、ステップＳ１０３では、４×４
のサイズに再ブロック化した境界ブロックの各々につ
き、動きベクトルを算出する。４×４のサイズで動きベ
クトルを算出した結果を、図９に示す。

【００３１】以降、４×４ブロックサイズでの動きベク
トルを対象としてステップＳ１０４〜Ｓ１１２の処理を
行うが、背景ブロックおよび前景ブロックと判定するた
めの動きベクトル値Ｖｂ，Ｖａは既に求まっているの
で、ステップＳ１０５およびステップＳ１０９の処理は
不要である。図１０は、４×４のブロックサイズでな
も、境界ブロックと判断された部分であり、図１１はそ
の拡大図である。境界ブロックは、更に２×２のサイズ
に再ブロック化され、上述のステップを繰り返す。

【００３２】その後、すべてのブロックが背景ブロック
と前景ブロックとに分類され、境界ブロックがなくなれ
ば、前景と背景の分離処理は終了する。ブロックサイズ
の最小単位は１×１であるため、このブロックは必ず背
景か前景かのどちらかのブロックに分類される。図１２
は境界ブロックを２×２ブロック化した様子を示す図で
あり、図１３は更に境界ブロックを１×１ブロック化し
た様子を示す図である。このようにして全てのブロック
を前景と背景とに分類した結果、前景部分を取り出す
と、図１４のように、背景と分離した前景画像が得られ
るようになる。

【００３３】以上のように、本実施形態によれば、動画
像の現フレームを複数のブロックに分割し、時間的に異
なる画像間で各ブロックの動きベクトルを算出し、その
算出結果を利用して背景画像と前景画像との分離を行う
ようにしたので、従来のブルーバック方式のように背景
以外の青い画像部分が背景であると誤認識されてしまう
不都合を防止できるととともに、算出した動きベクトル
の利用という簡単なアルゴリズムによって背景と前景と
の分離を高速に行うことができ、動画像のリアルタイム
性を確保することができる。また、装置の構成も簡単で
済む。

【００３４】（第２の実施形態）上述した第１の実施形
態では、背景部分の画像が動いていない場合について説
明したが、背景部分も動いている場合の例を、以下の第
２の実施形態により説明する。第２の実施形態におい
て、基本アルゴリズムは図１と同様であるが、ステップ
Ｓ１０５における背景ブロックの動きベクトル値Ｖｂを
決めるルーチンが第１の実施形態と異なる。画面上にお
けるイメージは、図１５〜図１８を用いて説明する。

【００３５】本実施形態では、例えば図１５に示すよう
に、前景の物体が画面の下から上へ移動し、背景が画面
の右から左下に動いている例に従って説明する。図１６
は、図１のステップＳ１０２におけるブロック化の説明
図である。ここでは前景の物体とその周囲のブロックに
限定して説明する。これらのブロックの動きベクトルを
図１のステップＳ１０３で算出すると、図１７に示すよ
うな動きベクトルが得られる。

【００３６】この図１７の例では境界ブロックがないた
め、動きベクトルは２種類に分類できる。一方が背景ブ
ロックの動きベクトルＶｂであり、もう一方が前景ブロ
ックの動きベクトルＶａである。本実施形態では、図１
のステップＳ１０５で、発生頻度の大きい方の動きベク
トルを背景ブロックの動きベクトルＶｂとして決定する
ようにする。この場合、図１７の１７０１が背景ブロッ
クの動きベクトルＶｂとなる。

【００３７】また、ブロックの位置関係から、互いに同
じ値の動きベクトル１７０２がまとまった部分を囲んで
いる別の略均一な動きベクトルを背景ブロックの動きベ
クトルＶｂとしても、この例では同じ結果が得られる。

【００３８】この例では、境界ブロックを含まないた
め、図１のステップＳ１０１〜Ｓ１１１の１回のループ
で処理は終了するが、境界ブロックが存在する場合は、
ステップＳ１１２で境界ブロックを更に小さいブロック
に分割し、ステップＳ１０２からの処理を繰り返す。ブ
ロックを最小単位（すなわち１×１サイズのブロック）
に分割するまでには、前景ブロックおよび背景ブロック
の動きベクトルＶａ，Ｖｂが必ず得られるので、すべて
のブロックがどちらかの動きベクトル値を持った段階で
この処理は終了となる。図１８は、このアルゴリズムに
よって抽出された前景画像を示す図である。

【００３９】以上のように、本実施形態によれば、背景
画像が静止画の場合だけでなく、動きのある動画の場合
であっても、背景と前景との分離処理を確実かつ高速に
行うことができる。

【００４０】なお、以上の実施形態では各ブロック毎に
算出した動きベクトルから背景画像と前景画像との分離
を行うようにしたが、本発明はこれに限定されるもので
はなく、例えば、画面中で動いている部分と動いていな
い部分とを分離する場合にも同様に適用することが可能
である。また、異なる動きベクトル値を持つ画像部分を
それぞれ分離するようにすることも可能である。

【００４１】また、以上の実施形態では、分割した各ブ
ロック毎に背景ブロックか前景ブロックかを判定し、ど
ちらでもない場合に境界ブロックであると判定するよう
にしたが、境界ブロックか否かの判断は、当該ブロック
が背景ブロックに隣接しているかどうかを見ることによ
っても判定することが可能である。ただし、背景ブロッ
クに隣接していても、そのブロックの動きベクトルが前
景の内部ブロックのそれと同じであれば、それは前景ブ
ロックと判断する。

【００４２】（本発明の他の実施形態）本発明の画像処
理装置は、複数の機器（例えば、ホストコンピュータ、
インタフェース機器、リーダ、ＶＴＲ、ＴＶ、プリンタ
等）から構成されるシステムに適用しても、１つの機器
（例えば、パソコン、複写機、ファクシミリ装置）から
なる装置に適用しても良い。

【００４３】また、上述した実施形態の機能を実現する
べく各種のデバイスを動作させるように、該各種デバイ
スと接続された装置あるいはシステム内のコンピュータ
に対し、上記実施形態の機能を実現するためのソフトウ
ェアのプログラムコードを供給し、そのシステムあるい
は装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納
されたプログラムに従って上記各種デバイスを動作させ
ることによって実施したものも、本発明の範疇に含まれ
る。

【００４４】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記憶媒体は本
発明を構成する。かかるプログラムコードを記憶する記
憶媒体としては、例えばフロッピーディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用い
ることができる。

【００４５】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）あるいは他のアプリケーションソフト等の共
同して上述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。

【００４６】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部または全部を行い、その処理によって上述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。

【００４７】

【発明の効果】本発明は上述したように、動画像中の１
画面を複数のブロックに分割して各ブロックの動きベク
トルを夫々算出し、その算出結果を利用して背景画像と
前景画像との分離を行うようにしたので、動画像から背
景部分と前景部分とを分離する処理を簡単なアルゴリズ
ムによって実現することができる。よって、動画像のリ
アルタイム性を損なうことなく、背景と前景との分離処
理を高速に行うことができるとともに、装置の構成も簡
単で済む。また、従来のブルーバック方式のように背景
以外の画像部分が背景であると誤認識されてしまうとい
う不都合を防止でき、背景と前景との分離を確実に行う
ことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る画像処理装置の動作
アルゴリズムを示すフローチャートである。

【図２】本発明の一実施形態に係る画像処理装置の構成
を示す図である。

【図３】本発明の第１の実施形態に係るフレーム間の物
体の動きを説明するための図である。

【図４】本発明の第１の実施形態に係る８×８ブロック
化を説明する図である。

【図５】本発明の第１の実施形態に係る動きベクトルの
算出方法を説明する図である。

【図６】本発明の第１の実施形態に係る各ブロックの分
類結果を示す図である。

【図７】本発明の第１の実施形態に係る８×８境界ブロ
ックを示す図である。

【図８】本発明の第１の実施形態に係る境界ブロックの
４×４ブロック化を説明する図である。

【図９】本発明の第１の実施形態に係る４×４ブロック
での動きベクトル算出結果を示す図である。

【図１０】本発明の第１の実施形態に係る４×４境界ブ
ロックを示す図である。

【図１１】図１０の拡大図である。

【図１２】本発明の第１の実施形態に係る境界ブロック
の２×２ブロック化を説明する図である。

【図１３】本発明の第１の実施形態に係る境界ブロック
の１×１ブロック化を説明する図である。

【図１４】本発明の第１の実施形態において前景として
抽出した画像を示す図である。

【図１５】本発明の第２の実施形態に係るフレーム間の
前景と背景の動きを説明する図である。

【図１６】本発明の第２の実施形態に係るブロック化を
説明する図である。

【図１７】本発明の第２の実施形態に係る動きベクトル
算出結果を示す図である。

【図１８】本発明の第２の実施形態において前景として
抽出した画像を示す図である。

【図１９】従来例に係るブルーバック方式のアルゴリズ
ムを説明するためのフローチャートである。

【図２０】従来例に係るブルーバック方式のシステム全
体の構成を示す図である。

【符号の説明】

２０３前景／背景分離処理部２０４前景／背景分離処理部２１０ブロック化手段２１１動きベクトル算出手段２１２分類手段２１３分離手段２１４抽出手段２１５メモリ

Claims

【特許請求の範囲】

【請求項１】動画像から背景画像と前景画像との分離
を行う機能を有する画像処理装置において、画面を複数のブロックに分割して各ブロックの動きベク
トルを夫々算出し、その算出結果を利用して背景画像と
前景画像との分離を行うようにしたことを特徴とする画
像処理装置。
【請求項２】上記各ブロック毎に算出した動きベクト
ルに応じて上記各ブロックを背景ブロックおよび前景ブ
ロックの２種類に分類し、その分類結果に応じて上記背
景画像と前景画像との分離を行うようにしたことを特徴
とする請求項１に記載の画像処理装置。
【請求項３】上記各ブロック毎に算出した動きベクト
ルに応じて上記各ブロックを背景ブロック、前景ブロッ
ク、背景と前景との境界ブロックの３種類に分類し、上
記境界ブロックにおいてはブロックサイズを変更して再
度動きベクトルの算出並びに算出した動きベクトルに応
じた分類を行い、境界ブロックに分類されるブロックが
なくなるまで、上記ブロックサイズの変更と上記動きベ
クトルの算出および分類とを繰り返し行うようにしたこ
とを特徴とする請求項２に記載の画像処理装置。
【請求項４】動きベクトルが略ゼロのブロックを上記
背景ブロックとするようにしたことを特徴とする請求項
２または３に記載の画像処理装置。
【請求項５】略均一の動きベクトルを持つブロック同
志を各々上記前景ブロックとするようにしたことを特徴
とする請求項２〜４の何れか１項に記載の画像処理装
置。
【請求項６】略均一の動きベクトルを持つブロックの
うち、他のブロックを囲んで配置されているブロックを
各々上記背景ブロックとするようにしたことを特徴とす
る請求項２または３に記載の画像処理装置。
【請求項７】略均一の動きベクトルを持つ上記他のブ
ロックを各々上記前景ブロックとするようにしたことを
特徴とする請求項６に記載の画像処理装置。
【請求項８】略均一の動きベクトルを持つブロックの
うち、その略均一ブロックの数が最大のものを各々上記
背景ブロックとするようにしたことを特徴とする請求項
２または３に記載の画像処理装置。
【請求項９】略均一の動きベクトルを持つブロックの
うち、その略均一ブロックの数が最大以外のものを各々
上記前景ブロックとするようにしたことを特徴とする請
求項８に記載の画像処理装置。
【請求項１０】上記境界ブロックのブロックサイズを
変更した後で再度算出した動きベクトルから各ブロック
の分類を行うときに、先に背景ブロックと判断されたブ
ロックの動きベクトル、もしくは先に前景ブロックと判
断されたブロックの動きベクトルを分類の判定に利用す
ることを特徴とする請求項３〜９の何れか１項に記載の
画像処理装置。
【請求項１１】動画像から背景画像と前景画像との分
離を行うための画像処理方法において、画面を複数のブロックに分割して各ブロックの動きベク
トルを夫々算出し、上記各ブロック毎に算出した動きベ
クトルに応じて上記各ブロックを背景ブロックおよび前
景ブロックの２種類に分類し、その分類結果に応じて上
記背景画像と前景画像との分離を行うようにしたことを
特徴とする画像処理方法。
【請求項１２】上記各ブロック毎に算出した動きベク
トルに応じて上記各ブロックを背景ブロック、前景ブロ
ック、背景と前景との境界ブロックの３種類に分類し、
上記境界ブロックにおいてはブロックサイズを変更して
再度動きベクトルの算出並びに算出した動きベクトルに
応じた分類を行い、境界ブロックに分類されるブロック
がなくなるまで、上記ブロックサイズの変更と上記動き
ベクトルの算出および分類とを繰り返し行うようにした
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】動画像の１フレーム又は１フィールド
を複数のブロックに分割して各ブロックの動きベクトル
を夫々算出する動きベクトル算出手段と、上記各ブロック毎に算出した動きベクトルに応じて上記
各ブロックを背景ブロックおよび前景ブロックの２種類
に分類する分類手段と、上記分類の結果に応じて背景画像と前景画像との分離を
行う分離手段としてコンピュータを機能させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。
【請求項１４】上記動きベクトル算出手段および分類
手段は、上記各ブロック毎に算出した動きベクトルに応
じて上記各ブロックを背景ブロック、前景ブロック、背
景と前景との境界ブロックの３種類に分類し、上記境界
ブロックにおいてはブロックサイズを変更して再度動き
ベクトルの算出並びに算出した動きベクトルに応じた分
類を行い、境界ブロックに分類されるブロックがなくな
るまで、上記ブロックサイズの変更と上記動きベクトル
の算出および分類とを繰り返し行う手段から成ることを
特徴とする請求項１３に記載のコンピュータ読み取り可
能な記録媒体。
【請求項１５】画面を複数のブロックに分割して各ブ
ロックの動きベクトルを夫々算出し、その算出結果を利
用して動画像から少なくとも２種以上の画像部分の分離
を行うようにしたことを特徴とする画像処理装置。