JPH09130803A

JPH09130803A - 背景画像復元方法および装置

Info

Publication number: JPH09130803A
Application number: JP28002695A
Authority: JP
Inventors: Kimihiko Kazui; 君彦数井; Eiji Morimatsu; 映史森松
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-10-27
Filing date: 1995-10-27
Publication date: 1997-05-16
Also published as: US5920650A; EP0770974B1; EP0770974A1; DE69623408D1; DE69623408T2

Abstract

(57)【要約】【課題】動画像中の物体等に対するオブジェクト操作性
に関し、物体消去後の画像が不自然に見えないようにす
る、背景画像復元方法および装置を提供する。【解決手段】動きベクトル推定部１１によって、動画像
と、この動画像の各フレームごとの画像内における各物
体の領域情報と各画素ごとの動きベクトルとを入力とし
て、動きベクトルを使用して指定物体に隠された背景画
素の動きベクトルを推定し、画素値推定部１２によっ
て、動きベクトル推定部１１からの動きベクトル出力を
使用して他のフレームでの対応位置を計算してこの位置
における画素値から背景画素の値を推定し、動画像中に
おける特定の物体を指定する制御信号に応じて、この動
画像中の指定物体中の全画素に対して、指定物体に隠さ
れた背景画素の値を推定してこの画素値と置き替えるこ
とによって、指定物体が画面中に存在しなかったように
見える動画像を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像中の各物体
等を、一つの独立したオブジェクト（対象物）として、
オペレータが自由に操作できる機能を備えた画像処理方
法および装置と、これに関連する符号化方法および装置
に関するものである。

【０００２】動画像処理技術の急速な発展によって、オ
ブジェクト操作性と呼ばれる、新しい機能が要求される
ようになった。オブジェクト操作性は、人間が、動画像
中の物体等に対して、移動，変形，削除等の操作を自由
に行なうことを可能にするものである。

【０００３】これまでに、ディジタル化された動画像情
報に対して、伝送または蓄積の目的で、情報量削減を行
なう高能率符号化方式が、いくつか標準化されている。
例えば、動画像圧縮符号化の国際標準化方式である、Ｉ
ＴＵ−ＴＨ．２６１，ＩＳＯ／ＩＥＣＭＰＥＧ−１
（Moving Picture Experts Group Phase 1）およびＩＳ
Ｏ／ＩＥＣＭＰＥＧ−２がある。

【０００４】これらの方式は、古典的な波形符号化方式
であって、上述のようなオブジェクト操作を用いたアプ
リケーションに対しては、そのまま適用することは難し
い。現在、ＩＳＯにおいて、ＭＰＥＧ−４と呼ばれる新
しい動画像符号化方式の標準化作業が進められている
が、ＭＰＥＧ−４は、上述のオブジェクト操作性を一つ
の主要機能としている。

【０００５】オブジェクト操作の種類としては、移動，
色変化，形状変化，置き替え，消去等が挙げられるが、
特にオブジェクトの消去に関しては、オブジェクト消去
後の画像が不自然に見えないようにするために、オブジ
ェクトに隠されている背景画素の値を復元する技術が必
要になる。

【０００６】

【従来の技術】図８は、背景画像の復元操作の概念を示
したものであって、（ａ）は入力画像を示し、（ｂ）は
前方の物体１（白い自動車）を削除した画像を示す。
（ｃ）は、隠された背景の復元を説明するものであっ
て、入力画像上において前方の物体（オブジェクト）に
よって隠されていた背景（着色した自動車２と家屋３）
の画像を、（ｂ）に示す画像上に復元した画像を示して
いる。

【０００７】このような、オブジェクト消去後に画像上
に現れる、オブジェクトによって隠されていた背景画素
の復元に関しては、背景が静止している場合には、動画
像の現在以外のフレームを調べて、背景が表示されてい
るフレームを探すことによって、背景画素の値を得る方
式が、以前から存在している。

【０００８】

【発明が解決しようとする課題】しかしながら、この方
式においては、背景が静止していない場合に、各物体
の、各フレームごとの位置の推定，追跡を行なう方法が
明記されていないので、そのまま使用することはできな
い。また、この方式の処理を行なうためには、そのオブ
ジェクトを含む全フレームを保持する必要があるため、
メモリ容量が増大するという問題がある。従って、特に
リアルタイム処理には不向きである。

【０００９】本発明は、このような従来技術の課題を解
決しようとするものであって、動画像中の物体等の削除
を行なう場合に、物体に隠されていた背景画素の値を推
定することによって、物体削除後の画像が自然に見える
ようにするための、背景画像復元方法および装置を提供
することを目的としている。

【００１０】

【課題を解決するための手段】本発明においては、動き
のある物体によって隠された背景画素を、不自然になら
ないように復元するために、各フレームにおいて、各画
素の動きベクトルを使用して、背景画素の動きベクトル
を推定する。また、メモリ使用量を削減するために、一
つ前の処理結果を使用して再帰的に処理を行なうことに
よって、参照用のフレームメモリを、直前の処理結果を
保存するメモリ１面だけにすることを可能にする。

【００１１】図１は、本発明の背景画像復元装置の原理
的構成を示したものである。本装置において、必要な入
力は、動画像データと、動画像の各フレームに対応す
る、フレーム中の各画素の動きベクトル情報と、各物体
の領域情報と、除去する物体の識別番号（物体識別情
報）である。装置内部には、動きベクトル推定部１１
と、画素値推定部１２と、フレームメモリ１３と、推定
動きベクトルメモリ１４と、領域情報メモリ１５とを備
えている。出力は、指定された物体を削除し、隠されて
いた背景画素を復元した処理画像である。

【００１２】図２は、動きベクトル推定の原理を説明す
るものであって、（ａ）は入力動きベクトルを示し、
（ｂ）は前方の物体４（着色した楕円形）を削除したと
きの入力動きベクトルを示す。（ｃ）は、隠された背景
の動きベクトル復元を説明するものであって、入力動き
ベクトルから前方の物体４によって隠されていた背景５
（白抜きの部分）における動きベクトルを推定して、点
線の矢印で示す動きベクトル６を出力することを示して
いる。

【００１３】動きベクトル推定部１１は、動きベクトル
情報，領域情報および物体識別番号を入力として、物体
識別番号で示される物体の領域を領域情報から求め、こ
の領域の内部のすべての画素に対して、動きベクトル情
報を使用して、指定物体に隠された背景画素の動きベク
トルを推定して出力する。

【００１４】一般に、物体に隠されていた背景画素の動
きベクトルを、完全に復元することは不可能である。し
かし、背景領域の動きベクトルが、均一と仮定できれ
ば、物体によって隠されていない背景領域の動きベクト
ルが、物体によって隠された背景の動きベクトルと同じ
であると推定することができる。

【００１５】また、全体の均一性を仮定できない場合で
も、局所的な動きベクトルは、ほぼ均一であると仮定す
ることができるので、隠されていない背景画素のうち、
最も距離的に近い画素の動きベクトルを、隠された各背
景画素についての推定動きベクトルとして用いることが
できる。図２に示された動きベクトル推定部１１は、こ
のような機能をもつ推定回路を備えているものとする。

【００１６】画素値推定部１２は、動画像と、フレーム
メモリ１３によってバッファリングされた他のフレーム
の動画像と、背景画素の推定動きベクトルと、動きベク
トルメモリ１４によってバッファリングされた他のフレ
ームの背景画素の動きベクトルと、領域情報と、領域情
報メモリ１５によってバッファリングされた他のフレー
ムの領域情報と、物体の識別番号（物体識別情報）とを
入力として、次のような操作を行なって、隠された部分
に対して置き替えるべき画素値を推定する。

【００１７】処理フレーム中の画素であって、物体識別
番号で指定された領域の内部の画素に対して、動きベク
トル情報を用いて、時間的に前のフレームまたは後のフ
レームでの対応位置を計算して、その部分の画素値を、
置き替えを行なうべき推定画素値として出力する。もし
も、対応位置がそのフレームでの指定物体の領域の内部
であった場合には、さらに時間的に前または後のフレー
ムでの、対応位置の画素値を使用する。

【００１８】この場合、フレームメモリ１３，動きベク
トルメモリ１４および領域情報メモリ１５には、それぞ
れ、すべての隠された背景画素値の推定に必要な、前後
のフレームの画像，動きベクトルおよび領域情報が蓄え
られているものとする。

【００１９】また、フレームメモリ１３には、装置に入
力される、処理前の動画像のほかに、画素値推定部１２
から出力される、処理画像を格納することもできる。一
般に、処理フレーム中の隠された背景画素が、隠されな
くなるフレームは、時間的にＮフレーム前、またはＮフ
レーム後のフレームになるので、その分のフレームを保
存するメモリが必要になる。

【００２０】また、処理に必要なフレームをすべて取り
込んでからでないと、処理が完了しないので、処理画像
が入力されてから出力されるまでには、Ｎフレームの時
間がかかることになる。しかしながら、処理画像をフレ
ームメモリ１３に蓄積して、次のフレーム処理時に、処
理ずみのフレームのみを参照して、画素値推定を行な
う、前方画素値推定方式とすることによって、背景復元
処理をシーケンシャルに実行することが可能となり、処
理画像を遅延なしに出力することができる。

【００２１】これは、この場合の参照フレーム中の推定
位置の画素は、すべて隠されていない背景画素だからで
ある。このとき、必要となるフレームメモリは、一つ前
の処理画像の分だけあればよい。

【００２２】以下、本発明の課題を解決するための具体
的手段を掲げる。

【００２３】(1) 背景画像復元方法において、動画像
と、この動画像の各フレームごとの画像内における各物
体の領域情報と各画素ごとの動きベクトルとを入力とし
て、この動画像中における制御信号によって指定される
物体の領域内の画素に対して、指定物体によって隠され
た背景の画素値を推定して置き替えることによって、こ
の指定物体が画面中に存在しなかったように見える動画
像を出力する。

【００２４】(2) (1) の場合の背景画像復元方法が、入
力される各画素ごとの動きベクトルから、指定物体によ
って隠された背景の画素の動きベクトルを推定する動き
ベクトル推定方法と、この動きベクトル推定方法によっ
て得られた動きベクトルを用いて背景の画素値を推定す
る画素値推定方法とを備えている。

【００２５】(3) (2) の場合の動きベクトル推定方法
が、指定物体によって隠された背景画素の動きベクトル
を、入力される各画素ごとの動きベクトル中における、
この指定物体の境界周辺の画素の動きベクトルをもとに
推定するものである。

【００２６】(4) (3) の場合の動きベクトル推定方法
が、指定物体によって隠された背景画素の動きベクトル
を、入力される各画素ごとの動きベクトル中における、
この背景画素の位置から最も近い、指定物体境界の画素
の動きベクトルを推定ベクトルとするものである。

【００２７】(5) (4) の場合の動きベクトル推定方法
が、指定物体に隠された背景画素の動きベクトルを、入
力される各画素ごとの動きベクトル中における、指定物
体の境界周辺の画素の動きベクトルのうち、背景画素の
位置から最も近い境界の画素を含む有限個の画素の動き
ベクトルに対して、それぞれの背景画素からの距離を重
みとして加重平均をとって得られた値を推定ベクトルと
するものである。

【００２８】(6) (3) の場合の動きベクトル推定方法
が、動画像の各フレームが動きベクトルの情報を利用し
て有限個の領域に分割されているとき、各指定物体の領
域の周囲に存在する隠されていない背景領域の動きベク
トルの代表値を、指定物体によって隠されたすべての背
景画素の動きベクトルの推定ベクトルとするものであ
る。

【００２９】(7) (6) の場合の動きベクトル推定方法
が、動画像中の各フレームが動きベクトルの情報を用い
て有限個の領域に分割されている場合であって、指定物
体の領域の周囲に存在する隠されていない背景領域が複
数個存在する場合、指定物体に隠された各背景画素に対
して、最も距離が近い指定物体境界の画素が属する隠さ
れていない背景領域の動きベクトルの代表値を推定ベク
トルとするものである。

【００３０】(8) (2) の場合の画素値推定方法が、動画
像中の時刻ＴのフレームＦ（Ｔ）における指定物体に隠
された各背景画素Ｐについて、次の時刻のフレームＦ
（Ｔ＋１）における、処理画素位置Ｌ（Ｐ）から(2) の
動きベクトル推定方法によって得られた動きベクトルΔ
Ｌだけ移動した位置（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’の値
を、背景画素の推定画素値とする後方画素値推定方法で
ある。

【００３１】(9) (8) の場合の後方画素値推定方法が、
動画像中の時刻ＴのフレームＦ（Ｔ）における指定物体
に隠された各背景画素Ｐについて、次の時刻のフレーム
Ｆ（Ｔ＋１）の、処理画素位置Ｌ（Ｐ）から(2) の動き
ベクトル推定方法によって得られた動きベクトルΔＬだ
け移動した位置（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’が、指定
物体の領域内である場合には、次の時刻のフレームＦ
（Ｔ＋１）の動きベクトルを用いて画素Ｐ’の動きベク
トルΔＬ’を推定して、さらに次の時刻のフレームＦ
（Ｔ＋２）から画素推定を行なうという操作を、推定位
置が指定物体の領域外になるまで再帰的に行なう後方画
素値推定方法である。

【００３２】(10) (2) の場合の画素値推定方法が、動
画像中の時刻ＴのフレームＦ（Ｔ）における指定物体に
隠された各背景画素Ｐについて、前の時刻のフレームＦ
（Ｔ−１）における、処理画素位置Ｌ（Ｐ）から(2) の
動きベクトル推定方法によって得られた動きベクトル
ΔＬの反転（−ΔＬ）だけ移動した位置（Ｌ（Ｐ）−Δ
Ｌ）の画素Ｐ’の値を、背景画素の推定画素値とする前
方画素値推定方法である。

【００３３】(11) (10)の場合の前方画素値推定方法
が、動画像中の時刻ＴのフレームＦ（Ｔ）における指定
物体に隠された各背景画素Ｐについて、前の時刻のフレ
ームＦ（Ｔ−１）の、処理画素位置Ｌ（Ｐ）から(2) の
動きベクトル推定方法によって得られた動きベクトルΔ
Ｌの反転（−ΔＬ）だけ移動した位置（Ｌ（Ｐ）−Δ
Ｌ）の画素Ｐ’が、指定物体の領域内である場合には、
前の時刻のフレームＦ（Ｔ−１）の動きベクトルを用い
て画素Ｐ’の動きベクトルΔＬ’を推定して、さらに前
の時刻のフレームＦ（Ｔ−２）から画素推定を行なうと
いう操作を、推定位置が指定物体の領域外になるまで再
帰的に行なう前方画素値推定方法である。

【００３４】(12) (10)の場合の背景画像復元方法にお
いて、動画像の各時刻Ｔの処理フレームＦ（Ｔ）の処理
結果を保存し、次の時刻のフレームＦ（Ｔ＋１）におけ
る前方画素値推定処理において使用する再帰的画素値推
定方法を持つ。

【００３５】(13) (2) の場合の画素値推定方法が、動
画像中の時刻ＴのフレームＦ（Ｔ）における指定物体に
隠された各背景画素Ｐについて、次の時刻のフレームＦ
（Ｔ＋１）の、処理画素位置Ｌ（Ｐ）から(2) の動きベ
クトル推定方法によって得られた動きベクトルΔＬだけ
移動した位置（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’の値を、背
景画素の推定画素値とする後方画素推定方法と、動画像
中の時刻ＴのフレームＦ（Ｔ）における指定物体に隠さ
れた各背景画素Ｐについて、前の時刻のフレームＦ（Ｔ
−１）の、処理画素位置Ｌ（Ｐ）から(2) の動きベクト
ル推定方法によって得られた動きベクトルΔＬの反転
（−ΔＬ）だけ移動した位置（Ｌ（Ｐ）−ΔＬ）の画素
Ｐ’の値を、背景画素の推定画素値とする前方画素推定
方法との両方の推定方法を適応的に使用して推定画素値
を求める両方向画素値推定方法である。

【００３６】(14) 背景画像復元装置において、動画像
と、この動画像の各フレームごとの画像内における各物
体の領域情報と各画素ごとの動きベクトルとを入力とし
て、動きベクトルを使用して指定物体に隠された背景画
素の動きベクトルを推定する動きベクトル推定部１１
と、動きベクトル推定部１１からの動きベクトル出力を
使用して他のフレームでの対応位置を計算してこの位置
における画素値から背景画素の値を推定する画素値推定
部１２とを備え、動画像中における特定の物体を指定す
る制御信号に応じて、この動画像中の指定物体中の全画
素に対して、指定物体に隠された背景画素の値を推定し
てこの画素値と置き替えることによって、指定物体が画
面中に存在しなかったように見える動画像を出力する。

【００３７】

【発明の実施の形態】図３は、本発明の実施形態(1) を
説明するものであって、背景画素の動きベクトルを、指
定物体の境界の画素を含む有限個の画素の動きベクトル
の、背景画素からの距離を重みとした加重平均によって
推定する場合の、動きベクトル推定方法を示したもので
ある。

【００３８】図３に示すように、処理すべき隠された背
景画素Ｐから、最も近い物体領域境界上の点Ｑと、点Ｑ
から距離Δだけ離れた、ＱとＰとを結ぶ直線上の点Ｑ’
とにおける、動きベクトルをそれぞれＶ，Ｖ’とし、Ｐ
からの距離をそれぞれＬ，Ｌ’としたとき、背景画素Ｐ
における推定動きベクトルＶＰを、次式のように、距離
に比例した加重平均によって求める。ＶＰ＝（Ｌ＊Ｖ＋Ｌ’＊Ｖ’）／（Ｌ＋Ｌ’）

【００３９】図４は、本発明の実施形態(2) を示すフロ
ーチャートであって、後方画素値推定方法による背景画
素値推定の処理をフローチャートによって示したもので
ある。ここで後方画素値推定とは、動画像中の時刻Ｔの
処理フレームＦ（Ｔ）における、指定物体に隠された背
景画素Ｐに対して、後の時刻（Ｔ＋１）の処理フレーム
Ｆ（Ｔ＋１）中の背景画素位置Ｌ（Ｐ）から、動きベク
トルΔＬだけ移動した位置（（Ｌ（Ｐ）＋ΔＬ）の画素
Ｐ’が指定物体の領域外になるまで、さらに後の処理フ
レームへの移動を繰り返して行った位置の画素値を、背
景画素Ｐの値として推定するものである。

【００４０】図中、ｎは処理フレームのシーケンス番
号、ＲＦは参照フレームのシーケンス番号、ＲＰは参照
画素位置、ｍは処理画素の番号、Ｍは１フレーム内の画
素数、ｐ（ｍ）は番号ｍの画素、Ｐ（ｐ（ｍ））は番号
ｍの画素の位置、Ｏは削除すべき物体、Ｖ（ＲＦ，Ｒ
Ｐ）はシーケンス番号ＲＦのフレームのＲＰの位置の画
素の動きベクトルである。

【００４１】図４において、ステップ２１では、変数の
初期化を行なう。すなわち、参照フレームのシーケンス
番号ＲＦを処理フレームと同じｎとし、処理画素番号ｍ
を０とし、参照画素位置ＲＰを処理画素位置Ｐ（ｐ
（ｍ））とする。

【００４２】次のステップ２２では、処理画素位置Ｐ
（ｐ（ｍ））が、処理フレームｎにおける、削除すべき
指定物体Ｏの領域の内部にあるか否かを判定する。指定
物体Ｏの内部でない場合は、ステップ２３によって、処
理画素ｍが最後の画素Ｍ−１であるか否かをみて、最後
の画素であれば処理を終了し、最後の画素でないとき
は、処理画素の番号を＋１して、次の画素について、再
びステップ２２の処理を行なう。

【００４３】ステップ２２において、処理画素位置Ｐ
（ｐ（ｍ））が、指定物体Ｏの内部にある場合は、ステ
ップ２４の画素値推定の処理に移行する。ステップ２４
では、まず現在の参照画素位置ＲＰに、参照フレームＲ
ＦにおけるＲＰの位置の画素の動きベクトルＶ（ＲＦ，
ＲＰ）を加算する。次に、参照フレームの番号ＲＦを＋
１する。

【００４４】次のステップ２５では、ステップ２４で変
更した参照画素位置ＲＰが、次の参照フレームＲＦにお
ける指定物体Ｏの領域の内部にあるか否かを判定する。
指定物体Ｏの内部にある場合は、ステップ２４の処理に
戻る。指定物体Ｏの外部にある場合は、ステップ２６の
処理に移行する。

【００４５】ステップ２６では、このときの参照フレー
ムＲＦのＲＰの位置の画素値を、処理フレームｎのＰ
（ｐ（ｍ））の位置の画素（処理画素）に代入する。次
のステップ２７では、ステップ２１と同様な初期化を行
ない、ステップ２３の判定を行なったのち、ステップ２
８においてｍの値を＋１して、次の画素の画素値推定の
処理に移行する。

【００４６】図５は、本発明の実施形態(3) を示すフロ
ーチャートであって、前方画素値推定方法による背景画
素値推定の処理をフローチャートによって示したもので
ある。ここで前方画素値推定とは、動画像中の時刻Ｔの
処理フレームＦ（Ｔ）における、指定物体に隠された背
景画素Ｐに対して、前の時刻（Ｔ−１）の処理フレーム
Ｆ（Ｔ−１）中の背景画素位置Ｌ（Ｐ）から、動きベク
トルΔＬの反転（−ΔＬ）だけ移動した位置（（Ｌ
（Ｐ）−ΔＬ）の画素Ｐ’が指定物体の領域外になるま
で、さらに前の処理フレームへの移動を繰り返して行っ
た位置の画素値を、背景画素Ｐの値として推定するもの
である。

【００４７】図５に示されたフローチャートは、図４に
示されたフローチャートとほぼ同様であり、ステップ３
１〜３８は図４におけるステップ２１〜２８に対応して
いるが、処理フレームに対する参照フレームの時間的前
後の関係が異なるため、ステップ３４における参照画素
位置変更の式における動きベクトルの方向が逆であるこ
とと、参照フレームＲＦのシーケンス番号の更新方向が
逆である点が異なっている。

【００４８】図６，図７は、本発明の実施形態(4) を示
すフローチャート(1),(2) であって、両方向画素値推定
方法による背景画素値推定の処理を、フローチャートに
よって示したものである。ここで両方向画素値推定と
は、図４に示された後方画素値推定と、図５に示された
前方画素値推定とを行なって、処理フレームからの時間
差の絶対値が小さい方の方法で得られた画素値を、推定
画素値とするものである。

【００４９】図６に示されたフローチャートは、基本的
には、図４および図５に示された後方画素値推定方法お
よび前方画素値推定方法と同様であるが、ステップ４
４，４５で後方画素値推定を行ない、ステップ４６，４
７で前方画素値推定を行なったのち、ステップ４８で、
両者の推定を行なうまでに移動したフレーム番号を比較
して、処理フレームからの時間差が小さい方の方法で得
られた画素値を、最終的な推定画素値とする点が異なっ
ている。

【００５０】

【発明の効果】以上説明したように本発明によれば、動
画像中の各物体等を、一つの独立したオブジェクト（対
象物）として、オペレータが自由に操作するオブジェク
ト操作性の機能のうちの主要な操作である物体削除に関
して、物体に隠された背景画素の値を推定することによ
って、削除後の画像が自然に見えるようにする方式を提
供することができる。

【００５１】本発明によれば、従来の方式と比較して、
処理された画像がより自然に見えるように、画素値推定
を行なうことができるとともに、必要なメモリ容量と、
入出力の遅延が少なくなるという利点がある。

【図面の簡単な説明】

【図１】本発明の背景画像復元装置の原理的構成を示す
図である。

【図２】動きベクトル推定の原理を説明する図であっ
て、（ａ）は入力動きベクトル、（ｂ）は前方の物体を
削除したときの入力動きベクトルを示し、（ｃ）は隠さ
れた背景の動きベクトル復元を説明するものである。

【図３】本発明の実施形態(1) を説明する図である。

【図４】本発明の実施形態(2) を示すフローチャートで
ある。

【図５】本発明の実施形態(3) を示すフローチャートで
ある。

【図６】本発明の実施形態(4) を示すフローチャート
(1) である。

【図７】本発明の実施形態(4) を示すフローチャート
(2) である。

【図８】背景画像の復元操作の概念を示す図であって、
（ａ）は入力画像、（ｂ）は前方の物体を削除した画像
を示す。（ｃ）は隠された背景の復元を説明するもので
ある。

【符号の説明】

１１動きベクトル推定部１２画素値推定部

Claims

【特許請求の範囲】

【請求項１】動画像と、該動画像の各フレームごとの
画像内における各物体の領域情報と各画素ごとの動きベ
クトルとを入力として、該動画像中における制御信号に
よって指定される物体の領域内の画素に対して、該指定
物体によって隠された背景の画素値を推定して置き替え
ることによって、該指定物体が画面中に存在しなかった
ように見える動画像を出力することを特徴とする背景画
像復元方法。
【請求項２】請求項１に記載の背景画像復元方法にお
いて、入力される各画素ごとの動きベクトルから、指定
物体によって隠された背景の画素の動きベクトルを推定
する動きベクトル推定方法と、該動きベクトル推定方法
によって得られた動きベクトルを用いて背景の画素値を
推定する画素値推定方法とを備えることを特徴とする背
景画像復元方法。
【請求項３】前記動きベクトル推定方法が、指定物体
によって隠された背景画素の動きベクトルを、入力され
る各画素ごとの動きベクトル中における、該指定物体の
境界周辺の画素の動きベクトルをもとに推定するもので
あることを特徴とする請求項２に記載の背景画像復元方
法。
【請求項４】前記動きベクトル推定方法が、指定物体
によって隠された背景画素の動きベクトルを、入力され
る各画素ごとの動きベクトル中における、該背景画素の
位置から最も近い、指定物体境界の画素の動きベクトル
を推定ベクトルとするものであることを特徴とする請求
項３に記載の背景画素復元方法。
【請求項５】前記動きベクトル推定方法が、指定物体
に隠された背景画素の動きベクトルを、入力される各画
素ごとの動きベクトル中における、指定物体の境界周辺
の画素の動きベクトルのうち、前記背景画素の位置から
最も近い境界の画素を含む有限個の画素の動きベクトル
に対して、それぞれの前記背景画素からの距離を重みと
して加重平均をとって得られた値を推定ベクトルとする
ものであることを特徴とする請求項４に記載の背景画像
復元方法。
【請求項６】前記動きベクトル推定方法が、動画像の
各フレームが動きベクトルの情報を利用して有限個の領
域に分割されているとき、各指定物体の領域の周囲に存
在する隠されていない背景領域の動きベクトルの代表値
を、指定物体によって隠されたすべての背景画素の動き
ベクトルの推定ベクトルとするものであることを特徴と
する請求項３に記載の背景画素復元方法。
【請求項７】前記動きベクトル推定方法が、動画像中
の各フレームが動きベクトルの情報を用いて有限個の領
域に分割されている場合であって、指定物体の領域の周
囲に存在する隠されていない背景領域が複数個存在する
場合、指定物体に隠された各背景画素に対して、最も距
離が近い指定物体境界の画素が属する隠されていない背
景領域の動きベクトルの代表値を推定ベクトルとするも
のであることを特徴とする請求項６に記載の背景画像復
元方法。
【請求項８】前記画素値推定方法が、動画像中の時刻
ＴのフレームＦ（Ｔ）における指定物体に隠された各背
景画素Ｐについて、次の時刻のフレームＦ（Ｔ＋１）に
おける、処理画素位置Ｌ（Ｐ）から前記動きベクトル推
定方法によって得られた動きベクトルΔＬだけ移動した
位置（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’の値を、前記背景画
素の推定画素値とする後方画素値推定方法であることを
特徴とする請求項２に記載の背景画像復元方法。
【請求項９】前記後方画素値推定方法が、動画像中の
時刻ＴのフレームＦ（Ｔ）における指定物体に隠された
各背景画素Ｐについて、次の時刻のフレームＦ（Ｔ＋
１）の、処理画素位置Ｌ（Ｐ）から前記動きベクトル推
定方法によって得られた動きベクトルΔＬだけ移動した
位置（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’が、指定物体の領域
内である場合には、次の時刻のフレームＦ（Ｔ＋１）の
動きベクトルを用いて画素Ｐ’の動きベクトルΔＬ’を
推定して、さらに次の時刻のフレームＦ（Ｔ＋２）から
画素推定を行なうという操作を、推定位置が指定物体の
領域外になるまで再帰的に行なう後方画素値推定方法で
あることを特徴とする請求項８に記載の背景画像復元方
法。
【請求項１０】前記画素値推定方法が、動画像中の時
刻ＴのフレームＦ（Ｔ）における指定物体に隠された各
背景画素Ｐについて、前の時刻のフレームＦ（Ｔ−１）
における、処理画素位置Ｌ（Ｐ）から前記動きベクトル
推定方法によって得られた動きベクトルΔＬの反転（−
ΔＬ）だけ移動した位置（Ｌ（Ｐ）−ΔＬ）の画素Ｐ’
の値を、前記背景画素の推定画素値とする前方画素値推
定方法であることを特徴とする請求項２に記載の背景画
像復元方法。
【請求項１１】前記前方画素値推定方法が、動画像中
の時刻ＴのフレームＦ（Ｔ）における指定物体に隠され
た各背景画素Ｐについて、前の時刻のフレームＦ（Ｔ−
１）の、処理画素位置Ｌ（Ｐ）から前記動きベクトル推
定方法によって得られた動きベクトルΔＬの反転（−Δ
Ｌ）だけ移動した位置（Ｌ（Ｐ）−ΔＬ）の画素Ｐ’
が、指定物体の領域内である場合には、前の時刻のフレ
ームＦ（Ｔ−１）の動きベクトルを用いて画素Ｐ’の動
きベクトルΔＬ’を推定して、さらに前の時刻のフレー
ムＦ（Ｔ−２）から画素推定を行なうという操作を、推
定位置が指定物体の領域外になるまで再帰的に行なう前
方画素値推定方法であることを特徴とする請求項１０に
記載の背景画像復元方法。
【請求項１２】請求項１０に記載の背景画像復元方法
において、動画像の各時刻Ｔの処理フレームＦ（Ｔ）の
処理結果を保存し、次の時刻のフレームＦ（Ｔ＋１）に
おける前方画素値推定処理において使用する再帰的画素
値推定方法を持つことを特徴とする背景画像復元方法。
【請求項１３】前記画素値推定方法が、動画像中の時
刻ＴのフレームＦ（Ｔ）における指定物体に隠された各
背景画素Ｐについて、次の時刻のフレームＦ（Ｔ＋１）
の、処理画素位置Ｌ（Ｐ）から前記動きベクトル推定方
法によって得られた動きベクトルΔＬだけ移動した位置
（Ｌ（Ｐ）＋ΔＬ）の画素Ｐ’の値を、前記背景画素の
推定画素値とする後方画素値推定方法と、動画像中の時
刻ＴのフレームＦ（Ｔ）における指定物体に隠された各
背景画素Ｐについて、前の時刻のフレームＦ（Ｔ−１）
の、処理画素位置Ｌ（Ｐ）から前記動きベクトル推定方
法によって得られた動きベクトルΔＬの反転（−ΔＬ）
だけ移動した位置（Ｌ（Ｐ）−ΔＬ）の画素Ｐ’の値
を、前記背景画素の推定画素値とする前方画素値推定方
法との両方の推定方法を適応的に使用して推定画素値を
求める両方向画素値推定方法であることを特徴とする請
求項２に記載の背景画像復元方法。
【請求項１４】動画像と、該動画像の各フレームごと
の画像内における各物体の領域情報と各画素ごとの動き
ベクトルとを入力として、動きベクトルを使用して指定
物体に隠された背景画素の動きベクトルを推定する動き
ベクトル推定部と、該動きベクトル推定部からの動きベ
クトル出力を使用して他のフレームでの対応位置を計算
して該位置における画素値から背景画素の値を推定する
画素値推定部とを備え、動画像中における特定の物体を
指定する制御信号に応じて、該動画像中の指定物体中の
全画素に対して、該指定物体に隠された背景画素の値を
推定して該画素値と置き替えることによって、該指定物
体が画面中に存在しなかったように見える動画像を出力
することを特徴とする背景画像復元装置。