JP4272771B2 - 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP4272771B2 JP4272771B2 JP27471199A JP27471199A JP4272771B2 JP 4272771 B2 JP4272771 B2 JP 4272771B2 JP 27471199 A JP27471199 A JP 27471199A JP 27471199 A JP27471199 A JP 27471199A JP 4272771 B2 JP4272771 B2 JP 4272771B2
- Authority
- JP
- Japan
- Prior art keywords
- object data
- background object
- interpolation
- missing portion
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体に関し、特にオブジェクト分離により画像を処理するものに用いて好適なものである。
【０００２】
【従来の技術】
近年、高性能化したＣＰＵを搭載したパーソナルコンピュータ（パソコン）の普及に伴い、パソコン上で行う動画像の編集に対する要求が高まってきている。
編集作業の例として、フレームもしくはフィールド間での時間順序の入れ替え、ワイプやディゾルブ、モザイク、別画像の挿入など、さまざまなものがある。
【０００３】
また、画像をフレームもしくはフィールド単位等の画像単位で処理するのではなく、画像内を個々の物体、背景、あるいは文字などといった意味のある単位（以下オブジェクトと呼ぶ）に分割して、オブジェクト単位で個別の処理を加える技術も向上してきている。
【０００４】
オブジェクト単位で個別の処理を加えるためには、フレームもしくはフィールド画像からオブジェクトを抽出しなければならない。動画像において、従来から行われているオブジェクト抽出の手法は、ブルーバックと呼ばれているものがある。これはスタジオセットなどで予めブルーの背景を用意しておき、スイッチャーでブルーの部分を別の背景画像に置き換えるものである。また、画像のエッジ部分を抽出して、オブジェクトを分離する手法もある。
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような手法では、予め別の背景となる画像を用意しておかなければならないという欠点があった。また、他の手法を用いて、背景と前景のオブジェクトを分離できても、背景オブジェクトには、前景オブジェクトのあった部分にデータが存在しない穴（エリア）ができてしまい、背景オブジェクトの再利用は困難であった。
【０００６】
例えばあるシーンにおいて、オリジナルの前景オブジェクトを別のオブジェクトに置き換えたい場合を考える。この場合、オリジナルの画像から、前景オブジェクトを抽出した後、残りの背景オブジェクトに別の前景オブジェクトを合成する必要がある。最初の前景オブジェクトを抽出した後の穴の空いた部分を、後から合成するオブジェクトでふさぐことができれば問題ないが、これではオブジェクトの再利用あるいは再加工における汎用性が大きく制限されてしまう。
【０００７】
上述したような背景から本願発明の一つの目的は、前景オブジェクト抽出後、背景オブジェクトに生じた穴のような部分的なデータの欠落があっても、それを補間し、汎用性の高い背景オブジェクトを提供できるようにすることを目的としている。
【０００８】
【課題を解決するための手段】
本発明による画像処理装置においては、前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力手段と、前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間手段とを有し、前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【０００９】
本発明による他の画像処理装置においては、画像データを入力する入力手段と、前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離手段と、前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間手段と、前記補間手段によって補間された前記背景オブジェクトデータを符号化する第１の符号化手段と、前記前景オブジェクトデータを符号化する第２の符号化手段とを有し、前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１０】
本発明による画像処理方法においては、前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力工程と、前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間工程とを有し、前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１１】
本発明による他の画像処理方法においては、画像データを入力する入力工程と、前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離工程と、前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間工程と、前記補間工程によって補間された前記背景オブジェクトデータを符号化する第１の符号化工程と、前記前景オブジェクトデータを符号化する第２の符号化工程とを有し、前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１２】
本発明によるコンピュータ読み取り可能な記憶媒体においては、上記に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した点に特徴を有する。
【００１９】
【発明の実施の形態】
本発明の実施形態の概要を説明すれば、前景オブジェクトの分離により生じたデータ欠落部分の存在する１画面（フレームもしくはフィールド）をターゲットとし、所定数の画素で構成されるブロック分割を行う。そして、分割した各ブロックがデータ欠落部分を含んでいるか否かをチェックして、データ欠落部分を含んだブロックをターゲットブロックとし、その周囲のブロックを周囲ブロックとする。
【００２０】
次に、周囲ブロックの動きベクトルを、前又は後のサンプルフレーム又はフィールドからサーチし、求められた各周囲ブロックの動きベクトルから、ターゲットブロックに対応する動きベクトルを求める。動きベクトルデータとターゲットブロック内のデータとの有効性を比較しながら補間を行い、ブロック内すべてのデータが埋まらなかった場合は、サンプルフレーム又はフィールドを変更して、さらに処理を続けるようにしている。
【００２１】
このようにしたことにより、部分的にデータの欠落した背景オブジェクトから完全な背景オブジェクトを容易かつ確実に生成することが可能になる。
【００２２】
（第１の実施形態）
以下、本発明の実施形態を図面を用いて詳細に説明する。
図１は、本発明の第１の実施形態の構成を示すブロック図であり、（ａ）がエンコード側、（ｂ）がデコード側を示す。
【００２３】
図１（ａ）に示すエンコード側において、画像入力部１０１は、ビデオカメラやＶＴＲ等から画像信号を入力する部分であり、アナログ信号の場合はデジタル信号に変換する。カラーの信号は、輝度信号と２つの色差信号とに分けて、それぞれ同様のデジタル変換処理を行う。
【００２４】
画像分離部１０２は、背景オブジェクトと前景オブジェクトとの分離を行う部分である。各オブジェクトのフレーム間での動きベクトルが異なれば、その違いによって背景と前景の各オブジェクトを分離することが可能である。また、色の情報を用いてオブジェクトの違いを判定することも有効である。
【００２５】
このようにして分離された前景オブジェクトは、そのまま前景画像符号化部１０３において符号化処理が行われる。
【００２６】
また、分離された背景オブジェクトは、データの欠落部分を埋めるため、背景画像補間部１０４において本発明特有の処理が施される。この処理についての詳細な説明は後述する。
【００２７】
補間の完了した背景オブジェクトは、背景画像符号化部１０５において符号化処理が行われる。この符号化処理は前景画像符号化処理部１０３と同じ処理方法を用いることもできるが、別処理とすることで、背景画像の特徴を生かしたより高能率の符号化を行うことも可能となる。
【００２８】
前景、背景それぞれに最適な符号化処理を行った後は、多重化部１０６によって一つのビットストリームにまとめられ、伝送路に応じた処理がなされた後、送信もしくは記録が行われる。
【００２９】
一方、図１（ｂ）に示すデコード側では、上述したエンコード側の処理と逆の処理が行われる。
まず、分離部１０７において、それぞれのオブジェクト処理単位に分離される。ここでは、前景と背景２つのオブジェクトである。前景画像復号化部１０８では、前景画像符号化部１０３に対応した復号化処理が行われ、また、背景画像復号化部１０９では、背景画像符号化部１０５に対応した復号化処理が行われる。
【００３０】
画像合成部１１０では、個々のオブジェクトを一つのフレーム又はフィールド画像に合成する。合成された画像データは画像表示部１１１において、表示機器に応じたフォーマットに変換されて出力され、表示される。
【００３１】
次に、図２〜図６を用いて、本発明特有の処理である背景画像補間部１０４での処理の詳細なアルゴリズムを説明する。また、ここでは、図７〜図１４に示す画像イメージを用いて説明する。
【００３２】
図７は、オリジナルの画像を示している。ここでは簡単のため、フレーム単位で移動する画像を例に説明する。
図７（ａ）が第Ｎ番目のフレームの画像を表しており、７０１が前景画像、７０２が背景画像である。図７（ｂ）は第Ｎ−１番目のフレームの画像を表しており、前景画像７０１の位置は図７（ａ）と比較して移動している。同様に図７（ｃ）は第Ｎ−２番目のフレームの画像を表しており、前景画像７０１の位置は更に移動している。
【００３３】
これらのフレーム間での動きの違いを利用して前景画像を抽出すると、背景画像８０２は図８のようになる。前景画像のあった部分８０１は、そのままではデータが存在しないので、ここでは暫定的に輝度レベルがゼロのデータを挿入している。
尚、以下では、補間の対象として注目しているフレームをターゲットフレーム、補間候補のデータを探すフレームをサンプルフレームと呼ぶことにする。
【００３４】
図２は、背景補間を行おうとするフレーム（ターゲットフレーム）に対する一連の処理の全体アルゴリズムである。なお、このフローチャートはターゲットフレーム１枚に対する処理なので、複数枚のフレームを処理する場合は、その枚数分だけ同様の処理を繰り返せばよい。
【００３５】
ステップＳ２０１でまず初期設定を行う。ここでの設定の主なものは、ターゲットフレームの設定、サンプルフレームの枚数の設定、さらにターゲットフレームのブロック化処理などを含んでいる。
ここでは、図８の（ａ）に示す第Ｎフレームをターゲットフレームとする。また、図８（ｂ）に示す第Ｎ−１フレームと、図８（ｃ）に示す第Ｎ−２フレームの２枚をサンプルフレームとする。図９には、図８（ａ）に示すターゲットフレームをブロック化したものを示す。
【００３６】
ステップＳ２０１でブロック化されたブロックを、ステップＳ２０２で、一つずつターゲットブロックか否かチェックしていく。この処理は、ブロック内に輝度レベルがゼロのデータが存在するか否かで判定が可能である。
【００３７】
画像の輝度レベルを８ビット（０〜２５５）データで表す場合は、一般に映像信号の最低レベルすなわち黒の信号は１６とするため、ゼロレベルのデータのみを探せば、黒レベルの信号との誤判定は防げる。また、穴の部分に暫定的に挿入するデータは任意であるので、誤判定の心配のないデータであればゼロにこだわる必要はない。
【００３８】
このようにしてターゲットブロックの検出を行うと、図９のブロック９０１が最初のターゲットブロックと判定される。
ターゲットブロックと判定されたブロックはステップＳ２０３で補間処理がなされ、次のブロックの処理に進む。尚、この補間処理の詳細については後述する。
【００３９】
上記のようにして次々にブロック単位の処理を行い、ステップＳ２０４ですべてのブロックの処理が終了したと判断された時点で、ターゲットフレーム全体の補間処理が完了となる。
【００４０】
次に、図３を用いて第１の実施形態によるターゲットブロックの処理アルゴリズムを説明する。
ターゲットブロックを検出すると、まずステップＳ３０１において周囲ブロックを決定する。
図１０は、ターゲットブロックとその周囲ブロックを示しており、１００１が補間対象すなわちターゲットブロックで、１００２〜１００５が周囲ブロックである。ここでは、ターゲットブロックの上下左右のブロックを周囲ブロックとしている。
【００４１】
次に、ステップＳ３０２において、ターゲットブロックの動きベクトル候補を算出する。ターゲットブロックの動きベクトル候補は、周囲ブロックの動きベクトルから求めるが、その詳細のアルゴリズムを図４を用いて説明する。
【００４２】
まずステップＳ４０１で周囲ブロック内のデータを調べ、ブロック内にデータの欠落部分がないかどうかを判定する。欠落部分があった場合は、その後のパターンマッチングで所望の結果が得られなくなるため、このブロックについては動きベクトルを求めない。
【００４３】
データの欠落部分がなければ、ステップＳ４０２でサンプルフレームとの間でパターンマッチングを行う。マッチングを行うたびにブロックの差分の二乗和を求めておき、すべてのマッチング処理を終えた段階でステップＳ４０３に進み、差分の二乗和が最小となるブロックとの相対位置情報、すなわち動きベクトルを求める。
【００４４】
ステップＳ４０４では、求めた動きベクトルの信頼度を検証する。すなわち、差分の二乗和が最小となる動きベクトルでも、差分の二乗和の値がある閾値以上であれば、その動きベクトルは候補として採用すべきでないと判断する。閾値以下の場合のみ、ステップＳ４０５に進み、ターゲットブロックの動きベクトル候補とする。
【００４５】
これらの処理を周囲ブロックの数だけ繰り返し、ステップＳ４０６ですべての周囲ブロックの判定が終了したと判断したとき、このターゲットブロックに対する動きベクトル候補の算出処理を終える。
【００４６】
ここで注意すべきは、動きベクトル候補は最大で周囲ブロックの数だけ存在し、最小では動きベクトル候補なしということもあり得ることである。
【００４７】
図３に戻って、ステップＳ３０３ではステップＳ３０２で算出された動きベクトル候補の有無を判定し、以後の処理を分岐している。
【００４８】
図１０の例で周囲ブロック１００２と１００３は、ブロック内にデータ欠落部分が存在しないため、動きベクトルを算出する。背景画像が動いていないと仮定すると、差分の二乗和がゼロとなる場所があり、その動きベクトルは（０，０）である。また、図１０の周囲ブロック１００４と１００５は、ブロック内にデータ欠落部分が存在するため、動きベクトルの算出処理を行わない。したがって、この図１０の例では、ステップＳ３０２（図４のフローチャートに示す処理）が終わった段階で、動きベクトル候補は２つである。
【００４９】
ターゲットブロックの動きベクトル候補が存在する場合には、図３のステップＳ３０４に進む。ここで動きベクトル候補からターゲットブロックの動きベクトルを確定するが、その詳細のアルゴリズムを図５を用いて説明する。
【００５０】
まず、ステップＳ５０１で動きベクトル候補が複数あるかどうかチェックする。
ステップＳ５０１で動きベクトル候補が一つしかない場合は、ステップＳ５０２で、その動きベクトル候補をターゲットブロックの動きベクトルとして確定する。
ステップＳ５０１で動きベクトル候補が複数存在する場合は、ステップＳ５０３で、それらの中で同じ値を持つベクトルがあるかどうかチェックする。
【００５１】
ステップ５０３で同じ値を持つ動きベクトル候補がない場合は、ステップＳ５０４で、動きベクトル候補を平均したものをターゲットブロックの動きベクトルとして確定する。
ステップ５０３で同じ値を持つ動きベクトル候補がある場合は、ステップＳ５０５で、それらが複数種類あるかどうかチェックする。
【００５２】
ステップＳ５０５で同じ値を持つ動きベクトル候補が一種類しかない場合は、ステップＳ５０６で、その同じ値を持つ動きベクトル候補をターゲットブロックの動きベクトルとして確定する。
ステップＳ５０５で同じ値を持つ動きベクトル候補が二種類以上ある場合は、ステップＳ５０７で、分類された動きベクトル候補の中で一番多いものをチェックし、同じ値を持つ動きベクトル候補が最も多いものが複数存在するか否かを判断する。
【００５３】
ステップＳ５０７で同じ値を持つ動きベクトル候補が最も多いものが複数存在しない場合は、ステップＳ５０８で、最も多かった動きベクトル候補をターゲットブロックの動きベクトルとする。
ステップＳ５０７で同じ値を持つ動きベクトル候補が最も多いものが複数存在する場合、例えば４つの動きベクトルのうち、２つの動きベクトルの値が同じで、残り２つの動きベクトルも同じといったように、同じ値を持つ動きベクトル候補が最も多いものが複数存在する場合は、ステップＳ５０９でそれらの動きベクトル候補の中で差分の二乗和が最小のものをチェックする。最小のものが一つであれば、ステップＳ５１０でそれをターゲットブロックの動きベクトルとする。最小のものが複数ある場合は、ステップＳ５１１でそれらのベクトルの平均を求め、これをターゲットブロックの動きベクトルとする。
【００５４】
図１０の例では、動きベクトル候補が２つ存在し、それらの動きベクトルの値は同じであるので、これをターゲットブロックの動きベクトルとして確定する。
【００５５】
図３に戻って、ターゲットブロックの動きベクトルが確定すると、ステップＳ３０５に進んで、ターゲットブロックの動きベクトルによる補間処理を行う。
図６は、ターゲットブロックの動きベクトルによる補間処理のアルゴリズムを説明する図であり、ブロック内の一画素単位毎の処理を示している。
【００５６】
まず、ステップＳ６０１において、画像データを埋めようとしている位置（注目画素）にすでにデータが存在しているかどうかをチェックする。データが存在していれば、その存在していたデータをそのまま使用し、ステップＳ６０４の処理に移る。データが存在しない場合は、ステップＳ６０２に進み、動きベクトルに対応するサンプル画素に画像データが存在するかどうかチェックする。画像データが存在していれば、ステップＳ６０３で、そのサンプル画素の画像データをターゲットの位置に埋め込んでステップＳ６０４の処理に進み、画像データが存在していなければ、何もせずにステップＳ６０４の処理に進む。
【００５７】
図１１（ａ）〜（ｇ）には、一つのターゲットブロックに対する補間の様子を示す。
図１１（ａ）はターゲットブロックを示す。図１１（ｂ）は、最初のＮ−１のサンプルフレームから確定したサンプルブロックである。図１１（ａ）に示すターゲットブロックを、図１１（ｂ）に示すサンプルブロックで置き換える処理が基本であるが、図１１（ａ）のうち元々画像データが存在する部分は図１１（ａ）のものをそのまま用い、図１１（ａ）の欠落部分を図１１（ｂ）で埋める。ただし、図１１（ｂ）にも欠落部分が存在するため、実際に埋め込まれるデータの範囲は、図１１（ｃ）の斜線部分となる。図１１（ｃ）の斜線部分に実際にデータを埋めた状態を示すのが図１１（ｄ）である。
【００５８】
ステップＳ６０４において、ブロック内すべての画素に対して処理が行われると、このルーチンを終了する。
【００５９】
このままでは、ブロック内すべての画素に対してデータが埋め込まれているとは限らない。そこで、図３のステップＳ３０６においては、ブロック内にまだ欠落部分があるかどうかを判定している。欠落部分が存在しない場合、すなわち、すべての画素に対してデータが埋め込まれていれば、このブロックの処理は終了である。欠落部分が存在する場合は、ステップＳ３０８においてサンプルフレームを変更し、ステップＳ３０２からの処理を繰り返す。ステップＳ３０８に進む条件は、以下の２種類である。ひとつは動きベクトル候補が存在しなかった場合、もうひとつは動きベクトルを決定してもそのベクトルの持つデータですべての画素が埋められなかった場合である。
【００６０】
図３のステップＳ３０７では、図２のステップＳ２０１の初期設定で定めたサンプルフレームの枚数をチェックしている。すべてのサンプルフレームをチェックしてもなお欠落部分が存在する場合には、ステップＳ３０９によって、周囲画素から内挿補間処理をしてデータの埋め込みを行う。
【００６１】
図１１（ｄ）には欠落部分が存在するので、サンプルフレームをＮ−１からＮ−２に変更し、同様の処理を行う。
図１１（ｅ）は、Ｎ−２のサンプルフレームから確定したサンプルブロックの図である。図１１（ｆ）の斜線部分が図１１（ｅ）から埋め込むデータの範囲となる。図１１（ｆ）の斜線部分に実際にデータを埋めた状態を示すのが図１１（ｇ）である。図１１（ｇ）に示すように、欠落部分はなくなったので、このターゲットブロックに対する処理は終了する。
【００６２】
以上述べたようにして、図３のフローチャートで説明した一つのターゲットブロックの処理は終了する。ターゲットフレーム内のすべてのターゲットブロックに対して上記処理を行うことにより、一つのターゲットフレームの処理が終了する。
【００６３】
図１２（ａ）〜（ｃ）は、ここまでの処理を第Ｎフレームに施した結果を簡潔的に表した説明図である。
図１２（ａ）が補間処理前の画像であり、図１２（ｂ）がＮ−１フレームまで補間処理を終えた画像、図１２（ｃ）がＮ−２フレームまで補間処理を終えた画像である。
【００６４】
図１３（ａ）は、２番目のターゲットブロックと、その周囲ブロックを表した図である。これらの周囲ブロックからターゲットブロックの動きベクトルを確定し、補間した結果が図１３（ｂ）である。同様に、３番目のターゲットブロックとその周囲ブロックが図１３（ｃ）であり、その補間結果が図１３（ｄ）、４番目のターゲットブロックとその周囲ブロックが図１３（ｅ）であり、その補間結果が図１３（ｆ）である。
【００６５】
ターゲットフレームとサンプルフレームとを変更し、図２の処理を繰り返せば、複数フレームの背景画像の補間が可能となる。図１４（ａ）〜（ｅ）は、ターゲットフレームをＮ−１に変更して同様の処理を行ったときの説明図である。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上記第１の実施形態では、周囲ブロックにデータの欠落部分があった場合、動きベクトルを求めなかったが、本実施形態では、欠落部分以外の有効なデータを基に動きベクトルを求めるようにしている。なお、第２の実施形態での全体構成は、第１の実施形態で説明した図１の構成と同様で、全体の処理アルゴリズムは第１の実施形態で説明した図２のフローチャートと同様である。
【００６７】
図４のターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートに対応するのが、図１５に示すフローチャートである。
ステップＳ３２０１において周囲ブロック内にデータの欠落部分が存在する場合は、ステップＳ３２０２において、欠落部分のマスキングデータを生成する。マスキングデータは一画素単位で求め、後の動きベクトル候補から１つのベクトルを決定する際の判定手段としても利用する。
【００６８】
図１０における各ブロックのブロックサイズが１６×１６であるとすると、周囲ブロック１００４のマスキングデータは図１７（ａ）のようになり、周囲ブロック１００５のマスキングデータは図１７（ｂ）のようになる。ここで、黒く塗りつぶされた画素がマスキングされている部分であり、白い画素が有効なデータの部分である。有効なデータの数は、図１７（ａ）、（ｂ）共に９７である。図１０の周囲ブロック１００２、１００３には欠落したデータがないため、有効なデータの数は２５６である。
【００６９】
次にステップＳ３２０３でマスキングされていない有効なデータのみを用いて、パターンマッチングを行う。ブロック内にデータの欠落部分が存在しない場合は、従来通りすべての画素を用いたパターンマッチングとなる。ステップＳ３２０４の処理は第１の実施形態と同様の処理（図４のＳ４０３）である。
【００７０】
ステップＳ３２０５の処理では、差分の二乗和と閾値との比較をしているが、閾値の設定は、パターンマッチングに用いたデータ数によって変化させる。ブロック内の全画素数をＰ、ブロック内の有効なデータ数をＭｓ、全画素有効な場合の閾値をＴＨａとするとき、このブロックの閾値ＴＨａは以下の式で表される。
ＴＨａ＝（Ｍｓ／Ｐ）×ＴＨａ ………（１）
となる。
【００７１】
差分の二乗和の値がこの閾値を下回れば、このときの動きベクトルをステップＳ３２０６でターゲットブロックの動きベクトル候補とする。同様の処理を全ての周囲ブロックについて行い、このアルゴリズムを終了する。
【００７２】
次に、ターゲットブロックの動きベクトル確定のアルゴリズムについて、図１６を用いて説明する。複数の動きベクトル候補から１つの動きベクトルを算出する方法は３つ考えられる。
１つ目は、複数の候補の中から１つを選択する、２つ目は、複数の候補に何らかの演算処理を行い１つの値を算出する、そして３つ目は、これらの組み合わせである。本発明の第２の実施形態に特有の処理は、２つ目の演算処理に関するものである。なお、以下では、図１６に示すフローチャートにおいて、図５に示すフローチャートで既に説明したのと同様な部分についての詳細な説明は省略する。
【００７３】
複数の動きベクトル候補が存在し（ステップＳ３３０１）、これらが同じ値を持たないとき（ステップＳ３３０２）は、これら複数の候補から選択的に１つを決定するのは好ましくない。そこで、ステップＳ３３０４では、各動きベクトル候補に対して重み付けを行なった上で平均を求める処理を行う。
【００７４】
Ｎ個の動きベクトル候補の各々をＶｎ（Ｖｎｘ、Ｖｎｙ）とし、各周囲ブロック内の有効なデータ数をＭｎとすると、求める動きベクトル（Ｖｘ、Ｖｙ）は、
【数１】
となる。周囲ブロック内にデータ欠落部分がない場合は、Ｍｎの値はブロックの全画素数に一致する。
【００７５】
また、ステップＳ３３１１においても、これら複数の動きベクトル候補から選択的に１つを決定するのは好ましくないため、上記の式（２）を用いて動きベクトルを算出する。
本実施形態では、ステップＳ３３０４とステップＳ３３１１の条件の時に重み付け平均を算出し、それ以外の条件では選択的に１つの動きベクトルを決定したが、どのような条件設定のときにどちらの動きベクトル算出手段を用いるかは任意である。
【００７６】
以上述べた第１、２の実施形態における各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るマイクロコンピュータシステムに構成してもよい。マイクロコンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、各フローチャートによる前述した動作を制御するための手順を実行するためのプログラムが記憶される。また、この記憶媒体としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロィピディスク、磁気テープ、磁気カード、不揮発性のメモリカード等に構成して用いてよい。
【００７７】
従って、この記憶媒体を他のシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、この記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、同等の効果が得られ、本発明は達成される。
【００７８】
【発明の効果】
以上の説明したように、本発明によれば、部分的にデータの欠落した背景画像に対してその欠落部分を適切に補間処理を施すことができ、これにより、再利用可能な汎用性の高い背景オブジェクトを容易にかつ確実に生成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態による背景補間処理の全体アルゴリズムを示すフローチャートである。
【図３】本発明の第１の実施形態によるターゲットブロックの処理アルゴリズムを示すフローチャートである。
【図４】ターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートである。
【図５】ターゲットブロックの動きベクトル確定のアルゴリズムを示すフローチャートである。
【図６】ターゲットブロックの動きベクトルによる補間処理アルゴリズムを示すフローチャートである。
【図７】画像イメージを説明するためのオリジナル画像の構成図である。
【図８】画像イメージを説明するための前景画像抽出後の背景画像の構成図である。
【図９】画像イメージを説明するための第Ｎフレームをブロック化した構成図である。
【図１０】画像イメージを説明するための補間対象ブロックとその周囲ブロックの構成図である。
【図１１】補間処理を説明するための構成図である。
【図１２】補間処理を簡潔的に説明するための構成図である。
【図１３】補間処理を簡潔的に説明するための構成図である。
【図１４】補間処理を簡潔的に説明するための構成図である。
【図１５】本発明の第２の実施形態によるターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートである。
【図１６】ターゲットブロックの動きベクトル確定のアルゴリズムを示すフローチャートである。
【図１７】周囲ブロックのマスキングを説明するための構成図である。
【符号の説明】
１０１ 画像入力部
１０２ 画像分離部
１０３ 前景画像符号化部
１０４ 背景画像補間部
１０５ 背景画像符号化部
１０６ 多重化部
１０７ 分離部
１０８ 前景画像復号化部
１０９ 背景画像復号化部
１１０ 画像合成部
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体に関し、特にオブジェクト分離により画像を処理するものに用いて好適なものである。
【０００２】
【従来の技術】
近年、高性能化したＣＰＵを搭載したパーソナルコンピュータ（パソコン）の普及に伴い、パソコン上で行う動画像の編集に対する要求が高まってきている。
編集作業の例として、フレームもしくはフィールド間での時間順序の入れ替え、ワイプやディゾルブ、モザイク、別画像の挿入など、さまざまなものがある。
【０００３】
また、画像をフレームもしくはフィールド単位等の画像単位で処理するのではなく、画像内を個々の物体、背景、あるいは文字などといった意味のある単位（以下オブジェクトと呼ぶ）に分割して、オブジェクト単位で個別の処理を加える技術も向上してきている。
【０００４】
オブジェクト単位で個別の処理を加えるためには、フレームもしくはフィールド画像からオブジェクトを抽出しなければならない。動画像において、従来から行われているオブジェクト抽出の手法は、ブルーバックと呼ばれているものがある。これはスタジオセットなどで予めブルーの背景を用意しておき、スイッチャーでブルーの部分を別の背景画像に置き換えるものである。また、画像のエッジ部分を抽出して、オブジェクトを分離する手法もある。
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような手法では、予め別の背景となる画像を用意しておかなければならないという欠点があった。また、他の手法を用いて、背景と前景のオブジェクトを分離できても、背景オブジェクトには、前景オブジェクトのあった部分にデータが存在しない穴（エリア）ができてしまい、背景オブジェクトの再利用は困難であった。
【０００６】
例えばあるシーンにおいて、オリジナルの前景オブジェクトを別のオブジェクトに置き換えたい場合を考える。この場合、オリジナルの画像から、前景オブジェクトを抽出した後、残りの背景オブジェクトに別の前景オブジェクトを合成する必要がある。最初の前景オブジェクトを抽出した後の穴の空いた部分を、後から合成するオブジェクトでふさぐことができれば問題ないが、これではオブジェクトの再利用あるいは再加工における汎用性が大きく制限されてしまう。
【０００７】
上述したような背景から本願発明の一つの目的は、前景オブジェクト抽出後、背景オブジェクトに生じた穴のような部分的なデータの欠落があっても、それを補間し、汎用性の高い背景オブジェクトを提供できるようにすることを目的としている。
【０００８】
【課題を解決するための手段】
本発明による画像処理装置においては、前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力手段と、前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間手段とを有し、前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【０００９】
本発明による他の画像処理装置においては、画像データを入力する入力手段と、前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離手段と、前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間手段と、前記補間手段によって補間された前記背景オブジェクトデータを符号化する第１の符号化手段と、前記前景オブジェクトデータを符号化する第２の符号化手段とを有し、前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１０】
本発明による画像処理方法においては、前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力工程と、前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間工程とを有し、前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１１】
本発明による他の画像処理方法においては、画像データを入力する入力工程と、前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離工程と、前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間工程と、前記補間工程によって補間された前記背景オブジェクトデータを符号化する第１の符号化工程と、前記前景オブジェクトデータを符号化する第２の符号化工程とを有し、前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なう点に特徴を有する。
【００１２】
本発明によるコンピュータ読み取り可能な記憶媒体においては、上記に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した点に特徴を有する。
【００１９】
【発明の実施の形態】
本発明の実施形態の概要を説明すれば、前景オブジェクトの分離により生じたデータ欠落部分の存在する１画面（フレームもしくはフィールド）をターゲットとし、所定数の画素で構成されるブロック分割を行う。そして、分割した各ブロックがデータ欠落部分を含んでいるか否かをチェックして、データ欠落部分を含んだブロックをターゲットブロックとし、その周囲のブロックを周囲ブロックとする。
【００２０】
次に、周囲ブロックの動きベクトルを、前又は後のサンプルフレーム又はフィールドからサーチし、求められた各周囲ブロックの動きベクトルから、ターゲットブロックに対応する動きベクトルを求める。動きベクトルデータとターゲットブロック内のデータとの有効性を比較しながら補間を行い、ブロック内すべてのデータが埋まらなかった場合は、サンプルフレーム又はフィールドを変更して、さらに処理を続けるようにしている。
【００２１】
このようにしたことにより、部分的にデータの欠落した背景オブジェクトから完全な背景オブジェクトを容易かつ確実に生成することが可能になる。
【００２２】
（第１の実施形態）
以下、本発明の実施形態を図面を用いて詳細に説明する。
図１は、本発明の第１の実施形態の構成を示すブロック図であり、（ａ）がエンコード側、（ｂ）がデコード側を示す。
【００２３】
図１（ａ）に示すエンコード側において、画像入力部１０１は、ビデオカメラやＶＴＲ等から画像信号を入力する部分であり、アナログ信号の場合はデジタル信号に変換する。カラーの信号は、輝度信号と２つの色差信号とに分けて、それぞれ同様のデジタル変換処理を行う。
【００２４】
画像分離部１０２は、背景オブジェクトと前景オブジェクトとの分離を行う部分である。各オブジェクトのフレーム間での動きベクトルが異なれば、その違いによって背景と前景の各オブジェクトを分離することが可能である。また、色の情報を用いてオブジェクトの違いを判定することも有効である。
【００２５】
このようにして分離された前景オブジェクトは、そのまま前景画像符号化部１０３において符号化処理が行われる。
【００２６】
また、分離された背景オブジェクトは、データの欠落部分を埋めるため、背景画像補間部１０４において本発明特有の処理が施される。この処理についての詳細な説明は後述する。
【００２７】
補間の完了した背景オブジェクトは、背景画像符号化部１０５において符号化処理が行われる。この符号化処理は前景画像符号化処理部１０３と同じ処理方法を用いることもできるが、別処理とすることで、背景画像の特徴を生かしたより高能率の符号化を行うことも可能となる。
【００２８】
前景、背景それぞれに最適な符号化処理を行った後は、多重化部１０６によって一つのビットストリームにまとめられ、伝送路に応じた処理がなされた後、送信もしくは記録が行われる。
【００２９】
一方、図１（ｂ）に示すデコード側では、上述したエンコード側の処理と逆の処理が行われる。
まず、分離部１０７において、それぞれのオブジェクト処理単位に分離される。ここでは、前景と背景２つのオブジェクトである。前景画像復号化部１０８では、前景画像符号化部１０３に対応した復号化処理が行われ、また、背景画像復号化部１０９では、背景画像符号化部１０５に対応した復号化処理が行われる。
【００３０】
画像合成部１１０では、個々のオブジェクトを一つのフレーム又はフィールド画像に合成する。合成された画像データは画像表示部１１１において、表示機器に応じたフォーマットに変換されて出力され、表示される。
【００３１】
次に、図２〜図６を用いて、本発明特有の処理である背景画像補間部１０４での処理の詳細なアルゴリズムを説明する。また、ここでは、図７〜図１４に示す画像イメージを用いて説明する。
【００３２】
図７は、オリジナルの画像を示している。ここでは簡単のため、フレーム単位で移動する画像を例に説明する。
図７（ａ）が第Ｎ番目のフレームの画像を表しており、７０１が前景画像、７０２が背景画像である。図７（ｂ）は第Ｎ−１番目のフレームの画像を表しており、前景画像７０１の位置は図７（ａ）と比較して移動している。同様に図７（ｃ）は第Ｎ−２番目のフレームの画像を表しており、前景画像７０１の位置は更に移動している。
【００３３】
これらのフレーム間での動きの違いを利用して前景画像を抽出すると、背景画像８０２は図８のようになる。前景画像のあった部分８０１は、そのままではデータが存在しないので、ここでは暫定的に輝度レベルがゼロのデータを挿入している。
尚、以下では、補間の対象として注目しているフレームをターゲットフレーム、補間候補のデータを探すフレームをサンプルフレームと呼ぶことにする。
【００３４】
図２は、背景補間を行おうとするフレーム（ターゲットフレーム）に対する一連の処理の全体アルゴリズムである。なお、このフローチャートはターゲットフレーム１枚に対する処理なので、複数枚のフレームを処理する場合は、その枚数分だけ同様の処理を繰り返せばよい。
【００３５】
ステップＳ２０１でまず初期設定を行う。ここでの設定の主なものは、ターゲットフレームの設定、サンプルフレームの枚数の設定、さらにターゲットフレームのブロック化処理などを含んでいる。
ここでは、図８の（ａ）に示す第Ｎフレームをターゲットフレームとする。また、図８（ｂ）に示す第Ｎ−１フレームと、図８（ｃ）に示す第Ｎ−２フレームの２枚をサンプルフレームとする。図９には、図８（ａ）に示すターゲットフレームをブロック化したものを示す。
【００３６】
ステップＳ２０１でブロック化されたブロックを、ステップＳ２０２で、一つずつターゲットブロックか否かチェックしていく。この処理は、ブロック内に輝度レベルがゼロのデータが存在するか否かで判定が可能である。
【００３７】
画像の輝度レベルを８ビット（０〜２５５）データで表す場合は、一般に映像信号の最低レベルすなわち黒の信号は１６とするため、ゼロレベルのデータのみを探せば、黒レベルの信号との誤判定は防げる。また、穴の部分に暫定的に挿入するデータは任意であるので、誤判定の心配のないデータであればゼロにこだわる必要はない。
【００３８】
このようにしてターゲットブロックの検出を行うと、図９のブロック９０１が最初のターゲットブロックと判定される。
ターゲットブロックと判定されたブロックはステップＳ２０３で補間処理がなされ、次のブロックの処理に進む。尚、この補間処理の詳細については後述する。
【００３９】
上記のようにして次々にブロック単位の処理を行い、ステップＳ２０４ですべてのブロックの処理が終了したと判断された時点で、ターゲットフレーム全体の補間処理が完了となる。
【００４０】
次に、図３を用いて第１の実施形態によるターゲットブロックの処理アルゴリズムを説明する。
ターゲットブロックを検出すると、まずステップＳ３０１において周囲ブロックを決定する。
図１０は、ターゲットブロックとその周囲ブロックを示しており、１００１が補間対象すなわちターゲットブロックで、１００２〜１００５が周囲ブロックである。ここでは、ターゲットブロックの上下左右のブロックを周囲ブロックとしている。
【００４１】
次に、ステップＳ３０２において、ターゲットブロックの動きベクトル候補を算出する。ターゲットブロックの動きベクトル候補は、周囲ブロックの動きベクトルから求めるが、その詳細のアルゴリズムを図４を用いて説明する。
【００４２】
まずステップＳ４０１で周囲ブロック内のデータを調べ、ブロック内にデータの欠落部分がないかどうかを判定する。欠落部分があった場合は、その後のパターンマッチングで所望の結果が得られなくなるため、このブロックについては動きベクトルを求めない。
【００４３】
データの欠落部分がなければ、ステップＳ４０２でサンプルフレームとの間でパターンマッチングを行う。マッチングを行うたびにブロックの差分の二乗和を求めておき、すべてのマッチング処理を終えた段階でステップＳ４０３に進み、差分の二乗和が最小となるブロックとの相対位置情報、すなわち動きベクトルを求める。
【００４４】
ステップＳ４０４では、求めた動きベクトルの信頼度を検証する。すなわち、差分の二乗和が最小となる動きベクトルでも、差分の二乗和の値がある閾値以上であれば、その動きベクトルは候補として採用すべきでないと判断する。閾値以下の場合のみ、ステップＳ４０５に進み、ターゲットブロックの動きベクトル候補とする。
【００４５】
これらの処理を周囲ブロックの数だけ繰り返し、ステップＳ４０６ですべての周囲ブロックの判定が終了したと判断したとき、このターゲットブロックに対する動きベクトル候補の算出処理を終える。
【００４６】
ここで注意すべきは、動きベクトル候補は最大で周囲ブロックの数だけ存在し、最小では動きベクトル候補なしということもあり得ることである。
【００４７】
図３に戻って、ステップＳ３０３ではステップＳ３０２で算出された動きベクトル候補の有無を判定し、以後の処理を分岐している。
【００４８】
図１０の例で周囲ブロック１００２と１００３は、ブロック内にデータ欠落部分が存在しないため、動きベクトルを算出する。背景画像が動いていないと仮定すると、差分の二乗和がゼロとなる場所があり、その動きベクトルは（０，０）である。また、図１０の周囲ブロック１００４と１００５は、ブロック内にデータ欠落部分が存在するため、動きベクトルの算出処理を行わない。したがって、この図１０の例では、ステップＳ３０２（図４のフローチャートに示す処理）が終わった段階で、動きベクトル候補は２つである。
【００４９】
ターゲットブロックの動きベクトル候補が存在する場合には、図３のステップＳ３０４に進む。ここで動きベクトル候補からターゲットブロックの動きベクトルを確定するが、その詳細のアルゴリズムを図５を用いて説明する。
【００５０】
まず、ステップＳ５０１で動きベクトル候補が複数あるかどうかチェックする。
ステップＳ５０１で動きベクトル候補が一つしかない場合は、ステップＳ５０２で、その動きベクトル候補をターゲットブロックの動きベクトルとして確定する。
ステップＳ５０１で動きベクトル候補が複数存在する場合は、ステップＳ５０３で、それらの中で同じ値を持つベクトルがあるかどうかチェックする。
【００５１】
ステップ５０３で同じ値を持つ動きベクトル候補がない場合は、ステップＳ５０４で、動きベクトル候補を平均したものをターゲットブロックの動きベクトルとして確定する。
ステップ５０３で同じ値を持つ動きベクトル候補がある場合は、ステップＳ５０５で、それらが複数種類あるかどうかチェックする。
【００５２】
ステップＳ５０５で同じ値を持つ動きベクトル候補が一種類しかない場合は、ステップＳ５０６で、その同じ値を持つ動きベクトル候補をターゲットブロックの動きベクトルとして確定する。
ステップＳ５０５で同じ値を持つ動きベクトル候補が二種類以上ある場合は、ステップＳ５０７で、分類された動きベクトル候補の中で一番多いものをチェックし、同じ値を持つ動きベクトル候補が最も多いものが複数存在するか否かを判断する。
【００５３】
ステップＳ５０７で同じ値を持つ動きベクトル候補が最も多いものが複数存在しない場合は、ステップＳ５０８で、最も多かった動きベクトル候補をターゲットブロックの動きベクトルとする。
ステップＳ５０７で同じ値を持つ動きベクトル候補が最も多いものが複数存在する場合、例えば４つの動きベクトルのうち、２つの動きベクトルの値が同じで、残り２つの動きベクトルも同じといったように、同じ値を持つ動きベクトル候補が最も多いものが複数存在する場合は、ステップＳ５０９でそれらの動きベクトル候補の中で差分の二乗和が最小のものをチェックする。最小のものが一つであれば、ステップＳ５１０でそれをターゲットブロックの動きベクトルとする。最小のものが複数ある場合は、ステップＳ５１１でそれらのベクトルの平均を求め、これをターゲットブロックの動きベクトルとする。
【００５４】
図１０の例では、動きベクトル候補が２つ存在し、それらの動きベクトルの値は同じであるので、これをターゲットブロックの動きベクトルとして確定する。
【００５５】
図３に戻って、ターゲットブロックの動きベクトルが確定すると、ステップＳ３０５に進んで、ターゲットブロックの動きベクトルによる補間処理を行う。
図６は、ターゲットブロックの動きベクトルによる補間処理のアルゴリズムを説明する図であり、ブロック内の一画素単位毎の処理を示している。
【００５６】
まず、ステップＳ６０１において、画像データを埋めようとしている位置（注目画素）にすでにデータが存在しているかどうかをチェックする。データが存在していれば、その存在していたデータをそのまま使用し、ステップＳ６０４の処理に移る。データが存在しない場合は、ステップＳ６０２に進み、動きベクトルに対応するサンプル画素に画像データが存在するかどうかチェックする。画像データが存在していれば、ステップＳ６０３で、そのサンプル画素の画像データをターゲットの位置に埋め込んでステップＳ６０４の処理に進み、画像データが存在していなければ、何もせずにステップＳ６０４の処理に進む。
【００５７】
図１１（ａ）〜（ｇ）には、一つのターゲットブロックに対する補間の様子を示す。
図１１（ａ）はターゲットブロックを示す。図１１（ｂ）は、最初のＮ−１のサンプルフレームから確定したサンプルブロックである。図１１（ａ）に示すターゲットブロックを、図１１（ｂ）に示すサンプルブロックで置き換える処理が基本であるが、図１１（ａ）のうち元々画像データが存在する部分は図１１（ａ）のものをそのまま用い、図１１（ａ）の欠落部分を図１１（ｂ）で埋める。ただし、図１１（ｂ）にも欠落部分が存在するため、実際に埋め込まれるデータの範囲は、図１１（ｃ）の斜線部分となる。図１１（ｃ）の斜線部分に実際にデータを埋めた状態を示すのが図１１（ｄ）である。
【００５８】
ステップＳ６０４において、ブロック内すべての画素に対して処理が行われると、このルーチンを終了する。
【００５９】
このままでは、ブロック内すべての画素に対してデータが埋め込まれているとは限らない。そこで、図３のステップＳ３０６においては、ブロック内にまだ欠落部分があるかどうかを判定している。欠落部分が存在しない場合、すなわち、すべての画素に対してデータが埋め込まれていれば、このブロックの処理は終了である。欠落部分が存在する場合は、ステップＳ３０８においてサンプルフレームを変更し、ステップＳ３０２からの処理を繰り返す。ステップＳ３０８に進む条件は、以下の２種類である。ひとつは動きベクトル候補が存在しなかった場合、もうひとつは動きベクトルを決定してもそのベクトルの持つデータですべての画素が埋められなかった場合である。
【００６０】
図３のステップＳ３０７では、図２のステップＳ２０１の初期設定で定めたサンプルフレームの枚数をチェックしている。すべてのサンプルフレームをチェックしてもなお欠落部分が存在する場合には、ステップＳ３０９によって、周囲画素から内挿補間処理をしてデータの埋め込みを行う。
【００６１】
図１１（ｄ）には欠落部分が存在するので、サンプルフレームをＮ−１からＮ−２に変更し、同様の処理を行う。
図１１（ｅ）は、Ｎ−２のサンプルフレームから確定したサンプルブロックの図である。図１１（ｆ）の斜線部分が図１１（ｅ）から埋め込むデータの範囲となる。図１１（ｆ）の斜線部分に実際にデータを埋めた状態を示すのが図１１（ｇ）である。図１１（ｇ）に示すように、欠落部分はなくなったので、このターゲットブロックに対する処理は終了する。
【００６２】
以上述べたようにして、図３のフローチャートで説明した一つのターゲットブロックの処理は終了する。ターゲットフレーム内のすべてのターゲットブロックに対して上記処理を行うことにより、一つのターゲットフレームの処理が終了する。
【００６３】
図１２（ａ）〜（ｃ）は、ここまでの処理を第Ｎフレームに施した結果を簡潔的に表した説明図である。
図１２（ａ）が補間処理前の画像であり、図１２（ｂ）がＮ−１フレームまで補間処理を終えた画像、図１２（ｃ）がＮ−２フレームまで補間処理を終えた画像である。
【００６４】
図１３（ａ）は、２番目のターゲットブロックと、その周囲ブロックを表した図である。これらの周囲ブロックからターゲットブロックの動きベクトルを確定し、補間した結果が図１３（ｂ）である。同様に、３番目のターゲットブロックとその周囲ブロックが図１３（ｃ）であり、その補間結果が図１３（ｄ）、４番目のターゲットブロックとその周囲ブロックが図１３（ｅ）であり、その補間結果が図１３（ｆ）である。
【００６５】
ターゲットフレームとサンプルフレームとを変更し、図２の処理を繰り返せば、複数フレームの背景画像の補間が可能となる。図１４（ａ）〜（ｅ）は、ターゲットフレームをＮ−１に変更して同様の処理を行ったときの説明図である。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上記第１の実施形態では、周囲ブロックにデータの欠落部分があった場合、動きベクトルを求めなかったが、本実施形態では、欠落部分以外の有効なデータを基に動きベクトルを求めるようにしている。なお、第２の実施形態での全体構成は、第１の実施形態で説明した図１の構成と同様で、全体の処理アルゴリズムは第１の実施形態で説明した図２のフローチャートと同様である。
【００６７】
図４のターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートに対応するのが、図１５に示すフローチャートである。
ステップＳ３２０１において周囲ブロック内にデータの欠落部分が存在する場合は、ステップＳ３２０２において、欠落部分のマスキングデータを生成する。マスキングデータは一画素単位で求め、後の動きベクトル候補から１つのベクトルを決定する際の判定手段としても利用する。
【００６８】
図１０における各ブロックのブロックサイズが１６×１６であるとすると、周囲ブロック１００４のマスキングデータは図１７（ａ）のようになり、周囲ブロック１００５のマスキングデータは図１７（ｂ）のようになる。ここで、黒く塗りつぶされた画素がマスキングされている部分であり、白い画素が有効なデータの部分である。有効なデータの数は、図１７（ａ）、（ｂ）共に９７である。図１０の周囲ブロック１００２、１００３には欠落したデータがないため、有効なデータの数は２５６である。
【００６９】
次にステップＳ３２０３でマスキングされていない有効なデータのみを用いて、パターンマッチングを行う。ブロック内にデータの欠落部分が存在しない場合は、従来通りすべての画素を用いたパターンマッチングとなる。ステップＳ３２０４の処理は第１の実施形態と同様の処理（図４のＳ４０３）である。
【００７０】
ステップＳ３２０５の処理では、差分の二乗和と閾値との比較をしているが、閾値の設定は、パターンマッチングに用いたデータ数によって変化させる。ブロック内の全画素数をＰ、ブロック内の有効なデータ数をＭｓ、全画素有効な場合の閾値をＴＨａとするとき、このブロックの閾値ＴＨａは以下の式で表される。
ＴＨａ＝（Ｍｓ／Ｐ）×ＴＨａ ………（１）
となる。
【００７１】
差分の二乗和の値がこの閾値を下回れば、このときの動きベクトルをステップＳ３２０６でターゲットブロックの動きベクトル候補とする。同様の処理を全ての周囲ブロックについて行い、このアルゴリズムを終了する。
【００７２】
次に、ターゲットブロックの動きベクトル確定のアルゴリズムについて、図１６を用いて説明する。複数の動きベクトル候補から１つの動きベクトルを算出する方法は３つ考えられる。
１つ目は、複数の候補の中から１つを選択する、２つ目は、複数の候補に何らかの演算処理を行い１つの値を算出する、そして３つ目は、これらの組み合わせである。本発明の第２の実施形態に特有の処理は、２つ目の演算処理に関するものである。なお、以下では、図１６に示すフローチャートにおいて、図５に示すフローチャートで既に説明したのと同様な部分についての詳細な説明は省略する。
【００７３】
複数の動きベクトル候補が存在し（ステップＳ３３０１）、これらが同じ値を持たないとき（ステップＳ３３０２）は、これら複数の候補から選択的に１つを決定するのは好ましくない。そこで、ステップＳ３３０４では、各動きベクトル候補に対して重み付けを行なった上で平均を求める処理を行う。
【００７４】
Ｎ個の動きベクトル候補の各々をＶｎ（Ｖｎｘ、Ｖｎｙ）とし、各周囲ブロック内の有効なデータ数をＭｎとすると、求める動きベクトル（Ｖｘ、Ｖｙ）は、
【数１】
【００７５】
また、ステップＳ３３１１においても、これら複数の動きベクトル候補から選択的に１つを決定するのは好ましくないため、上記の式（２）を用いて動きベクトルを算出する。
本実施形態では、ステップＳ３３０４とステップＳ３３１１の条件の時に重み付け平均を算出し、それ以外の条件では選択的に１つの動きベクトルを決定したが、どのような条件設定のときにどちらの動きベクトル算出手段を用いるかは任意である。
【００７６】
以上述べた第１、２の実施形態における各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るマイクロコンピュータシステムに構成してもよい。マイクロコンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、各フローチャートによる前述した動作を制御するための手順を実行するためのプログラムが記憶される。また、この記憶媒体としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロィピディスク、磁気テープ、磁気カード、不揮発性のメモリカード等に構成して用いてよい。
【００７７】
従って、この記憶媒体を他のシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、この記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、同等の効果が得られ、本発明は達成される。
【００７８】
【発明の効果】
以上の説明したように、本発明によれば、部分的にデータの欠落した背景画像に対してその欠落部分を適切に補間処理を施すことができ、これにより、再利用可能な汎用性の高い背景オブジェクトを容易にかつ確実に生成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態による背景補間処理の全体アルゴリズムを示すフローチャートである。
【図３】本発明の第１の実施形態によるターゲットブロックの処理アルゴリズムを示すフローチャートである。
【図４】ターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートである。
【図５】ターゲットブロックの動きベクトル確定のアルゴリズムを示すフローチャートである。
【図６】ターゲットブロックの動きベクトルによる補間処理アルゴリズムを示すフローチャートである。
【図７】画像イメージを説明するためのオリジナル画像の構成図である。
【図８】画像イメージを説明するための前景画像抽出後の背景画像の構成図である。
【図９】画像イメージを説明するための第Ｎフレームをブロック化した構成図である。
【図１０】画像イメージを説明するための補間対象ブロックとその周囲ブロックの構成図である。
【図１１】補間処理を説明するための構成図である。
【図１２】補間処理を簡潔的に説明するための構成図である。
【図１３】補間処理を簡潔的に説明するための構成図である。
【図１４】補間処理を簡潔的に説明するための構成図である。
【図１５】本発明の第２の実施形態によるターゲットブロックの動きベクトル候補算出のアルゴリズムを示すフローチャートである。
【図１６】ターゲットブロックの動きベクトル確定のアルゴリズムを示すフローチャートである。
【図１７】周囲ブロックのマスキングを説明するための構成図である。
【符号の説明】
１０１ 画像入力部
１０２ 画像分離部
１０３ 前景画像符号化部
１０４ 背景画像補間部
１０５ 背景画像符号化部
１０６ 多重化部
１０７ 分離部
１０８ 前景画像復号化部
１０９ 背景画像復号化部
１１０ 画像合成部
Claims (8)
- 前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力手段と、
前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間手段とを有し、
前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なうことを特徴とする画像処理装置。 - 前記補間手段は、
前記背景オブジェクトデータを複数のブロックに分割する分割手段と、
前記分割手段によって分割されたブロックから前記欠落部分の画像データを含むブロックをターゲットブロックとして抽出する抽出手段と、
前記ターゲットブロックの周囲に位置する周囲ブロックの動きを前記背景オブジェクトデータとは別のフレームから検出する検出手段と、
前記周囲ブロックの動きに基づいて前記ターゲットブロックの欠落部分の画像データを生成する生成手段とを有することを特徴とする請求項１に記載の画像処理装置。 - 前記補間手段によって処理された背景オブジェクトデータを符号化する符号化手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
- 画像データを入力する入力手段と、
前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離手段と、
前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間手段と、
前記補間手段によって補間された前記背景オブジェクトデータを符号化する第１の符号化手段と、
前記前景オブジェクトデータを符号化する第２の符号化手段とを有し、
前記補間手段は、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なうことを特徴とする画像処理装置。 - 前景オブジェクトデータの分離により生じた欠落部分を含む背景オブジェクトデータを入力する入力工程と、
前記欠落部分の画像データを前記欠落部分の周囲の画像データの動きに基づいて、前記背景オブジェクトデータとは別のフレームにおける前記欠落部分の画像データに相当する画像データを用いて補間する補間工程とを有し、
前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なうことを特徴とする画像処理方法。 - 前記補間工程は、
前記背景オブジェクトデータを複数のブロックに分割する分割工程と、
前記分割工程によって分割されたブロックから前記欠落部分の画像データを含むブロックをターゲットブロックとして抽出する抽出工程と、
前記ターゲットブロックの周囲に位置する周囲ブロックの動きを前記背景オブジェクトデータとは別のフレームから検出する検出工程と、
前記周囲ブロックの動きに基づいて前記ターゲットブロックの欠落部分の画像データを生成する生成工程とを含むことを特徴とする請求項５に記載の画像処理方法。 - 画像データを入力する入力工程と、
前記画像データを、前景オブジェクトデータと該前景オブジェクトデータに相当する欠落部分を含む背景オブジェクトデータとに分離する分離工程と、
前記欠落部分を含む背景オブジェクトデータに対して、前記背景オブジェクトデータとは別のフレームを用いて、前記欠落部分に相当する背景オブジェクトデータを生成し、前記生成された背景オブジェクトデータにより前記背景オブジェクトデータの欠落部分を補間する補間工程と、
前記補間工程によって補間された前記背景オブジェクトデータを符号化する第１の符号化工程と、
前記前景オブジェクトデータを符号化する第２の符号化工程とを有し、
前記補間工程での、補間後、補間された背景オブジェクトデータに欠落部分がある場合、前記補間で用いたフレームとは別のフレームを用いて前記背景オブジェクトデータの欠落部分の補間を行なうことを特徴とする画像処理方法。 - 請求項５〜７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27471199A JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
| US09/413,770 US6721360B2 (en) | 1998-10-09 | 1999-10-07 | Image processing apparatus and method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28777398 | 1998-10-09 | ||
| JP10-287773 | 1998-10-09 | ||
| JP27471199A JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000184336A JP2000184336A (ja) | 2000-06-30 |
| JP2000184336A5 JP2000184336A5 (ja) | 2006-11-16 |
| JP4272771B2 true JP4272771B2 (ja) | 2009-06-03 |
Family
ID=26551158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27471199A Expired - Fee Related JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6721360B2 (ja) |
| JP (1) | JP4272771B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3667217B2 (ja) * | 2000-09-01 | 2005-07-06 | 日本電信電話株式会社 | 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 |
| EP1233614B1 (fr) * | 2001-02-16 | 2012-08-08 | C.H.I. Development Mgmt. Ltd. XXIX, LLC | Système de transmission et de traitement vidéo pour générer une mosaique utilisateur |
| EP1259079B1 (en) * | 2001-04-30 | 2007-03-21 | STMicroelectronics Pvt. Ltd | An efficient low power motion estimation of a video frame sequence |
| JP4596220B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP1301044B1 (en) * | 2001-10-05 | 2006-05-24 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
| JP4102973B2 (ja) * | 2002-04-24 | 2008-06-18 | 日本電気株式会社 | 動画像の符号化方法および復号化方法、これを用いた装置とプログラム |
| FR2843252A1 (fr) * | 2002-07-30 | 2004-02-06 | Thomson Licensing Sa | Procede de compression de donnees numeriques d'une sequence video comportant des plans alternes |
| US7978769B2 (en) * | 2003-06-30 | 2011-07-12 | Ntt Docomo, Inc. | Method and apparatus for coding motion information |
| US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
| KR100775104B1 (ko) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 |
| EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
| US8238442B2 (en) * | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
| JP5660658B2 (ja) * | 2007-01-30 | 2015-01-28 | ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー | 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用 |
| KR101094304B1 (ko) * | 2010-02-23 | 2011-12-19 | 삼성모바일디스플레이주식회사 | 표시 장치 및 그의 영상 처리 방법 |
| JP5713256B2 (ja) * | 2010-12-21 | 2015-05-07 | 株式会社ニコンシステム | 画像処理装置、撮像装置、および画像処理プログラム |
| JP6513300B1 (ja) | 2018-03-28 | 2019-05-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
| DE69533870T2 (de) * | 1994-10-19 | 2005-05-25 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Bilddekodierung |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
-
1999
- 1999-09-28 JP JP27471199A patent/JP4272771B2/ja not_active Expired - Fee Related
- 1999-10-07 US US09/413,770 patent/US6721360B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030031253A1 (en) | 2003-02-13 |
| US6721360B2 (en) | 2004-04-13 |
| JP2000184336A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4272771B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| KR101092287B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| EP2063390B1 (en) | Image processing device and its program | |
| US6404901B1 (en) | Image information processing apparatus and its method | |
| US20100039447A1 (en) | Image processing apparatus, image processing method, and program | |
| US20120169840A1 (en) | Image Processing Device and Method, and Program | |
| JP4821642B2 (ja) | 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム | |
| KR20060119707A (ko) | 화상 처리 장치와 화상 처리 방법 및 프로그램 | |
| KR101211074B1 (ko) | 학습 장치와 학습 방법 및 학습 프로그램 | |
| US6665340B1 (en) | Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium | |
| JPH10126665A (ja) | 画像合成装置 | |
| JP2002312791A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH09322061A (ja) | 画像合成装置 | |
| US6553069B1 (en) | Digital image segmenting method and device | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
| JP7216874B1 (ja) | 合成処理装置 | |
| JP2016129281A (ja) | 画像処理装置 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| JP7003342B2 (ja) | 動画分離装置、プログラム及び動画分離方法 | |
| JP4902510B2 (ja) | 符号化装置及び符号化方法 | |
| Nicolas | Optimal criterion for dynamic mosaicking | |
| JP4653014B2 (ja) | 撮像装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |