JPH11112871A - 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 - Google Patents
画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体Info
- Publication number
- JPH11112871A JPH11112871A JP28260397A JP28260397A JPH11112871A JP H11112871 A JPH11112871 A JP H11112871A JP 28260397 A JP28260397 A JP 28260397A JP 28260397 A JP28260397 A JP 28260397A JP H11112871 A JPH11112871 A JP H11112871A
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- scene
- background
- constituting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 前景を、精度良く抜き出す。
【解決手段】 前景位置近似処理部３１において、１シ
ーンを構成する画像それぞれについて、背景との差分が
演算され、その差分値に基づき、前景の候補となる前景
候補画像が求められる。そして、前景検出処理部３３に
おいて、１シーンを構成する画像それぞれについての前
景候補画像どうしの差分が演算され、その差分値に基づ
いて、前景が検出される。
ーンを構成する画像それぞれについて、背景との差分が
演算され、その差分値に基づき、前景の候補となる前景
候補画像が求められる。そして、前景検出処理部３３に
おいて、１シーンを構成する画像それぞれについての前
景候補画像どうしの差分が演算され、その差分値に基づ
いて、前景が検出される。
Description
【０００１】
【発明の属する技術分野】本発明は、画像抜き出し装置
および画像抜き出し方法、画像符号化装置および画像符
号化方法、画像復号装置および画像復号方法、画像記録
装置および画像記録方法、画像再生装置および画像再生
方法、並びに記録媒体に関する。特に、画像から、前景
を、正確に抜き出すことができるようにする画像抜き出
し装置および画像抜き出し方法、画像符号化装置および
画像符号化方法、画像復号装置および画像復号方法、画
像記録装置および画像記録方法、画像再生装置および画
像再生方法、並びに記録媒体に関する。
および画像抜き出し方法、画像符号化装置および画像符
号化方法、画像復号装置および画像復号方法、画像記録
装置および画像記録方法、画像再生装置および画像再生
方法、並びに記録媒体に関する。特に、画像から、前景
を、正確に抜き出すことができるようにする画像抜き出
し装置および画像抜き出し方法、画像符号化装置および
画像符号化方法、画像復号装置および画像復号方法、画
像記録装置および画像記録方法、画像再生装置および画
像再生方法、並びに記録媒体に関する。
【０００２】
【従来の技術】例えば、画像を圧縮符号化する方法とし
ては、従来より種々のものが提案されているが、そのう
ちの１つにオブジェクト符号化と呼ばれるものがある。
ては、従来より種々のものが提案されているが、そのう
ちの１つにオブジェクト符号化と呼ばれるものがある。
【０００３】オブジェクト符号化では、一連の複数画面
の画像の集まりである１シーン（例えば、あるシーンチ
ェンジから、次のシーンチェンジまでの画面）から、そ
の背景と、動き物体の領域である前景とが検出される。
即ち、１シーンがＮ画面でなるときは、そのＮ画面で表
示される、１シーン全体の背景（この背景は、例えば、
ビデオカメラをパンニングまたはチルティングして撮影
されたシーンであれば、横長または縦長の画像となる）
と、Ｎ画面の中に共通に存在する前景とが検出される。
また、Ｎ画面それぞれの中の前景の動きを表す動きベク
トル（以下、適宜、前景動きベクトルという）が検出さ
れ、上述の１つずつの背景および前景とともに、１シー
ンの符号化結果とされる。従って、オブジェクト符号化
によれば、画像のデータ量を大幅に削減することができ
る。
の画像の集まりである１シーン（例えば、あるシーンチ
ェンジから、次のシーンチェンジまでの画面）から、そ
の背景と、動き物体の領域である前景とが検出される。
即ち、１シーンがＮ画面でなるときは、そのＮ画面で表
示される、１シーン全体の背景（この背景は、例えば、
ビデオカメラをパンニングまたはチルティングして撮影
されたシーンであれば、横長または縦長の画像となる）
と、Ｎ画面の中に共通に存在する前景とが検出される。
また、Ｎ画面それぞれの中の前景の動きを表す動きベク
トル（以下、適宜、前景動きベクトルという）が検出さ
れ、上述の１つずつの背景および前景とともに、１シー
ンの符号化結果とされる。従って、オブジェクト符号化
によれば、画像のデータ量を大幅に削減することができ
る。
【０００４】
【発明が解決しようとする課題】以上のようなオブジェ
クト符号化により得られた符号化データの復号は、背景
の中に、前景を、その前景動きベクトルにしたがった位
置に配置することで行われる。
クト符号化により得られた符号化データの復号は、背景
の中に、前景を、その前景動きベクトルにしたがった位
置に配置することで行われる。
【０００５】従って、前景を、正確に抜き出すことがで
きるかどうかが、復号画像の画質を左右する要因の１つ
となる。
きるかどうかが、復号画像の画質を左右する要因の１つ
となる。
【０００６】本発明は、このような状況に鑑みてなされ
たものであり、画像から、前景を正確に抜き出すことが
できるようにするものである。
たものであり、画像から、前景を正確に抜き出すことが
できるようにするものである。
【０００７】
【課題を解決するための手段】請求項１に記載の画像抜
き出し装置は、１シーンを構成する画像から、その１シ
ーン全体の背景を検出する背景検出手段と、１シーンを
構成する画像それぞれについて、背景の中の対応する部
分との差分である第１の差分値を演算し、その第１の差
分値に基づき、前景の候補となる前景候補画像を求める
前景候補画像算出手段と、１シーンを構成する画像それ
ぞれについての前景候補画像どうしの差分である第２の
差分値を演算し、その第２の差分値に基づいて、前景を
検出する前景検出手段とを備えることを特徴とする。
き出し装置は、１シーンを構成する画像から、その１シ
ーン全体の背景を検出する背景検出手段と、１シーンを
構成する画像それぞれについて、背景の中の対応する部
分との差分である第１の差分値を演算し、その第１の差
分値に基づき、前景の候補となる前景候補画像を求める
前景候補画像算出手段と、１シーンを構成する画像それ
ぞれについての前景候補画像どうしの差分である第２の
差分値を演算し、その第２の差分値に基づいて、前景を
検出する前景検出手段とを備えることを特徴とする。
【０００８】請求項９に記載の画像抜き出し方法は、１
シーンを構成する画像から、その１シーン全体の背景を
検出し、１シーンを構成する画像それぞれについて、背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前景の候補となる前景候補画像を求め、１シー
ンを構成する画像それぞれについての前景候補画像どう
しの差分を演算し、その差分値に基づいて、前景を検出
することを特徴とする。
シーンを構成する画像から、その１シーン全体の背景を
検出し、１シーンを構成する画像それぞれについて、背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前景の候補となる前景候補画像を求め、１シー
ンを構成する画像それぞれについての前景候補画像どう
しの差分を演算し、その差分値に基づいて、前景を検出
することを特徴とする。
【０００９】請求項１０に記載の画像符号化装置は、１
シーンを構成する画像から、その１シーン全体の背景を
検出する背景検出手段と、１シーンを構成する画像それ
ぞれについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求める前景候補
画像算出手段と、１シーンを構成する画像それぞれにつ
いての前景候補画像どうしの差分を演算し、その差分値
に基づいて、前景を検出する前景検出手段と、背景検出
手段により検出された背景と、前景検出手段により検出
された前景とを、１シーンの符号化結果として出力する
出力手段とを備えることを特徴とする。
シーンを構成する画像から、その１シーン全体の背景を
検出する背景検出手段と、１シーンを構成する画像それ
ぞれについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求める前景候補
画像算出手段と、１シーンを構成する画像それぞれにつ
いての前景候補画像どうしの差分を演算し、その差分値
に基づいて、前景を検出する前景検出手段と、背景検出
手段により検出された背景と、前景検出手段により検出
された前景とを、１シーンの符号化結果として出力する
出力手段とを備えることを特徴とする。
【００１０】請求項１１に記載の画像符号化方法は、１
シーンを構成する画像から、その１シーン全体の背景を
検出し、１シーンを構成する画像それぞれについて、背
景の中の対応する部分との差分を演算し、その差分値に
基づき、画像における動き物体の領域である前景の候補
となる前景候補画像を求め、１シーンを構成する画像そ
れぞれについての前景候補画像どうしの差分を演算し、
その差分値に基づいて、前景を検出し、背景および前景
を、１シーンの符号化結果として出力することを特徴と
する。
シーンを構成する画像から、その１シーン全体の背景を
検出し、１シーンを構成する画像それぞれについて、背
景の中の対応する部分との差分を演算し、その差分値に
基づき、画像における動き物体の領域である前景の候補
となる前景候補画像を求め、１シーンを構成する画像そ
れぞれについての前景候補画像どうしの差分を演算し、
その差分値に基づいて、前景を検出し、背景および前景
を、１シーンの符号化結果として出力することを特徴と
する。
【００１１】請求項１２に記載の画像復号装置は、符号
化データが、１シーンを構成する画像から、その１シー
ン全体の背景を検出し、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求め、１シーン
を構成する画像それぞれについての前景候補画像どうし
の差分を演算し、その差分値に基づいて、前景を検出す
ることにより得られた背景および前景を含むことを特徴
とする。
化データが、１シーンを構成する画像から、その１シー
ン全体の背景を検出し、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求め、１シーン
を構成する画像それぞれについての前景候補画像どうし
の差分を演算し、その差分値に基づいて、前景を検出す
ることにより得られた背景および前景を含むことを特徴
とする。
【００１２】請求項１３に記載の画像復号方法は、符号
化データが、１シーンを構成する画像から、その１シー
ン全体の背景を検出し、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求め、１シーン
を構成する画像それぞれについての前景候補画像どうし
の差分を演算し、その差分値に基づいて、前景を検出す
ることにより得られた背景および前景を含むことを特徴
とする。
化データが、１シーンを構成する画像から、その１シー
ン全体の背景を検出し、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求め、１シーン
を構成する画像それぞれについての前景候補画像どうし
の差分を演算し、その差分値に基づいて、前景を検出す
ることにより得られた背景および前景を含むことを特徴
とする。
【００１３】請求項１４に記載の画像記録装置は、１シ
ーンを構成する画像から、その１シーン全体の背景を検
出する背景検出手段と、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求める前景候補
画像算出手段と、１シーンを構成する画像それぞれにつ
いての前景候補画像どうしの差分を演算し、その差分値
に基づいて、前景を検出する前景検出手段と、背景検出
手段により検出された背景と、前景検出手段により検出
された前景とを記録する記録手段とを備えることを特徴
とする。
ーンを構成する画像から、その１シーン全体の背景を検
出する背景検出手段と、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分を演算
し、その差分値に基づき、画像における動き物体の領域
である前景の候補となる前景候補画像を求める前景候補
画像算出手段と、１シーンを構成する画像それぞれにつ
いての前景候補画像どうしの差分を演算し、その差分値
に基づいて、前景を検出する前景検出手段と、背景検出
手段により検出された背景と、前景検出手段により検出
された前景とを記録する記録手段とを備えることを特徴
とする。
【００１４】請求項１５に記載の画像記録方法は、１シ
ーンを構成する画像から、その１シーン全体の背景を検
出し、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分を演算し、その差分値に基
づき、画像における動き物体の領域である前景の候補と
なる前景候補画像を求め、１シーンを構成する画像それ
ぞれについての前景候補画像どうしの差分を演算し、そ
の差分値に基づいて、前景を検出し、背景および前景を
記録することを特徴とする。
ーンを構成する画像から、その１シーン全体の背景を検
出し、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分を演算し、その差分値に基
づき、画像における動き物体の領域である前景の候補と
なる前景候補画像を求め、１シーンを構成する画像それ
ぞれについての前景候補画像どうしの差分を演算し、そ
の差分値に基づいて、前景を検出し、背景および前景を
記録することを特徴とする。
【００１５】請求項１６に記載の画像再生装置は、記録
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
【００１６】請求項１７に記載の画像再生方法は、記録
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
【００１７】請求項１８に記載の記録媒体は、符号化デ
ータが、１シーンを構成する画像から、その１シーン全
体の背景を検出し、１シーンを構成する画像それぞれに
ついて、背景の中の対応する部分との差分を演算し、そ
の差分値に基づき、画像における動き物体の領域である
前景の候補となる前景候補画像を求め、１シーンを構成
する画像それぞれについての前景候補画像どうしの差分
を演算し、その差分値に基づいて、前景を検出すること
により得られた背景および前景を含むことを特徴とす
る。
ータが、１シーンを構成する画像から、その１シーン全
体の背景を検出し、１シーンを構成する画像それぞれに
ついて、背景の中の対応する部分との差分を演算し、そ
の差分値に基づき、画像における動き物体の領域である
前景の候補となる前景候補画像を求め、１シーンを構成
する画像それぞれについての前景候補画像どうしの差分
を演算し、その差分値に基づいて、前景を検出すること
により得られた背景および前景を含むことを特徴とす
る。
【００１８】請求項１９に記載の記録媒体は、複数画面
の画像の集まりである１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出する処理を、コンピュータに行わせるためのプログ
ラムが記録されていることを特徴とする。
の画像の集まりである１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出する処理を、コンピュータに行わせるためのプログ
ラムが記録されていることを特徴とする。
【００１９】請求項１に記載の画像抜き出し装置におい
ては、背景検出手段は、１シーンを構成する画像から、
その１シーン全体の背景を検出し、前景候補画像算出手
段は、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分である第１の差分値を演算
して、その第１の差分値に基づき、前景の候補となる前
景候補画像を求めるようになされている。前景検出手段
は、１シーンを構成する画像それぞれについての前景候
補画像どうしの差分である第２の差分値を演算し、その
第２の差分値に基づいて、前景を検出するようになされ
ている。
ては、背景検出手段は、１シーンを構成する画像から、
その１シーン全体の背景を検出し、前景候補画像算出手
段は、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分である第１の差分値を演算
して、その第１の差分値に基づき、前景の候補となる前
景候補画像を求めるようになされている。前景検出手段
は、１シーンを構成する画像それぞれについての前景候
補画像どうしの差分である第２の差分値を演算し、その
第２の差分値に基づいて、前景を検出するようになされ
ている。
【００２０】請求項９に記載の画像抜き出し方法におい
ては、１シーンを構成する画像から、その１シーン全体
の背景を検出し、１シーンを構成する画像それぞれにつ
いて、背景の中の対応する部分との差分を演算し、その
差分値に基づき、前景の候補となる前景候補画像を求
め、１シーンを構成する画像それぞれについての前景候
補画像どうしの差分を演算し、その差分値に基づいて、
前景を検出するようになされている。
ては、１シーンを構成する画像から、その１シーン全体
の背景を検出し、１シーンを構成する画像それぞれにつ
いて、背景の中の対応する部分との差分を演算し、その
差分値に基づき、前景の候補となる前景候補画像を求
め、１シーンを構成する画像それぞれについての前景候
補画像どうしの差分を演算し、その差分値に基づいて、
前景を検出するようになされている。
【００２１】請求項１０に記載の画像符号化装置におい
ては、背景検出手段は、１シーンを構成する画像から、
その１シーン全体の背景を検出し、前景候補画像算出手
段は、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分を演算して、その差分値に
基づき、画像における動き物体の領域である前景の候補
となる前景候補画像を求めるようになされている。前景
検出手段は、１シーンを構成する画像それぞれについて
の前景候補画像どうしの差分を演算して、その差分値に
基づいて、前景を検出し、出力手段は、背景検出手段に
より検出された背景と、前景検出手段により検出された
前景とを、１シーンの符号化結果として出力するように
なされている。
ては、背景検出手段は、１シーンを構成する画像から、
その１シーン全体の背景を検出し、前景候補画像算出手
段は、１シーンを構成する画像それぞれについて、背景
の中の対応する部分との差分を演算して、その差分値に
基づき、画像における動き物体の領域である前景の候補
となる前景候補画像を求めるようになされている。前景
検出手段は、１シーンを構成する画像それぞれについて
の前景候補画像どうしの差分を演算して、その差分値に
基づいて、前景を検出し、出力手段は、背景検出手段に
より検出された背景と、前景検出手段により検出された
前景とを、１シーンの符号化結果として出力するように
なされている。
【００２２】請求項１１に記載の画像符号化方法におい
ては、１シーンを構成する画像から、その１シーン全体
の背景を検出し、１シーンを構成する画像それぞれにつ
いて、背景の中の対応する部分との差分を演算し、その
差分値に基づき、画像における動き物体の領域である前
景の候補となる前景候補画像を求め、１シーンを構成す
る画像それぞれについての前景候補画像どうしの差分を
演算し、その差分値に基づいて、前景を検出し、背景お
よび前景を、１シーンの符号化結果として出力するよう
になされている。
ては、１シーンを構成する画像から、その１シーン全体
の背景を検出し、１シーンを構成する画像それぞれにつ
いて、背景の中の対応する部分との差分を演算し、その
差分値に基づき、画像における動き物体の領域である前
景の候補となる前景候補画像を求め、１シーンを構成す
る画像それぞれについての前景候補画像どうしの差分を
演算し、その差分値に基づいて、前景を検出し、背景お
よび前景を、１シーンの符号化結果として出力するよう
になされている。
【００２３】請求項１２に記載の画像復号装置において
は、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含んでい
る。
は、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含んでい
る。
【００２４】請求項１３に記載の画像復号方法において
は、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含んでい
る。
は、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含んでい
る。
【００２５】請求項１４に記載の画像記録装置において
は、背景検出手段は、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、前景候補画像算出手段
は、１シーンを構成する画像それぞれについて、背景の
中の対応する部分との差分を演算して、その差分値に基
づき、画像における動き物体の領域である前景の候補と
なる前景候補画像を求めるようになされている。前景検
出手段は、１シーンを構成する画像それぞれについての
前景候補画像どうしの差分を演算して、その差分値に基
づいて、前景を検出し、記録手段は、背景検出手段によ
り検出された背景と、前景検出手段により検出された前
景とを記録するようになされている。
は、背景検出手段は、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、前景候補画像算出手段
は、１シーンを構成する画像それぞれについて、背景の
中の対応する部分との差分を演算して、その差分値に基
づき、画像における動き物体の領域である前景の候補と
なる前景候補画像を求めるようになされている。前景検
出手段は、１シーンを構成する画像それぞれについての
前景候補画像どうしの差分を演算して、その差分値に基
づいて、前景を検出し、記録手段は、背景検出手段によ
り検出された背景と、前景検出手段により検出された前
景とを記録するようになされている。
【００２６】請求項１５に記載の画像記録方法において
は、１シーンを構成する画像から、その１シーン全体の
背景を検出し、１シーンを構成する画像それぞれについ
て、背景の中の対応する部分との差分を演算し、その差
分値に基づき、画像における動き物体の領域である前景
の候補となる前景候補画像を求め、１シーンを構成する
画像それぞれについての前景候補画像どうしの差分を演
算し、その差分値に基づいて、前景を検出し、背景およ
び前景を記録するようになされている。
は、１シーンを構成する画像から、その１シーン全体の
背景を検出し、１シーンを構成する画像それぞれについ
て、背景の中の対応する部分との差分を演算し、その差
分値に基づき、画像における動き物体の領域である前景
の候補となる前景候補画像を求め、１シーンを構成する
画像それぞれについての前景候補画像どうしの差分を演
算し、その差分値に基づいて、前景を検出し、背景およ
び前景を記録するようになされている。
【００２７】請求項１６に記載の画像再生装置において
は、記録データが、１シーンを構成する画像から、その
１シーン全体の背景を検出し、１シーンを構成する画像
それぞれについて、背景の中の対応する部分との差分を
演算し、その差分値に基づき、画像における動き物体の
領域である前景の候補となる前景候補画像を求め、１シ
ーンを構成する画像それぞれについての前景候補画像ど
うしの差分を演算し、その差分値に基づいて、前景を検
出することにより得られた背景および前景を含んでい
る。
は、記録データが、１シーンを構成する画像から、その
１シーン全体の背景を検出し、１シーンを構成する画像
それぞれについて、背景の中の対応する部分との差分を
演算し、その差分値に基づき、画像における動き物体の
領域である前景の候補となる前景候補画像を求め、１シ
ーンを構成する画像それぞれについての前景候補画像ど
うしの差分を演算し、その差分値に基づいて、前景を検
出することにより得られた背景および前景を含んでい
る。
【００２８】請求項１７に記載の画像再生方法において
は、記録データが、１シーンを構成する画像から、その
１シーン全体の背景を検出し、１シーンを構成する画像
それぞれについて、背景の中の対応する部分との差分を
演算し、その差分値に基づき、画像における動き物体の
領域である前景の候補となる前景候補画像を求め、１シ
ーンを構成する画像それぞれについての前景候補画像ど
うしの差分を演算し、その差分値に基づいて、前景を検
出することにより得られた背景および前景を含んでい
る。
は、記録データが、１シーンを構成する画像から、その
１シーン全体の背景を検出し、１シーンを構成する画像
それぞれについて、背景の中の対応する部分との差分を
演算し、その差分値に基づき、画像における動き物体の
領域である前景の候補となる前景候補画像を求め、１シ
ーンを構成する画像それぞれについての前景候補画像ど
うしの差分を演算し、その差分値に基づいて、前景を検
出することにより得られた背景および前景を含んでい
る。
【００２９】請求項１８に記載の記録媒体には、１シー
ンを構成する画像から、その１シーン全体の背景を検出
し、１シーンを構成する画像それぞれについて、背景の
中の対応する部分との差分を演算し、その差分値に基づ
き、画像における動き物体の領域である前景の候補とな
る前景候補画像を求め、１シーンを構成する画像それぞ
れについての前景候補画像どうしの差分を演算し、その
差分値に基づいて、前景を検出することにより得られた
背景および前景を含む符号化データが記録されている。
ンを構成する画像から、その１シーン全体の背景を検出
し、１シーンを構成する画像それぞれについて、背景の
中の対応する部分との差分を演算し、その差分値に基づ
き、画像における動き物体の領域である前景の候補とな
る前景候補画像を求め、１シーンを構成する画像それぞ
れについての前景候補画像どうしの差分を演算し、その
差分値に基づいて、前景を検出することにより得られた
背景および前景を含む符号化データが記録されている。
【００３０】請求項１９に記載の記録媒体には、複数画
面の画像の集まりである１シーンを構成する画像から、
その１シーン全体の背景を検出し、１シーンを構成する
画像それぞれについて、背景の中の対応する部分との差
分を演算し、その差分値に基づき、画像における動き物
体の領域である前景の候補となる前景候補画像を求め、
１シーンを構成する画像それぞれについての前景候補画
像どうしの差分を演算し、その差分値に基づいて、前景
を検出する処理を、コンピュータに行わせるためのプロ
グラムが記録されている。
面の画像の集まりである１シーンを構成する画像から、
その１シーン全体の背景を検出し、１シーンを構成する
画像それぞれについて、背景の中の対応する部分との差
分を演算し、その差分値に基づき、画像における動き物
体の領域である前景の候補となる前景候補画像を求め、
１シーンを構成する画像それぞれについての前景候補画
像どうしの差分を演算し、その差分値に基づいて、前景
を検出する処理を、コンピュータに行わせるためのプロ
グラムが記録されている。
【００３１】
【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。
【００３２】即ち、請求項１に記載の画像抜き出し装置
は、複数画面の画像の集まりである１シーンから、動き
物体の領域である前景を抜き出す画像抜き出し装置であ
って、１シーンを構成する画像から、その１シーン全体
の背景を検出する背景検出手段（例えば、図２に示す背
景抽出部１４など）と、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分である第
１の差分値を演算し、その第１の差分値に基づき、前景
の候補となる前景候補画像を求める前景候補画像算出手
段（例えば、図１３に示す前景位置近似処理部３１な
ど）と、１シーンを構成する画像それぞれについての前
景候補画像どうしの差分である第２の差分値を演算し、
その第２の差分値に基づいて、前景を検出する前景検出
手段（例えば、図１３に示す前景検出処理部３３など）
とを備えることを特徴とする。
は、複数画面の画像の集まりである１シーンから、動き
物体の領域である前景を抜き出す画像抜き出し装置であ
って、１シーンを構成する画像から、その１シーン全体
の背景を検出する背景検出手段（例えば、図２に示す背
景抽出部１４など）と、１シーンを構成する画像それぞ
れについて、背景の中の対応する部分との差分である第
１の差分値を演算し、その第１の差分値に基づき、前景
の候補となる前景候補画像を求める前景候補画像算出手
段（例えば、図１３に示す前景位置近似処理部３１な
ど）と、１シーンを構成する画像それぞれについての前
景候補画像どうしの差分である第２の差分値を演算し、
その第２の差分値に基づいて、前景を検出する前景検出
手段（例えば、図１３に示す前景検出処理部３３など）
とを備えることを特徴とする。
【００３３】請求項２に記載の画像抜き出し装置は、前
景候補画像算出手段が、所定の一直線上にある画像の画
素について、第１の差分値が所定の閾値以上となる画素
の数が所定数以上あるかどうかを判定する画素数判定手
段（例えば、図１５に示すプログラムの処理ステップＳ
２４やＳ２９など）と、画素数判定手段の判定結果に基
づいて、所定の一直線上にある画像の画素を、背景を構
成するものとして削除する画素削除手段（例えば、図１
５に示すプログラムの処理ステップＳ２５やＳ３０な
ど）とを有することを特徴とする。
景候補画像算出手段が、所定の一直線上にある画像の画
素について、第１の差分値が所定の閾値以上となる画素
の数が所定数以上あるかどうかを判定する画素数判定手
段（例えば、図１５に示すプログラムの処理ステップＳ
２４やＳ２９など）と、画素数判定手段の判定結果に基
づいて、所定の一直線上にある画像の画素を、背景を構
成するものとして削除する画素削除手段（例えば、図１
５に示すプログラムの処理ステップＳ２５やＳ３０な
ど）とを有することを特徴とする。
【００３４】請求項１０に記載の画像符号化装置は、複
数画面の画像の集まりである１シーン単位で符号化を行
う画像符号化装置であって、１シーンを構成する画像か
ら、その１シーン全体の背景を検出する背景検出手段
（例えば、図２に示す背景抽出部１４など）と、１シー
ンを構成する画像それぞれについて、背景の中の対応す
る部分との差分を演算し、その差分値に基づき、画像に
おける動き物体の領域である前景の候補となる前景候補
画像を求める前景候補画像算出手段（例えば、図１３に
示す前景位置近似処理部３１など）と、１シーンを構成
する画像それぞれについての前景候補画像どうしの差分
を演算し、その差分値に基づいて、前景を検出する前景
検出手段（例えば、図１３に示す前景検出処理部３３な
ど）と、背景検出手段により検出された背景と、前景検
出手段により検出された前景とを、１シーンの符号化結
果として出力する出力手段（例えば、図２に示す符号化
部１６など）とを備えることを特徴とする。
数画面の画像の集まりである１シーン単位で符号化を行
う画像符号化装置であって、１シーンを構成する画像か
ら、その１シーン全体の背景を検出する背景検出手段
（例えば、図２に示す背景抽出部１４など）と、１シー
ンを構成する画像それぞれについて、背景の中の対応す
る部分との差分を演算し、その差分値に基づき、画像に
おける動き物体の領域である前景の候補となる前景候補
画像を求める前景候補画像算出手段（例えば、図１３に
示す前景位置近似処理部３１など）と、１シーンを構成
する画像それぞれについての前景候補画像どうしの差分
を演算し、その差分値に基づいて、前景を検出する前景
検出手段（例えば、図１３に示す前景検出処理部３３な
ど）と、背景検出手段により検出された背景と、前景検
出手段により検出された前景とを、１シーンの符号化結
果として出力する出力手段（例えば、図２に示す符号化
部１６など）とを備えることを特徴とする。
【００３５】請求項１２に記載の画像復号装置は、複数
画面の画像の集まりである１シーン単位で符号化を行う
ことにより得られた符号化データを復号する画像復号装
置であって、符号化データを、１シーンの画像に復号す
る復号手段（例えば、図１に示すデコーダ５など）を備
え、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含むこと
を特徴とする。
画面の画像の集まりである１シーン単位で符号化を行う
ことにより得られた符号化データを復号する画像復号装
置であって、符号化データを、１シーンの画像に復号す
る復号手段（例えば、図１に示すデコーダ５など）を備
え、符号化データが、１シーンを構成する画像から、そ
の１シーン全体の背景を検出し、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
を演算し、その差分値に基づき、画像における動き物体
の領域である前景の候補となる前景候補画像を求め、１
シーンを構成する画像それぞれについての前景候補画像
どうしの差分を演算し、その差分値に基づいて、前景を
検出することにより得られた背景および前景を含むこと
を特徴とする。
【００３６】請求項１４に記載の画像記録装置は、複数
画面の画像の集まりである１シーン単位で記録を行う画
像記録装置であって、１シーンを構成する画像から、そ
の１シーン全体の背景を検出する背景検出手段（例え
ば、図２に示す背景抽出部１４など）と、１シーンを構
成する画像それぞれについて、背景の中の対応する部分
との差分を演算し、その差分値に基づき、画像における
動き物体の領域である前景の候補となる前景候補画像を
求める前景候補画像算出手段（例えば、図１３に示す前
景位置近似処理部３１など）と、１シーンを構成する画
像それぞれについての前景候補画像どうしの差分を演算
し、その差分値に基づいて、前景を検出する前景検出手
段（例えば、図１３に示す前景検出処理部３３など）
と、背景検出手段により検出された背景と、前景検出手
段により検出された前景とを記録する記録手段（例え
ば、図１に示す記録部２など）とを備えることを特徴と
する。
画面の画像の集まりである１シーン単位で記録を行う画
像記録装置であって、１シーンを構成する画像から、そ
の１シーン全体の背景を検出する背景検出手段（例え
ば、図２に示す背景抽出部１４など）と、１シーンを構
成する画像それぞれについて、背景の中の対応する部分
との差分を演算し、その差分値に基づき、画像における
動き物体の領域である前景の候補となる前景候補画像を
求める前景候補画像算出手段（例えば、図１３に示す前
景位置近似処理部３１など）と、１シーンを構成する画
像それぞれについての前景候補画像どうしの差分を演算
し、その差分値に基づいて、前景を検出する前景検出手
段（例えば、図１３に示す前景検出処理部３３など）
と、背景検出手段により検出された背景と、前景検出手
段により検出された前景とを記録する記録手段（例え
ば、図１に示す記録部２など）とを備えることを特徴と
する。
【００３７】請求項１６に記載の画像再生装置は、複数
画面の画像の集まりである１シーン単位で記録を行った
記録データを再生する画像再生装置であって、記録デー
タを、１シーンの画像に再生する再生手段（例えば、図
１に示す再生部４およびデコーダ５など）を備え、記録
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
画面の画像の集まりである１シーン単位で記録を行った
記録データを再生する画像再生装置であって、記録デー
タを、１シーンの画像に再生する再生手段（例えば、図
１に示す再生部４およびデコーダ５など）を備え、記録
データが、１シーンを構成する画像から、その１シーン
全体の背景を検出し、１シーンを構成する画像それぞれ
について、背景の中の対応する部分との差分を演算し、
その差分値に基づき、画像における動き物体の領域であ
る前景の候補となる前景候補画像を求め、１シーンを構
成する画像それぞれについての前景候補画像どうしの差
分を演算し、その差分値に基づいて、前景を検出するこ
とにより得られた背景および前景を含むことを特徴とす
る。
【００３８】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。
ものに限定することを意味するものではない。
【００３９】図１は、本発明を適用した記録再生装置の
一実施の形態の構成例を示している。
一実施の形態の構成例を示している。
【００４０】この記録再生装置においては、複数画面の
画像の集まりである１シーンを単位として、オブジェク
ト符号化が行われ、それにより得られる符号化データが
記録媒体３に記録されるようになされている。さらに、
この記録再生装置では、記録媒体３に記録された符号化
データが再生、復号され、その結果得られる復号画像
が、例えば、図示せぬディスプレイなどに供給されて表
示されるようになされている。
画像の集まりである１シーンを単位として、オブジェク
ト符号化が行われ、それにより得られる符号化データが
記録媒体３に記録されるようになされている。さらに、
この記録再生装置では、記録媒体３に記録された符号化
データが再生、復号され、その結果得られる復号画像
が、例えば、図示せぬディスプレイなどに供給されて表
示されるようになされている。
【００４１】即ち、ハードディスク６には、オブジェク
ト符号化対象のディジタル画像（動画像）が記録されて
いる。なお、ここでは、説明を簡単にするために、例え
ば、ビデオカメラなどで撮影された画像について、シー
ンチェンジの検出が行われ、そのようなシーンチェンジ
ごとに区切られた、一連の複数画面の画像の集まりであ
る１シーン単位で、画像が、ハードディスク６に記録さ
れており、ハードディスク６から記録再生装置に対して
は、画像が、１シーン単位で供給されるものとする。ま
た、ハードディスク６に記憶された画像は、例えば、背
景としてのある風景の中を、動き物体である前景として
のトラックなどが走行しているような、いわば剛体動き
をする背景および１の前景でなるものであるとする。
ト符号化対象のディジタル画像（動画像）が記録されて
いる。なお、ここでは、説明を簡単にするために、例え
ば、ビデオカメラなどで撮影された画像について、シー
ンチェンジの検出が行われ、そのようなシーンチェンジ
ごとに区切られた、一連の複数画面の画像の集まりであ
る１シーン単位で、画像が、ハードディスク６に記録さ
れており、ハードディスク６から記録再生装置に対して
は、画像が、１シーン単位で供給されるものとする。ま
た、ハードディスク６に記憶された画像は、例えば、背
景としてのある風景の中を、動き物体である前景として
のトラックなどが走行しているような、いわば剛体動き
をする背景および１の前景でなるものであるとする。
【００４２】記録再生装置に対して、ハードディスク６
から、１シーン分の画像が供給されると、その画像は、
エンコーダ１においてオブジェクト符号化され、その結
果得られる符号化データは、記録部２に供給される。記
録部２では、エンコーダ１からの符号化データが、記録
媒体３に記録される。なお、記録媒体３としては、光磁
気ディスクや、磁気ディスク、相変化ディスク、磁気テ
ープなどの他、インターネットや、衛星回線、地上回
線、公衆網、ＣＡＴＶ網などの伝送媒体も含まれる。
から、１シーン分の画像が供給されると、その画像は、
エンコーダ１においてオブジェクト符号化され、その結
果得られる符号化データは、記録部２に供給される。記
録部２では、エンコーダ１からの符号化データが、記録
媒体３に記録される。なお、記録媒体３としては、光磁
気ディスクや、磁気ディスク、相変化ディスク、磁気テ
ープなどの他、インターネットや、衛星回線、地上回
線、公衆網、ＣＡＴＶ網などの伝送媒体も含まれる。
【００４３】記録媒体３に記録された符号化データは、
再生部４において再生され、デコーダ５に供給される。
デコーダ５では、再生部４からの符号化データが復号さ
れ、その結果得られる復号画像が出力される。
再生部４において再生され、デコーダ５に供給される。
デコーダ５では、再生部４からの符号化データが復号さ
れ、その結果得られる復号画像が出力される。
【００４４】次に、図２は、図１のエンコーダ１の構成
例を示している。
例を示している。
【００４５】ハードディスク６からの１シーン分の画像
データは、フィールド／フレーム変換部１１に供給され
るようになされている。フィールド／フレーム変換部１
１では、ハードディスク６からの画像データが、フィー
ルド単位のものからフレーム単位のものに変換され、フ
レームメモリ部１２に供給される。即ち、ハードディス
ク６に記憶された画像データは、ここでは、例えば、Ｎ
ＴＳＣ方式などのインターレース方式のテレビジョン信
号になっており、フィールド／フレーム変換部１１で
は、そのインターレース方式の信号が、ノンインターレ
ース方式の信号（いわゆるプログレッシブな画像デー
タ）に変換され、フレームメモリ部１２に供給される。
なお、ハードディスク６に記憶された画像データが、プ
ログレッシブなものである場合には、フィールド／フレ
ーム変換部１１は必要なく、ハードディスク６からの画
像データは、そのままフレームメモリ部１２に供給され
る。
データは、フィールド／フレーム変換部１１に供給され
るようになされている。フィールド／フレーム変換部１
１では、ハードディスク６からの画像データが、フィー
ルド単位のものからフレーム単位のものに変換され、フ
レームメモリ部１２に供給される。即ち、ハードディス
ク６に記憶された画像データは、ここでは、例えば、Ｎ
ＴＳＣ方式などのインターレース方式のテレビジョン信
号になっており、フィールド／フレーム変換部１１で
は、そのインターレース方式の信号が、ノンインターレ
ース方式の信号（いわゆるプログレッシブな画像デー
タ）に変換され、フレームメモリ部１２に供給される。
なお、ハードディスク６に記憶された画像データが、プ
ログレッシブなものである場合には、フィールド／フレ
ーム変換部１１は必要なく、ハードディスク６からの画
像データは、そのままフレームメモリ部１２に供給され
る。
【００４６】フレームメモリ部１２では、ハードディス
ク６から、フィールド／フレーム変換部１１を介して供
給される１シーン分のフレーム単位の画像データが記憶
される。フレームメモリ部１２に、１シーン分の画像デ
ータが記憶されると、動きベクトル検出部１３では、そ
の画像データの動きベクトルが検出される。
ク６から、フィールド／フレーム変換部１１を介して供
給される１シーン分のフレーム単位の画像データが記憶
される。フレームメモリ部１２に、１シーン分の画像デ
ータが記憶されると、動きベクトル検出部１３では、そ
の画像データの動きベクトルが検出される。
【００４７】即ち、フレームメモリ部１２に記憶された
１シーン分の画像データを、その先頭のフレームから、
第１フレーム、第２フレーム、・・・、第Ｎフレームと
すると（従って、ここでは、フレームメモリ部１２に記
憶された１シーン分の画像データは、第１フレーム乃至
第ＮフレームのＮフレームでなる）、動きベクトル検出
部１３は、例えば、第１フレームを基準（いわゆる参照
画像）として、第２乃至第Ｎフレームそれぞれにおける
動きベクトルを、８×８（横×縦）画素のブロック単位
で検出する。さらに、動きベクトル検出部１３では、各
フレームの動きベクトルが、１画素より細かい、例え
ば、１／４画素以下の精度で検出される。
１シーン分の画像データを、その先頭のフレームから、
第１フレーム、第２フレーム、・・・、第Ｎフレームと
すると（従って、ここでは、フレームメモリ部１２に記
憶された１シーン分の画像データは、第１フレーム乃至
第ＮフレームのＮフレームでなる）、動きベクトル検出
部１３は、例えば、第１フレームを基準（いわゆる参照
画像）として、第２乃至第Ｎフレームそれぞれにおける
動きベクトルを、８×８（横×縦）画素のブロック単位
で検出する。さらに、動きベクトル検出部１３では、各
フレームの動きベクトルが、１画素より細かい、例え
ば、１／４画素以下の精度で検出される。
【００４８】ここで、画素より細かい単位での動きベク
トルの検出は、例えば、次のようにして行うことができ
る。即ち、例えば、動きベクトルを検出しようとする注
目フレームのブロック（以下、適宜、処理対象ブロック
という）と同一の大きさで同一の形のブロックを、ここ
では、第１フレームの所定の位置に考え、まず最初に、
そのブロック（以下、適宜、参照ブロックという）と処
理対象ブロックとの、対応する位置にある画素の画素値
どうしの差分の絶対値和や２乗和など（以下、適宜、誤
差という）を求める。
トルの検出は、例えば、次のようにして行うことができ
る。即ち、例えば、動きベクトルを検出しようとする注
目フレームのブロック（以下、適宜、処理対象ブロック
という）と同一の大きさで同一の形のブロックを、ここ
では、第１フレームの所定の位置に考え、まず最初に、
そのブロック（以下、適宜、参照ブロックという）と処
理対象ブロックとの、対応する位置にある画素の画素値
どうしの差分の絶対値和や２乗和など（以下、適宜、誤
差という）を求める。
【００４９】いま、参照ブロックの位置からの、処理対
象ブロックへのベクトルが（ｘ，ｙ）のときに得られる
誤差をＥ（ｘ，ｙ）と表し、画素単位で動きベクトルを
検出したときに、誤差Ｅ（ｘ，ｙ）を最小にする動きベ
クトルとして、（ｘ0，ｙ0）が得られたとする。
象ブロックへのベクトルが（ｘ，ｙ）のときに得られる
誤差をＥ（ｘ，ｙ）と表し、画素単位で動きベクトルを
検出したときに、誤差Ｅ（ｘ，ｙ）を最小にする動きベ
クトルとして、（ｘ0，ｙ0）が得られたとする。
【００５０】この場合、Ｅ（ｘ0−１，ｙ0）＜Ｅ（ｘ0
＋１，ｙ0）が成り立つならば、図３（Ａ）に示すよう
に、Ｅ（ｘ0−２，ｙ0），Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ
0，ｙ0），Ｅ（ｘ0＋１，ｙ0）の４点をスプライン補間
して得られる曲線を求め、また、Ｅ（ｘ0−１，ｙ0）＜
Ｅ（ｘ0＋１，ｙ0）が成り立たないならば、図３（Ｂ）
に示すように、Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），
Ｅ（ｘ0＋１，ｙ0），Ｅ（ｘ0＋２，ｙ0）の４点をスプ
ライン補間して得られる曲線を求める。
＋１，ｙ0）が成り立つならば、図３（Ａ）に示すよう
に、Ｅ（ｘ0−２，ｙ0），Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ
0，ｙ0），Ｅ（ｘ0＋１，ｙ0）の４点をスプライン補間
して得られる曲線を求め、また、Ｅ（ｘ0−１，ｙ0）＜
Ｅ（ｘ0＋１，ｙ0）が成り立たないならば、図３（Ｂ）
に示すように、Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），
Ｅ（ｘ0＋１，ｙ0），Ｅ（ｘ0＋２，ｙ0）の４点をスプ
ライン補間して得られる曲線を求める。
【００５１】さらに、その曲線から、誤差Ｅ（ｘ，
ｙ0）を最小にするｘ（以下、適宜、ｘm inという）を求
め、同様にして、誤差Ｅ（ｘ0，ｙ）を最小にするｙ
（以下、適宜、ｙminという）を求める。そして、その
結果得られるｘminおよびｙminで表されるベクトル（ｘ
min，ｙmin）が、画素より細かい単位での動きベクトル
となる。
ｙ0）を最小にするｘ（以下、適宜、ｘm inという）を求
め、同様にして、誤差Ｅ（ｘ0，ｙ）を最小にするｙ
（以下、適宜、ｙminという）を求める。そして、その
結果得られるｘminおよびｙminで表されるベクトル（ｘ
min，ｙmin）が、画素より細かい単位での動きベクトル
となる。
【００５２】動きベクトル検出部１３は、フレームメモ
リ部１２に記憶された画像の動きベクトルを検出した
後、その動きベクトルを、背景抽出部１４および前景抽
出部１５に供給するとともに、その動きベクトルに基づ
いて、フレームメモリ部１２に記憶された画像における
フィールド間のずれの補正を行う。即ち、ハードディス
ク６に記憶された画像データが、例えば、上述したよう
に、ＮＴＳＣ方式のものである場合には、あるフレーム
を構成する２つのフィールドの間には、約１／６０秒に
相当する画像のずれがある。動きベクトル検出部１３
は、このずれを、動きベクトルにしたがって補正する。
リ部１２に記憶された画像の動きベクトルを検出した
後、その動きベクトルを、背景抽出部１４および前景抽
出部１５に供給するとともに、その動きベクトルに基づ
いて、フレームメモリ部１２に記憶された画像における
フィールド間のずれの補正を行う。即ち、ハードディス
ク６に記憶された画像データが、例えば、上述したよう
に、ＮＴＳＣ方式のものである場合には、あるフレーム
を構成する２つのフィールドの間には、約１／６０秒に
相当する画像のずれがある。動きベクトル検出部１３
は、このずれを、動きベクトルにしたがって補正する。
【００５３】動きベクトル検出部１３において、フレー
ムメモリ部１２に記憶された画像におけるフィールド間
のずれの補正が行われると、背景抽出部１４では、フレ
ームメモリ部１２に記憶された１シーン分の画像を構成
する各フレームが適宜読み出され、その１シーン全体の
背景が、動きベクトル検出部１３からの動きベクトルに
基づいて検出（抽出）される。即ち、フレームメモリ部
１２に記憶された１シーン分の画像が、例えば、ある風
景の中を走行するトラックを、ビデオカメラを右から左
にパンニングしながら撮影したものであるとすると、１
シーン分の画像全体の背景は、横長のものになるが、こ
の場合、背景抽出部１４では、そのような横長の背景が
検出される。さらに、背景抽出部１４では、その横長の
背景における、各フレームの位置に関する位置情報も検
出され、その背景の画像と各フレームの位置情報とが、
背景情報として、前景抽出部１５および符号化部１６に
供給される。
ムメモリ部１２に記憶された画像におけるフィールド間
のずれの補正が行われると、背景抽出部１４では、フレ
ームメモリ部１２に記憶された１シーン分の画像を構成
する各フレームが適宜読み出され、その１シーン全体の
背景が、動きベクトル検出部１３からの動きベクトルに
基づいて検出（抽出）される。即ち、フレームメモリ部
１２に記憶された１シーン分の画像が、例えば、ある風
景の中を走行するトラックを、ビデオカメラを右から左
にパンニングしながら撮影したものであるとすると、１
シーン分の画像全体の背景は、横長のものになるが、こ
の場合、背景抽出部１４では、そのような横長の背景が
検出される。さらに、背景抽出部１４では、その横長の
背景における、各フレームの位置に関する位置情報も検
出され、その背景の画像と各フレームの位置情報とが、
背景情報として、前景抽出部１５および符号化部１６に
供給される。
【００５４】前景抽出部１５は、動きベクトル検出部１
３から動きベクトルを受信するとともに、背景抽出部１
４から背景情報を受信すると、フレームメモリ部１２に
記憶された１シーン分の画像を構成する各フレームを適
宜読み出し、その各フレームの画像、並びに動きベクト
ルおよび背景情報を用いて、前景を検出（抽出）する。
さらに、前景抽出部１５は、各フレームにおける前景に
ついての動きベクトル（前景動きベクトル）を検出し、
この前景動きベクトルと前景の画像とを、前景情報とし
て符号化部１６に供給する。
３から動きベクトルを受信するとともに、背景抽出部１
４から背景情報を受信すると、フレームメモリ部１２に
記憶された１シーン分の画像を構成する各フレームを適
宜読み出し、その各フレームの画像、並びに動きベクト
ルおよび背景情報を用いて、前景を検出（抽出）する。
さらに、前景抽出部１５は、各フレームにおける前景に
ついての動きベクトル（前景動きベクトル）を検出し、
この前景動きベクトルと前景の画像とを、前景情報とし
て符号化部１６に供給する。
【００５５】符号化部１６は、背景抽出部１４からの背
景情報と、前景抽出部１５からの前景情報とを、例えば
多重化することにより、符号化データとし、記録部２に
供給する。
景情報と、前景抽出部１５からの前景情報とを、例えば
多重化することにより、符号化データとし、記録部２に
供給する。
【００５６】次に、図４は、図２の背景抽出部１４の構
成例を示している。
成例を示している。
【００５７】読み書き制御部２１は、フレームメモリ部
１２に記憶された画像の読み出しを制御するとともに、
背景メモリ２２または位置情報メモリ２３それぞれへの
背景または位置情報の書き込みを制御するようになされ
ている。即ち、読み書き制御部２１は、フレームメモリ
部１２に記憶された画像を、第１フレームから順次読み
出し、各フレームの画像における背景を、動きベクトル
検出部１３から供給される動きベクトルに基づいて求
め、背景メモリ２２に書き込むようになされている。さ
らに、読み書き制御部２１は、背景メモリ２２に記憶さ
れた背景における、各フレームの位置に関する位置情報
を検出し、位置情報メモリ２３に書き込むようにもなさ
れている。
１２に記憶された画像の読み出しを制御するとともに、
背景メモリ２２または位置情報メモリ２３それぞれへの
背景または位置情報の書き込みを制御するようになされ
ている。即ち、読み書き制御部２１は、フレームメモリ
部１２に記憶された画像を、第１フレームから順次読み
出し、各フレームの画像における背景を、動きベクトル
検出部１３から供給される動きベクトルに基づいて求
め、背景メモリ２２に書き込むようになされている。さ
らに、読み書き制御部２１は、背景メモリ２２に記憶さ
れた背景における、各フレームの位置に関する位置情報
を検出し、位置情報メモリ２３に書き込むようにもなさ
れている。
【００５８】背景メモリ２２は、読み書き制御部２１の
制御にしたがい、各フレームの背景を記憶することによ
り、１シーン全体の背景（以下、適宜、全体背景とい
う）を構成し、また、その全体背景を、マルチプレクサ
（ＭＵＸ）２４に供給するようになされている。位置情
報メモリ２３は、読み書き制御部２１の制御にしたが
い、全体背景における各フレームの位置情報を記憶し、
また、記憶した位置情報を、マルチプレクサ２４に供給
するようになされている。マルチプレクサ２４は、背景
メモリ２２からの全体背景と、位置情報メモリ２３から
の各フレームの位置情報とを多重化し、背景情報とし
て、前景抽出部１５および符号化部１６に供給するよう
になされている。
制御にしたがい、各フレームの背景を記憶することによ
り、１シーン全体の背景（以下、適宜、全体背景とい
う）を構成し、また、その全体背景を、マルチプレクサ
（ＭＵＸ）２４に供給するようになされている。位置情
報メモリ２３は、読み書き制御部２１の制御にしたが
い、全体背景における各フレームの位置情報を記憶し、
また、記憶した位置情報を、マルチプレクサ２４に供給
するようになされている。マルチプレクサ２４は、背景
メモリ２２からの全体背景と、位置情報メモリ２３から
の各フレームの位置情報とを多重化し、背景情報とし
て、前景抽出部１５および符号化部１６に供給するよう
になされている。
【００５９】図５は、図４の背景メモリ２２の構成例を
示している。
示している。
【００６０】背景メモリ２２は、例えば、水平方向（水
平走査線の方向）にはＰH’個の画素（画素値）を、垂
直方向にはＰV’個の画素（画素値）を、それぞれ記憶
することができるようになされている。なお、１フレー
ムの画像を構成する水平方向または垂直方向の画素数
を、それぞれＰHまたはＰVとすると、ＰH’＞＞ＰH，Ｐ
V’＞＞ＰVとなっており、従って、背景メモリ２２は、
水平方向および垂直方向とも、１フレームを構成する画
素数より充分多い画素数でなる画像を記憶することがで
きるようになされている。
平走査線の方向）にはＰH’個の画素（画素値）を、垂
直方向にはＰV’個の画素（画素値）を、それぞれ記憶
することができるようになされている。なお、１フレー
ムの画像を構成する水平方向または垂直方向の画素数
を、それぞれＰHまたはＰVとすると、ＰH’＞＞ＰH，Ｐ
V’＞＞ＰVとなっており、従って、背景メモリ２２は、
水平方向および垂直方向とも、１フレームを構成する画
素数より充分多い画素数でなる画像を記憶することがで
きるようになされている。
【００６１】ここで、背景メモリ２２のアドレスは、そ
の最も左上の記憶領域を原点（０，０）とし、水平また
は垂直方向をそれぞれｘまたはｙ軸としてシーケンシャ
ルに付されており、従って、左からｉ＋１番目で、上か
らｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となってい
る。
の最も左上の記憶領域を原点（０，０）とし、水平また
は垂直方向をそれぞれｘまたはｙ軸としてシーケンシャ
ルに付されており、従って、左からｉ＋１番目で、上か
らｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となってい
る。
【００６２】次に、図６のフローチャートを参照して、
図４の背景抽出部１４において行われる背景（全体背
景）を抽出する処理（背景抽出処理）について説明す
る。
図４の背景抽出部１４において行われる背景（全体背
景）を抽出する処理（背景抽出処理）について説明す
る。
【００６３】背景抽出部１４では、まず最初に、ステッ
プＳ１において初期化処理が行われる。即ち、読み書き
制御部２１は、背景メモリ２２および位置情報メモリ２
３の記憶値を、所定の初期値にクリアする。さらに、読
み書き制御部２１は、背景メモリ２２のアドレスポイン
タを、フレームメモリ部１２に記憶された１シーン分の
画像の動きベクトルに基づいて、所定のアドレスにセッ
トする。
プＳ１において初期化処理が行われる。即ち、読み書き
制御部２１は、背景メモリ２２および位置情報メモリ２
３の記憶値を、所定の初期値にクリアする。さらに、読
み書き制御部２１は、背景メモリ２２のアドレスポイン
タを、フレームメモリ部１２に記憶された１シーン分の
画像の動きベクトルに基づいて、所定のアドレスにセッ
トする。
【００６４】ここで、背景メモリ２２には、上述したよ
うに、各フレームの背景が記憶されることにより、１シ
ーン全体の背景（全体背景）が構成される。従って、１
シーン分の画像が、例えば、ビデオカメラを、右から左
にパンニングして撮影されたものである場合には、１シ
ーン分の画像、即ち、第１乃至第Ｎフレームの背景で構
成される全体背景は、その第１乃至第Ｎフレームを、そ
の位置を右から左に徐々にずらして並べて形成される、
図７に点線で示すような横長のものになる。そして、こ
の場合、例えば、第１フレームの背景を、背景メモリ２
２の左端の方に記憶させたのでは、全体背景を記憶する
ことが困難となる。そこで、初期化処理において、読み
書き制御部２１は、背景メモリ２２に第１フレームの画
像を記憶させるときに、例えば、そのフレームの最も左
上の画素が記憶されるアドレスを指すポインタであるア
ドレスポインタを、全体背景をすべて記憶させることが
できるようなアドレスにセットするようになされてい
る。従って、例えば、全体背景が、図７に点線で示すよ
うな横長のものである場合には、初期化処理において、
アドレスポインタは、例えば、図８に示すように、背景
メモリ２２の右端の方のアドレスにセットされる。な
お、背景メモリ２２が、いわゆるリングバッファとして
構成されている場合には、初期化処理において、アドレ
スポインタは、どのアドレスに設定しても問題はない。
うに、各フレームの背景が記憶されることにより、１シ
ーン全体の背景（全体背景）が構成される。従って、１
シーン分の画像が、例えば、ビデオカメラを、右から左
にパンニングして撮影されたものである場合には、１シ
ーン分の画像、即ち、第１乃至第Ｎフレームの背景で構
成される全体背景は、その第１乃至第Ｎフレームを、そ
の位置を右から左に徐々にずらして並べて形成される、
図７に点線で示すような横長のものになる。そして、こ
の場合、例えば、第１フレームの背景を、背景メモリ２
２の左端の方に記憶させたのでは、全体背景を記憶する
ことが困難となる。そこで、初期化処理において、読み
書き制御部２１は、背景メモリ２２に第１フレームの画
像を記憶させるときに、例えば、そのフレームの最も左
上の画素が記憶されるアドレスを指すポインタであるア
ドレスポインタを、全体背景をすべて記憶させることが
できるようなアドレスにセットするようになされてい
る。従って、例えば、全体背景が、図７に点線で示すよ
うな横長のものである場合には、初期化処理において、
アドレスポインタは、例えば、図８に示すように、背景
メモリ２２の右端の方のアドレスにセットされる。な
お、背景メモリ２２が、いわゆるリングバッファとして
構成されている場合には、初期化処理において、アドレ
スポインタは、どのアドレスに設定しても問題はない。
【００６５】初期化処理が終了すると、ステップＳ２に
進み、読み書き制御部２１は、背景についての動きベク
トルの基準値ＶBを検出する。即ち、読み書き制御部２
１は、例えば、第２フレームの各ブロックごとの動きベ
クトルに基づき、第１フレームから、背景と推定される
領域を検出する。そして、読み書き制御部２１は、その
領域におけるブロックの動きベクトルの平均値（小数点
以下は、例えば切り捨てる）を、背景についての動きベ
クトルの基準値ＶBとする。
進み、読み書き制御部２１は、背景についての動きベク
トルの基準値ＶBを検出する。即ち、読み書き制御部２
１は、例えば、第２フレームの各ブロックごとの動きベ
クトルに基づき、第１フレームから、背景と推定される
領域を検出する。そして、読み書き制御部２１は、その
領域におけるブロックの動きベクトルの平均値（小数点
以下は、例えば切り捨てる）を、背景についての動きベ
クトルの基準値ＶBとする。
【００６６】その後、読み書き制御部２１は、ステップ
Ｓ３において、第１フレームから検出した背景（と推定
される領域）を構成する画素（以下、適宜、背景画素と
いう）を、背景メモリ２２の、対応するアドレスに書き
込む。即ち、読み書き制御部２１は、第１フレームの背
景画素を、図８に示したアドレスポインタを最も左上の
頂点とするＰH×ＰV画素の領域の対応するアドレスに書
き込む。そして、ステップＳ４に進み、読み書き制御部
２１は、例えば、いまのアドレスポインタの位置（アド
レスポインタが指している、背景メモリ２２のアドレ
ス）を、第１フレームの位置情報として、位置情報メモ
リ２３に書き込み、ステップＳ５に進む。
Ｓ３において、第１フレームから検出した背景（と推定
される領域）を構成する画素（以下、適宜、背景画素と
いう）を、背景メモリ２２の、対応するアドレスに書き
込む。即ち、読み書き制御部２１は、第１フレームの背
景画素を、図８に示したアドレスポインタを最も左上の
頂点とするＰH×ＰV画素の領域の対応するアドレスに書
き込む。そして、ステップＳ４に進み、読み書き制御部
２１は、例えば、いまのアドレスポインタの位置（アド
レスポインタが指している、背景メモリ２２のアドレ
ス）を、第１フレームの位置情報として、位置情報メモ
リ２３に書き込み、ステップＳ５に進む。
【００６７】ステップＳ５では、読み書き制御部２１に
おいて、フレーム数をカウントするための変数ｎに、初
期値としての２がセットされ、ステップＳ６に進む。ス
テップＳ６では、読み書き制御部２１において、各フレ
ームを構成する８×８のブロックをカウントするための
変数ｂに、初期値としての、例えば１がセットされ、ス
テップＳ７に進む。ここで、各フレームにおける最も左
上のブロックを、第１ブロックとし、以下、いわゆるラ
スタスキャン順に、各ブロックを、第２ブロック、第３
ブロック、・・・とするものとする。なお、ここでは、
１フレームはＢ個のブロック、即ち、第１乃至第Ｂブロ
ックで構成されるものとする。
おいて、フレーム数をカウントするための変数ｎに、初
期値としての２がセットされ、ステップＳ６に進む。ス
テップＳ６では、読み書き制御部２１において、各フレ
ームを構成する８×８のブロックをカウントするための
変数ｂに、初期値としての、例えば１がセットされ、ス
テップＳ７に進む。ここで、各フレームにおける最も左
上のブロックを、第１ブロックとし、以下、いわゆるラ
スタスキャン順に、各ブロックを、第２ブロック、第３
ブロック、・・・とするものとする。なお、ここでは、
１フレームはＢ個のブロック、即ち、第１乃至第Ｂブロ
ックで構成されるものとする。
【００６８】ステップＳ７では、読み書き制御部２１に
おいて、動きベクトル検出部１３から供給された、第ｎ
フレームにおける第ｂブロックの動きベクトルＶbの信
頼度Ｃbが閾値εC以上であり（より大きく）、動きベク
トルＶbと背景についての動きベクトルの基準値ＶBとの
差分の絶対値（ノルム）が閾値εV以下（未満）であ
り、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数
値（小数点以下が０）であるかどうかが判定される。
おいて、動きベクトル検出部１３から供給された、第ｎ
フレームにおける第ｂブロックの動きベクトルＶbの信
頼度Ｃbが閾値εC以上であり（より大きく）、動きベク
トルＶbと背景についての動きベクトルの基準値ＶBとの
差分の絶対値（ノルム）が閾値εV以下（未満）であ
り、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数
値（小数点以下が０）であるかどうかが判定される。
【００６９】ここで、動きベクトルＶbの信頼度Ｃbは、
その動きベクトルＶbに対応する第ｂブロックが、背景
の領域であることの信頼性を表すもので、ここでは、例
えば、次式で定義されている。
その動きベクトルＶbに対応する第ｂブロックが、背景
の領域であることの信頼性を表すもので、ここでは、例
えば、次式で定義されている。
【００７０】
【数１】 ・・・（１） 但し、式（１）において、ｍｓｅi,jは、次式で表され
る。
る。
【数２】 ・・・（２）
【００７１】ここで、式（２）において、ｓ（ｘ，ｙ）
は、第ｂブロックの最も左上から、右方向にｘ番目で、
下方向にｙ番目の位置にある画素（画素値）を表す。ま
た、式（２）において、ｓ’（ｘ＋ｉ，ｙ＋ｊ）は、第
ｂブロックの動きベクトルＶbを検出する際の基準とな
る画像（参照画像）、即ち、ここでは、第１フレームに
おける、第ｂブロックに対応する８×８画素のブロック
から、水平方向または垂直方向に、それぞれｉまたはｊ
画素だけ移動した位置におけるブロックの最も左上か
ら、右方向にｘ番目で、下方向にｙ番目の位置にある画
素を表す。さらに、式（２）において、ｘまたはｙにつ
いてのサメーション（Σ）は、ｘまたはｙを、１ブロッ
クを構成する水平方向または垂直方向の画素数にそれぞ
れ対応する値、即ち、ここでは、いずれも１乃至８に変
えてのサメーションを表す。従って、式（２）で表され
るｍｓｅi,jは、ｉ，ｊを、動きベクトルＶbのｘ，ｙ成
分それぞれとして、その動きベクトルＶbにしたがっ
て、参照画像（ここでは、上述したように、第１フレー
ム）を動き補償して得られる、いわば予測画像の予測誤
差に相当する。
は、第ｂブロックの最も左上から、右方向にｘ番目で、
下方向にｙ番目の位置にある画素（画素値）を表す。ま
た、式（２）において、ｓ’（ｘ＋ｉ，ｙ＋ｊ）は、第
ｂブロックの動きベクトルＶbを検出する際の基準とな
る画像（参照画像）、即ち、ここでは、第１フレームに
おける、第ｂブロックに対応する８×８画素のブロック
から、水平方向または垂直方向に、それぞれｉまたはｊ
画素だけ移動した位置におけるブロックの最も左上か
ら、右方向にｘ番目で、下方向にｙ番目の位置にある画
素を表す。さらに、式（２）において、ｘまたはｙにつ
いてのサメーション（Σ）は、ｘまたはｙを、１ブロッ
クを構成する水平方向または垂直方向の画素数にそれぞ
れ対応する値、即ち、ここでは、いずれも１乃至８に変
えてのサメーションを表す。従って、式（２）で表され
るｍｓｅi,jは、ｉ，ｊを、動きベクトルＶbのｘ，ｙ成
分それぞれとして、その動きベクトルＶbにしたがっ
て、参照画像（ここでは、上述したように、第１フレー
ム）を動き補償して得られる、いわば予測画像の予測誤
差に相当する。
【００７２】なお、式（１）において、ｉまたはｊにつ
いてのサメーションは、ｉまたはｊを、水平方向または
垂直方向の動き検出の範囲内で変えてのサメーションを
それぞれ表す。また、水平方向または垂直方向の動き検
出の範囲（ｉまたはｊがとり得る値）を、例えば、−Ｘ
乃至Ｘまたは−Ｙ乃至Ｙとそれぞれすると（但し、Ｘ，
Ｙは、正の整数）、式（１）において、ＩまたはＪは、
２Ｘ＋１または２Ｙ＋１でそれぞれ表される値である。
いてのサメーションは、ｉまたはｊを、水平方向または
垂直方向の動き検出の範囲内で変えてのサメーションを
それぞれ表す。また、水平方向または垂直方向の動き検
出の範囲（ｉまたはｊがとり得る値）を、例えば、−Ｘ
乃至Ｘまたは−Ｙ乃至Ｙとそれぞれすると（但し、Ｘ，
Ｙは、正の整数）、式（１）において、ＩまたはＪは、
２Ｘ＋１または２Ｙ＋１でそれぞれ表される値である。
【００７３】従って、式（１）で表される信頼度Ｃ
bは、式（２）におけるｉ，ｊを変えて予測誤差を求め
た場合に、最小の予測誤差が、その他の予測誤差と比較
して相対的に小さいときに大きくなる。
bは、式（２）におけるｉ，ｊを変えて予測誤差を求め
た場合に、最小の予測誤差が、その他の予測誤差と比較
して相対的に小さいときに大きくなる。
【００７４】ステップＳ７において、第ｎフレームにお
ける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値
εC以上であり、動きベクトルＶbと背景についての動き
ベクトルの基準値ＶBとの差分の絶対値が閾値εV以下で
あり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整
数値である場合、ステップＳ８に進み、読み書き制御部
２１は、その第ｂブロックを構成する画素を、全体背景
を構成する画素として、背景メモリ２２の対応するアド
レスに書き込み、ステップＳ９に進む。
ける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値
εC以上であり、動きベクトルＶbと背景についての動き
ベクトルの基準値ＶBとの差分の絶対値が閾値εV以下で
あり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整
数値である場合、ステップＳ８に進み、読み書き制御部
２１は、その第ｂブロックを構成する画素を、全体背景
を構成する画素として、背景メモリ２２の対応するアド
レスに書き込み、ステップＳ９に進む。
【００７５】即ち、読み書き制御部２１は、第ｂブロッ
クを、第１フレームの対応する位置から、動きベクトル
Ｖbに対応する分だけ移動した位置（背景メモリ２２の
アドレス）に書き込む。なお、第ｂブロックを構成する
ある画素を書き込もうとする背景メモリ２２のアドレス
に、既に、全体背景としての画素が記憶されている場合
には、読み書き制御部２１において、例えば、その既に
記憶されている画素が、背景メモリ２２から読み出され
て、その読み出された画素との平均値が求められ、これ
が、新たに全体背景を構成する画素として、背景メモリ
２２に書き込まれる。なお、この場合、平均値ではな
く、重み付け加算値（例えば、既に記憶されている画素
を８として、第ｂブロックの画素を２とする）を書き込
んだり、また、第ｂブロックの画素を、単に、上書きす
ることも可能である。
クを、第１フレームの対応する位置から、動きベクトル
Ｖbに対応する分だけ移動した位置（背景メモリ２２の
アドレス）に書き込む。なお、第ｂブロックを構成する
ある画素を書き込もうとする背景メモリ２２のアドレス
に、既に、全体背景としての画素が記憶されている場合
には、読み書き制御部２１において、例えば、その既に
記憶されている画素が、背景メモリ２２から読み出され
て、その読み出された画素との平均値が求められ、これ
が、新たに全体背景を構成する画素として、背景メモリ
２２に書き込まれる。なお、この場合、平均値ではな
く、重み付け加算値（例えば、既に記憶されている画素
を８として、第ｂブロックの画素を２とする）を書き込
んだり、また、第ｂブロックの画素を、単に、上書きす
ることも可能である。
【００７６】一方、ステップＳ７において、第ｎフレー
ムにおける第ｂブロックの動きベクトルＶbの信頼度Ｃb
が閾値εC以上でないか、動きベクトルＶbと背景につい
ての動きベクトルの基準値ＶBとの差分の絶対値が閾値
εV以下でないか、または動きベクトルＶbのｘ，ｙ成分
の少なくとも一方が整数値でない場合、ステップＳ８を
スキップして、ステップＳ９に進み、読み書き制御部２
１において、ブロック数をカウントする変数ｂが、１フ
レームを構成するブロック数Ｂに等しいかどうかが判定
される。ステップＳ９において、変数ｂがＢに等しくな
いと判定された場合、ステップＳ１０に進み、読み書き
制御部２１において、変数ｂが１だけインクリメントさ
れ、ステップＳ７に戻り、同様の処理が繰り返される。
ムにおける第ｂブロックの動きベクトルＶbの信頼度Ｃb
が閾値εC以上でないか、動きベクトルＶbと背景につい
ての動きベクトルの基準値ＶBとの差分の絶対値が閾値
εV以下でないか、または動きベクトルＶbのｘ，ｙ成分
の少なくとも一方が整数値でない場合、ステップＳ８を
スキップして、ステップＳ９に進み、読み書き制御部２
１において、ブロック数をカウントする変数ｂが、１フ
レームを構成するブロック数Ｂに等しいかどうかが判定
される。ステップＳ９において、変数ｂがＢに等しくな
いと判定された場合、ステップＳ１０に進み、読み書き
制御部２１において、変数ｂが１だけインクリメントさ
れ、ステップＳ７に戻り、同様の処理が繰り返される。
【００７７】また、ステップＳ９において、変数ｂがＢ
に等しいと判定された場合、ステップＳ１１に進み、読
み書き制御部２１において、第ｎフレームの位置情報が
求められ、位置情報メモリ２３に書き込まれる。即ち、
ステップＳ１１では、例えば、第ｎフレームを構成する
ブロックのうち、背景メモリ２２に書き込まれたものの
動きベクトルの平均値（小数点以下は、例えば、切り捨
てる）が求められ、この平均値が、アドレスポインタに
加算される。そして、この加算後のアドレスポインタが
指すアドレスが、第ｎフレームの位置情報として、位置
情報メモリ２３に書き込まれる。なお、第ｎフレームを
構成するブロックの中に、背景メモリ２２に書き込まれ
たものが１つもない場合は、例えば、その第ｎフレーム
を構成するすべてのブロックの動きベクトルの平均値
が、位置情報を求めるのに用いられる。
に等しいと判定された場合、ステップＳ１１に進み、読
み書き制御部２１において、第ｎフレームの位置情報が
求められ、位置情報メモリ２３に書き込まれる。即ち、
ステップＳ１１では、例えば、第ｎフレームを構成する
ブロックのうち、背景メモリ２２に書き込まれたものの
動きベクトルの平均値（小数点以下は、例えば、切り捨
てる）が求められ、この平均値が、アドレスポインタに
加算される。そして、この加算後のアドレスポインタが
指すアドレスが、第ｎフレームの位置情報として、位置
情報メモリ２３に書き込まれる。なお、第ｎフレームを
構成するブロックの中に、背景メモリ２２に書き込まれ
たものが１つもない場合は、例えば、その第ｎフレーム
を構成するすべてのブロックの動きベクトルの平均値
が、位置情報を求めるのに用いられる。
【００７８】第ｎフレームの位置情報の書き込み後は、
ステップＳ１２に進み、フレーム数をカウントする変数
ｎが、１シーンを構成するフレーム数Ｎに等しいかどう
かが、読み書き制御部２１によって判定される。ステッ
プＳ１２において、変数ｎがＮに等しくないと判定され
た場合、ステップＳ１３に進み、読み書き制御部２１に
おいて、変数ｎが１だけインクリメントされ、ステップ
Ｓ６に戻る。また、ステップＳ１２において、変数ｎが
Ｎに等しいと判定された場合、背景抽出処理を終了す
る。
ステップＳ１２に進み、フレーム数をカウントする変数
ｎが、１シーンを構成するフレーム数Ｎに等しいかどう
かが、読み書き制御部２１によって判定される。ステッ
プＳ１２において、変数ｎがＮに等しくないと判定され
た場合、ステップＳ１３に進み、読み書き制御部２１に
おいて、変数ｎが１だけインクリメントされ、ステップ
Ｓ６に戻る。また、ステップＳ１２において、変数ｎが
Ｎに等しいと判定された場合、背景抽出処理を終了す
る。
【００７９】以上のように、動きベクトルの信頼度Ｃb
が閾値εC以上であり、動きベクトルと背景についての
動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以
下であり、かつ動きベクトルのｘ，ｙ成分がいずれも整
数値である場合に、その動きベクトルが検出されたブロ
ックを構成する画素を、背景を構成するものとして確定
し、背景メモリ２２に書き込むようにしたので、背景
を、精度良く抽出することが可能となる。
が閾値εC以上であり、動きベクトルと背景についての
動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以
下であり、かつ動きベクトルのｘ，ｙ成分がいずれも整
数値である場合に、その動きベクトルが検出されたブロ
ックを構成する画素を、背景を構成するものとして確定
し、背景メモリ２２に書き込むようにしたので、背景
を、精度良く抽出することが可能となる。
【００８０】また、あるブロックを構成する画素を、背
景を構成する画素として書き込もうとする背景メモリ２
２のアドレスに、既に、全体背景としての画素が記憶さ
れている場合には、その既に記憶されている画素との平
均値を書き込むようにしたので、例えば、影の影響など
により、輝度が急激に変化するような、違和感のある全
体背景が構成されることを防止することが可能となる。
景を構成する画素として書き込もうとする背景メモリ２
２のアドレスに、既に、全体背景としての画素が記憶さ
れている場合には、その既に記憶されている画素との平
均値を書き込むようにしたので、例えば、影の影響など
により、輝度が急激に変化するような、違和感のある全
体背景が構成されることを防止することが可能となる。
【００８１】なお、シーンの最初の数フレームを、背景
だけからなる画像としておくことにより、各フレームか
ら、背景を、より精度良く抽出することが可能となる。
だけからなる画像としておくことにより、各フレームか
ら、背景を、より精度良く抽出することが可能となる。
【００８２】また、上述の場合においては、説明を簡単
にするために、動きベクトル検出部１３において、常
時、第１フレームを基準として、他のフレームの動きベ
クトルを検出するようにしたが、画像が、ビデオカメラ
をパンニングやチルティングして撮影されたものである
場合には、後のフレームにおいて、第１フレームの背景
がまったく表示されていない状態となることがあり、動
きベクトルの検出が困難となる。そこで、動きベクトル
を検出するための基準となる画像は、例えば、数十フレ
ーム単位で切り替えるのが望ましい。なお、動きベクト
ルの検出のために、新たに基準とする画像は、いま基準
とされている画像に対する動きベクトルのｘ，ｙ成分が
ともに整数になっているものであることが望ましい。
にするために、動きベクトル検出部１３において、常
時、第１フレームを基準として、他のフレームの動きベ
クトルを検出するようにしたが、画像が、ビデオカメラ
をパンニングやチルティングして撮影されたものである
場合には、後のフレームにおいて、第１フレームの背景
がまったく表示されていない状態となることがあり、動
きベクトルの検出が困難となる。そこで、動きベクトル
を検出するための基準となる画像は、例えば、数十フレ
ーム単位で切り替えるのが望ましい。なお、動きベクト
ルの検出のために、新たに基準とする画像は、いま基準
とされている画像に対する動きベクトルのｘ，ｙ成分が
ともに整数になっているものであることが望ましい。
【００８３】ここで、例えば、図９に示す、所定の背景
の中を、トラックが右から左方向に走行している画像を
含む１シーンから、上述した背景抽出処理により全体背
景を抽出した抽出結果を、図１０に示す。図９および図
１０から分かるように、全体背景が、精度良く抽出され
ている。
の中を、トラックが右から左方向に走行している画像を
含む１シーンから、上述した背景抽出処理により全体背
景を抽出した抽出結果を、図１０に示す。図９および図
１０から分かるように、全体背景が、精度良く抽出され
ている。
【００８４】次に、図２の前景抽出部１５について説明
するが、その前に、その前段階の準備として、前景を抽
出する２つの方法について説明する。
するが、その前に、その前段階の準備として、前景を抽
出する２つの方法について説明する。
【００８５】まず、第１の方法では、各フレームの画像
と、全体背景のうちの対応する部分（背景）との差分を
演算し、その差分値が大きい画素を、前景を構成するも
のとして抽出する。しかしながら、この方法では、前景
を構成する画素であっても、背景（全体背景）との差分
値が小さくなると、前景としては抽出されず、背景とし
て削除されることになる。ここで、第１の方法により、
図９に示した画像（フレーム）から、図１０に示した全
体背景を用いて求めた前景を、図１１に示す。図１１か
ら分かるように、第１の方法では、背景は比較的精度良
く削除されているが、前景を構成する画素のうち、背景
との差分値が小さい部分も削除されてしまっている。
と、全体背景のうちの対応する部分（背景）との差分を
演算し、その差分値が大きい画素を、前景を構成するも
のとして抽出する。しかしながら、この方法では、前景
を構成する画素であっても、背景（全体背景）との差分
値が小さくなると、前景としては抽出されず、背景とし
て削除されることになる。ここで、第１の方法により、
図９に示した画像（フレーム）から、図１０に示した全
体背景を用いて求めた前景を、図１１に示す。図１１か
ら分かるように、第１の方法では、背景は比較的精度良
く削除されているが、前景を構成する画素のうち、背景
との差分値が小さい部分も削除されてしまっている。
【００８６】次に、第２の方法では、あるフレームと、
他のフレームとを、それぞれの前景の位置をあわせて、
対応する画素どうしの差分を演算する。そして、その差
分値が大きい画素を、背景を構成するものとして削除
し、残りを、前景を構成するものとして抽出する。しか
しながら、この方法では、背景を構成する画素であって
も、対応する画素との差分値が小さくなると、背景とし
て削除されず、前景として抽出されることになる。ここ
で、図９に示した画像（フレーム）を含む１シーンの中
の２フレームを用いて求めた前景を、図１２に示す。図
１２から分かるように、第２の方法では、前景は比較的
精度良く抽出されているが、背景を構成する画素のう
ち、対応する画素との差分値が小さい部分も抽出されて
しまっている。
他のフレームとを、それぞれの前景の位置をあわせて、
対応する画素どうしの差分を演算する。そして、その差
分値が大きい画素を、背景を構成するものとして削除
し、残りを、前景を構成するものとして抽出する。しか
しながら、この方法では、背景を構成する画素であって
も、対応する画素との差分値が小さくなると、背景とし
て削除されず、前景として抽出されることになる。ここ
で、図９に示した画像（フレーム）を含む１シーンの中
の２フレームを用いて求めた前景を、図１２に示す。図
１２から分かるように、第２の方法では、前景は比較的
精度良く抽出されているが、背景を構成する画素のう
ち、対応する画素との差分値が小さい部分も抽出されて
しまっている。
【００８７】以上のように、第１または第２の方法のう
ちのいずれか一方だけでは、前景（だけ）の精度の良い
抽出が困難である。
ちのいずれか一方だけでは、前景（だけ）の精度の良い
抽出が困難である。
【００８８】そこで、図１３は、図２の前景抽出部１５
の構成例を示している。
の構成例を示している。
【００８９】前景位置近似処理部３１には、フレームメ
モリ部１２に記憶された画像と、背景抽出部１３が出力
する背景情報とが供給されるようになされている。前景
位置近似処理部３１は、フレームメモリ部１２からの画
像と、背景抽出部１３からの背景情報とから、第１の方
法を利用して、前景の候補となる、後述するような前景
近似画像（前景候補画像）を構成し、前景近似画像メモ
リ３２に供給する。前景近似画像メモリ３２は、前景位
置近似処理部３１からの前景近似画像を記憶する。
モリ部１２に記憶された画像と、背景抽出部１３が出力
する背景情報とが供給されるようになされている。前景
位置近似処理部３１は、フレームメモリ部１２からの画
像と、背景抽出部１３からの背景情報とから、第１の方
法を利用して、前景の候補となる、後述するような前景
近似画像（前景候補画像）を構成し、前景近似画像メモ
リ３２に供給する。前景近似画像メモリ３２は、前景位
置近似処理部３１からの前景近似画像を記憶する。
【００９０】一方、前景検出処理部３３には、動きベク
トル検出部１３から動きベクトルが供給されるようにな
されている。前景検出処理部３３は、前景近似画像メモ
リ３２に記憶された前景近似画像から、動きベクトルを
用い、第２の方法を利用して前景を検出するとともに、
各フレームにおける前景についての動きベクトルを検出
し、それらを、前景情報として符号化部１６に出力す
る。
トル検出部１３から動きベクトルが供給されるようにな
されている。前景検出処理部３３は、前景近似画像メモ
リ３２に記憶された前景近似画像から、動きベクトルを
用い、第２の方法を利用して前景を検出するとともに、
各フレームにおける前景についての動きベクトルを検出
し、それらを、前景情報として符号化部１６に出力す
る。
【００９１】次に、図１４は、図１３の前景位置近似処
理部３１の構成例を示している。
理部３１の構成例を示している。
【００９２】前景位置近似処理部３１では、第１の方法
により、各フレームの画像から、背景である蓋然性の高
い画素が削除され、これにより、前景近似画像が構成さ
れて出力されるようになされている。
により、各フレームの画像から、背景である蓋然性の高
い画素が削除され、これにより、前景近似画像が構成さ
れて出力されるようになされている。
【００９３】即ち、差分算出部４１には、フレームメモ
リ部１２に記憶された各フレームの画像と、背景抽出部
１４が出力する背景情報とが供給されるようになされて
いる。差分算出部４１では、各フレームの画像それぞれ
と、背景情報に含まれる全体背景のうち、対応するフレ
ームの背景部分との差分値が演算され、背景削除部４２
に供給されるようになされている。背景削除部４２に
は、差分算出部４１から、上述の差分値が供給される
他、フレームメモリ部１２から各フレームの画像が供給
されるようになされている。背景削除部４２は、各フレ
ームの画像から、差分算出部４１の差分値に基づいて、
背景である蓋然性の高い画素を検出して削除し、その結
果得られる各フレームの画像を、前景近似画像として出
力するようになされている。
リ部１２に記憶された各フレームの画像と、背景抽出部
１４が出力する背景情報とが供給されるようになされて
いる。差分算出部４１では、各フレームの画像それぞれ
と、背景情報に含まれる全体背景のうち、対応するフレ
ームの背景部分との差分値が演算され、背景削除部４２
に供給されるようになされている。背景削除部４２に
は、差分算出部４１から、上述の差分値が供給される
他、フレームメモリ部１２から各フレームの画像が供給
されるようになされている。背景削除部４２は、各フレ
ームの画像から、差分算出部４１の差分値に基づいて、
背景である蓋然性の高い画素を検出して削除し、その結
果得られる各フレームの画像を、前景近似画像として出
力するようになされている。
【００９４】次に、図１５のフローチャートを参照し
て、図１４の前景位置近似処理部３１において行われる
処理（前景近似処理）について説明する。
て、図１４の前景位置近似処理部３１において行われる
処理（前景近似処理）について説明する。
【００９５】前景近似処理では、まず最初に、ステップ
Ｓ２１において、フレーム数をカウントする変数ｎに、
初期値としての１がセットされる。そして、ステップＳ
２２に進み、差分算出部４１において、フレームメモリ
部１２に記憶された第ｎフレームの画像が読み出され、
その第ｎフレームと、それに対応する背景との差分値が
算出される。即ち、差分算出部４１は、背景情報を、全
体背景と位置情報とに分離し、全体背景から、第ｎフレ
ームの背景に相当する領域を抽出する。そして、差分算
出部４１は、その抽出した領域と、第ｎフレームとの差
分値を演算し、背景削除部４２に出力する。
Ｓ２１において、フレーム数をカウントする変数ｎに、
初期値としての１がセットされる。そして、ステップＳ
２２に進み、差分算出部４１において、フレームメモリ
部１２に記憶された第ｎフレームの画像が読み出され、
その第ｎフレームと、それに対応する背景との差分値が
算出される。即ち、差分算出部４１は、背景情報を、全
体背景と位置情報とに分離し、全体背景から、第ｎフレ
ームの背景に相当する領域を抽出する。そして、差分算
出部４１は、その抽出した領域と、第ｎフレームとの差
分値を演算し、背景削除部４２に出力する。
【００９６】ここで、本実施の形態では、第ｎフレーム
と、その背景との差分値（第１の差分値）として、差分
算出部４１において、例えば、次のような重み加算値が
計算されるようになされている。即ち、いま、画素（画
素値）が、輝度信号としてのＹ信号と、色差信号として
のＵ，Ｖ信号とを有しているとすると、差分算出部４１
では、Ｙ信号どうしの差を２乗したものと、Ｕ，Ｖ信号
それぞれどうしの差を２乗したものとが求められる。そ
して、差分算出部４１は、Ｙ信号どうしの差を２乗した
ものの重みを、例えば１とするとともに、Ｕ，Ｖ信号そ
れぞれどうしの差を２乗したものの重みを、例えば、い
ずれも５０として、それらを加算し、その加算結果を、
差分値とするようになされている。
と、その背景との差分値（第１の差分値）として、差分
算出部４１において、例えば、次のような重み加算値が
計算されるようになされている。即ち、いま、画素（画
素値）が、輝度信号としてのＹ信号と、色差信号として
のＵ，Ｖ信号とを有しているとすると、差分算出部４１
では、Ｙ信号どうしの差を２乗したものと、Ｕ，Ｖ信号
それぞれどうしの差を２乗したものとが求められる。そ
して、差分算出部４１は、Ｙ信号どうしの差を２乗した
ものの重みを、例えば１とするとともに、Ｕ，Ｖ信号そ
れぞれどうしの差を２乗したものの重みを、例えば、い
ずれも５０として、それらを加算し、その加算結果を、
差分値とするようになされている。
【００９７】なお、以上のように、Ｙ信号に比較して、
Ｕ，Ｖ信号の重みを大きくすることにより、影による画
素値の変化に起因して、前景または背景の抜き出し（抽
出）精度が劣化することを低減することができる。
Ｕ，Ｖ信号の重みを大きくすることにより、影による画
素値の変化に起因して、前景または背景の抜き出し（抽
出）精度が劣化することを低減することができる。
【００９８】また、差分算出部４１は、図１６に示すよ
うに、第ｎフレームの注目画素について、その注目画素
と、背景における対応する画素ｅとの差分値（重み加算
値）だけでなく、背景における対応する画素の周辺にあ
る画素としての、例えば、その対応する画素に隣接する
８つの画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉそれぞれと
の差分値も演算するようになされている。そして、差分
算出部４１は、その９個の差分値のうちの、例えば、最
も小さいものを、注目画素についての最終的な差分値と
して、背景削除部４２に供給するようになされている。
うに、第ｎフレームの注目画素について、その注目画素
と、背景における対応する画素ｅとの差分値（重み加算
値）だけでなく、背景における対応する画素の周辺にあ
る画素としての、例えば、その対応する画素に隣接する
８つの画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉそれぞれと
の差分値も演算するようになされている。そして、差分
算出部４１は、その９個の差分値のうちの、例えば、最
も小さいものを、注目画素についての最終的な差分値と
して、背景削除部４２に供給するようになされている。
【００９９】なお、以上のように、注目画素について、
それに対応する画素だけでなく、その周辺にある画素と
の差分値も演算し、そのうちの最小値を、最終的な差分
値とすることで、前景である蓋然性の高い画素が削除さ
れ、また、背景である蓋然性の高い画素が削除されない
ことを防止することが可能となる。
それに対応する画素だけでなく、その周辺にある画素と
の差分値も演算し、そのうちの最小値を、最終的な差分
値とすることで、前景である蓋然性の高い画素が削除さ
れ、また、背景である蓋然性の高い画素が削除されない
ことを防止することが可能となる。
【０１００】即ち、第１の方法では、各フレームの画像
と、全体背景のうちの対応する部分（背景）との差分を
演算し、その差分値が大きい画素を、前景を構成するも
のとして抽出するが、その差分値を演算するときに、あ
るフレームの注目画素と、全体背景のうちの、その注目
画素に対応させる画素とが、空間的にずれている場合が
ある。そして、注目画素が背景を構成する場合に、その
注目画素に対応させる画素が空間的にずれていると、得
られる差分値が大きくなり、その注目画素は、背景であ
るにもかかわらず、前景を構成するものとして抽出され
ることになる。
と、全体背景のうちの対応する部分（背景）との差分を
演算し、その差分値が大きい画素を、前景を構成するも
のとして抽出するが、その差分値を演算するときに、あ
るフレームの注目画素と、全体背景のうちの、その注目
画素に対応させる画素とが、空間的にずれている場合が
ある。そして、注目画素が背景を構成する場合に、その
注目画素に対応させる画素が空間的にずれていると、得
られる差分値が大きくなり、その注目画素は、背景であ
るにもかかわらず、前景を構成するものとして抽出され
ることになる。
【０１０１】また、第２の方法では、あるフレームと、
他のフレームとを、それぞれの前景の位置をあわせて、
対応する画素どうしの差分を演算し、その差分値が大き
い画素を、背景を構成するものとして削除するが、やは
り、その差分値を演算するときに、あるフレームの注目
画素と、他のフレームのうちの、その注目画素に対応さ
せる画素とが、空間的にずれている場合がある。そし
て、注目画素が前景を構成する場合に、その注目画素に
対応させる画素が空間的にずれており、背景を構成する
画素と対応させてしまうと、得られる差分値が大きくな
り、注目画素は、前景であるにもかかわらず、背景を構
成するものとして削除されることになる。
他のフレームとを、それぞれの前景の位置をあわせて、
対応する画素どうしの差分を演算し、その差分値が大き
い画素を、背景を構成するものとして削除するが、やは
り、その差分値を演算するときに、あるフレームの注目
画素と、他のフレームのうちの、その注目画素に対応さ
せる画素とが、空間的にずれている場合がある。そし
て、注目画素が前景を構成する場合に、その注目画素に
対応させる画素が空間的にずれており、背景を構成する
画素と対応させてしまうと、得られる差分値が大きくな
り、注目画素は、前景であるにもかかわらず、背景を構
成するものとして削除されることになる。
【０１０２】そこで、上述のように、注目画素につい
て、それに対応する画素だけでなく、その周辺にある画
素との差分値も演算し、そのうちの最小値を、最終的な
差分値とすることで、対応させた画素どうしの空間的な
位置ずれを補償することが可能となり、その結果、前景
である蓋然性の高い画素が削除されることと、背景であ
る蓋然性の高い画素が削除されないこととを防止するこ
とが可能となる。
て、それに対応する画素だけでなく、その周辺にある画
素との差分値も演算し、そのうちの最小値を、最終的な
差分値とすることで、対応させた画素どうしの空間的な
位置ずれを補償することが可能となり、その結果、前景
である蓋然性の高い画素が削除されることと、背景であ
る蓋然性の高い画素が削除されないこととを防止するこ
とが可能となる。
【０１０３】以上のようにして、第ｎフレームの画像
と、それに対応する背景との差分値が算出され、差分算
出部４１から背景削除部４２に出力されると、ステップ
Ｓ２３に進み、第ｎフレームの、垂直方向に並ぶ画素の
列数をカウントする変数ｈに、初期値としての１がセッ
トされる。そして、ステップＳ２４に進み、背景削除部
４２において、第ｎフレームの左から第ｈ列において、
差分算出部４１で求められた差分値が所定の閾値（前景
と予想される値）以上となっている画素の数が、所定数
εh以下（未満）であるかどうかが判定される。ステッ
プＳ２４において、差分値が所定の閾値以上となってい
る画素の数が、所定数εh以下であると判定された場
合、ステップＳ２５に進み、背景削除部４１は、第ｎフ
レームの第ｈ列を構成する画素すべてを、背景を構成す
る画素と確定して削除し、ステップＳ２６に進む。
と、それに対応する背景との差分値が算出され、差分算
出部４１から背景削除部４２に出力されると、ステップ
Ｓ２３に進み、第ｎフレームの、垂直方向に並ぶ画素の
列数をカウントする変数ｈに、初期値としての１がセッ
トされる。そして、ステップＳ２４に進み、背景削除部
４２において、第ｎフレームの左から第ｈ列において、
差分算出部４１で求められた差分値が所定の閾値（前景
と予想される値）以上となっている画素の数が、所定数
εh以下（未満）であるかどうかが判定される。ステッ
プＳ２４において、差分値が所定の閾値以上となってい
る画素の数が、所定数εh以下であると判定された場
合、ステップＳ２５に進み、背景削除部４１は、第ｎフ
レームの第ｈ列を構成する画素すべてを、背景を構成す
る画素と確定して削除し、ステップＳ２６に進む。
【０１０４】また、ステップＳ２４において、差分値が
所定の閾値以上となっている画素の数が、所定数εh以
下でないと判定された場合、ステップＳ２５をスキップ
して、ステップＳ２６に進み、変数ｈが１だけインクリ
メントされ、ステップＳ２７に進む。ステップＳ２７で
は、変数ｈが、１フレームの水平方向の画素数ＰH以下
であるかどうかが判定され、ＰH以下であると判定され
た場合、ステップＳ２４に戻る。また、ステップＳ２７
において、変数ｈがＰH以下でないと判定された場合、
ステップＳ２８に進み、第ｎフレームの、水平方向に並
ぶ画素の行数をカウントする変数ｖに、初期値としての
１がセットされる。
所定の閾値以上となっている画素の数が、所定数εh以
下でないと判定された場合、ステップＳ２５をスキップ
して、ステップＳ２６に進み、変数ｈが１だけインクリ
メントされ、ステップＳ２７に進む。ステップＳ２７で
は、変数ｈが、１フレームの水平方向の画素数ＰH以下
であるかどうかが判定され、ＰH以下であると判定され
た場合、ステップＳ２４に戻る。また、ステップＳ２７
において、変数ｈがＰH以下でないと判定された場合、
ステップＳ２８に進み、第ｎフレームの、水平方向に並
ぶ画素の行数をカウントする変数ｖに、初期値としての
１がセットされる。
【０１０５】そして、ステップＳ２９に進み、背景削除
部４２において、第ｎフレームの上から第ｖラインにお
いて、差分算出部４１で求められた差分値が所定の閾値
（前景と予想される値）以上となっている画素の数が、
所定数εv以下（未満）であるかどうかが判定される。
ステップＳ２９において、差分値が所定の閾値以上とな
っている画素の数が、所定数εv以下であると判定され
た場合、ステップＳ３０に進み、背景削除部４１は、第
ｎフレームの第ｖラインを構成する画素すべてを、背景
を構成する画素と確定して削除し、ステップＳ３１に進
む。
部４２において、第ｎフレームの上から第ｖラインにお
いて、差分算出部４１で求められた差分値が所定の閾値
（前景と予想される値）以上となっている画素の数が、
所定数εv以下（未満）であるかどうかが判定される。
ステップＳ２９において、差分値が所定の閾値以上とな
っている画素の数が、所定数εv以下であると判定され
た場合、ステップＳ３０に進み、背景削除部４１は、第
ｎフレームの第ｖラインを構成する画素すべてを、背景
を構成する画素と確定して削除し、ステップＳ３１に進
む。
【０１０６】また、ステップＳ２９において、差分値が
所定の閾値以上となっている画素の数が、所定数εv以
下でないと判定された場合、ステップＳ３０をスキップ
して、ステップＳ３１に進み、変数ｖが１だけインクリ
メントされ、ステップＳ３２に進む。ステップＳ３２で
は、変数ｖが、１フレームの垂直方向の画素数（ライン
数）ＰV以下であるかどうかが判定され、ＰV以下である
と判定された場合、ステップＳ２９に戻る。
所定の閾値以上となっている画素の数が、所定数εv以
下でないと判定された場合、ステップＳ３０をスキップ
して、ステップＳ３１に進み、変数ｖが１だけインクリ
メントされ、ステップＳ３２に進む。ステップＳ３２で
は、変数ｖが、１フレームの垂直方向の画素数（ライン
数）ＰV以下であるかどうかが判定され、ＰV以下である
と判定された場合、ステップＳ２９に戻る。
【０１０７】一方、ステップＳ３２において、変数ｖが
ＰV以下でないと判定された場合、即ち、第ｎフレーム
について、差分算出部４１で求められた差分値が所定の
閾値以上となっている画素の数が、それぞれ所定数εh
またはεv以下になっている列またはラインが、背景を
構成するものとして削除された画像である前景近似画像
が形成された場合、ステップＳ３３に進み、変数ｎが、
１シーンを構成するフレーム数Ｎに等しいかどうかが判
定される。ステップＳ３３において、変数ｎがＮに等し
くないと判定された場合、ステップＳ２２に戻る。ま
た、ステップＳ３３において、変数ｎがＮに等しいと判
定された場合、前景位置近似処理を終了する。
ＰV以下でないと判定された場合、即ち、第ｎフレーム
について、差分算出部４１で求められた差分値が所定の
閾値以上となっている画素の数が、それぞれ所定数εh
またはεv以下になっている列またはラインが、背景を
構成するものとして削除された画像である前景近似画像
が形成された場合、ステップＳ３３に進み、変数ｎが、
１シーンを構成するフレーム数Ｎに等しいかどうかが判
定される。ステップＳ３３において、変数ｎがＮに等し
くないと判定された場合、ステップＳ２２に戻る。ま
た、ステップＳ３３において、変数ｎがＮに等しいと判
定された場合、前景位置近似処理を終了する。
【０１０８】ここで、図９に示した画像を対象に、図１
０に示した全体背景を用いて、上述の前景位置近似処理
を行って得られる前景近似画像を、図１７に示す。第１
の方法をそのまま用いた場合には、図１１に示したよう
に、前景を構成する画素のうち、背景との差分値が小さ
い部分も削除されてしまったが、差分算出部４１で求め
られた差分値が所定の閾値以上となっている画素の数
が、それぞれ所定数εhまたはεv以下になっている列ま
たはラインだけを、背景として削除することにより、図
１７に示すように、背景である蓋然性が非常に高い画素
だけが削除されるようになり、これにより、前景を構成
する画素が削除されることを防止することが可能とな
る。
０に示した全体背景を用いて、上述の前景位置近似処理
を行って得られる前景近似画像を、図１７に示す。第１
の方法をそのまま用いた場合には、図１１に示したよう
に、前景を構成する画素のうち、背景との差分値が小さ
い部分も削除されてしまったが、差分算出部４１で求め
られた差分値が所定の閾値以上となっている画素の数
が、それぞれ所定数εhまたはεv以下になっている列ま
たはラインだけを、背景として削除することにより、図
１７に示すように、背景である蓋然性が非常に高い画素
だけが削除されるようになり、これにより、前景を構成
する画素が削除されることを防止することが可能とな
る。
【０１０９】次に、図１８は、図１３の前景検出処理部
３３の構成例を示している。
３３の構成例を示している。
【０１１０】前景動きベクトル検出部５１は、動きベク
トル検出部１３からのブロックごとの動きベクトルに基
づいて、各フレームの前景についての動きベクトル（前
景動きベクトル）を、例えば、図４の読み書き制御部２
１が背景の位置情報を求めるのと同様にして検出するよ
うになされている。
トル検出部１３からのブロックごとの動きベクトルに基
づいて、各フレームの前景についての動きベクトル（前
景動きベクトル）を、例えば、図４の読み書き制御部２
１が背景の位置情報を求めるのと同様にして検出するよ
うになされている。
【０１１１】即ち、前景動きベクトル検出部５１は、各
フレームについて、動きベクトル検出部１３からの動き
ベクトルから、前景と推定される領域（ブロック）を検
出し、その検出結果に基づき、前景が、例えば、その中
央部分に位置しているフレームを検出する。そして、前
景動きベクトル検出部５１は、そのフレームの前景と推
定されるブロックの動きベクトルの平均値（小数点以下
は、例えば、切り捨てる）を、前景についての動きベク
トルの基準値ＶFとする。さらに、前景動きベクトル検
出部５１は、例えば、他のフレームについて、前景につ
いての動きベクトルの基準値ＶFを用いて、図６のステ
ップＳ７における条件を満たすかどうかの判定処理を行
い、その条件を満たすブロックの動きベクトルの平均値
（小数点以下は、例えば、切り捨てる）が求められ、こ
れが、そのフレームの前景についての動きベクトル（前
景動きベクトル）とされる。前景動きベクトル検出部５
１で検出された前景動きベクトルは、前景動きベクトル
メモリ５２に供給されて記憶されるとともに、差分算出
部５３に供給されるようになされている。
フレームについて、動きベクトル検出部１３からの動き
ベクトルから、前景と推定される領域（ブロック）を検
出し、その検出結果に基づき、前景が、例えば、その中
央部分に位置しているフレームを検出する。そして、前
景動きベクトル検出部５１は、そのフレームの前景と推
定されるブロックの動きベクトルの平均値（小数点以下
は、例えば、切り捨てる）を、前景についての動きベク
トルの基準値ＶFとする。さらに、前景動きベクトル検
出部５１は、例えば、他のフレームについて、前景につ
いての動きベクトルの基準値ＶFを用いて、図６のステ
ップＳ７における条件を満たすかどうかの判定処理を行
い、その条件を満たすブロックの動きベクトルの平均値
（小数点以下は、例えば、切り捨てる）が求められ、こ
れが、そのフレームの前景についての動きベクトル（前
景動きベクトル）とされる。前景動きベクトル検出部５
１で検出された前景動きベクトルは、前景動きベクトル
メモリ５２に供給されて記憶されるとともに、差分算出
部５３に供給されるようになされている。
【０１１２】前景動きベクトルメモリ５２は、前景動き
ベクトル検出部５１からの各フレーム（第２乃至第Ｎフ
レーム）の前景動きベクトルを記憶するようになされて
いる。
ベクトル検出部５１からの各フレーム（第２乃至第Ｎフ
レーム）の前景動きベクトルを記憶するようになされて
いる。
【０１１３】差分算出部５３は、前景近似画像メモリ３
２に記憶された前景近似画像を読み出し、リファレンス
画像メモリ５５に記憶された、後述するリファレンス画
像（基準画像）との、上述したような重み加算値を演算
し、その演算結果および回数カウントメモリ５４の記憶
値に対応して、リファレンス画像メモリ５５の記憶値
（リファレンス画像）を更新するようになされている。
また、差分算出部５３は、自身が求めた重み加算値に対
応して、回数カウントメモリ５４の記憶値を更新するよ
うにもなされている。なお、差分算出部５３において、
重み加算値の演算は、リファレンス画像および前景近似
画像を、それぞれにおける前景の位置を一致させて行わ
れるが、この前景の位置を一致させる処理は、前景動き
ベクトル検出部５１から供給される前景動きベクトルに
基づいて行われるようになされている。
２に記憶された前景近似画像を読み出し、リファレンス
画像メモリ５５に記憶された、後述するリファレンス画
像（基準画像）との、上述したような重み加算値を演算
し、その演算結果および回数カウントメモリ５４の記憶
値に対応して、リファレンス画像メモリ５５の記憶値
（リファレンス画像）を更新するようになされている。
また、差分算出部５３は、自身が求めた重み加算値に対
応して、回数カウントメモリ５４の記憶値を更新するよ
うにもなされている。なお、差分算出部５３において、
重み加算値の演算は、リファレンス画像および前景近似
画像を、それぞれにおける前景の位置を一致させて行わ
れるが、この前景の位置を一致させる処理は、前景動き
ベクトル検出部５１から供給される前景動きベクトルに
基づいて行われるようになされている。
【０１１４】回数カウントメモリ５４は、１フレームを
構成する画素数に対応する記憶容量を、少なくとも有
し、後述するような回数を記憶するようになされてい
る。リファレンス画像メモリ５５は、１フレーム分の画
像を記憶する記憶容量を、少なくとも有し、前景近似画
像との差分値を演算するリファレンス画像を記憶するよ
うになされている。マルチプレクサ５６は、リファレン
ス画像メモリ５５に最終的に記憶されたリファレンス画
像を、前景として読み出すとともに、前景動きベクトル
メモリ５２に記憶された各フレームの前景動きベクトル
を読み出し、これらを多重化して、前景情報として出力
するようになされている。
構成する画素数に対応する記憶容量を、少なくとも有
し、後述するような回数を記憶するようになされてい
る。リファレンス画像メモリ５５は、１フレーム分の画
像を記憶する記憶容量を、少なくとも有し、前景近似画
像との差分値を演算するリファレンス画像を記憶するよ
うになされている。マルチプレクサ５６は、リファレン
ス画像メモリ５５に最終的に記憶されたリファレンス画
像を、前景として読み出すとともに、前景動きベクトル
メモリ５２に記憶された各フレームの前景動きベクトル
を読み出し、これらを多重化して、前景情報として出力
するようになされている。
【０１１５】次に、図１９のフローチャートを参照し
て、図１８の前景検出処理部３３において行われる処理
（前景検出処理）について説明する。
て、図１８の前景検出処理部３３において行われる処理
（前景検出処理）について説明する。
【０１１６】前景検出処理では、まず最初に、ステップ
Ｓ４１において、初期化処理が行われる。即ち、リファ
レンス画像メモリ５５および前景動きベクトルメモリ５
２の記憶値がクリアされ、回数カウントメモリ５４に、
初期値としての、例えば、所定の正の整数値がセットさ
れる。さらに、差分算出部５３において、前景近似画像
メモリ３２から、例えば、第１フレームの前景近似画像
が読み出され、これが、リファレンス画像として、リフ
ァレンス画像メモリ５５に供給されて記憶される。
Ｓ４１において、初期化処理が行われる。即ち、リファ
レンス画像メモリ５５および前景動きベクトルメモリ５
２の記憶値がクリアされ、回数カウントメモリ５４に、
初期値としての、例えば、所定の正の整数値がセットさ
れる。さらに、差分算出部５３において、前景近似画像
メモリ３２から、例えば、第１フレームの前景近似画像
が読み出され、これが、リファレンス画像として、リフ
ァレンス画像メモリ５５に供給されて記憶される。
【０１１７】なお、ここでは、説明を簡単にするため
に、第１フレームの前景近似画像を、リファレンス画像
とするようにしたが、最初にリファレンス画像とする前
景近似画像は、前景近似画像メモリ３２に記憶されてい
る前景近似画像のうち、一般には、例えば、前景が、フ
レームの中央部分にあるものを用いるのが好ましい。
に、第１フレームの前景近似画像を、リファレンス画像
とするようにしたが、最初にリファレンス画像とする前
景近似画像は、前景近似画像メモリ３２に記憶されてい
る前景近似画像のうち、一般には、例えば、前景が、フ
レームの中央部分にあるものを用いるのが好ましい。
【０１１８】初期化処理後は、ステップＳ４２に進み、
フレーム数をカウントする変数ｎに、初期値としての、
例えば２がセットされ、ステップＳ４３に進む。ステッ
プＳ４３では、前景動きベクトル検出部５１において、
第ｎフレームの前景動きベクトルが、上述したようにし
て検出される。この前景動きベクトルは、前景動きベク
トルメモリ５２に供給されて記憶されるとともに、差分
算出部５３に供給される。なお、ステップＳ４３の処理
が最初に行われる場合、即ち、第２フレームの前景につ
いての動きベクトルの検出が行われる場合には、その検
出とともに、第１フレームにおける前景の位置の検出も
行われるようになされている。そして、この第１フレー
ムにおける前景の位置は、第１フレームの前景について
の動きベクトルとして、前景動きベクトルメモリ５２に
供給されて記憶されるようになされている。
フレーム数をカウントする変数ｎに、初期値としての、
例えば２がセットされ、ステップＳ４３に進む。ステッ
プＳ４３では、前景動きベクトル検出部５１において、
第ｎフレームの前景動きベクトルが、上述したようにし
て検出される。この前景動きベクトルは、前景動きベク
トルメモリ５２に供給されて記憶されるとともに、差分
算出部５３に供給される。なお、ステップＳ４３の処理
が最初に行われる場合、即ち、第２フレームの前景につ
いての動きベクトルの検出が行われる場合には、その検
出とともに、第１フレームにおける前景の位置の検出も
行われるようになされている。そして、この第１フレー
ムにおける前景の位置は、第１フレームの前景について
の動きベクトルとして、前景動きベクトルメモリ５２に
供給されて記憶されるようになされている。
【０１１９】差分算出部５３は、第ｎフレームの前景動
きベクトルを受信すると、第ｎフレームの前景近似画像
またはリファレンス画像を、前景近似画像メモリ３２ま
たはリファレンス画像メモリ５５からそれぞれ読み出
す。さらに、差分算出部５３は、ステップＳ４４におい
て、第ｎフレームの前景近似画像を構成する画素と、リ
ファレンス画像を構成する画素とを、前景近似画像のフ
レームの前景動きベクトルに基づいて、前景どうしが重
なるように対応付け、図１４の差分算出部４１における
場合と同様にして、重み加算値を、リファレンス画像と
第ｎフレームの前景近似画像との差分値（第２の差分
値）として求め、ステップＳ４５に進む。
きベクトルを受信すると、第ｎフレームの前景近似画像
またはリファレンス画像を、前景近似画像メモリ３２ま
たはリファレンス画像メモリ５５からそれぞれ読み出
す。さらに、差分算出部５３は、ステップＳ４４におい
て、第ｎフレームの前景近似画像を構成する画素と、リ
ファレンス画像を構成する画素とを、前景近似画像のフ
レームの前景動きベクトルに基づいて、前景どうしが重
なるように対応付け、図１４の差分算出部４１における
場合と同様にして、重み加算値を、リファレンス画像と
第ｎフレームの前景近似画像との差分値（第２の差分
値）として求め、ステップＳ４５に進む。
【０１２０】ステップＳ４５では、第ｎフレームの前景
近似画像の水平方向または垂直方向の画素の並びである
ライン数または列数をカウントするための変数ｖまたは
ｈが、それぞれ１に初期化され、ステップＳ４６に進
む。ステップＳ４６では、差分算出部５３において、ス
テップＳ４４で求められた差分値（重み加算値）のう
ち、リファレンス画像の上からｖ番目で、左からｈ番目
の差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きい
（以上である）かどうかが判定される。
近似画像の水平方向または垂直方向の画素の並びである
ライン数または列数をカウントするための変数ｖまたは
ｈが、それぞれ１に初期化され、ステップＳ４６に進
む。ステップＳ４６では、差分算出部５３において、ス
テップＳ４４で求められた差分値（重み加算値）のう
ち、リファレンス画像の上からｖ番目で、左からｈ番目
の差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きい
（以上である）かどうかが判定される。
【０１２１】ステップＳ４６において、差分値Ｅ（ｈ，
ｖ）が、所定の閾値εよりも大きいと判定された場合、
即ち、リファレンス画像の上からｖ番目で、左からｈ番
目の画素Ｐ（ｈ，ｖ）が、背景を構成するものである蓋
然性が高い場合、ステップＳ４７に進み、差分算出部５
３は、その画素Ｐ（ｈ，ｖ）に対応する、回数カウント
メモリ５４の記憶値Ｃ（ｈ，ｖ）を１だけデクリメント
し、ステップＳ４８に進む。従って、回数カウントメモ
リ５４には、リファレンス画像を構成する各画素につい
て、それぞれの画素が、背景を構成するものである蓋然
性が高いと判定される回数が記憶されているということ
ができる。
ｖ）が、所定の閾値εよりも大きいと判定された場合、
即ち、リファレンス画像の上からｖ番目で、左からｈ番
目の画素Ｐ（ｈ，ｖ）が、背景を構成するものである蓋
然性が高い場合、ステップＳ４７に進み、差分算出部５
３は、その画素Ｐ（ｈ，ｖ）に対応する、回数カウント
メモリ５４の記憶値Ｃ（ｈ，ｖ）を１だけデクリメント
し、ステップＳ４８に進む。従って、回数カウントメモ
リ５４には、リファレンス画像を構成する各画素につい
て、それぞれの画素が、背景を構成するものである蓋然
性が高いと判定される回数が記憶されているということ
ができる。
【０１２２】一方、ステップＳ４６において、差分値Ｅ
（ｈ，ｖ）が、所定の閾値εよりも大きくないと判定さ
れた場合、ステップＳ４７をスキップして、ステップＳ
４８に進み、変数ｖが１だけインクリメントとされ、ス
テップＳ４９に進む。ステップＳ４９では、変数ｖが、
１フレームの垂直方向の画素数（ライン数）ＰV以下で
あるかどうかが判定され、ＰV以下であると判定された
場合、ステップＳ４６に戻る。また、ステップＳ４９に
おいて、変数ｖがＰV以下でないと判定された場合、ス
テップＳ５０に進み、変数ｈが１だけインクリメントさ
れ、ステップＳ５１に進む。ステップＳ５１では、変数
ｈが、１フレームの水平方向の画素数（列数）ＰH以下
であるかどうかが判定され、ＰH以下であると判定され
た場合、ステップＳ５２に進み、変数ｖが、１に初期化
され、ステップＳ４６に戻る。
（ｈ，ｖ）が、所定の閾値εよりも大きくないと判定さ
れた場合、ステップＳ４７をスキップして、ステップＳ
４８に進み、変数ｖが１だけインクリメントとされ、ス
テップＳ４９に進む。ステップＳ４９では、変数ｖが、
１フレームの垂直方向の画素数（ライン数）ＰV以下で
あるかどうかが判定され、ＰV以下であると判定された
場合、ステップＳ４６に戻る。また、ステップＳ４９に
おいて、変数ｖがＰV以下でないと判定された場合、ス
テップＳ５０に進み、変数ｈが１だけインクリメントさ
れ、ステップＳ５１に進む。ステップＳ５１では、変数
ｈが、１フレームの水平方向の画素数（列数）ＰH以下
であるかどうかが判定され、ＰH以下であると判定され
た場合、ステップＳ５２に進み、変数ｖが、１に初期化
され、ステップＳ４６に戻る。
【０１２３】また、ステップＳ５１において、変数ｈが
ＰH以下でないと判定された場合、ステップＳ５３に進
み、差分算出部５３は、回数カウントメモリ５４を参照
し、リファレンス画像を構成する画素のうち、記憶値Ｃ
（ｈ，ｖ）が負になっているものを、背景を構成するも
のとして削除する。そして、差分算出部４３は、その削
除後のリファレンス画像を、新たなリファレンス画像と
して、リファレンス画像メモリ５５に記憶させる。
ＰH以下でないと判定された場合、ステップＳ５３に進
み、差分算出部５３は、回数カウントメモリ５４を参照
し、リファレンス画像を構成する画素のうち、記憶値Ｃ
（ｈ，ｖ）が負になっているものを、背景を構成するも
のとして削除する。そして、差分算出部４３は、その削
除後のリファレンス画像を、新たなリファレンス画像と
して、リファレンス画像メモリ５５に記憶させる。
【０１２４】ここで、上述のように、リファレンス画像
を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっ
ているものを、背景を構成するものとして削除すること
により、本来、前景である画素が、例えば、ノイズの影
響などに起因して、背景であるとして削除されることを
防止することができる。即ち、差分値Ｅ（ｈ，ｖ）が、
閾値εよりも大きい場合に、即座に、対応する画素Ｐ
（ｈ，ｖ）を、背景を構成するものとして削除すること
とすると、例えば、リファレンス画像の画素（画素値）
Ｐ（ｈ，ｖ）またはそれとの差分をとる前景近似画像の
画素にノイズが含まれ、そのノイズに起因して、差分値
Ｅ（ｈ，ｖ）が閾値εよりも大きくなったときも、前景
を構成する画素Ｐ（ｈ，ｖ）が削除されることになる。
これに対して、リファレンス画像を構成する画素のう
ち、対応する記憶値Ｃ（ｈ，ｖ）が負になっているもの
を、背景を構成するものとして削除する場合には、差分
値Ｅ（ｈ，ｖ）が、ノイズの影響で大きくなり、閾値ε
を越えても、そのようなことが、所定の回数（ステップ
Ｓ４１の初期化処理において、回数カウントメモリ５４
にセットされる正の整数に、１を加算した値）だけ生じ
ない限り、画素Ｐ（ｈ，ｖ）は削除されない。従って、
本来、前景である画素が、例えば、ノイズの影響などに
起因して、背景であるとして削除されることを防止する
ことができる。
を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっ
ているものを、背景を構成するものとして削除すること
により、本来、前景である画素が、例えば、ノイズの影
響などに起因して、背景であるとして削除されることを
防止することができる。即ち、差分値Ｅ（ｈ，ｖ）が、
閾値εよりも大きい場合に、即座に、対応する画素Ｐ
（ｈ，ｖ）を、背景を構成するものとして削除すること
とすると、例えば、リファレンス画像の画素（画素値）
Ｐ（ｈ，ｖ）またはそれとの差分をとる前景近似画像の
画素にノイズが含まれ、そのノイズに起因して、差分値
Ｅ（ｈ，ｖ）が閾値εよりも大きくなったときも、前景
を構成する画素Ｐ（ｈ，ｖ）が削除されることになる。
これに対して、リファレンス画像を構成する画素のう
ち、対応する記憶値Ｃ（ｈ，ｖ）が負になっているもの
を、背景を構成するものとして削除する場合には、差分
値Ｅ（ｈ，ｖ）が、ノイズの影響で大きくなり、閾値ε
を越えても、そのようなことが、所定の回数（ステップ
Ｓ４１の初期化処理において、回数カウントメモリ５４
にセットされる正の整数に、１を加算した値）だけ生じ
ない限り、画素Ｐ（ｈ，ｖ）は削除されない。従って、
本来、前景である画素が、例えば、ノイズの影響などに
起因して、背景であるとして削除されることを防止する
ことができる。
【０１２５】ステップＳ５３の処理後は、ステップＳ５
４に進み、変数ｎが、１シーンを構成するフレーム数Ｎ
に等しいかどうかが判定される。ステップＳ５４におい
て、変数ｎがＮに等しくないと判定された場合、ステッ
プＳ５５に進み、変数ｎが１だけインクリメントされ、
ステップＳ４３に戻る。また、ステップＳ５４におい
て、変数ｎがＮに等しいと判定された場合、マルチプレ
クサ５６は、リファレンス画像メモリ５５に最終的に記
憶されているリファレンス画像を前景として読み出すと
ともに、前景動きベクトルメモリ５２に記憶されている
各フレームの前景動きベクトルを読み出す。そして、マ
ルチプレクサ５６において、前景および各フレームの前
景についての動きベクトルが多重化されて、前景情報と
して出力され、前景検出処理を終了する。
４に進み、変数ｎが、１シーンを構成するフレーム数Ｎ
に等しいかどうかが判定される。ステップＳ５４におい
て、変数ｎがＮに等しくないと判定された場合、ステッ
プＳ５５に進み、変数ｎが１だけインクリメントされ、
ステップＳ４３に戻る。また、ステップＳ５４におい
て、変数ｎがＮに等しいと判定された場合、マルチプレ
クサ５６は、リファレンス画像メモリ５５に最終的に記
憶されているリファレンス画像を前景として読み出すと
ともに、前景動きベクトルメモリ５２に記憶されている
各フレームの前景動きベクトルを読み出す。そして、マ
ルチプレクサ５６において、前景および各フレームの前
景についての動きベクトルが多重化されて、前景情報と
して出力され、前景検出処理を終了する。
【０１２６】ここで、図１７に示した前景近似画像を用
いて、前景検出処理を行うことにより得られた最終的な
リファレンス画像としての前景を、図２０に示す。図２
０を、図１１および図１２と比較すると、前景を構成す
る画素が背景として削除されたり、また、背景を構成す
る画素が前景として抽出されたりしている部分が、大き
く減っていることが分かる。
いて、前景検出処理を行うことにより得られた最終的な
リファレンス画像としての前景を、図２０に示す。図２
０を、図１１および図１２と比較すると、前景を構成す
る画素が背景として削除されたり、また、背景を構成す
る画素が前景として抽出されたりしている部分が、大き
く減っていることが分かる。
【０１２７】次に、図２１は、図１のデコーダ５の構成
例を示している。
例を示している。
【０１２８】分離部６１には、記録媒体３に記録された
符号化データが、再生部４において再生されて供給され
るようになされている。分離部６１では、再生部４から
の符号化データが、前景情報と背景情報とに分離され、
分離部６２と６３とにそれぞれ供給される。
符号化データが、再生部４において再生されて供給され
るようになされている。分離部６１では、再生部４から
の符号化データが、前景情報と背景情報とに分離され、
分離部６２と６３とにそれぞれ供給される。
【０１２９】分離部６２は、分離部６１からの前景情報
を、前景と、各フレームごとの前景動きベクトルとに分
離し、前景メモリ６４と前景動きベクトル記憶部６５と
にそれぞれ供給して記憶させる。また、分離部６３は、
分離部６１からの背景情報を、全体背景と、各フレーム
ごとの位置情報とに分離し、背景メモリ６６と位置情報
記憶部６７とにそれぞれ供給して記憶させる。
を、前景と、各フレームごとの前景動きベクトルとに分
離し、前景メモリ６４と前景動きベクトル記憶部６５と
にそれぞれ供給して記憶させる。また、分離部６３は、
分離部６１からの背景情報を、全体背景と、各フレーム
ごとの位置情報とに分離し、背景メモリ６６と位置情報
記憶部６７とにそれぞれ供給して記憶させる。
【０１３０】そして、合成部６８において、前景メモリ
６４、前景動きベクトル記憶部６５、背景メモリ６６、
および位置情報記憶部６７の記憶値に基づいて、元のシ
ーンを構成する第１乃至第Ｎフレームが復号される。
６４、前景動きベクトル記憶部６５、背景メモリ６６、
および位置情報記憶部６７の記憶値に基づいて、元のシ
ーンを構成する第１乃至第Ｎフレームが復号される。
【０１３１】即ち、合成部６８は、第ｎフレームを復号
するとき、背景メモリ６６に記憶された全体背景から、
位置情報記憶部６７に記憶された第ｎフレームの位置情
報を最も左上の頂点とするＰH×ＰV画素を、第ｎフレー
ムの背景として読み出す。さらに、合成部６８は、前景
動きベクトル記憶部６５から、第１フレームの前景動き
ベクトルとして記憶されている、第１フレームの前景の
位置と、第ｎフレームの前景動きベクトルとを読み出
し、それらを加算することで、第ｎフレームにおける前
景の位置を求める（但し、ｎ＝１の場合においては、即
ち、第１フレームについては、その前景動きベクトル
が、そのまま前景の位置とされる）。そして、合成部６
８は、第ｎフレームの背景における、上述したようにし
て求めた位置に、前景メモリ６４に記憶された前景を配
置（合成）し、これにより、第ｎフレームの復号画像を
構成する。
するとき、背景メモリ６６に記憶された全体背景から、
位置情報記憶部６７に記憶された第ｎフレームの位置情
報を最も左上の頂点とするＰH×ＰV画素を、第ｎフレー
ムの背景として読み出す。さらに、合成部６８は、前景
動きベクトル記憶部６５から、第１フレームの前景動き
ベクトルとして記憶されている、第１フレームの前景の
位置と、第ｎフレームの前景動きベクトルとを読み出
し、それらを加算することで、第ｎフレームにおける前
景の位置を求める（但し、ｎ＝１の場合においては、即
ち、第１フレームについては、その前景動きベクトル
が、そのまま前景の位置とされる）。そして、合成部６
８は、第ｎフレームの背景における、上述したようにし
て求めた位置に、前景メモリ６４に記憶された前景を配
置（合成）し、これにより、第ｎフレームの復号画像を
構成する。
【０１３２】ここで、図１０の全体背景と、図２０の前
景とから得られる復号画像を、図２２に示す。同図に示
すように、画質の良い復号画像を得ることができる。
景とから得られる復号画像を、図２２に示す。同図に示
すように、画質の良い復号画像を得ることができる。
【０１３３】即ち、図２３に示すように、シーンを構成
する原画像から、全体背景を抽出し、その全体背景と原
画像とから、第１の方法を利用して、前景近似画像を構
成する。さらに、その前景近似画像から、第２の方法を
利用して、前景を検出することにより、前景の抜き出し
を、正確に、いわばロバスト性をもたせて行うことがで
きる。そして、そのような前景と、全体背景とを用いて
復号（合成）を行うことで、画質の良い復号画像を得る
ことができる。
する原画像から、全体背景を抽出し、その全体背景と原
画像とから、第１の方法を利用して、前景近似画像を構
成する。さらに、その前景近似画像から、第２の方法を
利用して、前景を検出することにより、前景の抜き出し
を、正確に、いわばロバスト性をもたせて行うことがで
きる。そして、そのような前景と、全体背景とを用いて
復号（合成）を行うことで、画質の良い復号画像を得る
ことができる。
【０１３４】なお、前景動きベクトルを、時刻を引数と
する連続的な関数で表すことで、復号画像のフレームレ
ートを上下させることが可能となる。また、符号化デー
タに、前景の大きさや、位置、動きベクトルを変数とし
て含めることにより、復号時に、大きさや位置、動きベ
クトルを所望の値にした前景を得ることが可能となる。
する連続的な関数で表すことで、復号画像のフレームレ
ートを上下させることが可能となる。また、符号化デー
タに、前景の大きさや、位置、動きベクトルを変数とし
て含めることにより、復号時に、大きさや位置、動きベ
クトルを所望の値にした前景を得ることが可能となる。
【０１３５】次に、図２４は、本発明を適用した記録再
生装置の他の実施の形態の構成例を示している。
生装置の他の実施の形態の構成例を示している。
【０１３６】この実施の形態においては、記録再生装置
は、コンピュータをベースに構成されている。
は、コンピュータをベースに構成されている。
【０１３７】即ち、ＲＯＭ（Read Only memory）７１
は、例えば、ＩＰＬ（Initial Program Loading）のプ
ログラムなどを記憶している。ＣＰＵ（Central Proces
sing Unit）７２は、外部記憶装置７５に記憶されてい
るＯＳ（Operating System）の制御の下、同じく外部記
憶装置７５に記憶されているアプリケーションプログラ
ムを実行することで、図１の記録再生装置が行うような
各種の処理を行うようになされている。ＲＡＭ（Random
Access memory）７３は、ＣＰＵ７２が実行するプログ
ラムや、その動作上必要なデータなどを一時記憶するよ
うになされている。入出力部７４は、例えば、キーボー
ドや、マウスなどで構成され、データやコマンドを入力
するときに操作される。また、入出力部７４は、ディス
プレイなども有し、ＣＰＵ７２の制御にしたがって、所
定の文字や画像を表示するようにもなされている。外部
記憶装置７５は、例えば、ハードディスクドライブなど
で構成され、ＯＳやアプリケーションプログラム、さら
には、図１のハードディスク６が記憶しているのと同様
の画像データを記憶している。また、ハードディスク７
５は、ＣＰＵ７２が処理を行うのに必要なデータや、処
理を行った結果得られるデータなども記憶するようにな
されている。
は、例えば、ＩＰＬ（Initial Program Loading）のプ
ログラムなどを記憶している。ＣＰＵ（Central Proces
sing Unit）７２は、外部記憶装置７５に記憶されてい
るＯＳ（Operating System）の制御の下、同じく外部記
憶装置７５に記憶されているアプリケーションプログラ
ムを実行することで、図１の記録再生装置が行うような
各種の処理を行うようになされている。ＲＡＭ（Random
Access memory）７３は、ＣＰＵ７２が実行するプログ
ラムや、その動作上必要なデータなどを一時記憶するよ
うになされている。入出力部７４は、例えば、キーボー
ドや、マウスなどで構成され、データやコマンドを入力
するときに操作される。また、入出力部７４は、ディス
プレイなども有し、ＣＰＵ７２の制御にしたがって、所
定の文字や画像を表示するようにもなされている。外部
記憶装置７５は、例えば、ハードディスクドライブなど
で構成され、ＯＳやアプリケーションプログラム、さら
には、図１のハードディスク６が記憶しているのと同様
の画像データを記憶している。また、ハードディスク７
５は、ＣＰＵ７２が処理を行うのに必要なデータや、処
理を行った結果得られるデータなども記憶するようにな
されている。
【０１３８】以上のように構成される記録再生装置で
は、ＣＰＵ７２において、ＯＳの制御の下、アプリケー
ションプログラムが実行されることで、外部記憶装置７
５に記録された画像データが、図１のエンコーダ１にお
ける場合と同様にして、符号化データとされ、外部記憶
装置７５に記録される。また、このようにして記録され
た符号化データは、ＣＰＵ７２において、やはり、ＯＳ
の制御の下、アプリケーションプログラムが実行される
ことで、図１のデコーダ５における場合と同様にして復
号される。
は、ＣＰＵ７２において、ＯＳの制御の下、アプリケー
ションプログラムが実行されることで、外部記憶装置７
５に記録された画像データが、図１のエンコーダ１にお
ける場合と同様にして、符号化データとされ、外部記憶
装置７５に記録される。また、このようにして記録され
た符号化データは、ＣＰＵ７２において、やはり、ＯＳ
の制御の下、アプリケーションプログラムが実行される
ことで、図１のデコーダ５における場合と同様にして復
号される。
【０１３９】以上、本発明を、画像をオブジェクト符号
化して記録し、また、記録した符号化データを再生して
デコードする記録再生装置に適用した場合について説明
したが、本発明は、その他、符号化データを伝送したり
する場合などにも適用可能である。さらに、本発明は、
オブジェクト符号化を行う場合の他、前景の抜き出しが
必要なあらゆる装置に適用可能である。
化して記録し、また、記録した符号化データを再生して
デコードする記録再生装置に適用した場合について説明
したが、本発明は、その他、符号化データを伝送したり
する場合などにも適用可能である。さらに、本発明は、
オブジェクト符号化を行う場合の他、前景の抜き出しが
必要なあらゆる装置に適用可能である。
【０１４０】なお、本実施の形態では、インターレース
方式の画像を、フレーム単位に変換して、フレーム単位
で処理を行うようにしたが、フィールド単位で処理を行
うことも可能である。
方式の画像を、フレーム単位に変換して、フレーム単位
で処理を行うようにしたが、フィールド単位で処理を行
うことも可能である。
【０１４１】また、本発明は、前景となる動き物体が１
つの場合だけでなく、複数の場合にも適用可能である。
前景が複数の画像について、上述したようなオブジェク
ト符号化を施す場合においては、より高い圧縮率を実現
することができる。
つの場合だけでなく、複数の場合にも適用可能である。
前景が複数の画像について、上述したようなオブジェク
ト符号化を施す場合においては、より高い圧縮率を実現
することができる。
【０１４２】さらに、本発明は、前景となる動き物体
が、直線的に移動している場合だけでなく、回転してい
る場合にも適用可能である。但し、前景となる物体が回
転している場合には、前景の回転量を表すパラメータが
必要となる。
が、直線的に移動している場合だけでなく、回転してい
る場合にも適用可能である。但し、前景となる物体が回
転している場合には、前景の回転量を表すパラメータが
必要となる。
【０１４３】また、本実施の形態における、例えば、図
２のフレームメモリ部１２や、図４の背景メモリ２２な
どは、いわゆる半導体メモリであっても良いし、ハード
ディスクや、光磁気ディスク、磁気テープなどであって
も良い。但し、ランダムアクセス可能なものが望まし
い。
２のフレームメモリ部１２や、図４の背景メモリ２２な
どは、いわゆる半導体メモリであっても良いし、ハード
ディスクや、光磁気ディスク、磁気テープなどであって
も良い。但し、ランダムアクセス可能なものが望まし
い。
【０１４４】さらに、本実施の形態では、画素が、ＹＵ
Ｖ成分を有するものとしたが、本発明は、画素が、ＹＵ
Ｖ以外の、例えば、ＲＧＢその他の成分でなる場合にも
適用可能である。
Ｖ成分を有するものとしたが、本発明は、画素が、ＹＵ
Ｖ以外の、例えば、ＲＧＢその他の成分でなる場合にも
適用可能である。
【０１４５】また、本実施の形態では、シーンチェンジ
から次のシーンチェンジまでのフレームを１シーンとし
たが、そのようなシーンチェンジ間の一部のフレーム
を、１シーンとして処理することも可能である。
から次のシーンチェンジまでのフレームを１シーンとし
たが、そのようなシーンチェンジ間の一部のフレーム
を、１シーンとして処理することも可能である。
【０１４６】さらに、本実施の形態では、ビデオカメラ
をパンニングやチルティングして撮影された、背景にも
動きのある画像を対象としたが、本発明は、背景の動き
の有無にかかわらず、適用可能である。
をパンニングやチルティングして撮影された、背景にも
動きのある画像を対象としたが、本発明は、背景の動き
の有無にかかわらず、適用可能である。
【０１４７】
【発明の効果】請求項１に記載の画像抜き出し装置およ
び請求項９に記載の画像抜き出し方法、請求項１０に記
載の画像符号化装置および請求項１１に記載の画像符号
化方法、請求項１４に記載の画像記録装置および請求項
１５に記載の画像記録方法、並びに請求項１９に記載の
記録媒体によれば、１シーンを構成する画像から、その
１シーン全体の背景が検出され、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
が演算される。さらに、その差分値に基づき、前景の候
補となる前景候補画像が求められ、１シーンを構成する
画像それぞれについての前景候補画像どうしの差分が演
算される。そして、その差分値に基づいて、前景が検出
される。従って、前景を、精度良く抜き出すことが可能
となる。
び請求項９に記載の画像抜き出し方法、請求項１０に記
載の画像符号化装置および請求項１１に記載の画像符号
化方法、請求項１４に記載の画像記録装置および請求項
１５に記載の画像記録方法、並びに請求項１９に記載の
記録媒体によれば、１シーンを構成する画像から、その
１シーン全体の背景が検出され、１シーンを構成する画
像それぞれについて、背景の中の対応する部分との差分
が演算される。さらに、その差分値に基づき、前景の候
補となる前景候補画像が求められ、１シーンを構成する
画像それぞれについての前景候補画像どうしの差分が演
算される。そして、その差分値に基づいて、前景が検出
される。従って、前景を、精度良く抜き出すことが可能
となる。
【０１４８】請求項１２に記載の画像復号装置および請
求項１３に記載の画像復号方法、請求項１６および請求
項１７に記載の画像再生方法、並びに請求項１８に記載
の記録媒体によれば、符号化データが、１シーンを構成
する画像から、その１シーン全体の背景を検出し、１シ
ーンを構成する画像それぞれについて、背景の中の対応
する部分との差分を演算し、その差分値に基づき、画像
における動き物体の領域である前景の候補となる前景候
補画像を求め、１シーンを構成する画像それぞれについ
ての前景候補画像どうしの差分を演算し、その差分値に
基づいて、前景を検出することにより得られた背景およ
び前景を含んでいる。従って、その符号化データから、
画質の良い復号画像を得ることが可能となる。
求項１３に記載の画像復号方法、請求項１６および請求
項１７に記載の画像再生方法、並びに請求項１８に記載
の記録媒体によれば、符号化データが、１シーンを構成
する画像から、その１シーン全体の背景を検出し、１シ
ーンを構成する画像それぞれについて、背景の中の対応
する部分との差分を演算し、その差分値に基づき、画像
における動き物体の領域である前景の候補となる前景候
補画像を求め、１シーンを構成する画像それぞれについ
ての前景候補画像どうしの差分を演算し、その差分値に
基づいて、前景を検出することにより得られた背景およ
び前景を含んでいる。従って、その符号化データから、
画質の良い復号画像を得ることが可能となる。
【図１】本発明を適用した記録再生装置の第１実施の形
態の構成例を示すブロック図である。
態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図
である。
である。
【図３】画素より細かい精度での動きベクトルの検出方
法を説明するための図である。
法を説明するための図である。
【図４】図２の背景抽出部１４の構成例を示すブロック
図である。
図である。
【図５】図４の背景メモリ２２の構成例を示す図であ
る。
る。
【図６】図４の背景抽出部１４の処理を説明するための
フローチャートである。
フローチャートである。
【図７】図６のステップＳ１における初期化処理を説明
するための図である。
するための図である。
【図８】図６のステップＳ１における初期化処理を説明
するための図である。
するための図である。
【図９】符号化対象の原画像を示す、ディスプレイ上に
表示される中間調画像の写真である。
表示される中間調画像の写真である。
【図１０】全体背景を示す、ディスプレイ上に表示され
る中間調画像の写真である。
る中間調画像の写真である。
【図１１】第１の方法による前景の抜き出し結果を示
す、ディスプレイ上に表示される中間調画像の写真であ
る。
す、ディスプレイ上に表示される中間調画像の写真であ
る。
【図１２】第２の方法による前景の抜き出し結果を示
す、ディスプレイ上に表示される中間調画像の写真であ
る。
す、ディスプレイ上に表示される中間調画像の写真であ
る。
【図１３】図２の前景抽出部１５の構成例を示すブロッ
ク図である。
ク図である。
【図１４】図１３の前景位置近似処理部３１の構成例を
示すブロック図である。
示すブロック図である。
【図１５】図１４の前景位置近似処理部３１の処理を説
明するためのフローチャートである。
明するためのフローチャートである。
【図１６】図１５のステップＳ２２における処理を説明
するための図である。
するための図である。
【図１７】前景近似画像を示す、ディスプレイ上に表示
される中間調画像の写真である。
される中間調画像の写真である。
【図１８】図１３の前景検出処理部３３の構成例を示す
ブロック図である。
ブロック図である。
【図１９】図１８の前景検出処理部３３の処理を説明す
るためのフローチャートである。
るためのフローチャートである。
【図２０】図２の前景抽出部１５における前景の抜き出
し結果を示す、ディスプレイ上に表示される中間調画像
の写真である。
し結果を示す、ディスプレイ上に表示される中間調画像
の写真である。
【図２１】図１のデコーダ５の構成例を示すブロック図
である。
である。
【図２２】図２１のデコーダ５から出力される復号画像
を示す、ディスプレイ上に表示される中間調画像の写真
である。
を示す、ディスプレイ上に表示される中間調画像の写真
である。
【図２３】図１の記録再生装置の処理を説明するための
図である。
図である。
【図２４】本発明を適用した記録再生装置の第２実施の
形態の構成例を示すブロック図である。
形態の構成例を示すブロック図である。
１ エンコーダ， ２ 記録部， ３ 記録媒体， ４
再生部， ５ デコーダ， ６ ハードディスク，
１１ フィールド／フレーム変換部， １２フレームメ
モリ部， １３ 動きベクトル検出部， １４ 背景抽
出部， １５前景抽出部， １６ 符号化部， ２１
読み書き制御部， ２２ 背景メモリ， ２３ 位置情
報メモリ， ２４ マルチプレクサ， ３１ 前景位置
近似処理部， ３２ 前景近似画像メモリ， ３３ 前
景検出処理部， ４１ 差分算出部， ４２ 背景削除
部， ５１ 前景動きベクトル検出部， ５２ 前景動
きベクトルメモリ， ５３ 差分算出部， ５４ 回数
カウントメモリ， ５５ リファレンス画像メモリ，
５６ マルチプレクサ， ６１乃至６３ 分離部, ６
４ 前景メモリ， ６５ 前景動きベクトル記憶部，
６６ 背景メモリ， ６７ 位置情報記憶部， ６８
合成部， ７１ ＲＯＭ， ７２ ＣＰＵ， ７３ Ｒ
ＡＭ， ７４ 入出力部， ７５ 外部記憶装置
再生部， ５ デコーダ， ６ ハードディスク，
１１ フィールド／フレーム変換部， １２フレームメ
モリ部， １３ 動きベクトル検出部， １４ 背景抽
出部， １５前景抽出部， １６ 符号化部， ２１
読み書き制御部， ２２ 背景メモリ， ２３ 位置情
報メモリ， ２４ マルチプレクサ， ３１ 前景位置
近似処理部， ３２ 前景近似画像メモリ， ３３ 前
景検出処理部， ４１ 差分算出部， ４２ 背景削除
部， ５１ 前景動きベクトル検出部， ５２ 前景動
きベクトルメモリ， ５３ 差分算出部， ５４ 回数
カウントメモリ， ５５ リファレンス画像メモリ，
５６ マルチプレクサ， ６１乃至６３ 分離部, ６
４ 前景メモリ， ６５ 前景動きベクトル記憶部，
６６ 背景メモリ， ６７ 位置情報記憶部， ６８
合成部， ７１ ＲＯＭ， ７２ ＣＰＵ， ７３ Ｒ
ＡＭ， ７４ 入出力部， ７５ 外部記憶装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 野出 泰史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 田中 健司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (54)【発明の名称】 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装 置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、 並びに記録媒体
Claims (19)
- 【請求項１】 複数画面の画像の集まりである１シーン
から、動き物体の領域である前景を抜き出す画像抜き出
し装置であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出する背景検出手段と、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分である第１の差分値を演
算し、その第１の差分値に基づき、前記前景の候補とな
る前景候補画像を求める前景候補画像算出手段と、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分である第２の差分値を演算し、
その第２の差分値に基づいて、前記前景を検出する前景
検出手段とを備えることを特徴とする画像抜き出し装
置。 - 【請求項２】 前記前景候補画像算出手段は、 所定の一直線上にある前記画像の画素について、前記第
１の差分値が所定の閾値以上となる画素の数が所定数以
上あるかどうかを判定する画素数判定手段と、 前記画素数判定手段の判定結果に基づいて、前記所定の
一直線上にある前記画像の画素を、前記背景を構成する
ものとして削除する画素削除手段とを有することを特徴
とする請求項１に記載の画像抜き出し装置。 - 【請求項３】 前記前景候補画像算出手段は、 前記画像を構成する所定の画素について、その所定の画
素に対応する、前記背景を構成する画素との前記第１の
差分値と、その周辺の画素との前記第１の差分値とを演
算し、 その複数の第１の差分値のうち、最も小さいものを、前
記所定の画素についての最終的な第１の差分値とするこ
とを特徴とする請求項１に記載の画像抜き出し装置。 - 【請求項４】 前記画像を構成する画素が、輝度成分と
色差成分とを有する場合において、 前記前景候補画像算出手段は、前記輝度成分よりも色差
成分に大きな重み付けをして、前記第１の差分値を求め
ることを特徴とする請求項１に記載の画像抜き出し装
置。 - 【請求項５】 前記前景検出手段は、 前記１シーンを構成する画像それぞれについての前記前
景候補画像のうちの１つを基準画像として、その基準画
像と、他の前記前景候補画像との差分を、前記第２の差
分値として演算し、 その第２の差分値が所定の閾値以上の前記基準画像を構
成する画素を、前記背景を構成するものとして削除し、
その画素の削除後の画像を、新たな前記基準画像とし
て、他の前記前景候補画像との前記第２の差分値を演算
することを繰り返し、 最終的に得られた前記基準画像を、前記前景とすること
を特徴とする請求項１に記載の画像抜き出し装置。 - 【請求項６】 前記前景検出手段は、 前記基準画像を構成する各画素について、他の前記前景
候補画像を構成する画素との前記第２の差分値が、前記
所定の閾値以上になる回数をカウントし、 その回数が、所定数以上になったとき、対応する画素を
削除することを特徴とする請求項５に記載の画像抜き出
し装置。 - 【請求項７】 前記前景検出手段は、 前記前景候補画像を構成する所定の画素について、その
所定の画素に対応する、他の前記前景候補画像を構成す
る画素との前記第２の差分値と、その周辺の画素との前
記第２の差分値とを演算し、 その複数の第２の差分値のうち、最も小さいものを、前
記所定の画素についての最終的な第２の差分値とするこ
とを特徴とする請求項１に記載の画像抜き出し装置。 - 【請求項８】 前記前景候補画像を構成する画素が、輝
度成分と色差成分とを有する場合において、 前記前景検出手段は、前記輝度成分よりも色差成分に大
きな重み付けをして、前記第２の差分値を求めることを
特徴とする請求項１に記載の画像抜き出し装置。 - 【請求項９】 複数画面の画像の集まりである１シーン
から、動き物体の領域である前景を抜き出す画像抜き出
し方法であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記前景の候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することを特徴とする画像抜き出し
方法。 - 【請求項１０】 複数画面の画像の集まりである１シー
ン単位で符号化を行う画像符号化装置であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出する背景検出手段と、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求める前景候補画像算出手段
と、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出する前景検出手段と、 前記背景検出手段により検出された前記背景と、前記前
景検出手段により検出された前記前景とを、前記１シー
ンの符号化結果として出力する出力手段とを備えること
を特徴とする画像符号化装置。 - 【請求項１１】 複数画面の画像の集まりである１シー
ン単位で符号化を行う画像符号化方法であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出し、 前記背景および前景を、前記１シーンの符号化結果とし
て出力することを特徴とする画像符号化方法。 - 【請求項１２】 複数画面の画像の集まりである１シー
ン単位で符号化を行うことにより得られた符号化データ
を復号する画像復号装置であって、 前記符号化データを、前記１シーンの画像に復号する復
号手段を備え、 前記符号化データは、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することにより得られた前記背景お
よび前景を含むことを特徴とする画像復号装置。 - 【請求項１３】 複数画面の画像の集まりである１シー
ン単位で符号化を行うことにより得られた符号化データ
を復号する画像復号方法であって、 前記符号化データは、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することにより得られた前記背景お
よび前景を含むことを特徴とする画像復号方法。 - 【請求項１４】 複数画面の画像の集まりである１シー
ン単位で記録を行う画像記録装置であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出する背景検出手段と、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求める前景候補画像算出手段
と、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出する前景検出手段と、 前記背景検出手段により検出された前記背景と、前記前
景検出手段により検出された前記前景とを記録する記録
手段とを備えることを特徴とする画像記録装置。 - 【請求項１５】 複数画面の画像の集まりである１シー
ン単位で記録を行う画像記録方法であって、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出し、 前記背景および前景を記録することを特徴とする画像記
録方法。 - 【請求項１６】 複数画面の画像の集まりである１シー
ン単位で記録を行った記録データを再生する画像再生装
置であって、 前記記録データを、前記１シーンの画像に再生する再生
手段を備え、 前記記録データは、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することにより得られた前記背景お
よび前景を含むことを特徴とする画像再生装置。 - 【請求項１７】 複数画面の画像の集まりである１シー
ン単位で記録を行った記録データを再生する画像再生方
法であって、 前記記録データは、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することにより得られた前記背景お
よび前景を含むことを特徴とする画像再生方法。 - 【請求項１８】 複数画面の画像の集まりである１シー
ン単位で符号化を行うことにより得られた符号化データ
が記録されている記録媒体であって、前記符号化データ
は、 前記１シーンを構成する画像から、その１シーン全体の
背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出することにより得られた前記背景お
よび前景を含むことを特徴とする記録媒体。 - 【請求項１９】 コンピュータに実行させるためのプロ
グラムが記録されている記録媒体であって、 複数画面の画像の集まりである１シーンを構成する画像
から、その１シーン全体の背景を検出し、 前記１シーンを構成する画像それぞれについて、前記背
景の中の対応する部分との差分を演算し、その差分値に
基づき、前記画像における動き物体の領域である前景の
候補となる前景候補画像を求め、 前記１シーンを構成する画像それぞれについての前記前
景候補画像どうしの差分を演算し、その差分値に基づい
て、前記前景を検出する処理を行わせるためのプログラ
ムが記録されていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28260397A JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28260397A JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112871A true JPH11112871A (ja) | 1999-04-23 |
| JP4214425B2 JP4214425B2 (ja) | 2009-01-28 |
Family
ID=17654663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28260397A Expired - Fee Related JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214425B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001093584A1 (en) * | 2000-06-02 | 2001-12-06 | Sony Corporation | Data processing system and method, communication system and method, and charging device and method |
| JP2003018564A (ja) * | 2001-06-27 | 2003-01-17 | Sony Corp | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| US6668070B2 (en) | 2000-03-29 | 2003-12-23 | Sony Corporation | Image processing device, image processing method, and storage medium |
| US6766059B1 (en) | 1999-09-13 | 2004-07-20 | Sony Corporation | Image processing apparatus |
| US6956960B2 (en) | 1999-03-29 | 2005-10-18 | Sony Corporation | Image processing device, image processing method, and storage medium |
| WO2006035584A1 (ja) * | 2004-09-28 | 2006-04-06 | Sony Corporation | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| WO2006114951A1 (ja) * | 2005-04-19 | 2006-11-02 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置及び画像処理プログラム |
| JP2008136213A (ja) * | 2006-11-27 | 2008-06-12 | Samsung Electronics Co Ltd | 動画のフレーム情報を生成する方法、それを利用したシステム及び記録媒体 |
| JP2009147911A (ja) * | 2007-12-12 | 2009-07-02 | Samsung Electronics Co Ltd | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム |
| WO2012050185A1 (ja) * | 2010-10-14 | 2012-04-19 | シャープ株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
| US8164638B2 (en) | 2001-06-27 | 2012-04-24 | Sony Corporation | Communication system and method thereof |
| JP2014026372A (ja) * | 2012-07-25 | 2014-02-06 | Dainippon Printing Co Ltd | カメラの撮影視野変動検知装置 |
| JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
| US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
-
1997
- 1997-09-30 JP JP28260397A patent/JP4214425B2/ja not_active Expired - Fee Related
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6956960B2 (en) | 1999-03-29 | 2005-10-18 | Sony Corporation | Image processing device, image processing method, and storage medium |
| US6968074B1 (en) | 1999-03-29 | 2005-11-22 | Sony Corporation | Image processing device, image processing method, and storage medium |
| US7305136B2 (en) | 1999-09-13 | 2007-12-04 | Sony Corporation | Image processing apparatus |
| CN100440976C (zh) * | 1999-09-13 | 2008-12-03 | 索尼公司 | 图像处理装置及其方法 |
| US7315654B2 (en) | 1999-09-13 | 2008-01-01 | Sony Corporation | Image processing apparatus |
| US7315653B2 (en) | 1999-09-13 | 2008-01-01 | Sony Corporation | Image processing apparatus |
| US7003163B2 (en) | 1999-09-13 | 2006-02-21 | Sony Corporation | Image processing apparatus |
| US6766059B1 (en) | 1999-09-13 | 2004-07-20 | Sony Corporation | Image processing apparatus |
| US7245774B2 (en) | 1999-09-13 | 2007-07-17 | Sony Corporation | Image processing apparatus |
| US7133562B2 (en) * | 1999-09-13 | 2006-11-07 | Sony Corporation | Image processing apparatus |
| US6668070B2 (en) | 2000-03-29 | 2003-12-23 | Sony Corporation | Image processing device, image processing method, and storage medium |
| US7856227B2 (en) | 2000-06-02 | 2010-12-21 | Sony Corporation | Data processing system and method, communication system and method, and charging apparatus and method |
| US7869797B2 (en) | 2000-06-02 | 2011-01-11 | Sony Corporation | Data processing system and method, communication system and method, and charging apparatus and method |
| WO2001093584A1 (en) * | 2000-06-02 | 2001-12-06 | Sony Corporation | Data processing system and method, communication system and method, and charging device and method |
| US7313386B2 (en) | 2000-06-02 | 2007-12-25 | Sony Corporation | Data processing system and method, communication system and method, and charging device and method |
| US7966005B2 (en) | 2000-06-02 | 2011-06-21 | Sony Corporation | Data processing system and method, communication system and method, and charging apparatus and method |
| JP4650655B2 (ja) * | 2001-06-27 | 2011-03-16 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| US8164638B2 (en) | 2001-06-27 | 2012-04-24 | Sony Corporation | Communication system and method thereof |
| JP2003018564A (ja) * | 2001-06-27 | 2003-01-17 | Sony Corp | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| WO2006035584A1 (ja) * | 2004-09-28 | 2006-04-06 | Sony Corporation | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| WO2006114951A1 (ja) * | 2005-04-19 | 2006-11-02 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置及び画像処理プログラム |
| US7961961B2 (en) | 2005-04-19 | 2011-06-14 | Panasonic Corporation | Image processing apparatus and image processing program using motion information |
| JP2006303797A (ja) * | 2005-04-19 | 2006-11-02 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理プログラム |
| JP2008136213A (ja) * | 2006-11-27 | 2008-06-12 | Samsung Electronics Co Ltd | 動画のフレーム情報を生成する方法、それを利用したシステム及び記録媒体 |
| US8559792B2 (en) | 2006-11-27 | 2013-10-15 | Samsung Electronics Co., Ltd. | System, method and medium generating frame information for moving images |
| JP2009147911A (ja) * | 2007-12-12 | 2009-07-02 | Samsung Electronics Co Ltd | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム |
| WO2012050185A1 (ja) * | 2010-10-14 | 2012-04-19 | シャープ株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
| JP2012085233A (ja) * | 2010-10-14 | 2012-04-26 | Sharp Corp | 映像処理装置、映像処理方法、及びプログラム |
| JP2014026372A (ja) * | 2012-07-25 | 2014-02-06 | Dainippon Printing Co Ltd | カメラの撮影視野変動検知装置 |
| JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
| US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4214425B2 (ja) | 2009-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224748B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 | |
| JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5093557B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20040046891A1 (en) | Frame interpolation and apparatus using frame interpolation | |
| JP4645707B2 (ja) | コンテンツデータ処理装置 | |
| JP4214425B2 (ja) | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2005210697A (ja) | 動き補償フレームレート変換 | |
| JP2003333543A (ja) | 分解能を向上させたビデオ作成方法及び装置 | |
| US7421152B2 (en) | Method for resizing an image using the inverse discrete cosine transform | |
| US7957593B2 (en) | Method and apparatus for processing image, recording medium, and computer program | |
| JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
| JP4507639B2 (ja) | 画像信号処理装置 | |
| JP4321468B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| WO2004097737A1 (en) | Segmentation refinement | |
| JP2002514861A (ja) | Ｍｐｅｇ符号化信号のトリックプレイ再生 | |
| KR100505516B1 (ko) | 영상신호변환장치및방법 | |
| JP4186093B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| WO2000024194A1 (fr) | Dispositif et procede de traitement d'images | |
| JP4120095B2 (ja) | 画像情報変換装置および変換方法 | |
| JP2002077798A (ja) | 動画像処理装置、動画像処理方法および記録媒体 | |
| US20120189218A1 (en) | Image processing apparatus and image processing method | |
| JPH0785267A (ja) | 量子化ビット数変換装置 | |
| JPH06268911A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081009 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081022 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |