JPH08307871A - フレーム間予測方法 - Google Patents

フレーム間予測方法

Info

Publication number
JPH08307871A
JPH08307871A JP11271295A JP11271295A JPH08307871A JP H08307871 A JPH08307871 A JP H08307871A JP 11271295 A JP11271295 A JP 11271295A JP 11271295 A JP11271295 A JP 11271295A JP H08307871 A JPH08307871 A JP H08307871A
Authority
JP
Japan
Prior art keywords
area
image
overlap
section
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11271295A
Other languages
English (en)
Inventor
Yutaka Watanabe
裕 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP11271295A priority Critical patent/JPH08307871A/ja
Publication of JPH08307871A publication Critical patent/JPH08307871A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】被写体に対応する区分領域の境界部分で,自然
なぼけをもつ予測画像を生成することによって,実際に
カメラで撮影された画像に近い画像を生成し,予測効率
を向上させるとともに,処理画像の自然さを再現する。 【構成】現フレームの区分領域の各々を,隣接する区分
領域に重なるように所定の範囲にわたり拡大し,拡大さ
れた領域を変形および移動させて最も類似する領域を前
フレームの画像の中から探し出し,得られた画像を用い
て拡大された区分領域が互いに重なった部分の画素値を
所定の混合方法により融合し,または拡大された区分領
域における拡大部分と背景のデータとを所定の混合方法
により融合し,予測画像を生成する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,高能率画像符号化にお
けるフレーム間予測方法に関するものである。
【0002】
【従来の技術】従来の領域分割符号化では,輪郭抽出あ
るいは動きベクトルの統合などの手法を用いて,フレー
ムに含まれる被写体に相当する領域を画素単位に分離
し,得られた領域毎に動き補償フレーム間予測を行って
いた。このとき,各領域は重ならないように検出されて
いた。
【0003】すなわち,1フレームを全体の領域Tとし
たとき,部分領域S1 ,S2 ,…,Sn に分解する際
に,画素に関して重なりを生じないように, T=S1 ∪S2 ∪S3 ∪…∪Sni ∩Sj =φ(i≠jのとき) …… 式(1) となるように輪郭の抽出,統合を行っていた。
【0004】〔従来技術の参考文献〕 [1]H.G.Musmann, M.Hoetter and J.Ostermann: "Obj
ect-Oriented Analysis-Synthesis Coding of Moving I
mages," Signal Processing,Image Communication, Vo
l.1, No.2, pp.117-138 (Oct.1989). [2]Patrick C. Mclean: "Structured Video Codin
g," Master Thesis, Massachusetts Institute of Tech
nology (June 1991).
【0005】
【発明が解決しようとする課題】実際のビデオに含まれ
る被写体は,撮像系の光学的なぼけのために,物体の領
域は画素単位に明確に分離できないことが多い。従来方
法では,このような場合にも画素単位の輪郭を求めて動
き補償を行っていた。
【0006】したがって,境界部分では動き補償により
生成された画像の予測効率が低下する欠点があった。ま
た,合成された予測画像は,本来,境界付近はぼけてい
るはずであるのに,輪郭形状がシャープになり,不自然
な再生画像となる場合があった。
【0007】本発明の目的は,被写体に対応する区分領
域の境界部分で,自然なぼけをもつ予測画像を生成する
ことによって,実際にカメラで撮影された画像に近い画
像を生成し,予測効率を向上させるとともに,処理画像
の自然さを再現することにある。
【0008】
【課題を解決するための手段】本発明では,各領域を隣
接領域に対して重なるように面積を拡大して定義し,撮
像系の焦点がずれた部分の領域を取り扱える画像合成方
法を用いてフレーム間予測を行う。
【0009】現フレームを区分領域に分割する際に,部
分領域Si とSj が隣合うとき,境界領域を重複して獲
得する。隣合う領域の画素値の混合する範囲を,光学的
なぼけの程度に応じて決定しパラメータ化する。いま,
i の周囲にm(i)画素拡大した領域をSi m(i)
し,Sj の周囲にm(j)画素拡大した領域をSj m(j)
とする。領域の拡大には輪郭の上下および左右に一定画
素数だけ拡大する手法や,次に示すモルフォロジーによ
る手法を用いることができる。
【0010】図2に区分領域のダイレーションによる拡
大の例を示す。半径m(i)の円をBi ,その原点に対
する反転をBi R とすると,Si m(i)は2値のモルフォ
ロジーの基本演算であるダイレーション(演算記号を
〔+〕と表す)により Si m(i)=Si 〔+〕Bi R …… 式(2) と表される。
【0011】拡大された領域Si m(i)(i=1,…,
n)を動き補償フレーム間予測の対象とする。Si m(i)
に対してアフィン変換や射影変換などの動きパラメータ
を作用させて,動き補償を行い予測画像を生成する。す
なわち,領域Si m(i)に対する予測画像IP (t,Si
m(i))は, IP (t,Si m(i))=I(t−1,Ai [Si m(i)]) ……式(3) で得られる。インデクスtは時刻を表す。Ai は現フレ
ームの領域Si m(i)から前フレームへのアフィン変換を
表す。Si の周囲の集合でSi m(i)に含まれる部分Fi
は, Fi ={x:x∈(Si m(i)∩Si c )} ……式(4) となる。ここで,Si c はSi の補集合を表す。同様
に, Fj ={x:x∈(Sj m(j)∩Sj c )} ……式(5) である。さて,Si m(i)とSj m(j)が重なる領域は以下
の3つに分けられる。
【0012】 Fi ∩Sjj ∩Sii ∩Fj 領域に対する予測画像の生成は,本実施例では,Si
がSj に比べて撮像系に近い位置に存在するかどうかに
よって,以下に説明するように行う。なお,撮像系と区
分領域Si ,Sj ,…の距離は,事前にそれらが既知で
あるか,カメラに距離センサをとりつけて計測する。計
測が不可能である場合には人間がインタラクティブに介
在して,被写体の内容に応じて経験的に距離を決定す
る。また,区分領域の周波数成分とエッジ強度から推定
することもできる。さらに,数フレーム以前の区分領域
の動きを検出しておき,重なりの判断を行い,その結果
を用いて所定の距離を与えることができる。いずれにせ
よ,Si とSj のどちらがカメラに近い位置にあるかと
いう情報は別処理によって与えられるものとする。
【0013】図2に示すFi とSj の重なっている領域
の部分は,Si がSj よりも手前にあるとき,Si
m(i)とSj m(j)のアフィン変換領域データを融合して予
測値を作成する。この融合では,各々の領域からの距離
で決まる線形補間やファジー論理により重み付けして補
間する。線形補間の例を以下に示す。
【0014】 IP (t,Fi ∩Sj ) ={aI(t−1,Ai [Si m(i)])+bI(t−1,Aj [Sj m(j)])} ÷(a+b) ……式(6) ここに,a,bは例えばSi ,Sj の周囲からの距離に
よって決まる荷重である。重み付けにファジー論理を適
用する場合には,動きパラメータの方向によって,荷重
a,bを変化させる処理を行う。
【0015】一方,Sj がSi よりも手前にある場合に
は,Si はSj の後ろにあるので隠れてしまうことにな
る。したがって,Fi とSj の重なっている領域の部
分の予測値は, IP (t,Fi ∩Sj )=I(t−1,Aj [Sj m(j)]) ……式(7) を用いる。
【0016】同様に,図2に示すFj とSi の重なって
いる領域の部分は,Sj がSi よりも手前にあると
き,Si m(i)とSj m(j)のアフィン変換領域データを融
合して予測値を作成する。線形補間の場合,次のように
なる。
【0017】 IP (t,Fj ∩Si ) ={aI(t−1,Ai [Si m(i)])+bI(t−1,Aj [Sj m(j)])} ÷(a+b) ……式(8) a,bは例えばSi ,Sj の周囲からの距離によって決
まる荷重である。
【0018】一方,Si がSj よりも手前にある場合に
は,Sj はSi の後ろにあるので隠れてしまうことにな
る。したがって,Fj とSi の重なっている領域の部
分の予測値は, IP (t,Fj ∩Si )=I(t−1,Ai [Si m(i)]) ……式(9) を用いる。
【0019】図2に示すFi とFj とが重なっている領
域の部分は,次のように2つの領域を融合させる。 IP (t,Fi ∩Fj ) ={aI(t−1,Ai [Si m(i)])+bI(t−1,Aj [Sj m(j)])} ÷(a+b) ……式(10) ここに,a,bはSi ,Sj の周囲からの最短距離によ
って決まる荷重である。重み付けにファジー論理を適用
する場合には,動きパラメータの方向によって,荷重
a,bを変化させる処理を行う。
【0020】ここでは領域拡大にモルフォロジーによる
ダイレーションを用いたが,垂直,水平方向に一定画素
数だけ拡大する手法や,輪郭線を検出しその法線方向に
一定画素数だけ拡大する手法を用いることもできる。
【0021】図2では簡単にするために,背景とSi
重なりを省略して図示している。しかし,実際にはフレ
ームはすべて何らかの区分領域に属している。したがっ
て,Si の周囲でSj と重ならない部分についても,あ
る別の領域Sk (k≠i,j)との間での重なりがあり
得る。そこで本発明における処理が適用される。
【0022】また,部分によっては3つ以上の領域が重
なる場合があり得る。このような場合には,前述した式
(6) 〜式(10)に示した2つの部分の重み付け和が,3つ
以上の重み付け和になるだけであり,処理方法に本質的
な相違はない。
【0023】また,以上では融合の際に線形補間の例を
示したが,ガウシアンフィルタなどの低域通過形フィル
タをFi やFj の領域に適用し,背景のデータに加算し
て融合する手法を用いることもできる。
【0024】
【作用】以上のように,各領域を隣接領域に対して重な
るように面積を拡大して定義し,撮像系の焦点がずれた
部分の領域を取り扱える画像合成方法を用いてフレーム
間予測を行うことにより,被写体に対応する区分領域の
境界部分で,自然なぼけをもつ予測画像を生成すること
が可能になる。
【0025】
【実施例】以下,本発明の実施例を説明する。図1に本
発明の実施例であるフレーム間予測方法のブロックダイ
ヤグラムを示す。
【0026】現フレーム画像1は領域分割部2に入力さ
れ,いくつかの領域3に区分される。さらに,ぼけ検出
部4において区分された領域毎にぼけの程度によって拡
大パラメータ5が計算される。拡大パラメータ5を用い
て領域拡大部6において区分領域が拡大される。拡大さ
れた領域7の画像データと前フレーム画像14に基づい
て,動きパラメータ検出部8において,アフィン変換や
射影変換の動きパラメータ9が計算される。領域重なり
抽出部10では,アフィン変換や射影変換の動きパラメ
ータ9と領域情報から重なりが判定され,重なり情報1
1が出力される。予測画像生成部12において,各領域
毎に重なり情報11に基づいて予測画像13が生成され
る。
【0027】
【発明の効果】以上説明したように,本発明によれば,
領域分割符号化における領域分割を確定的に行うのでは
なく,隣接領域と重なるように拡大した領域分割を用い
ることにより,撮像系の光学的なぼけが吸収できる。し
たがって,境界部分では動き補償により生成された画像
の予測効率が低下せず,また,合成された画像も境界付
近で自然なぼけが再現される。
【図面の簡単な説明】
【図1】本発明の実施例のブロックダイヤグラムであ
る。
【図2】区分領域のダイレーションによる拡大の例を示
す図である。
【符号の説明】
1 現フレーム画像 2 領域分割部 3 いくつかの領域 4 ぼけ検出部 5 拡大パラメータ 6 領域拡大部 7 拡大された領域 8 動きパラメータ検出部 9 動きパラメータ 10 領域重なり抽出部 11 重なり情報 12 予測画像生成部 13 予測画像 14 前フレーム画像

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 動画像シーケンスにおいて,現フレーム
    の画像に対して被写体の領域検出を行い,得られた区分
    領域を射影変換して前フレームの画像とマッチングをと
    り,区分領域毎に射影変換パラメータを求めたのち,前
    フレームの対応領域の画像に射影変換パラメータを作用
    させて予測画像を生成するフレーム間予測方法におい
    て,現フレームの区分領域の各々を,隣接する区分領域
    に重なるように所定の範囲にわたり拡大し,拡大された
    領域を変形および移動させて最も類似する領域を前フレ
    ームの画像の中から探し出し,得られた画像を用いて拡
    大された区分領域が互いに重なった部分の画素値を所定
    の混合方法により融合し,または拡大された区分領域に
    おける拡大部分と背景のデータとを所定の混合方法によ
    り融合し,予測画像を生成することを特徴とするフレー
    ム間予測方法。
JP11271295A 1995-05-11 1995-05-11 フレーム間予測方法 Pending JPH08307871A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11271295A JPH08307871A (ja) 1995-05-11 1995-05-11 フレーム間予測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11271295A JPH08307871A (ja) 1995-05-11 1995-05-11 フレーム間予測方法

Publications (1)

Publication Number Publication Date
JPH08307871A true JPH08307871A (ja) 1996-11-22

Family

ID=14593625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11271295A Pending JPH08307871A (ja) 1995-05-11 1995-05-11 フレーム間予測方法

Country Status (1)

Country Link
JP (1) JPH08307871A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028650A1 (en) * 1996-01-29 1997-08-07 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
JP2010101073A (ja) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 崩落検知システムおよび方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997028650A1 (en) * 1996-01-29 1997-08-07 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US6577771B1 (en) 1996-01-29 2003-06-10 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US6591018B2 (en) 1996-01-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
US6873736B2 (en) 1996-01-29 2005-03-29 Matsushita Electric Industrial Co., Ltd. Method for supplementing digital image with picture element, and digital image encoder and decoder using the same
JP2010101073A (ja) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> 崩落検知システムおよび方法

Similar Documents

Publication Publication Date Title
Irani et al. Detecting and tracking multiple moving objects using temporal integration
US5960111A (en) Method and apparatus for segmenting images prior to coding
US9667991B2 (en) Local constraints for motion matching
US6625333B1 (en) Method for temporal interpolation of an image sequence using object-based image analysis
JP2003018604A (ja) 画像信号符号化方法、画像信号符号化装置および記録媒体
US7440613B2 (en) Binary mask interpolation
JP2000011133A (ja) 移動物体検出装置及びその方法
KR960039997A (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
US6693960B2 (en) Moving picture encoder and moving picture decoder
CN112215877A (zh) 图像处理方法和装置、电子设备、可读存储介质
JP2003134385A (ja) 画像合成装置
Ribaric et al. Real-time active visual tracking system
JP3034101B2 (ja) 動きベクトルによる識別方法及び装置
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JPH08307871A (ja) フレーム間予測方法
JPH09284702A (ja) シーン変化フレーム検出方法および装置
JPH07128017A (ja) 距離測定装置
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JP2900709B2 (ja) 動画像フィルタ
JPH07334683A (ja) 移動物体検出装置
JP2000082146A (ja) 動画像処理装置
JPH0795587A (ja) 動きベクトル検出方法
JP2980810B2 (ja) 動きベクトル探索方法と装置
Wei et al. Automatic video object segmentation for MPEG-4
JPH09270002A (ja) 物体強調手段