JP3095141B2 - 2次元三角形線格子モデルを用いた動画像の動き補償方法 - Google Patents

2次元三角形線格子モデルを用いた動画像の動き補償方法

Info

Publication number
JP3095141B2
JP3095141B2 JP7598398A JP7598398A JP3095141B2 JP 3095141 B2 JP3095141 B2 JP 3095141B2 JP 7598398 A JP7598398 A JP 7598398A JP 7598398 A JP7598398 A JP 7598398A JP 3095141 B2 JP3095141 B2 JP 3095141B2
Authority
JP
Japan
Prior art keywords
pixel value
motion
pixel
predetermined position
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7598398A
Other languages
English (en)
Other versions
JPH10341445A (ja
Inventor
季 鎬 朴
學 秀 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH10341445A publication Critical patent/JPH10341445A/ja
Application granted granted Critical
Publication of JP3095141B2 publication Critical patent/JP3095141B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像圧縮システム
において、2次元三角形線格子モデルを用いた動きベク
トルの推定により変形された画素を用いて新たな画像を
合成するための動画像の動き補償方法に関する。
【0002】
【従来の技術】動画像の動きを補う段階の前過程である
動画像の動き推定は次のような段階を経て行われる。ま
ず、入力される画像の現フレームを幾つかの小さなブロ
ック(以下、基準ブロックという)に分けた後、各々の
基準ブロックに対して以前のフレームの多様なブロック
(以下、探索ブロックという)と比較して、基準ブロッ
クと相異する程度(以下、相異度)を計算した後、その
相異度が最も小さいブロック(以下、整合ブロックとい
う)を探出して、基準ブロックと整合ブロックとの座標
差を動きベクトルとして推定する。一方、前記動きベク
トルを有する整合ブロックと基準ブロックとの画素差だ
けで現フレームを符号化し、このように符号化された画
像のフレームは前記符号化された画素値と整合ブロック
の画素値を結合して元の画像に復元される。
【0003】図1は従来の動き補償方法を説明するため
の図である。図1において、参照符号10は現フレーム
を、12は以前のフレームを各々表す。図1に示したよ
うに、従来の符号化器で標準として用いられた動き補償
(Motion Compensation)方法は各基準ブロックに対する
以前のフレームの整合ブロックの動きベクトルを推定し
た後、前記推定されたベクトルに当たる以前のフレーム
の整合ブロックをそのまま用いて現フレームの画像を符
号化させる。
【0004】このような従来の動き補償方法は現フレー
ム10の内にある基準ブロックとこの基準ブロックの画
素値と類似した値を有する以前のフレームでの整合ブロ
ックの動きベクトルを算出して、以前のフレームの整合
ブロックを現フレームに移すことにより、整合ブロック
が相互重なり合う場合が度々発生する。従って、画像が
ブロックの境界面で途絶えたりするため、新たなフレー
ムの画像の画質は劣下するようになる。
【0005】
【発明が解決しようとする課題】本発明は前記問題点を
解決するために案出されたものであり、2次元三角形パ
ッチ線格子モデルを用いて動きベクトルを推定した後、
双線形補間法(BilinearInterpolation)を用いて画像を
合成化させる動画像の動き補償方法を提供することにそ
の目的がある。
【0006】
【課題を解決するための手段】前記目的を達成するため
に本発明による2次元三角形パッチ線格子モデルを用い
た動画像の動き補償方法は、前記動き推定時に探出した
三角形パッチの各頂点に対する動きベクトルを用いて前
記三角形パッチの線格子モデルを変形させる第1の段階
と、前記動きベクトルに基づいて前記第1の段階で前記
変形された線格子モデルに対応する現フレームの基準ブ
ロックの所定位置と以前のフレームの整合ブロックの所
定位置とを対応させ、該現フレームの基準ブロックの所
定位置に当たる画素値の位置と以前のフレームの整合ブ
ロックの所定位置に当たる画素値の位置とが一致する場
合には、該現フレームの基準ブロックの所定位置に当た
る画素値を以前のフレームの整合ブロックの所定位置に
当たる画素値に取り替え、該現フレームの基準ブロック
の所定位置に当たる画素値の位置と以前のフレームの整
合ブロックの所定位置に当たる画素値の位置とが不一致
の場合には、以前のフレームの整合ブロックの所定位置
に当たる画素値とその周辺の画素値とで補間を行う第2
の段階と、前記第2の段階で、取り替えられた画素値を
用いて新たな画像を合成する第3の段階とを含むように
してなる。
【0007】本発明において、前記画素値の取替え段階
で取り替えられる画素位置が整数でない場合、双線形補
間法を用いて画素値を決定することを特徴とする。
【0008】
【発明の実施の形態】以下、添付した図面に基づき本発
明を更に詳細に説明する。図2は本発明による動画像の
動き補償方法を説明するための図である。動き推定時に
探出した動きベクトルを用いて線格子モデルを変形する
(200段階)。即ち、図3(B)に示したように、現
フレームの三角形頂点を各々A,B,Cといい、この三
角形内の任意の画素の位置をXという時、図3(A)に
示した動きベクトルにより変形された以前のフレームの
三角形頂点は各々A′B′C′になり、任意の画素位置
(X′)に対応する以前のフレームにおける画素の位置
はX′になり、この頂点と任意の画素に対する位置ベク
トルは次の数式1のように定義される。
【0009】
【数1】
【0010】数式1により現フレームでの任意の画素位
置(X)とこれに対応する以前のフレームでの画素位置
(X′)に対する位置ベクトルは次の数式2に示した通
りである。かつ、現フレームのX位置での画素値と以前
のフレームのX′位置における画素値との差は次の数式
3に示した通りである。
【0011】
【数2】
【0012】
【数3】
【0013】数式2から数式3が誘導される過程を説明
すると次の通りである。
【0014】
【数4】
【0015】ここで、
【0016】
【数5】
【0017】こうして得られた動きベクトルは三角形の
各頂点毎に存在するため、各頂点に対する動きベクトル
は(ua , va ),(ub ,vb ),(uc ,vc )に
なる。かつ、三角形内部に存在する任意の画素に対する
動きベクトルはX′=(x′,y′),X=(x,y)
になる。数式2により得られた動きベクトルを通して求
められた現フレームのX位置に当たる画素値は以前のフ
レームのX′位置の画素値に取り替えられる(204段
階)。ここで、求められたX′位置が整数でない場合に
は双線形補間法(Bilinear Interpolation)を用いてその
位置での画素値を決定する。
【0018】図4は本発明に適用される双線形補間法を
説明するための図である。ここで、以前のフレームで取
り替えられるf(x′y′)画素位置が整数でない場
合、次のような双線形補間法を用いてその周辺の整数位
置にある画素値からx′位置の画素値を決定する。即
ち、A点の座標値はf(x+1,y)*(1−yr)+f
(x+1,y+1)*yrで、B点の座標値はf(x,
y)*(1−yr)+f(x,y+1)*yrである。従っ
て、A,Bの座標値が求められたので、f(X′y′)
の画素値は次の数式4のように表される。
【0019】
【数6】
【0020】数式4のように取り替えられた画素値を用
いて新たな画像を合成させる(206段階)。前述のよ
うに全ての三角形パッチ内にある画素を対象で数式4を
適用させれば動きの補われた画像の画素値になる。図5
(A)乃至(D)は本発明による動き補償方法を適用し
た例を示した図面であり、図5(A)は以前のフレーム
の画像を、図5(B)は現フレームの画像を、図5
(C)は動きを推定した後、変形された2次元三角形パ
ッチ線格子モデルを、図5(D)は動き補償された画像
を各々示す。図5(D)から分かるように、従来の補償
方法で主に発生したブロック間画像の不連続性がなくな
る。
【0021】
【発明の効果】以上、述べたように本発明による動き画
像補償方法によると、ブロック間の画像の不連続性が無
いので優れた画質を得ることができる。
【図面の簡単な説明】
【図1】従来の動き補償方法を説明するための図であ
る。
【図2】本発明による動画像の動き補償方法を説明する
ための図である。
【図3】(A),(B)は本発明による動き推定時に探
出した動きベクトルを用いて線格子モデルを変形する方
法を説明するための図である。
【図4】本発明に適用される双線形補間法を説明するた
めの図である。
【図5】(A)乃至(D)は本発明による動き補償方法
を適用した例を示した図である。
【符号の説明】
なし
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像の動きを推定した後、これを補う
    方法において、 前記動き推定時に探出した三角形パッチの各頂点に対す
    る動きベクトルを用いて前記三角形パッチの線格子モデ
    ルを変形させる第1の段階と、 前記動きベクトルに基づいて前記第1の段階で前記変形
    された線格子モデルに対応する現フレームの基準ブロッ
    クの所定位置と以前のフレームの整合ブロックの所定位
    置とを対応させ、該現フレームの基準ブロックの所定位
    置に当たる画素値の位置と以前のフレームの整合ブロッ
    クの所定位置に当たる画素値の位置とが一致する場合に
    は、該現フレームの基準ブロックの所定位置に当たる画
    素値を以前のフレームの整合ブロックの所定位置に当た
    る画素値に取り替え、該現フレームの基準ブロックの所
    定位置に当たる画素値の位置と以前のフレームの整合ブ
    ロックの所定位置に当たる画素値の位置とが不一致の場
    合には、以前のフレームの整合ブロックの所定位置に当
    たる画素値とその周辺の画素値とで補間を行う第2の段
    階と、 前記第2の段階で求められた画素値を用いて新たな画像
    を合成する段階とを含むことを特徴とする2次元三角形
    線格子モデルを用いた動画像の動き補償方法。
  2. 【請求項2】 前記画素値の取替え段階で取り替えられ
    る画素の位置が整数でない場合、双線形補間法を用いて
    画素値を決定することを特徴とする請求項1に記載の2
    次元三角形線格子モデルを用いた動画像の動き補償方
    法。
JP7598398A 1997-03-31 1998-03-24 2次元三角形線格子モデルを用いた動画像の動き補償方法 Expired - Fee Related JP3095141B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR11811/1997 1997-03-31
KR1019970011811A KR100265720B1 (ko) 1997-03-31 1997-03-31 2차원삼각형선격자모델을이용한동영상의움직임보상방법

Publications (2)

Publication Number Publication Date
JPH10341445A JPH10341445A (ja) 1998-12-22
JP3095141B2 true JP3095141B2 (ja) 2000-10-03

Family

ID=19501555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7598398A Expired - Fee Related JP3095141B2 (ja) 1997-03-31 1998-03-24 2次元三角形線格子モデルを用いた動画像の動き補償方法

Country Status (6)

Country Link
US (1) US6154578A (ja)
JP (1) JP3095141B2 (ja)
KR (1) KR100265720B1 (ja)
CN (1) CN1107417C (ja)
DE (1) DE19757343A1 (ja)
GB (1) GB2323992A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100265721B1 (ko) * 1997-03-31 2000-09-15 윤종용 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
FR2820256B1 (fr) * 2001-01-26 2004-11-19 France Telecom Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes
US20060198760A1 (en) * 2001-08-02 2006-09-07 General Electric Company Opto-acoustic sensor device and associated method
US7847823B2 (en) 2005-01-14 2010-12-07 Morpho, Inc. Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device
JP4620607B2 (ja) 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置
JP2013048717A (ja) 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US8897539B2 (en) 2011-10-04 2014-11-25 Metalforming, Inc. Using images to create measurements of structures through the videogrammetric process
CN104680504B (zh) * 2013-11-26 2018-06-08 杭州海康威视数字技术股份有限公司 场景变化检测方法及其装置
KR20220043581A (ko) 2020-09-29 2022-04-05 대우조선해양 주식회사 세미리그 모형의 컬럼 무게추 이동장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3023961B2 (ja) * 1989-10-04 2000-03-21 三菱電機株式会社 符号化器及び復号化器
JPH082107B2 (ja) * 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
SE9002647L (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
JP2502176B2 (ja) * 1990-09-10 1996-05-29 三菱電機株式会社 画像信号の符号化器及びその復号化器
FR2729266A1 (fr) * 1995-01-10 1996-07-12 France Telecom Procede d'interpolation d'images
TW257924B (en) * 1995-03-18 1995-09-21 Daewoo Electronics Co Ltd Method and apparatus for encoding a video signal using feature point based motion estimation
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model

Also Published As

Publication number Publication date
KR19980075570A (ko) 1998-11-16
US6154578A (en) 2000-11-28
KR100265720B1 (ko) 2000-09-15
GB2323992A (en) 1998-10-07
GB9726105D0 (en) 1998-02-11
DE19757343A1 (de) 1998-10-01
CN1195256A (zh) 1998-10-07
CN1107417C (zh) 2003-04-30
JPH10341445A (ja) 1998-12-22

Similar Documents

Publication Publication Date Title
EP1354292B1 (en) Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY
EP1826721B1 (en) Calculating motion data from a sequence of multi-resolution images
Nakaya et al. Iterative motion estimation method using triangular patches for motion compensation
JP2576771B2 (ja) 動き補償予測装置
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JP3095141B2 (ja) 2次元三角形線格子モデルを用いた動画像の動き補償方法
JPH08265781A (ja) 動きベクトル特定方法及び装置
JPH1091765A (ja) 画像合成装置及びその方法
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
JP7093015B2 (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
CA2341886A1 (en) Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
JP4370672B2 (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JP4128123B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3268258B2 (ja) 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法
US5715006A (en) apparatus for and method of motion compensation with boundarycorrection for moving picture
JP3700230B2 (ja) 動画像符号化における動き補償方法
JPH0787493A (ja) フレーム内挿方法
Kopernik et al. Improved disparity estimation for the coding of stereoscopic television
JP3437605B2 (ja) 画像の動き検出方法及び装置
WO2013087880A1 (en) Method and system for interpolating a virtual image from a first and a second input images
JPH08228351A (ja) 動画像の動き補償予測符号化方法
JP3728605B2 (ja) ワープタイプ動き検出方法、及びワープタイプ動き検出装置
JPH0865676A (ja) 画像符号化装置
JP2004070490A (ja) 画像のマッチング装置
JPH09271027A (ja) 多視点画像の動き補償方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080804

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080804

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees