JPH10341441A - 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法 - Google Patents

2次元三角パッチ線格子モデルを用いた動画像の動き推定方法

Info

Publication number
JPH10341441A
JPH10341441A JP2891098A JP2891098A JPH10341441A JP H10341441 A JPH10341441 A JP H10341441A JP 2891098 A JP2891098 A JP 2891098A JP 2891098 A JP2891098 A JP 2891098A JP H10341441 A JPH10341441 A JP H10341441A
Authority
JP
Japan
Prior art keywords
moving image
block
pixel
motion
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2891098A
Other languages
English (en)
Other versions
JP3268258B2 (ja
Inventor
Kye-Ho Park
季 鎬 朴
Hak-Soo Kim
學 秀 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH10341441A publication Critical patent/JPH10341441A/ja
Application granted granted Critical
Publication of JP3268258B2 publication Critical patent/JP3268258B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】画像合成の時に従来のBMA方法に係る動き推
定方法により合成された画面に比べて優れた画質の画像
が得られる2次元三角パッチ線格子モデルを用いた動画
像の動き推定方法を提供する。 【解決手段】 入力される画像信号の現フレームをN1
×N2 マクロブロック単位で分割する段階と、前記分割
されたそれぞれのマクロブロックを両分化して三角パッ
チに作る段階と、前記三角パッチの各頂点座標値を基準
に所定範囲の基準ブロックと前フレームの探索ブロック
との間の画素差を計算する段階と、前記計算された画素
差のうち最小の画素差値を有する前フレームの整合ブロ
ックの座標値より現フレームの基準ブロックの動きベク
トルを算出する段階とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像圧縮システム
で、動画像の動き推定方法に係り、さらに詳しくは、2
次元三角パッチ線格子モデル(2−dimension triangle
−patch wireframe model)を用いた動画像の動き推定方
法に関する。
【0002】
【従来の技術】一般に、動画像圧縮システムでは、動画
像が有している重複性を効率的に取り除かないと符号化
過程で必要とするビット数を減少できない。従って、動
画像専門家グループ(MPEG)H.261など多くの
動画像圧縮システムでは、動画像の時間的な重複性を取
り除くために動き推定方法を用いている。この動画像の
動き推定は次のような段階を経て行われる。まず、現フ
レームを幾つかの小さいブロック(以下、基準ブロッ
ク)に分割したあと、それぞれの基準ブロックに対して
前フレームの幾つかのブロック(以下、探索ブロック)
と比較し、探索ブロックと基準ブロックとがそれぞれ異
なる程度(以下、相違度)を計算したのちに、その相違
度が最も小さいブロック(以下、整合ブロック)を捜
し、基準ブロックと整合ブロックとの座標差を動きベク
トルで推定する。一方、前記動きベクトルを有する整合
ブロックと基準ブロックとの画素差のみで現画面を符号
化させ、このように符号化された画面は前記符号化した
画素差値と整合ブロックの画素差値とを結合し元の画像
に復元される。
【0003】図1は、従来の動き推定方法を説明するた
めの図である。従来の符号化器で通常用いられていた動
き推定方法は、ブロックマッチングアルゴリズム(Bloc
k Matching Algorithm:以下BMAという)であり、こ
こで、参照符号10は現フレームの基準ブロックを、参
照符号12は前フレームの探索ブロックをそれぞれ示し
ている。
【0004】図1に図示のように、BMAを用いた動き
推定方法は、現フレーム(フレームK+1)の基準ブロ
ックが前フレーム(フレームK)のどのブロックから由
来したのかを捜す方法であり、次の(式1)として現わ
される最小2乗エラー(MeanSquare Error ;MSE)
や、(式2)として現わされる最小平均絶対値差(Mini
mum Mean Absolute Difference;MAD)のような測定
法を用いる。このような測定法を用いた計算は1ブロッ
ク単位で行われ、現フレームの基準ブロックと前フレー
ムの探索ブロックとの画素差を計算する。この際、計算
された差値の最小値を有する探索ブロックが整合ブロッ
クになり、この整合ブロックの動きベクトルを計算して
動きを推定する。即ち、ここで動きベクトルは基準ブロ
ックと整合ブロックのとの座標値の差を計算することに
より得られる。
【0005】
【数1】 ここで、B=N1 ×N2 である。しかし、従来のBMA
を用いた動き推定方法は、連続動画像の動き推定時に動
きが平面にだけ移動するという仮定の下で作られたの
で、物体の回転運動や大きさの変化にともなう動きは反
映し難い。よって、比較的精密な動きを推定するのが困
難であるという欠点がある。さらに、任意のブロック単
位で動きを推定するので、ブロックとブロックとの間に
画像の不連続性が生じ、符号化された画像を再生すれば
画質が低下するという問題がある。
【0006】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するためになされたものであって、2次元三角
パッチ線格子モデルに基づき三角パッチの各頂点当り動
きベクトルを推定することにより3角形が相互連結さ
れ、これにより画像の不連続性を除去できる2次元三角
パッチ線格子モデルを用いた動画像の動き推定方法を提
供することをその目的とする。
【0007】
【課題を解決するための手段】前記目的を達成するため
本発明に係る2次元三角パッチ線格子モデルを用いた前
記動画像の動き推定方法は、入力される画像信号の現フ
レームをN1 ×N2 マクロブロック単位で分割する段階
と、前記分割されたそれぞれのマクロブロックを両分化
して三角パッチに作る段階と、前記三角パッチの各頂点
座標値を基準に所定範囲の基準ブロックと前フレームの
探索ブロックとの間の画素差を計算する段階と、前記計
算された画素差のうち最小の画素差値を有する前フレー
ムの整合ブロックの座標値より現フレームの基準ブロッ
クの動きベクトルを算出する段階とを含む。
【0008】前記画素差の計算段階は、前記三角パッチ
の3角形の重複する頂点は一回のみ計算し、前記基準ブ
ロックの境界面の頂点は計算しないことを特徴とする。
前記画素差の計算段階は、現フレームの画素差値と前フ
レームの画素差値との差の絶対値により計算されること
を特徴とする。本発明において、前記計算された動きベ
クトルを基準に精密な動き推定のために半画素単位の動
きを推定する段階をさらに含むことを特徴とする。前記
半画素値は周辺の前画素値の組合により生成することを
特徴とする。
【0009】
【発明の実施の形態】以下、添付した図面に基づき本発
明をさらに詳細に説明する。図2は、本発明に係る2次
元三角パッチ線格子モデルを用いた動画像の動き推定方
法を説明するための図であり、2次元三角パッチ線格子
モデルを初期化する段階と、初期化された三角パッチ線
格子モデルより動きベクトルを推定する段階とからな
る。
【0010】まず、2次元三角パッチ線格子モデルを初
期化する段階は次の通りである。入力画像信号の現フレ
ームをN1 ×N2 マクロブロック単位で分割する(20
0段階)。分割されたマクロブロックを両分化して2次
元三角パッチを生じさせる(202段階)。即ち、図3
に図示のように、マクロブロックの左側の上から右側の
下に、または右側の上から左側の下に対角線を引き三角
パッチを生じさせる。
【0011】また、初期化した三角パッチ線格子モデル
より動きベクトルを推定する段階は次の通りである。形
成した三角パッチの頂点を基準に選定された所定大きさ
(例えば、16×16画素)の基準ブロックと前フレー
ムの探索ブロックとの間の画素差をそれぞれ計算する
(204段階)。即ち、三角パッチの頂点を基準に所定
大きさの基準ブロックを設定した後、所定の探索範囲
(±15画素)でそれぞれの探索ブロックと基準ブロッ
クとの間の画素差を計算する。例えば、所定探索範囲、
即ち、±15探索範囲を有する全ての探索ブロックと基
準ブロックとの間の画素差値を計算する。この際、重複
する三角パッチの3角形の頂点は一回のみ計算し、画像
の境界面に位置した頂点は計算しない。
【0012】計算された全ての探索ブロックと基準ブロ
ックの画素差のうち最小の画素差値を有する前フレーム
の探索ブロックの座標値を現フレームの基準ブロックの
動きベクトルとして算出する(206段階)。ここで、
動きベクトル(MVx 、MV y )は次の(式3)のよう
な差の合計(sum of difference ;SAD)により計算
される。
【0013】
【数2】 ここで、N=16、rb(i、j)は現フレームの基準
ブロックにおいて(i,j)番目の画素値、sw(i、
j)は前フレームの探索ブロックにおいて(i,j)番
目の画素値である。一方、0ベクトルに対するSAD
(0,0)値より、次の(式4)のように、所定の値
(例えば100)を引いて他のベクトルのSAD値と比
較する。すると、0ベクトルに対するSADが他の探索
ブロックの動きベクトルに対するSADと大した違いが
見られないならば、0ベクトルを優先的に動きベクトル
として決定することにより、動きベクトル符号化にかか
るビット数を減少できる。
【0014】 SAD(0,0)=SAD(0,0)−100 (式4) 各(x,y)に対して計算されたSADのうち最小のS
ADを捜し、その時の(x,y)値を動きベクトル(M
x ,MVy )として選択する。また、前述した段階を
通じて推定された動きベクトルを用いてより精密な動き
推定段階を追加実施する。前述した段階を通じて抽出さ
れた動きベクトルを基準に、図4に図示のように、所定
の探索範囲(例えば±6画素)を持って半画素単位で動
きベクトルを捜す。即ち、図4に示した大文字A、B、
C、Dで表示される画素の座標値(+)は前述した段階
を通じて抽出された画素の座標値を示し、小文字a、
b、c、dで表示される画素の座標値(○)は大文字で
表示される画素の座標値の組合により生じた半画素の座
標値を示す。ここで、各位置にともなう半画素の座標値
は次の(式5)により生ずる。
【0015】 a=A、 b=(A+B)/2 c=(A+C)/2、 d=(A+B+C+D)/4 (式5) この時、各座標値に対する画素の動きベクトル(M
x ,MVy )は新規に更新される。この新規に更新さ
れた画素は(式3)と(式4)とを用いて最終の動きベ
クトルを推定する。
【0016】図5(A)乃至(C)は本発明を適用した
動画像動き推定の例を示した図面であり、図5(A)は
前フレームの画像を、図5(B)は現フレームの画像
を、図5(C)は本発明に係る2次元三角パッチ線格子
モデルを用いた動き推定の後変形された画像をそれぞれ
示す。図5(C)から分かるように、2次元三角パッチ
線格子モデル内に存在するそれぞれの三角パッチの3角
形は動き推定の後相互連結されているため、今後の動き
補償時それぞれの3角形内に存在する画素単位で画像を
合成する際に、各3角形の境界で不連続性が生じない。
【0017】
【発明の効果】前述のように、本発明に係る2次元三角
パッチ線格子モデルを用いた動画像の動き推定方法によ
り符号化した画像を合成すれば、従来のBMA方法に係
る動き推定方法により合成された画面に比べて優れた画
質の画像が得られる。
【図面の簡単な説明】
【図1】従来の動き推定方法を説明するための図であ
る。
【図2】本発明に係る2次元三角パッチ線格子モデルを
用いた動画像の動き推定方法を説明するための図であ
る。
【図3】本発明に係る2次元三角パッチ線格子モデルを
初期化する段階を説明するための図である。
【図4】本発明に係る半画素の位置を決定する方法を説
明するための図である。
【図5】(A)乃至(C)は本発明を適用した動画像の
動き推定の例を示した図である。
【符号の説明】
なし

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 動画像圧縮システムで、符号化のための
    前記動画像の動き推定方法において、 入力される画像信号の現フレームをN1 ×N2 マクロブ
    ロック単位で分割する段階と、 前記分割されたそれぞれのマクロブロックを両分化して
    三角パッチに作る段階と、 前記三角パッチの各頂点座標値を基準に所定範囲の基準
    ブロックと前フレームの探索ブロックとの間の画素差を
    計算する段階と、 前記計算された画素差の中で最小の画素差の値を有する
    前フレームの整合ブロックの座標値より現フレームの基
    準ブロックの動きベクトルを算出する段階とを含む2次
    元三角パッチ線格子モデルを用いた動画像の動き推定方
    法。
  2. 【請求項2】 前記画素差の計算段階は、前記三角パッ
    チの3角形の重複する頂点は一回のみ計算し、前記基準
    ブロックの境界面の頂点は計算しないことを特徴とする
    請求項1に記載の2次元三角パッチ線格子モデルを用い
    た動画像の動き推定方法。
  3. 【請求項3】 前記画素差の計算段階は、現フレームの
    画素値と前フレームの画素値の差の絶対値により計算さ
    れることを特徴とする請求項1に記載の2次元三角パッ
    チ線格子モデルを用いた動画像の動き推定方法。
  4. 【請求項4】 前記計算された動きベクトルを基準によ
    り精密な動き推定のために半画素単位の動きを推定する
    段階をさらに含むことを特徴とする請求項1に記載の2
    次元三角パッチ線格子モデルを用いた動画像の動き推定
    方法。
  5. 【請求項5】 前記半画素値は、周辺の全画素値の組合
    により生成することを特徴とする請求項4に記載の2次
    元三角パッチ線格子モデルを用いた動画像の動き推定方
    法。
JP2891098A 1997-03-31 1998-02-10 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法 Expired - Fee Related JP3268258B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970011812A KR100265721B1 (ko) 1997-03-31 1997-03-31 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
KR11812/1997 1997-03-31

Publications (2)

Publication Number Publication Date
JPH10341441A true JPH10341441A (ja) 1998-12-22
JP3268258B2 JP3268258B2 (ja) 2002-03-25

Family

ID=19501556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2891098A Expired - Fee Related JP3268258B2 (ja) 1997-03-31 1998-02-10 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法

Country Status (6)

Country Link
JP (1) JP3268258B2 (ja)
KR (1) KR100265721B1 (ja)
CN (1) CN1174635C (ja)
DE (1) DE19756224C2 (ja)
GB (1) GB2323993B (ja)
MY (1) MY115706A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912296B2 (en) 2000-07-28 2005-06-28 Samsung Electronics Co., Ltd. Motion estimation method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100516629B1 (ko) * 2003-10-02 2005-09-22 삼성전기주식회사 이동 좌표 측정용 광센서 장치 및 2차원의 연속적 이미지프로세스를 이용한 이미지 처리 방법
CN101248410A (zh) * 2005-08-22 2008-08-20 三星电子株式会社 用于识别运动模式的设备和方法
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
CN102611882B (zh) * 2011-01-19 2014-02-26 华为技术有限公司 一种编解码方法和装置
CN104427347A (zh) * 2013-09-02 2015-03-18 苏州威迪斯特光电科技有限公司 网络摄像机视频监控系统图像质量提高方法
CN108665406B (zh) * 2018-04-25 2022-06-28 珠海全志科技股份有限公司 一种硬件加速器的加速方法
CN112468825B (zh) 2018-12-28 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE465394B (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
FR2729266A1 (fr) * 1995-01-10 1996-07-12 France Telecom Procede d'interpolation d'images
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
EP0765087B1 (en) * 1995-08-29 2003-11-12 Sharp Kabushiki Kaisha Video coding device
KR100265720B1 (ko) * 1997-03-31 2000-09-15 윤종용 2차원삼각형선격자모델을이용한동영상의움직임보상방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912296B2 (en) 2000-07-28 2005-06-28 Samsung Electronics Co., Ltd. Motion estimation method

Also Published As

Publication number Publication date
DE19756224A1 (de) 1998-10-01
KR100265721B1 (ko) 2000-09-15
DE19756224C2 (de) 2002-03-14
CN1174635C (zh) 2004-11-03
CN1195255A (zh) 1998-10-07
GB2323993A (en) 1998-10-07
GB2323993B (en) 1999-06-02
MY115706A (en) 2003-08-30
GB9727156D0 (en) 1998-02-25
JP3268258B2 (ja) 2002-03-25
KR19980075571A (ko) 1998-11-16

Similar Documents

Publication Publication Date Title
US5581308A (en) Method and apparatus for determining true motion vectors for selected pixels
US5598216A (en) Method and apparatus for encoding/decoding a video signal
CN112954340B (zh) 一种编解码方法、装置及其设备
JP3847827B2 (ja) 動きベクトル検出方法
US7822231B2 (en) Optical flow estimation method
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
JPH08275178A (ja) ビデオ信号符号化方法
JP3268258B2 (ja) 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法
JP3095141B2 (ja) 2次元三角形線格子モデルを用いた動画像の動き補償方法
JPH09182082A (ja) 動画像の動き補償予測符号化方法とその装置
JP2004356747A (ja) 画像のマッチング方法および装置
EP1819173B1 (en) Motion vector predictive encoding apparatus and decoding apparatus
JP3700230B2 (ja) 動画像符号化における動き補償方法
JPH0865680A (ja) 画像符号化装置及び画像復号装置
JP3513277B2 (ja) 映像符号化装置及び映像復号化装置
JP2004064518A (ja) 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム
US6885706B2 (en) Method for promoting temporal resolution of sequential images
JP3309519B2 (ja) 動きベクトル検出装置
JP2878580B2 (ja) 階層的動ベクトル検出方法
Servais et al. Affine motion compensation using a content-based mesh
JPH0879759A (ja) 画像符号化装置及び画像復号装置
JP2888152B2 (ja) ワーピング動き補償を用いた動画像符号化装置
JPH04347987A (ja) 動画像の符号化方式
JPH0984017A (ja) 動画像の動き補償予測符号化方法
KR100331048B1 (ko) 제어그리드보간 복호기에서 픽셀의 움직임벡터를 보간하는장치

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090111

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees