JP3268258B2 - 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法 - Google Patents

2次元三角パッチ線格子モデルを用いた動画像の動き推定方法

Info

Publication number
JP3268258B2
JP3268258B2 JP2891098A JP2891098A JP3268258B2 JP 3268258 B2 JP3268258 B2 JP 3268258B2 JP 2891098 A JP2891098 A JP 2891098A JP 2891098 A JP2891098 A JP 2891098A JP 3268258 B2 JP3268258 B2 JP 3268258B2
Authority
JP
Japan
Prior art keywords
motion
pixel
triangular patch
moving image
motion estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2891098A
Other languages
English (en)
Other versions
JPH10341441A (ja
Inventor
季 鎬 朴
學 秀 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH10341441A publication Critical patent/JPH10341441A/ja
Application granted granted Critical
Publication of JP3268258B2 publication Critical patent/JP3268258B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像圧縮システム
で、動画像の動き推定方法に係り、さらに詳しくは、2
次元三角パッチ線格子モデル(2−dimension triangle
−patch wireframe model)を用いた動画像の動き推定方
法に関する。
【0002】
【従来の技術】一般に、動画像圧縮システムでは、動画
像が有している重複性を効率的に取り除かないと符号化
過程で必要とするビット数を減少できない。従って、動
画像専門家グループ(MPEG)H.261など多くの
動画像圧縮システムでは、動画像の時間的な重複性を取
り除くために動き推定方法を用いている。この動画像の
動き推定は次のような段階を経て行われる。まず、現フ
レームを幾つかの小さいブロック(以下、基準ブロッ
ク)に分割したあと、それぞれの基準ブロックに対して
前フレームの幾つかのブロック(以下、探索ブロック)
と比較し、探索ブロックと基準ブロックとがそれぞれ異
なる程度(以下、相違度)を計算したのちに、その相違
度が最も小さいブロック(以下、整合ブロック)を捜
し、基準ブロックと整合ブロックとの座標差を動きベク
トルで推定する。一方、前記動きベクトルを有する整合
ブロックと基準ブロックとの画素差のみで現画面を符号
化させ、このように符号化された画面は前記符号化した
画素差値と整合ブロックの画素差値とを結合し元の画像
に復元される。
【0003】図1は、従来の動き推定方法を説明するた
めの図である。従来の符号化器で通常用いられていた動
き推定方法は、ブロックマッチングアルゴリズム(Bloc
k Matching Algorithm:以下BMAという)であり、こ
こで、参照符号10は現フレームの基準ブロックを、参
照符号12は前フレームの探索ブロックをそれぞれ示し
ている。
【0004】図1に図示のように、BMAを用いた動き
推定方法は、現フレーム(フレームK+1)の基準ブロ
ックが前フレーム(フレームK)のどのブロックから由
来したのかを捜す方法であり、次の(式1)として現わ
される最小2乗エラー(MeanSquare Error ;MSE)
や、(式2)として現わされる最小平均絶対値差(Mini
mum Mean Absolute Difference;MAD)のような測定
法を用いる。このような測定法を用いた計算は1ブロッ
ク単位で行われ、現フレームの基準ブロックと前フレー
ムの探索ブロックとの画素差を計算する。この際、計算
された差値の最小値を有する探索ブロックが整合ブロッ
クになり、この整合ブロックの動きベクトルを計算して
動きを推定する。即ち、ここで動きベクトルは基準ブロ
ックと整合ブロックのとの座標値の差を計算することに
より得られる。
【0005】
【数1】 ここで、B=N1 ×N2 である。しかし、従来のBMA
を用いた動き推定方法は、連続動画像の動き推定時に動
きが平面にだけ移動するという仮定の下で作られたの
で、物体の回転運動や大きさの変化にともなう動きは反
映し難い。よって、比較的精密な動きを推定するのが困
難であるという欠点がある。さらに、任意のブロック単
位で動きを推定するので、ブロックとブロックとの間に
画像の不連続性が生じ、符号化された画像を再生すれば
画質が低下するという問題がある。
【0006】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するためになされたものであって、2次元三角
パッチ線格子モデルに基づき三角パッチの各頂点当り動
きベクトルを推定することにより3角形が相互連結さ
れ、これにより画像の不連続性を除去できる2次元三角
パッチ線格子モデルを用いた動画像の動き推定方法を提
供することをその目的とする。
【0007】
【課題を解決するための手段】前記目的を達成するため
本発明に係る2次元三角パッチ線格子モデルを用いた動
画像の動き推定方法は、入力される画像信号の現フレー
ムをN×Nマクロブロック単位で分割する段階と、
前記分割されたそれぞれのマクロブロックを両分化して
三角パッチを作成する段階と、前記作成された三角パッ
チの各頂点のうち重複する頂点は一回のみ計算し、か
つ、前記作成された三角パッチの重複する所定の頂点を
基準に所定の大きさの基準ブロックを前記基準ブロック
の境界部を含む頂点は計算しないように設定した後、
定の探索範囲で該基準ブロックと前フレームの探索ブロ
ックとの間の画素差を計算する段階と、前記計算された
画素差の中で最小の画素差の値を有する前フレームの探
索ブロックの座標値に基づいて現フレームの基準ブロッ
の動きベクトルを算出し、基準ブロックを構成する
角パッチの各頂点の動きベクトルする段階とを含む。
【0008】また、本発明は、前記画素差の計算段階
は、現フレームと画素値と前フレームの画素値の差の絶
対値により計算されることを特徴とする。さらに、本発
明は、前記計算された動きベクトルを基準により精密な
動き推定のために半画素単位の動きを推定する段階をさ
らに含むことを特徴とする。前記半画素値は、周辺の全
画素値の組み合わせにより生成することを特徴とする。
【0009】
【発明の実施の形態】以下、添付した図面に基づき本発
明をさらに詳細に説明する。図2は、本発明に係る2次
元三角パッチ線格子モデルを用いた動画像の動き推定方
法を説明するための図であり、2次元三角パッチ線格子
モデルを初期化する段階と、初期化された三角パッチ線
格子モデルより動きベクトルを推定する段階とからな
る。
【0010】まず、2次元三角パッチ線格子モデルを初
期化する段階は次の通りである。入力画像信号の現フレ
ームをN1 ×N2 マクロブロック単位で分割する(20
0段階)。分割されたマクロブロックを両分化して2次
元三角パッチを生じさせる(202段階)。即ち、図3
に図示のように、マクロブロックの左側の上から右側の
下に、または右側の上から左側の下に対角線を引き三角
パッチを生じさせる。
【0011】また、初期化した三角パッチ線格子モデル
より動きベクトルを推定する段階は次の通りである。形
成した三角パッチの頂点を基準に選定された所定大きさ
(例えば、16×16画素)の基準ブロックと前フレー
ムの探索ブロックとの間の画素差をそれぞれ計算する
(204段階)。即ち、三角パッチの頂点を基準に所定
大きさの基準ブロックを設定した後、所定の探索範囲
(±15画素)でそれぞれの探索ブロックと基準ブロッ
クとの間の画素差を計算する。例えば、所定探索範囲、
即ち、±15探索範囲を有する全ての探索ブロックと基
準ブロックとの間の画素差値を計算する。この際、重複
する三角パッチの3角形の頂点は一回のみ計算し、画像
の境界面に位置した頂点は計算しない。
【0012】計算された全ての探索ブロックと基準ブロ
ックの画素差のうち最小の画素差値を有する前フレーム
の探索ブロックの座標値を現フレームの基準ブロックの
動きベクトルとして算出する(206段階)。ここで、
動きベクトル(MVx 、MV y )は次の(式3)のよう
な差の合計(sum of difference ;SAD)により計算
される。
【0013】
【数2】 ここで、N=16、rb(i、j)は現フレームの基準
ブロックにおいて(i,j)番目の画素値、sw(i、
j)は前フレームの探索ブロックにおいて(i,j)番
目の画素値である。一方、0ベクトルに対するSAD
(0,0)値より、次の(式4)のように、所定の値
(例えば100)を引いて他のベクトルのSAD値と比
較する。すると、0ベクトルに対するSADが他の探索
ブロックの動きベクトルに対するSADと大した違いが
見られないならば、0ベクトルを優先的に動きベクトル
として決定することにより、動きベクトル符号化にかか
るビット数を減少できる。
【0014】 SAD(0,0)=SAD(0,0)−100 (式4) 各(x,y)に対して計算されたSADのうち最小のS
ADを捜し、その時の(x,y)値を動きベクトル(M
x ,MVy )として選択する。また、前述した段階を
通じて推定された動きベクトルを用いてより精密な動き
推定段階を追加実施する。前述した段階を通じて抽出さ
れた動きベクトルを基準に、図4に図示のように、所定
の探索範囲(例えば±6画素)を持って半画素単位で動
きベクトルを捜す。即ち、図4に示した大文字A、B、
C、Dで表示される画素の座標値(+)は前述した段階
を通じて抽出された画素の座標値を示し、小文字a、
b、c、dで表示される画素の座標値(○)は大文字で
表示される画素の座標値の組合により生じた半画素の座
標値を示す。ここで、各位置にともなう半画素の座標値
は次の(式5)により生ずる。
【0015】 a=A、 b=(A+B)/2 c=(A+C)/2、 d=(A+B+C+D)/4 (式5) この時、各座標値に対する画素の動きベクトル(M
x ,MVy )は新規に更新される。この新規に更新さ
れた画素は(式3)と(式4)とを用いて最終の動きベ
クトルを推定する。
【0016】図5(A)乃至(C)は本発明を適用した
動画像動き推定の例を示した図面であり、図5(A)は
前フレームの画像を、図5(B)は現フレームの画像
を、図5(C)は本発明に係る2次元三角パッチ線格子
モデルを用いた動き推定の後変形された画像をそれぞれ
示す。図5(C)から分かるように、2次元三角パッチ
線格子モデル内に存在するそれぞれの三角パッチの3角
形は動き推定の後相互連結されているため、今後の動き
補償時それぞれの3角形内に存在する画素単位で画像を
合成する際に、各3角形の境界で不連続性が生じない。
【0017】
【発明の効果】前述のように、本発明に係る2次元三角
パッチ線格子モデルを用いた動画像の動き推定方法によ
り符号化した画像を合成すれば、従来のBMA方法に係
る動き推定方法により合成された画面に比べて優れた画
質の画像が得られる。また、本発明によれば、作成され
た三角パッチの各頂点のうち重複する頂点は一回のみ計
算し、かつ、前記基準ブロックの境界面の頂点は計算し
ないように、所定範囲の基準ブロックと前フレームの探
索ブロックとの間の画素差を計算し、三角パッチの各頂
点の動きベクトルを算出するので、動きベクトルの算出
を簡単に行える等の特長を有する。
【図面の簡単な説明】
【図1】従来の動き推定方法を説明するための図であ
る。
【図2】本発明に係る2次元三角パッチ線格子モデルを
用いた動画像の動き推定方法を説明するための図であ
る。
【図3】本発明に係る2次元三角パッチ線格子モデルを
初期化する段階を説明するための図である。
【図4】本発明に係る半画素の位置を決定する方法を説
明するための図である。
【図5】(A)乃至(C)は本発明を適用した動画像の
動き推定の例を示した図である。
【符号の説明】
なし
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−65676(JP,A) 電子情報通信学会論文誌,J79−D− ▲II▼[1](1996−1−25)P.11 〜17

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像圧縮システムで、符号化のための
    前記動画像の動き推定方方法において、 入力される画像信号の現フレームをN1×N2マクロブ
    ロック単位で分割する段階と、 前記分割されたそれぞれのマクロブロックを両分化して
    三角パッチを作成する段階と、 前記作成された三角パッチの各頂点のうち重複する頂点
    は一回のみ計算し、かつ、前記作成された三角パッチの
    重複する所定の頂点を基準に所定の大きさの基準ブロッ
    クを前記基準ブロックの境界部を含む頂点は計算しない
    ように設定した後、所定の探索範囲で該基準ブロックと
    前フレームの探索ブロックとの間の画素差を計算する段
    階と、 前記計算された画素差の中で最小の画素差の値を有する
    前フレームの探索ブロックの座標値に基づいて現フレー
    ムの基準ブロックの動きベクトルを算出し、基準ブロッ
    クを構成する三角パッチの各頂点の動きベクトルする
    段階とを含む2次元三角パッチ線格子モデルを用いた動
    画像の動き推定方法。
  2. 【請求項2】 前記画素差の計算段階は、現フレーム
    画素値と前フレームの画素値の差の絶対値により計算さ
    れることを特徴とする請求項1記載の2次元三角パッチ
    線格子モデルを用いた動画像の動き推定方法。
  3. 【請求項3】 前記計算された動きベクトルを基準によ
    り精密な動き推定のために半画素単位の動きを推定する
    段階をさらに含むことを特徴とする請求項1記載の2次
    元三角パッチ線格子モデルを用いた動画像の動き推定方
    法。
  4. 【請求項4】 前記半画素値は、周辺の全画素値の組み
    合わせにより生成することを特徴とする請求項3に記載
    の2次元三角パッチ線格子モデルを用いた動画像の動き
    推定方法。
JP2891098A 1997-03-31 1998-02-10 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法 Expired - Fee Related JP3268258B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR11812/1997 1997-03-31
KR1019970011812A KR100265721B1 (ko) 1997-03-31 1997-03-31 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법

Publications (2)

Publication Number Publication Date
JPH10341441A JPH10341441A (ja) 1998-12-22
JP3268258B2 true JP3268258B2 (ja) 2002-03-25

Family

ID=19501556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2891098A Expired - Fee Related JP3268258B2 (ja) 1997-03-31 1998-02-10 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法

Country Status (6)

Country Link
JP (1) JP3268258B2 (ja)
KR (1) KR100265721B1 (ja)
CN (1) CN1174635C (ja)
DE (1) DE19756224C2 (ja)
GB (1) GB2323993B (ja)
MY (1) MY115706A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782800B1 (ko) 2000-07-28 2007-12-06 삼성전자주식회사 움직임 추정 방법
KR100516629B1 (ko) * 2003-10-02 2005-09-22 삼성전기주식회사 이동 좌표 측정용 광센서 장치 및 2차원의 연속적 이미지프로세스를 이용한 이미지 처리 방법
CN101248409B (zh) * 2005-08-22 2012-08-22 三星电子株式会社 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
CN102611882B (zh) * 2011-01-19 2014-02-26 华为技术有限公司 一种编解码方法和装置
CN104427347A (zh) * 2013-09-02 2015-03-18 苏州威迪斯特光电科技有限公司 网络摄像机视频监控系统图像质量提高方法
CN108665406B (zh) * 2018-04-25 2022-06-28 珠海全志科技股份有限公司 一种硬件加速器的加速方法
CN111385581B (zh) * 2018-12-28 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9002647L (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
FR2729266A1 (fr) * 1995-01-10 1996-07-12 France Telecom Procede d'interpolation d'images
TW257924B (en) * 1995-03-18 1995-09-21 Daewoo Electronics Co Ltd Method and apparatus for encoding a video signal using feature point based motion estimation
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
KR100265720B1 (ko) * 1997-03-31 2000-09-15 윤종용 2차원삼각형선격자모델을이용한동영상의움직임보상방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会論文誌,J79−D−▲II▼[1](1996−1−25)P.11〜17

Also Published As

Publication number Publication date
JPH10341441A (ja) 1998-12-22
GB2323993A (en) 1998-10-07
GB2323993B (en) 1999-06-02
KR100265721B1 (ko) 2000-09-15
MY115706A (en) 2003-08-30
CN1195255A (zh) 1998-10-07
DE19756224A1 (de) 1998-10-01
KR19980075571A (ko) 1998-11-16
DE19756224C2 (de) 2002-03-14
GB9727156D0 (en) 1998-02-25
CN1174635C (zh) 2004-11-03

Similar Documents

Publication Publication Date Title
JP3847827B2 (ja) 動きベクトル検出方法
EP3043320B1 (en) System and method for compression of 3d computer graphics
US20020172287A1 (en) Motion vector searching method using plural search areas
JPH08265781A (ja) 動きベクトル特定方法及び装置
US20100123792A1 (en) Image processing device, image processing method and program
JP2006512029A (ja) セグメントベース動き推定
JP2003018604A (ja) 画像信号符号化方法、画像信号符号化装置および記録媒体
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
WO2013031424A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2006504175A (ja) フォールバックを用いる画像処理装置
US20090180032A1 (en) Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
JP2003512749A (ja) 動き推定方法及びその装置
JP3268258B2 (ja) 2次元三角パッチ線格子モデルを用いた動画像の動き推定方法
JP2004246667A (ja) 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム
JP2007053621A (ja) 画像生成装置
JP2003032688A (ja) 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法
JP3095141B2 (ja) 2次元三角形線格子モデルを用いた動画像の動き補償方法
JP2004356747A (ja) 画像のマッチング方法および装置
JPH0865680A (ja) 画像符号化装置及び画像復号装置
JP3700230B2 (ja) 動画像符号化における動き補償方法
EP2237559B1 (en) Background motion estimate based halo reduction
JPH0799661A (ja) 動き補償予測装置
Robert et al. Disparity-compensated view synthesis for s3D content correction
US6885706B2 (en) Method for promoting temporal resolution of sequential images
JP4322349B2 (ja) フレームフォーマット変換方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090111

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees