JP2955526B2 - 動画像符号化方法及び装置 - Google Patents
動画像符号化方法及び装置Info
- Publication number
- JP2955526B2 JP2955526B2 JP33993396A JP33993396A JP2955526B2 JP 2955526 B2 JP2955526 B2 JP 2955526B2 JP 33993396 A JP33993396 A JP 33993396A JP 33993396 A JP33993396 A JP 33993396A JP 2955526 B2 JP2955526 B2 JP 2955526B2
- Authority
- JP
- Japan
- Prior art keywords
- square
- prediction error
- prediction
- encoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
Description
【０００１】
【発明の属する技術分野】本発明は動画像を符号化する
システムに係り、特に、動画像を変換符号化技法を用い
て符号化する方法及び装置に関する。
システムに係り、特に、動画像を変換符号化技法を用い
て符号化する方法及び装置に関する。
【０００２】
【従来の技術】一般に、動画像符号化のために動画像の
各フレームを四角形の物体に分割し、それぞれの四角形
物体単位で動きを推定し、映像ワーピング（warping ）
を用いて運動補償を行う技法が数回発表されてきた。発
表された文献の一例としては、１９９３年８月にIEEE T
rans.on consumer ElectronicsでJ.Neiweglowski,G.cam
pbell,and P.HaavistoによってA Novel Video Coding S
cheme Based on Temporal Prediction using Digital I
mage Warping（１４１〜１５０頁に開示）という題目で
発表されたもの（以下、この文献を「先行文献１」とい
う）と、１９９４年９月にIEE Trans.on Image Process
ing でY.wang and O.LeeによってActive Mesh-A Featur
e Seeking and Tracking Image Sequence Representati
on Scheme（６１０〜６２４頁に開示）という題目で発
表されたもの（以下、この文献を「先行文献２」とい
う）を挙げることができる。
各フレームを四角形の物体に分割し、それぞれの四角形
物体単位で動きを推定し、映像ワーピング（warping ）
を用いて運動補償を行う技法が数回発表されてきた。発
表された文献の一例としては、１９９３年８月にIEEE T
rans.on consumer ElectronicsでJ.Neiweglowski,G.cam
pbell,and P.HaavistoによってA Novel Video Coding S
cheme Based on Temporal Prediction using Digital I
mage Warping（１４１〜１５０頁に開示）という題目で
発表されたもの（以下、この文献を「先行文献１」とい
う）と、１９９４年９月にIEE Trans.on Image Process
ing でY.wang and O.LeeによってActive Mesh-A Featur
e Seeking and Tracking Image Sequence Representati
on Scheme（６１０〜６２４頁に開示）という題目で発
表されたもの（以下、この文献を「先行文献２」とい
う）を挙げることができる。
【０００３】図１はこれら技法の基本的な構成図であ
る。初期メッシュ生成部２では、動画像の各フレームを
正四角形の初期メッシュ（または物体）に分割する。物
体変形部４では初期の正四角形物体を任意の四角形に変
更させる。運動推定部６では、物体変形部４から生成さ
れた任意の各四角形物体の各頂点に対して時間軸への動
きを推定する。運動補償及びフレーム予測部８では、推
定された動きベクトルを基として映像ワーピングによっ
て以前フレームから現在フレームを予測する。そして、
最後に予測誤差符号化部１０では、運動補償及びフレー
ム予測部８で予測されたフレームと現在フレームとの誤
差を求めて誤差の大小に応じて誤差信号を符号化する。
る。初期メッシュ生成部２では、動画像の各フレームを
正四角形の初期メッシュ（または物体）に分割する。物
体変形部４では初期の正四角形物体を任意の四角形に変
更させる。運動推定部６では、物体変形部４から生成さ
れた任意の各四角形物体の各頂点に対して時間軸への動
きを推定する。運動補償及びフレーム予測部８では、推
定された動きベクトルを基として映像ワーピングによっ
て以前フレームから現在フレームを予測する。そして、
最後に予測誤差符号化部１０では、運動補償及びフレー
ム予測部８で予測されたフレームと現在フレームとの誤
差を求めて誤差の大小に応じて誤差信号を符号化する。
【０００４】このような図１の構成によって動作を説明
する。まず、動画像で入力される時間順序に応じて現在
符号化するために入力されるフレームを現在フレーム、
時間順で現在フレームのすぐ以前のフレームを以前フレ
ームという。以前フレームとは、予め符号化及び復号化
の完了したフレームを意味し、符号化器及び復号化器で
全て使用可能なフレームを意味する。
する。まず、動画像で入力される時間順序に応じて現在
符号化するために入力されるフレームを現在フレーム、
時間順で現在フレームのすぐ以前のフレームを以前フレ
ームという。以前フレームとは、予め符号化及び復号化
の完了したフレームを意味し、符号化器及び復号化器で
全て使用可能なフレームを意味する。
【０００５】現在符号化しようとする現在フレームが入
力されると、初期メッシュ生成部２では、復号化された
以前フレームをＮ×Ｎサイズの正四角形初期物体（また
はメッシュ）に分割する。初期の正四角形物体は図２
（Ａ）に示すように、４つの頂点によって表現され、物
体変形部４では、正四角形の物体を表現する各フレーム
の空間的または時間的な複雑度に応じて頂点の各位置を
移動させる。頂点の移動時に頂点移動の程度及び移動位
置を決定するためには、頂点の各位置で画素値の空間的
及び時間的な変化率を使用する。正四角形物体を表現す
る各頂点の位置を移動させることにより、正四角形物体
は図２（Ｂ）に示すように任意の四角形に変形される。
運動推定部６では、物体変形部４で生成された任意の四
角形物体の各頂点に対して時間軸への動きを推定する。
各頂点の動きベクトルを推定するためには、時空間の画
素値変化率を用いて推定する方法と一般的なブロック整
合技法を変形して使用する技法などがあり、動きベクト
ルによって変形される四角形の形態が基本的な四角形の
構造を壊さない範囲内で動きベクトルを推定する。運動
推定部６で四角形物体の各頂点に対する運動ベクトルが
推定されると、運動補償及びフレーム予測部８では、映
像ワーピングによって以前フレームから現在フレームを
予測する。映像ワーピングは先行文献２で提示する線形
補間による方式と、先行文献１で提示する四角形を２つ
の三角形に分割した後三角形（affine）変換を用いる方
式等がある。
力されると、初期メッシュ生成部２では、復号化された
以前フレームをＮ×Ｎサイズの正四角形初期物体（また
はメッシュ）に分割する。初期の正四角形物体は図２
（Ａ）に示すように、４つの頂点によって表現され、物
体変形部４では、正四角形の物体を表現する各フレーム
の空間的または時間的な複雑度に応じて頂点の各位置を
移動させる。頂点の移動時に頂点移動の程度及び移動位
置を決定するためには、頂点の各位置で画素値の空間的
及び時間的な変化率を使用する。正四角形物体を表現す
る各頂点の位置を移動させることにより、正四角形物体
は図２（Ｂ）に示すように任意の四角形に変形される。
運動推定部６では、物体変形部４で生成された任意の四
角形物体の各頂点に対して時間軸への動きを推定する。
各頂点の動きベクトルを推定するためには、時空間の画
素値変化率を用いて推定する方法と一般的なブロック整
合技法を変形して使用する技法などがあり、動きベクト
ルによって変形される四角形の形態が基本的な四角形の
構造を壊さない範囲内で動きベクトルを推定する。運動
推定部６で四角形物体の各頂点に対する運動ベクトルが
推定されると、運動補償及びフレーム予測部８では、映
像ワーピングによって以前フレームから現在フレームを
予測する。映像ワーピングは先行文献２で提示する線形
補間による方式と、先行文献１で提示する四角形を２つ
の三角形に分割した後三角形（affine）変換を用いる方
式等がある。
【０００６】予測誤差符号化部１０では、運動補償及び
フレーム予測部８で以前フレームと以前フレームの各四
角形の頂点の動きベクトルを用いて予測されたフレーム
と現在フレームとの差を求める過程を経て予測誤差から
なる誤差フレームを構成した後、誤差信号を符号化す
る。誤差フレームを符号化するためには、各誤差フレー
ムをＫ×Ｋサイズの正四角形ブロックに分け、ブロック
別に誤差程度に応じて適応的にＤＣＴ（Discrete Cosin
e Transform ）のような変換符号化技法を用いて符号化
する。
フレーム予測部８で以前フレームと以前フレームの各四
角形の頂点の動きベクトルを用いて予測されたフレーム
と現在フレームとの差を求める過程を経て予測誤差から
なる誤差フレームを構成した後、誤差信号を符号化す
る。誤差フレームを符号化するためには、各誤差フレー
ムをＫ×Ｋサイズの正四角形ブロックに分け、ブロック
別に誤差程度に応じて適応的にＤＣＴ（Discrete Cosin
e Transform ）のような変換符号化技法を用いて符号化
する。
【０００７】従来の映像ワーピングを用いた動画像符号
化技法においては、以前フレームを四角形物体に分割
し、各四角形の頂点に対して動きベクトルを推定及びワ
ーピングを通じて運動補償を行う。従って、動き補償の
ために形成される予測フレームも任意の四角形物体で表
現され、予測誤差もやはり任意の四角形物体（またはブ
ロック）単位で形成される。従来では、全フレーム領域
で予測誤差フレームを構成し、予測誤差フレームを正四
角物体に再び分割してＤＣＴのような変換符号化技法を
用いて予測誤差を符号化する。
化技法においては、以前フレームを四角形物体に分割
し、各四角形の頂点に対して動きベクトルを推定及びワ
ーピングを通じて運動補償を行う。従って、動き補償の
ために形成される予測フレームも任意の四角形物体で表
現され、予測誤差もやはり任意の四角形物体（またはブ
ロック）単位で形成される。従来では、全フレーム領域
で予測誤差フレームを構成し、予測誤差フレームを正四
角物体に再び分割してＤＣＴのような変換符号化技法を
用いて予測誤差を符号化する。
【０００８】しかし、ワーピングを用いた予測時に、予
測誤差は任意の四角形物体ごとに独立的な特性を有する
が、従来の予測誤差符号化方式は予測誤差フレームを正
四角物体に再び分割するので、予測誤差の前記独立した
特性を反映することができない。従って、従来の予測誤
差符号化方式では、このような特性を反映し得ないので
予測誤差の符号化効率が低下する。
測誤差は任意の四角形物体ごとに独立的な特性を有する
が、従来の予測誤差符号化方式は予測誤差フレームを正
四角物体に再び分割するので、予測誤差の前記独立した
特性を反映することができない。従って、従来の予測誤
差符号化方式では、このような特性を反映し得ないので
予測誤差の符号化効率が低下する。
【０００９】
【発明が解決しようとする課題】従って、本発明の目的
は、予測誤差の符号化効率を高める動画像符号化方法及
び装置を提供することにある。本発明の他の目的は、任
意の四角形態で表現された物体を正四角形物体に変換
し、変換された正四角形の物体に対して一般的な変換符
号化アルゴリズムを用いて符号化する方法を提供するこ
とにある。
は、予測誤差の符号化効率を高める動画像符号化方法及
び装置を提供することにある。本発明の他の目的は、任
意の四角形態で表現された物体を正四角形物体に変換
し、変換された正四角形の物体に対して一般的な変換符
号化アルゴリズムを用いて符号化する方法を提供するこ
とにある。
【００１０】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、動画像の各フレームを任意の四角形物
体に分割し、各四角形物体単位で動き推定及び補償を行
い、予測誤差を符号化する技法において、任意の四角形
状の物体及び四角形状で表現される予測誤差を四角物体
単位で独立的に符号化及び復号化するアルゴリズムを目
指している。
めに、本発明は、動画像の各フレームを任意の四角形物
体に分割し、各四角形物体単位で動き推定及び補償を行
い、予測誤差を符号化する技法において、任意の四角形
状の物体及び四角形状で表現される予測誤差を四角物体
単位で独立的に符号化及び復号化するアルゴリズムを目
指している。
【００１１】本発明では、以前フレームを任意の四角形
物体に分割し、各四角形物体単位で動き推定及び予測に
よって予測誤差を求めた後、任意の四角形単位で表れる
予測誤差を各四角形物体ごとに独立的に符号化するアル
ゴリズムを提案する。提案されたアルゴリズムは、各四
角形単位で独立的に表れる予測誤差の特性を効果的に活
用でき、よって、既存の予測誤差符号化方式に比べて向
上した符号化効率が得られる。
物体に分割し、各四角形物体単位で動き推定及び予測に
よって予測誤差を求めた後、任意の四角形単位で表れる
予測誤差を各四角形物体ごとに独立的に符号化するアル
ゴリズムを提案する。提案されたアルゴリズムは、各四
角形単位で独立的に表れる予測誤差の特性を効果的に活
用でき、よって、既存の予測誤差符号化方式に比べて向
上した符号化効率が得られる。
【００１２】
【発明の実施の形態】以下、添付図面を参照して本発明
に従う好ましい実施例を詳細に説明する。なお、図面
中、同一の構成要素及び同一部分には、できるだけ同一
の符号及び番号を共通使用するものとする。図３は、本
発明に従う基本的な構成を示す構成図である。同図にお
いて、初期メッシュ生成部２，物体変形部４，運動推定
部６，運動補償及びフレーム予測部８から構成された部
分は、従来のものと同一である。予測誤差形成部２０及
び物体再構成部２２は、本発明で新しく追加されるもの
である。前記予測誤差形成部２０は、予測物体を構成す
る四角形単位で予測誤差を計算し、四角形態の予測誤差
信号を生成する。物体再構成部２２では、任意の四角形
形態で表れる予測誤差信号を正四角形に再変換する。そ
して、最後に予測誤差符号化部２４では、物体再構成部
２２で構成された正四角形の予測誤差信号を変換符号化
方式を用いて符号化する。
に従う好ましい実施例を詳細に説明する。なお、図面
中、同一の構成要素及び同一部分には、できるだけ同一
の符号及び番号を共通使用するものとする。図３は、本
発明に従う基本的な構成を示す構成図である。同図にお
いて、初期メッシュ生成部２，物体変形部４，運動推定
部６，運動補償及びフレーム予測部８から構成された部
分は、従来のものと同一である。予測誤差形成部２０及
び物体再構成部２２は、本発明で新しく追加されるもの
である。前記予測誤差形成部２０は、予測物体を構成す
る四角形単位で予測誤差を計算し、四角形態の予測誤差
信号を生成する。物体再構成部２２では、任意の四角形
形態で表れる予測誤差信号を正四角形に再変換する。そ
して、最後に予測誤差符号化部２４では、物体再構成部
２２で構成された正四角形の予測誤差信号を変換符号化
方式を用いて符号化する。
【００１３】本発明の構成に基づいて本発明の動作を詳
細に説明する。初期メッシュ生成部２では、復号化され
た以前フレームを正四角形の初期メッシュ（または物
体）に分割する。物体変形部４では、初期の正四角形メ
ッシュを任意の四角形に変形させる。運動推定部６で
は、物体変形部４で生成された任意の正四角形物体に対
して各四角形物体の時間軸への動きを推定し、運動補償
及びフレーム予測部８では、推定された動きベクトルを
基として映像ワーピングによって以前フレームの四角物
体から予測物体を形成する。
細に説明する。初期メッシュ生成部２では、復号化され
た以前フレームを正四角形の初期メッシュ（または物
体）に分割する。物体変形部４では、初期の正四角形メ
ッシュを任意の四角形に変形させる。運動推定部６で
は、物体変形部４で生成された任意の正四角形物体に対
して各四角形物体の時間軸への動きを推定し、運動補償
及びフレーム予測部８では、推定された動きベクトルを
基として映像ワーピングによって以前フレームの四角物
体から予測物体を形成する。
【００１４】予測誤差形成部２０では各四角形単位で予
測誤差信号を生成する。即ち、予測誤差は任意の四角形
物体の内部に存在し、物体再構成部２２では、四角形状
に限定された予測誤差信号をＫ×Ｋサイズの正四角物体
に変換する。物体再構成部２２の動作を図４を参照して
詳細に説明する。図４は、本発明によって内部に予測誤
差の存在する任意の四角形物体を正四角物体に変換する
過程を示す図である。
測誤差信号を生成する。即ち、予測誤差は任意の四角形
物体の内部に存在し、物体再構成部２２では、四角形状
に限定された予測誤差信号をＫ×Ｋサイズの正四角物体
に変換する。物体再構成部２２の動作を図４を参照して
詳細に説明する。図４は、本発明によって内部に予測誤
差の存在する任意の四角形物体を正四角物体に変換する
過程を示す図である。
【００１５】同図に示した任意の四角形態の予測誤差信
号を正四角形状に限定された予測誤差に対して四角物体
の各頂点の座標をｐ１，ｐ２，ｐ３，ｐ４とすると、こ
れら頂点は、物体再構成アルゴリズムによって正四角物
体の頂点である
号を正四角形状に限定された予測誤差に対して四角物体
の各頂点の座標をｐ１，ｐ２，ｐ３，ｐ４とすると、こ
れら頂点は、物体再構成アルゴリズムによって正四角物
体の頂点である
【００１６】
【外７】
【００１７】にマッピングされ、このようなマッピング
規則に基づいて四角形物体内部の全ての点は正四角物体
内部の点に変換される。このような変換は、任意の四角
形状の物体を正四角形状の物体に変換する物体再構成ア
ルゴリズムによって行われる。アルゴリズムの説明に先
だって図４の四角形物体の座標を次のように定義する。
四角形物体の各頂点の空間的な位置をｐ１＝（ｘ１，ｘ
２），ｐ２＝（ｘ１，ｙ１），ｐ３＝（ｘ３，ｙ３），
ｐ４＝（ｘ４，ｙ４）に定義し（ここで、ｐ１は、４つ
の頂点のうち一番左側にある点を示す。）、Ｋ×Ｋサイ
ズの正四角物体の各頂点の空間的位置を
規則に基づいて四角形物体内部の全ての点は正四角物体
内部の点に変換される。このような変換は、任意の四角
形状の物体を正四角形状の物体に変換する物体再構成ア
ルゴリズムによって行われる。アルゴリズムの説明に先
だって図４の四角形物体の座標を次のように定義する。
四角形物体の各頂点の空間的な位置をｐ１＝（ｘ１，ｘ
２），ｐ２＝（ｘ１，ｙ１），ｐ３＝（ｘ３，ｙ３），
ｐ４＝（ｘ４，ｙ４）に定義し（ここで、ｐ１は、４つ
の頂点のうち一番左側にある点を示す。）、Ｋ×Ｋサイ
ズの正四角物体の各頂点の空間的位置を
【００１８】
【数２】
【００１９】に定義する。物体の各頂点は順次連結され
ており、閉ループを形成する。正四角物体において、
ており、閉ループを形成する。正四角物体において、
【００２０】
【外８】
【００２１】は左側にある点、
【００２２】
【外９】
【００２３】は右側の上にある点、
【００２４】
【外１０】
【００２５】は右側の下にある点、そして
【００２６】
【外１１】
【００２７】は左側の下にある点を示す。任意の四角形
状の物体を正四角形状の物体に変換する物体再構成アル
ゴリズムは、次の４段階によって行われる。 第１段階：初期点の選定 四角形物体の頂点のうち一番左側にある頂点ｐ１を選択
して正四角物体の初期点
状の物体を正四角形状の物体に変換する物体再構成アル
ゴリズムは、次の４段階によって行われる。 第１段階：初期点の選定 四角形物体の頂点のうち一番左側にある頂点ｐ１を選択
して正四角物体の初期点
【００２８】
【外１２】
【００２９】に設定する。 第２段階：四角物体の各頂点のマッピング 初期点
【００３０】
【外１３】
【００３１】位置で四角物体の頂点は２つの隣接した頂
点
点
【００３２】
【外１４】
【００３３】を持っており、これら隣接点
【００３４】
【外１５】
【００３５】をｙ方向への位置と比較して、ｙ方向への
位置が大きい隣接点を
位置が大きい隣接点を
【００３６】
【外１６】
【００３７】にマッピングし、ｙ方向への位置が小さい
隣接点を
隣接点を
【００３８】
【外１７】
【００３９】にマッピングする。このようなマッピング
によって、初期点ｐ１の対角方向にある四角物体の頂点
は自動的に
によって、初期点ｐ１の対角方向にある四角物体の頂点
は自動的に
【００４０】
【外１８】
【００４１】にマッピングされる。 第３段階：四角物体の角頂点における変形ベクトルの計
算 第２段階で四角物体の頂点のマッピングが決定される
と、下記の式のようにマッピングの程度を表す変形ベク
トルｄｉを計算する。 ｄi ＝ｐi ・−ｐi ・ｉ＝１，２，３，４ 第４段階：四角物体内部の各位置における変形ベクトル
は、四角物体の各頂点の変形ベクトルを用いた線形補間
によって決定される。
算 第２段階で四角物体の頂点のマッピングが決定される
と、下記の式のようにマッピングの程度を表す変形ベク
トルｄｉを計算する。 ｄi ＝ｐi ・−ｐi ・ｉ＝１，２，３，４ 第４段階：四角物体内部の各位置における変形ベクトル
は、四角物体の各頂点の変形ベクトルを用いた線形補間
によって決定される。
【００４２】前記のような物体再構成アルゴリズムによ
って四角形状の物体が正四角形状の物体にマッピングさ
れる変形ベクトルが決定されると、これら変形ベクトル
によって四角物体内の各位置は正四角物体の内部に移動
し、よって、正四角物体内の各位置における誤差信号の
値を線形補間法によって決定することができる。従っ
て、予測誤差符号化部２４では、正四角物体に限定され
た誤差信号に対してＫ×Ｋの２次元ＤＣＴを用いて変換
符号化する。２次元ＤＣＴを用いた符号化技法は、Ｋ×
Ｋの誤差信号を２次元ＤＣＴを用いて変換し、変換ドメ
インでＤＣＴ計数を量子化し、可変長符号化を用いて符
号化する。
って四角形状の物体が正四角形状の物体にマッピングさ
れる変形ベクトルが決定されると、これら変形ベクトル
によって四角物体内の各位置は正四角物体の内部に移動
し、よって、正四角物体内の各位置における誤差信号の
値を線形補間法によって決定することができる。従っ
て、予測誤差符号化部２４では、正四角物体に限定され
た誤差信号に対してＫ×Ｋの２次元ＤＣＴを用いて変換
符号化する。２次元ＤＣＴを用いた符号化技法は、Ｋ×
Ｋの誤差信号を２次元ＤＣＴを用いて変換し、変換ドメ
インでＤＣＴ計数を量子化し、可変長符号化を用いて符
号化する。
【００４３】復号化器では前記符号化のための段階の逆
順に行われ、可変長符号化されたビットストリームの伝
送を受けて可変長復号化を行い、逆量子化及び２次元逆
ＤＣＴを経てＫ×Ｋサイズの誤差信号を復元する。Ｋ×
Ｋサイズの誤差信号は、物体変形アルゴリズムの逆過程
によって四角物体から再構成され、四角物体で表現され
た誤差信号を復元する。
順に行われ、可変長符号化されたビットストリームの伝
送を受けて可変長復号化を行い、逆量子化及び２次元逆
ＤＣＴを経てＫ×Ｋサイズの誤差信号を復元する。Ｋ×
Ｋサイズの誤差信号は、物体変形アルゴリズムの逆過程
によって四角物体から再構成され、四角物体で表現され
た誤差信号を復元する。
【００４４】本発明では、任意の四角物体を正四角物体
に変形するための技法として、四角物体の各頂点の変形
ベクトルを線形補間する方式を使用してきたが、四角物
体を２つの三角物体に分けて三角形（affine）変換する
方式を用いることもできる。また、高次元の補間技法を
使用することもできる。尚、四角物体に限定された誤差
信号をＫ×Ｋサイズの誤差信号に変形したＫ×Ｋサイズ
の誤差信号を符号化するために、２次元ＤＣＴの変換符
号化技法を適用したが、他のアルゴリズムを使用するこ
とができる。即ち、Ｋ×Ｋサイズのベクトル量子化技法
を使用することができる。また、Ｋ×Ｋ誤差信号を再分
割して符号化することもできる。
に変形するための技法として、四角物体の各頂点の変形
ベクトルを線形補間する方式を使用してきたが、四角物
体を２つの三角物体に分けて三角形（affine）変換する
方式を用いることもできる。また、高次元の補間技法を
使用することもできる。尚、四角物体に限定された誤差
信号をＫ×Ｋサイズの誤差信号に変形したＫ×Ｋサイズ
の誤差信号を符号化するために、２次元ＤＣＴの変換符
号化技法を適用したが、他のアルゴリズムを使用するこ
とができる。即ち、Ｋ×Ｋサイズのベクトル量子化技法
を使用することができる。また、Ｋ×Ｋ誤差信号を再分
割して符号化することもできる。
【００４５】そして、四角物体に内部の値を誤差信号と
して適用したが、それだけでなく、一般なグレー値を有
する信号の場合にも物体変形アルゴリズムを用いて符号
化することができる。
して適用したが、それだけでなく、一般なグレー値を有
する信号の場合にも物体変形アルゴリズムを用いて符号
化することができる。
【００４６】
【発明の効果】以上のような本発明に従う映像ワーピン
グまたはアクティブメッシュを用いた動画像符号化アル
ゴリズムでは、運動予測及び補償による予測誤差が四角
物体ごとに独立的な特性を有する。これにより、四角物
体ごとに独立的に符号化することができるので、従来の
符号化アルゴリズムに比べてより向上した符号化効率を
表す。その結果、同じビット率でより良い画質の動画像
を提供できるという利点がある。
グまたはアクティブメッシュを用いた動画像符号化アル
ゴリズムでは、運動予測及び補償による予測誤差が四角
物体ごとに独立的な特性を有する。これにより、四角物
体ごとに独立的に符号化することができるので、従来の
符号化アルゴリズムに比べてより向上した符号化効率を
表す。その結果、同じビット率でより良い画質の動画像
を提供できるという利点がある。
【図１】動画像符号化のための従来の基本ブロック構成
図である。
図である。
【図２】従来の正四角物体の空間的な変形を示す図であ
る。
る。
【図３】動画像符号化のための本発明の基本ブロック構
成図である。
成図である。
【図４】本発明によって内部に予測誤差の存在する任意
の四角形物体を正四角物体に変換する過程を示す図であ
る。
の四角形物体を正四角物体に変換する過程を示す図であ
る。
２ 初期メッシュ生成部 ４ 物体変形部 ６ 運動推定部 ８ 運動補償及びフレーム予測部 ２０ 予測誤差形成部 ２２ 物体再構成部 ２４ 予測誤差符号化部
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419
Claims (5)
- 【請求項１】 動画像を符号化する方法において、 動画像の以前フレームを任意の四角形物体に分割する第
１過程と、 各四角形物体単位で動き推定及び予測によって予測誤差
を求める第２過程と、 前記第２過程に応じて各四角形単位で表れる前記予測誤
差をＫ×Ｋ（ここで、Ｋは整数）サイズの正四角物体に
変換して各四角形物体ごとに独立的に符号化する第３過
程とからなることを特徴とする方法。 - 【請求項２】 動画像を符号化する方法において、 復号化された以前フレームを正四角形の初期メッシュ
（または物体）に分割する初期メッシュ生成過程と、 前記正四角形の初期メッシュを任意の四角形に変形させ
る物体変形過程と、 前記物体変形過程で生成された任意の四角形物体に対し
て各四角形物体の時間軸への動きを推定する運動推定過
程と、 推定された動きベクトルを基として映像ワーピングを通
じて以前フレームの四角物体から予測物体を作る運動補
償及びフレーム予測過程と、 前記作られた予測物体を各四角形単位で予測誤差信号を
生成する予測誤差形成過程と、 四角形状に限定された予測誤差信号をＫ×Ｋサイズの正
四角物体に変換する物体再構成過程と、 正四角物体に限定された予測誤差信号を所定の変換符号
化技法を用いて符号化する予測誤差符号化過程とから構
成されることを特徴とする方法。 - 【請求項３】 前記物体再構成過程は、 四角形物体の頂点のうち一番左側にある頂点ｐ１を選択
して正四角物体の初期点ｐ１として設定する初期点選定
段階と、 前記初期点 【外１】 位置から２つの隣接した頂点 【外２】 をｙ方向への位置と比較して、ｙ方向への位置が大きい
頂点を 【外３】 にマッピングし、ｙ方向への位置が小さい頂点を 【外４】 にマッピングし、前記初期点 【外５】 の対角方向にある四角物体の頂点を 【外６】 にマッピングする四角物体の各頂点のマッピング段階
と、 四角物体の頂点のマッピングが決定されると、四角物体
の各頂点における変形ベクトルを計算する各頂点におけ
る変形ベクトル計算段階と、 前記四角物体の各頂点の変形ベクトルを用いた線形補間
によって四角物体内部の各位置における変形ベクトルを
決定する各位置における変形ベクトル決定段階とからな
ることを特徴とする方法。 - 【請求項４】 前記各頂点における変換ベクトル計算段
階は下記の式を用いて計算されることを特徴とする請求
項３記載の方法。 【数１】 - 【請求項５】 動画像を符号化する装置において、 復号化された以前フレームを正四角形の初期メッシュ
（または物体）に分割する初期メッシュ生成部と、 前記正四角形の初期メッシュを任意の四角形に変形させ
る物体変形部と、 前記物体変形部から生成された任意の四角形物体に対し
て各四角形物体の時間軸への動きを推定する運動推定部
と、 推定された動きベクトルを基として映像ワーピングによ
って以前フレームの四角物体から予測物体を作る運動補
償及びフレーム予測部と、 前記作られた予測物体を各四角形単位で予測誤差信号を
生成する予測誤差形成部と、 四角形状に限定された予測誤差信号をＫ×Ｋサイズの正
四角物体に変換する物体再構成部と、 正四角物体に限定された予測誤差信号を所定の変換符号
化技法を用いて符号化する予測誤差符号化部とから構成
されることを特徴とする装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR59425/1995 | 1995-12-27 | ||
| KR1019950059425A KR100208375B1 (ko) | 1995-12-27 | 1995-12-27 | 동화상 부호화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09200776A JPH09200776A (ja) | 1997-07-31 |
| JP2955526B2 true JP2955526B2 (ja) | 1999-10-04 |
Family
ID=19445177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33993396A Expired - Lifetime JP2955526B2 (ja) | 1995-12-27 | 1996-12-19 | 動画像符号化方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5719629A (ja) |
| JP (1) | JP2955526B2 (ja) |
| KR (1) | KR100208375B1 (ja) |
| CN (1) | CN1097958C (ja) |
| GB (1) | GB2308765B (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
| US5936671A (en) * | 1996-07-02 | 1999-08-10 | Sharp Laboratories Of America, Inc. | Object-based video processing using forward-tracking 2-D mesh layers |
| JP3113827B2 (ja) * | 1996-11-28 | 2000-12-04 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 矩形オブジェクトの認識方法及び認識装置 |
| US6222883B1 (en) | 1999-01-28 | 2001-04-24 | International Business Machines Corporation | Video encoding motion estimation employing partitioned and reassembled search window |
| KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
| KR100764130B1 (ko) | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템 |
| US20080031325A1 (en) * | 2006-08-03 | 2008-02-07 | Yingyong Qi | Mesh-based video compression with domain transformation |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| US9189884B2 (en) * | 2012-11-13 | 2015-11-17 | Google Inc. | Using video to encode assets for swivel/360-degree spinners |
| JP6944946B2 (ja) | 2016-10-20 | 2021-10-06 | Ｋｍバイオロジクス株式会社 | 低分子化ＰＲＰを用いたＨｉｂコンジュゲートワクチンの製造方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4208810A (en) * | 1978-09-11 | 1980-06-24 | The Singer Company | Clipping polygon faces through a polyhedron of vision |
| US4291380A (en) * | 1979-05-14 | 1981-09-22 | The Singer Company | Resolvability test and projection size clipping for polygon face display |
| FR2638924B1 (fr) * | 1988-11-09 | 1991-01-25 | Artieri Alain | Procede et circuit de traitement par bloc de signal bidimensionnel d'images animees |
| US5471248A (en) * | 1992-11-13 | 1995-11-28 | National Semiconductor Corporation | System for tile coding of moving images |
| FI97008C (fi) * | 1993-06-02 | 1996-09-25 | Nokia Oy Ab | Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella |
| US5363107A (en) * | 1993-07-16 | 1994-11-08 | Massachusetts Institute Of Technology | Storage and transmission of compressed weather maps and the like |
-
1995
- 1995-12-27 KR KR1019950059425A patent/KR100208375B1/ko not_active IP Right Cessation
-
1996
- 1996-12-17 GB GB9626276A patent/GB2308765B/en not_active Expired - Fee Related
- 1996-12-19 JP JP33993396A patent/JP2955526B2/ja not_active Expired - Lifetime
- 1996-12-27 US US08/777,381 patent/US5719629A/en not_active Expired - Lifetime
- 1996-12-27 CN CN96116714A patent/CN1097958C/zh not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術研究報告，９６［２］（１９９６．４．１２）Ｐ．３３−４０（適応Ｗａｒｐｉｎｇ予測を用いた超低ビットレート動画像符号化、非整数画素の補間予測についてはＰ．３５左欄３〜５行参照） |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1097958C (zh) | 2003-01-01 |
| US5719629A (en) | 1998-02-17 |
| GB2308765A (en) | 1997-07-02 |
| GB9626276D0 (en) | 1997-02-05 |
| CN1158057A (zh) | 1997-08-27 |
| JPH09200776A (ja) | 1997-07-31 |
| KR970057975A (ko) | 1997-07-31 |
| GB2308765B (en) | 1997-11-12 |
| KR100208375B1 (ko) | 1999-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4187264B2 (ja) | 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置 | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| JP4180666B2 (ja) | ビデオ信号符号化方法 | |
| US5581308A (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| EP0637894B1 (en) | Apparatus and method for detecting motion vectors to half-pixel accuracy | |
| US5668600A (en) | Method and apparatus for encoding and decoding a video signal using feature point based motion estimation | |
| US7724826B2 (en) | Method and apparatus for motion vector field encoding | |
| JP3655651B2 (ja) | データ処理装置 | |
| JP2002507339A (ja) | 非線形ピラミッドを用いた階層的な運動推定実行方法及び装置 | |
| JP2006174415A (ja) | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 | |
| JP2004520744A (ja) | 画像の符号化と復号のための方法及び装置、それに関連する用途 | |
| JPH09233477A (ja) | 動きベクトル生成方法 | |
| JP2955526B2 (ja) | 動画像符号化方法及び装置 | |
| JP5689291B2 (ja) | 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| KR100212559B1 (ko) | 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법 | |
| JP3759537B2 (ja) | 画像信号伝送装置及び画像信号伝送方法 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP3305480B2 (ja) | 画像符号化・復号化装置 | |
| JP2004064518A (ja) | 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| KR20010097394A (ko) | 의료영상의 차등압축방법 | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 11 |