JP3461807B2 - 動画像復号方法 - Google Patents

動画像復号方法

Info

Publication number
JP3461807B2
JP3461807B2 JP2001033108A JP2001033108A JP3461807B2 JP 3461807 B2 JP3461807 B2 JP 3461807B2 JP 2001033108 A JP2001033108 A JP 2001033108A JP 2001033108 A JP2001033108 A JP 2001033108A JP 3461807 B2 JP3461807 B2 JP 3461807B2
Authority
JP
Japan
Prior art keywords
image
color difference
sample
boundary line
difference sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001033108A
Other languages
English (en)
Other versions
JP2001268592A (ja
Inventor
裕之 堅田
典男 伊藤
友子 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001033108A priority Critical patent/JP3461807B2/ja
Publication of JP2001268592A publication Critical patent/JP2001268592A/ja
Application granted granted Critical
Publication of JP3461807B2 publication Critical patent/JP3461807B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化方法及びこの動画像符号化方法で作成された符
号化データを復号する動画像復号方法に関するものであ
る。
【0002】
【従来の技術】画像符号化において、異なる動画像シー
ケンスを符号化及び復号し、合成する方式が検討されて
いる。例えば、文献「階層表現と多重テンプレートを用
いた画像符号化」(信学技報IE94-159, pp99-106(1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス(例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など)とを合成して
新たなシーケンスを作成する手法が述べられている。
【0003】また、動画像符号化方式の国際標準化(ISO
/IEC MPEG4)では、図13に示すような階層構造を持つ
符号化装置及び復号装置によって、入力画像と注目する
領域の形状を示す形状情報で表される複数の部品画像の
符号化、復号及び合成が検討されている。ここで部品画
像とは、動画像内の人物や物体などを部品として切り出
した画像のことである。ただし、通常の動画像自体も部
品画像の一種として扱われる。
【0004】部品画像符号化部1301、1302、1303では、
入力画像の画素値データと、形状情報とがそれぞれ符号
化され、多重化部1304では複数の部品画像符号化データ
が多重化され、伝送または蓄積される。復号装置では、
多重化された部品画像の符号化データが非多重化部1305
で分離され、部品画像復号部1306、1307、1308で複数の
部品画像符号化データが復号され、部品画像合成部1309
で復号画像と形状情報が合成され、ディスプレイなどに
表示される。
【0005】ここで、合成位置情報は合成時に各部品を
フレームに表示する際の位置を示す情報である。この情
報は符号化時に符号化データに多重しているものを用い
るか、または復号時に手動又は自動で与えられるものを
用いても良い。
【0006】図14は部品画像とその合成の様子を模式
的に示したものである。図14(a)の部品画像1は背
景を表す通常の動画像であり、図14(b)の部品画像
2は人物のみを切り出した動画像である。さらに、図1
4(c)の部品画像3は自動車のみを切り出した動画像
である。
【0007】符号化データのうち部品画像1だけを復号
すれば、図14(a)と同様の背景だけの画像が得ら
れ、部品画像1と部品画像2とを復号し合成すれば、図
14(d)のような画像が再生される。さらに部品画像
3を復号し、3つの部品画像を合成すれば、図14
(e)のような画像が再生される。
【0008】
【発明が解決しようとする課題】従来の技術の問題点を
図8〜図12を用いて説明する。なお以下では、色差の
サンプル周波数が輝度のものに比べ垂直・水平共に半分
の場合について説明する。このフォーマットは4:2:
0フォーマットと呼ばれる。図8〜図10は従来の符号
化装置における問題点を説明する図である。ここで、×
は輝度のサンプル位置、○は色差のサンプル位置を表
す。
【0009】図8はフレーム画像から点線で示される境
界線の右側を注目領域として切り出す場合の説明図であ
る。ここで、境界線は輝度サンプル点の中間を通るもの
とする。境界線として境界線1を選んだ場合、色差のサ
ンプル点B、Cが注目領域に含まれる。これに対し、境
界線として境界線2を選んだ場合は、色差のサンプル点
Bは境界線上に位置する。
【0010】このサンプル点を注目領域に含め、かつ輝
度と色差のサンプル位置関係を保つと、図9に示すよう
に色差のサンプル点が右にずれてしまう。一方、サンプ
ル点Bを注目領域から除外し、かつ輝度と色差のサンプ
ル位置関係を保つと、図10に示すように色差のサンプ
ル点が左にずれてしまう。このような色差サンプル位置
のずれにより、表示の際の色のにじみや欠落などの歪み
が発生する。
【0011】図11〜図12は従来の復号装置における
問題点を説明する図である。ここで、×は輝度のサンプ
ル位置、○は画像1の色差のサンプル位置、●は画像2
の色差のサンプル位置を表す。
【0012】図11で画像1に画像2を合成することを
考える。画像2の左上の輝度サンプル点Cを画像1の輝
度サンプル点Dに合成する場合、画像1と画像2の色差
のサンプル位置は一致する。しかし、輝度サンプル点C
を輝度サンプル点Eに合成する場合は、画像1と画像2
の色差のサンプル位置が一致しない。
【0013】図12に示すように、画像2の色差のサン
プル位置を画像1に一致させると、色差サンプル点A、
Bの位置が右または左にずれるが、これによって表示の
際の色のにじみや欠落などの歪みが発生する。
【0014】本発明の目的は、このような従来技術の問
題を解決し、上述した色差サンプル位置のずれによる歪
みの発生をなくし、歪みの少ない部品画像の符号化方法
及び復号方法を提供することにある。
【0015】
【0016】
【0017】
【課題を解決するための手段】 本願の第1の発明は、
差サンプルと輝度サンプルを含み前記色差サンプルが前
記輝度サンプルに対して水平または垂直方向に間引かれ
ている画像フレームから切り出された任意形状領域内の
画像符号化データを復号して、所定のフレーム画像に合
成する動画像復号方法であって、前記任意形状領域の水
平または垂直方向の境界線が前記色差サンプル位置の中
間位置を通るか否かを判定し、前記境界線が前記色差サ
ンプル位置の中間位置を通らない場合には、前記色差サ
ンプル位置の中間位置を通るように前記水平または垂直
方向の境界線を変更して前記フレーム画像に合成し、前
記境界線が前記色差サンプル位置の中間位置を通る場合
には、前記境界線を変更しないで前記フレーム画像に合
成することを特徴とする。本願の第2の発明は、色差サ
ンプルと輝度サンプルを含み前記色差サンプルが前記輝
度サンプルに対して水平または垂直方向に間引かれてい
る画像フレームから切り出された任意形状領域の画像符
号化データを復号して、所定のフレーム画像に合成する
動画像復号方法であって、前記任意形状領域の水平また
は垂直方向の境界線が前記色差サンプル位置を通るか否
かを判定し、前記境界線が前記色差サンプル位置を通る
場合には、前記色差サンプル位置を通らないように前記
水平または垂直方向の境界線を変更して前記フレーム画
像に合成し、前記境界線が前記色差サンプル位置を通ら
ない場合には、前記境界線を変更しないで前記フレーム
画像に合成することを特徴とする。 本願の第3の発明
は、前記任意形状領域は、矩形領域であることを特徴と
する。
【0018】
【0019】
【0020】
【0021】
【0022】
【発明の実施の形態】図1は本発明の第1の実施例を示
すブロック図である。これは部品画像符号化部の形状情
報入力部にて形状情報を変更し、従来技術の問題点を解
決するものである。ここで、部品画像符号化部とは図1
3の部品画像符号化部1301、1302、1303と同じものであ
る。上記従来例と同一部分については、その説明は省略
する。
【0023】本実施例では、任意形状の境界線を色差の
サンプル位置に基づいて制限する。すなわち、図1の形
状位置制限判定部101で任意形状領域の境界線が色差
サンプル位置の中間位置を通るか否かを判定し、中間位
置を通る場合には境界線を変更せず、中間位置を通らな
い場合には、形状変更部102にて、境界線が色差サン
プル位置の中間点を通るように形状を変更する。
【0024】このように、任意形状領域の形状を制限す
れば、輝度と色差のサンプル位置関係が変化せず、か
つ、色差サンプル位置のずれも発生せず部品画像を切り
出すことが可能となる。
【0025】図5(a)は変更前の形状情報、図5(b)及び
(c)は本実施例によって変更された形状情報の例であ
る。○は色差サンプル位置を、実線は境界線をあらわし
ている。図5(b)は境界線が色差サンプル位置上を通る
場合、色差サンプル位置が任意形状領域内となるように
境界線を変更する例であり、図5(c)は境界線が色差サ
ンプル位置上を通る場合、色差サンプル位置が任意形状
領域外となるように境界線を変更する例である。なお、
図5(b)及び(c)の点線は変更前の境界線を示している。
【0026】本実施例では、任意形状領域の場合につい
て述べたが、矩形領域の場合は以下のようにして形状情
報を簡単に変更することができる。すなわち、図1の形
状位置制限判定部101では矩形の左上の座標と右下の
座標とを調べ、少なくとも左上の座標の水平及び垂直成
分が色差サンプル位置の中間点にあるかどうかを判定す
る。形状変更部102では各成分を色差サンプル位置の
中間位置に変更すればよい。
【0027】図2は本発明の第2の実施例を示すブロッ
ク図である。これは部品画像符号化部の前処理として入
力画像から部品画像を切り出し、従来技術の問題点を解
決するものである。
【0028】図2のオーバーサンプル部201では、入
力画像の色差サンプル位置が輝度サンプル位置と同サン
プル数となるようにオーバーサンプルされる。図6にそ
の例を示す。図6で×は輝度サンプル位置、○は色差サ
ンプル位置、●はオーバーサンプルされた色差サンプル
位置である。
【0029】図2のサブサンプル部202では、形状情
報に従って任意形状領域が切り出され、同時に色差サン
プル位置がサブサンプルされる。図6の例では水平方向
の境界線が色差サンプル位置○の上を通っているため、
領域内に含まれる色差サンプル位置としては、●で示さ
れたサンプル位置が選ばれる。形状情報を変更する必要
がないので、第1の実施例と比べきめ細かく任意形状を
決定することができる。
【0030】図3は本発明の第3の実施例を示すブロッ
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に、従来技術の問題点を解決し、良好な
画質で部品画像をフレーム画像に合成するものである。
ここで、部品画像復号部とは図13の部品画像復号部13
06、1307、1308と同じものである。上記従来例と同一部
分については、その説明は省略する。
【0031】図3の合成位置制限判定部301では、合
成時に部品画像の境界線がフレーム画像上の色差サンプ
ル位置を通るかどうかを判定する。境界線が色差サンプ
ル位置を通る場合には、図3の合成位置変更部302に
て、境界線が色差サンプル位置を通らないように合成位
置を変更する。
【0032】図11の例で、画像2を画像1の合成位置
2に合成する場合には、境界線が色差サンプル位置上に
あるため、合成位置変更部302によって合成位置が変
更される。図11では例えば合成位置2を右に1輝度サ
ンプル分だけずらす。
【0033】図4は本発明の第4の実施例を示すブロッ
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に、従来技術の問題点を解決し、良好な
画質で部品画像をフレーム画像に合成するものである。
【0034】図4のオーバーサンプル部401は、図2
のオーバーサンプル部201と同様の働きをし、色差サ
ンプル位置を輝度サンプル位置と同サンプル数となるよ
うにオーバーサンプルする。図4のサブサンプル部40
2は、色差サンプル位置をサブサンプルすると共に、合
成位置情報に従って部品画像をフレーム画像に合成す
る。
【0035】図7に第4の実施例の動作を示す。図7
(a)は復号された部品画像であり、●はオーバーサンプ
ル部401によってオーバーサンプルされた色差サンプ
ル位置を表す。この部品画像の図7(c)のフレーム画像
上の点線の位置に合成する場合、サブサンプル部402
は部品画像の色差サンプル位置を図7(b)のようにサブ
サンプルし、図7(c)に合成する。
【0036】上記実施例においては、色差サンプル位置
が輝度サンプル位置に比べ水平・垂直共に半分に間引か
れた4:2:0フォーマットの動画像について説明して
きたが、その他のフォーマットの画像についても本発明
を用いることは容易である。例えば、色差サンプルが水
平方向にのみ半分に間引かれた4:2:2フォーマット
の場合には、本発明を水平方向にのみ適用すれば良い。
【0037】
【発明の効果】本発明によれば、任意形状領域内の輝度
データのサンプル位置と色差データのサンプル位置との
相対位置関係が変化しないように、前記任意形状領域の
座標を制限するので、部品画像を切り出す際に色差サン
プル位置のずれがなく、良好な画質で切り出しを行うこ
とができる。
【0038】また、前記任意形状領域として矩形領域を
切り出す場合、矩形領域を示す4点の座標のうち少なく
とも左上の1点の取り得る自由度を、色差データのサン
プル位置に基づいて制限することによって、矩形領域を
切り出す際に簡単にかつ良好な画質で部品画像の切り出
しを行うことができる。
【0039】さらに、画像フレーム内の色差データのサ
ンプル間隔が輝度データのサンプル間隔に一致するよう
に、該色差データをオーバーサンプルした上で、前記任
意形状領域を切り出し、さらに、前記任意形状領域内の
輝度データのサンプル位置と色差データのサンプル位置
の相対位置関係が変化しないように、色差データをサブ
サンプルすることによって、輝度データのサンプル位置
と色差データのサンプル位置との相対位置関係が変化せ
ず、かつ部品画像を切り出す際に色差サンプル位置のず
れがなく、良好な画質で切り出しを行うことができる。
この場合、切り出す座標の制限をしないので、切り出し
位置を細かく設定することができる。
【0040】そしてまた、任意形状領域内の画像を任意
のフレーム画像に合成する際に、前記フレーム画像にお
ける色差データのサンプル位置に基づいて、前記任意形
状領域内の画像の合成位置座標を制限することによっ
て、部品画像をフレーム画像に合成する際に色差サンプ
ル位置のずれがなく、良好な画質で合成を行うことがで
きる。
【0041】さらに、任意形状領域内の色差データのサ
ンプル間隔が輝度データのサンプル間隔に一致するよう
に、該色差データをオーバーサンプルし、前記任意形状
領域内の画像を任意のフレーム画像に合成する際に、前
記任意形状領域内の画像と前記フレーム画像との色差デ
ータのサンプル位置が一致するように、再び前記色差デ
ータをサブサンプルすることによって、部品画像の色差
サンプル位置のずれがなく、良好な画質で合成を行うこ
とができる。この場合、切り出す座標の制限をしないの
で、合成位置を細かく設定することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すブロック図であ
る。
【図2】本発明に第2の実施例を示すブロック図であ
る。
【図3】本発明に第3の実施例を示すブロック図であ
る。
【図4】本発明に第4の実施例を示すブロック図であ
る。
【図5】本発明の第1の実施例の動作を説明する図であ
る。
【図6】本発明の第2の実施例の動作を説明する図であ
る。
【図7】本発明の第4の実施例の動作を説明する図であ
る。
【図8】従来の技術の問題点を説明する図である。
【図9】従来の技術の問題点を説明する図である。
【図10】従来の技術の問題点を説明する図である。
【図11】従来の技術の問題点を説明する図である。
【図12】従来の技術の問題点を説明する図である。
【図13】従来の技術を示すブロック図である。
【図14】従来の技術を説明する図である。
【符号の説明】
101 形状位置制限判定部 102 形状変更部 202、401 オーバーサンプル部 202、402 サブサンプル部 301 合成位置制限判定部 302 合成位置変更部 303、403 部品画像合成部 1301、1302、1303 部品画像符号化部 1304 多重化部 1305 非多重化部 1306、1307、1308 部品画像復号部 1309 部品画像合成部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−27966(JP,A) 特開 平8−23550(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 11/00 - 11/22 H04N 7/00 - 7/68

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 色差サンプルと輝度サンプルを含み前記
    色差サンプルが前記輝度サンプルに対して水平または垂
    直方向に間引かれている画像フレームから切り出された
    任意形状領域内の画像符号化データを復号して、所定の
    フレーム画像に合成する動画像復号方法であって、前記任意形状領域の水平または垂直方向の境界線が前記
    色差サンプル位置の中間位置を通るか否かを判定し、 前記境界線が前記色差サンプル位置の中間位置を通らな
    い場合には、前記色差サンプル位置の中間位置を通るよ
    うに前記水平または垂直方向の境界線を変更して前記フ
    レーム画像に合成し、 前記境界線が前記色差サンプル位置の中間位置を通る場
    合には、前記境界線を変更しないで前記フレーム画像に
    合成する ことを特徴とする動画像復号方法。
  2. 【請求項2】 色差サンプルと輝度サンプルを含み前記
    色差サンプルが前記輝度サンプルに対して水平または垂
    直方向に間引かれている画像フレームから切り出された
    任意形状領域の画像符号化データを復号して、所定のフ
    レーム画像に合成する動画像復号方法であって、 前記任意形状領域の水平または垂直方向の境界線が前記
    色差サンプル位置を通るか否かを判定し、 前記境界線が前記色差サンプル位置を通る場合には、前
    記色差サンプル位置を通らないように前記水平または垂
    直方向の境界線を変更して前記フレーム画像に合成し、 前記境界線が前記色差サンプル位置を通らない場合に
    は、前記境界線を変更しないで前記フレーム画像に合成
    することを特徴とする動画像復号方法。
  3. 【請求項3】 前記任意形状領域は、矩形領域であるこ
    とを特徴とする請求項1または請求項2記載の動画像復
    号方法。
JP2001033108A 2001-02-09 2001-02-09 動画像復号方法 Expired - Fee Related JP3461807B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001033108A JP3461807B2 (ja) 2001-02-09 2001-02-09 動画像復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001033108A JP3461807B2 (ja) 2001-02-09 2001-02-09 動画像復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP7577396A Division JP3256434B2 (ja) 1996-03-29 1996-03-29 画像データ符号化/復号装置及び方法

Publications (2)

Publication Number Publication Date
JP2001268592A JP2001268592A (ja) 2001-09-28
JP3461807B2 true JP3461807B2 (ja) 2003-10-27

Family

ID=18896914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001033108A Expired - Fee Related JP3461807B2 (ja) 2001-02-09 2001-02-09 動画像復号方法

Country Status (1)

Country Link
JP (1) JP3461807B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916782B2 (en) 2004-08-18 2011-03-29 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof

Also Published As

Publication number Publication date
JP2001268592A (ja) 2001-09-28

Similar Documents

Publication Publication Date Title
EP1079610B1 (en) Moving-picture processing method, and apparatus therefor
US6674479B2 (en) Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
EP0880286B1 (en) Moving image encoding and decoding device
EP0909096B1 (en) Picture encoder and picture decoder
JP3228874B2 (ja) 圧縮ディジタルビデオビットストリーム分割方法及び装置、並びにその復号方法及び装置
US8279938B2 (en) Encoding device and method, decoding device and method, program, recording medium, and data structure
JP2005506771A (ja) インタラクティブ・ビデオ装置、及びその装置によって用いられる画像に字幕を付ける方法
JP3224514B2 (ja) 動画像符号化装置および動画像復号装置
JPH1023407A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体
US20060170762A1 (en) Video composition apparatus, video composition method and video composition program
JPH0746628A (ja) 画像信号符号化装置及び画像信号復号化装置
KR20030029442A (ko) 특수 효과 데이터 부호화 방법, 특수 효과 표시 방법, 및특수 효과 데이터 편집 방법
JP3461807B2 (ja) 動画像復号方法
JP2000165641A (ja) 画像処理方法,画像処理装置およびデータ記憶媒体
JP3256434B2 (ja) 画像データ符号化/復号装置及び方法
JPH0846961A (ja) 画像符号化復号化方法
JP3247836B2 (ja) 画像符号化装置及び画像復号装置
JP3866946B2 (ja) 動画像符号化装置
JP3526316B2 (ja) 動画像圧縮符号化方法
JP3148751B2 (ja) 動画像符号化装置および動画像復号装置
JP3648121B2 (ja) 復号化方法および復号化装置
JP2819566B2 (ja) 動画像伝送システム
JPH0564184A (ja) Tv会議システムの画面構成方式
JP3148752B2 (ja) 動画像符号化装置
JP2004165800A (ja) 画像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070815

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080815

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080815

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090815

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090815

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100815

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees