JP3256434B2 - 画像データ符号化/復号装置及び方法 - Google Patents

画像データ符号化/復号装置及び方法

Info

Publication number
JP3256434B2
JP3256434B2 JP7577396A JP7577396A JP3256434B2 JP 3256434 B2 JP3256434 B2 JP 3256434B2 JP 7577396 A JP7577396 A JP 7577396A JP 7577396 A JP7577396 A JP 7577396A JP 3256434 B2 JP3256434 B2 JP 3256434B2
Authority
JP
Japan
Prior art keywords
image
area
color difference
decoding
shape information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP7577396A
Other languages
English (en)
Other versions
JPH09271041A (ja
Inventor
裕之 堅田
典男 伊藤
友子 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP7577396A priority Critical patent/JP3256434B2/ja
Publication of JPH09271041A publication Critical patent/JPH09271041A/ja
Application granted granted Critical
Publication of JP3256434B2 publication Critical patent/JP3256434B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル画像処理の
分野に属し、画像データを高能率に符号化する符号化及
び符号化されたデータを復号する復号処理に関するもの
である。
【0002】
【従来の技術】画像符号化において、異なる動画像シー
ケンスを符号化及び復号し、合成する方式が検討されて
いる。例えば、文献「階層表現と多重テンプレートを用
いた画像符号化」(信学技報IE94-159, pp99-106(1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス(例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など)を合成して新
たなシーケンスを作成する手法が述べられている。
【0003】また、動画像符号化方式の国際標準化(ISO
/IEC MPEG4)では、図13に示すような階層構造を持つ
符号化装置及び復号装置によって入力画像と注目する領
域の形状を示す形状情報で表される複数の部品画像の符
号化、復号及び合成が検討されている。ここで部品画像
とは、動画像内の人物や物体などを部品として切り出し
た画像のことである。ただし、通常の動画像自体も部品
画像の一種として扱われる。部品画像符号化部1301、13
02、1303では入力画像の画素値データと、形状情報がそ
れぞれ符号化され、多重化部1304では複数の部品画像符
号化データが多重化され伝送または蓄積される。復号装
置では多重化された部品画像の符号化データが非多重化
部1305で分離され、部品画像復号部1306、1307、1308で
複数の部品画像符号化データが復号され、部品画像合成
部1309で復号画像と形状情報が合成されディスプレイな
どに表示される。ここで、合成位置情報は合成時に各部
品をフレームに表示する際の位置を示す情報である。こ
の情報は符号化時に符号化データに多重しているものを
用いるか、または復号時に手動又は自動で与えられるも
のを用いても良い。
【0004】図14は部品画像と、その合成の様子を模
式的に示したものである。図14(a)の部品画像1は
背景を表す通常の動画像であり、図14(b)の部品画
像2は人物のみを切り出した動画像である。さらに、図
14(c)の部品画像3は自動車のみを切り出した動画
像である。符号化データのうち部品画像1だけを復号す
れば図14(a)と同様の背景だけの画像が得られ、部
品画像1と部品画像2を復号し合成すれば図14(d)
のような画像が再生される。さらに部品画像3を復号
し、3つの部品画像を合成すれば図14(e)のような
画像が再生される。
【0005】
【発明が解決しようとする課題】従来の技術の問題点を
図8〜図12を用いて説明する。なお以下では、色差の
サンプル周波数が輝度のものに比べ垂直・水平共に半分
の場合について説明する。このフォーマットは4:2:
0フォーマットと呼ばれる。
【0006】図8〜図10は従来の符号化装置における
問題点を説明する図である。ここで×は輝度のサンプル
位置、○は色差のサンプル位置を表す。
【0007】図8はフレーム画像から点線で示される境
界線の右側を注目領域として切り出す場合の説明図であ
る。ここで、境界線は輝度サンプル点の中間を通るもの
とする。境界線として境界線1を選んだ場合、色差のサ
ンプル点B、Cが注目領域に含まれる。これに対し、境
界線として境界線2のを選んだ場合は色差のサンプル点
Bは境界線上に位置する。このサンプル点を注目領域に
含め、かつ輝度と色差のサンプル位置関係を保つと図9
に示すように色差のサンプル点が右にずれてしまう。一
方サンプル点Bを注目領域から除外し、かつ輝度と色差
のサンプル位置関係を保つと図10に示すように色差の
サンプル点が左にずれてしまう。このような色差サンプ
ル位置のずれにより、表示の際の色のにじみや欠落など
の歪みが発生する。
【0008】図11〜図12は従来の復号装置における
問題点を説明する図である。ここで×は輝度のサンプル
位置、○は画像1の色差のサンプル位置、●は画像2の
色差のサンプル位置を表す。
【0009】図12で画像1に画像2を合成することを
考える。画像2の左上の輝度サンプル点Cを画像1の輝
度サンプル点Dに合成する場合、画像1と画像2の色差
のサンプル位置は一致する。しかし輝度サンプル点Cを
輝度サンプル点Eに合成する場合は、画像1と画像2の
色差のサンプル位置が一致しない。図12に示すように
画像2の色差のサンプル位置を画像1に一致させると、
色差サンプル点A、Bの位置が右または左にずれるが、
これによって表示の際の色のにじみや欠落などの歪みが
発生する。
【0010】本発明の目的は従来技術の問題を解決し、
上述した色差サンプル位置のずれによる歪みの発生をな
くし、歪みの少ない部品画像の符号化方式及び復号方式
を提供することにある。
【0011】
【課題を解決するための手段】上記目的を達成するため
に、本願の第1の発明は、画像内の任意形状領域を指定
する領域指定手段と、前記指定された任意形状領域を含
む領域の境界線を決定する境界線決定手段と、前記決定
された境界線に基づいて切り出された画像を符号化する
画像符号化手段と、前記指定された任意形状領域を示す
形状情報を符号化する形状情報符号化手段とを備えた画
像データ符号化装置であって、前記切り出された画像
は、色差のサンプル周波数が輝度のものに比べて小さ
く、且つ輝度と色差のサンプル位置関係が予め定められ
たフォーマットを有し、前記任意形状領域を含む領域
は、矩形領域であり、前記矩形領域を示す4点の座標の
うち少なくとも左上の1点の座標の取り得る自由度を制
限して、前記矩形領域の位置を決定することを特徴とす
る。本願の第2の発明は、画像内の任意形状領域を示す
形状情報の符号化データと、前記任意形状領域を含む領
域の境界線に基づいて切り出された画像の符号化データ
とを入力する入力手段と、前記形状情報の符号化データ
を復号する形状情報復号手段と、前記画像の符号化デー
タを復号する画像復号手段とを備え、前記復号された形
状情報に基づいて、前記復号された画像を任意の画像に
合成する画像データ復号装置であって、前記切り出され
た画像は、色差のサンプル周波数が輝度のものに比べて
小さく、且つ輝度と色差のサンプル位置関係が予め定め
られたフォーマットを有し、前記任意形状領域を含む領
域は、矩形領域であり、前記矩形領域を示す4点の座標
のうち少なくとも左上の1点の座標の取り得る自由度を
制限して、前記矩形領域の位置が決定されたものである
ことを特徴とする
【0012】
【発明の実施の形態】図1は本発明の第1の実施例を示
すブロック図である。これは部品画像符号化部の形状情
報入力部にて形状情報を変更し、従来技術の問題点を解
決するものである。ここで部品画像符号化部とは図13
の部品画像符号化部1301、1302、1303と同じものであ
る。
【0013】本実施例では任意形状の境界線を色差のサ
ンプル位置に基づいて制限する。すなわち、図1の形状
位置制限判定部101で任意形状領域の境界線が色差サ
ンプル位置の中間位置を通るか否かを判定し、中間位置
を通る場合には境界線を変更せず、中間位置を通らない
場合には形状変更部102にて、境界線が色差サンプル
位置の中間点を通るように形状を変更する。このように
任意形状領域の形状を制限すれば、輝度と色差のサンプ
ル位置関係が変化せずかつ、色差サンプル位置のずれも
発生せず部品画像を切り出すことが可能となる。
【0014】図5(a)は変更前の形状情報、図5(b)及び
(c)は本実施例によって変更された形状情報の例であ
る。○は色差サンプル位置を、実線は境界線をあらわし
ている。図5(b)は境界線が色差サンプル位置上を通る
場合、色差サンプル位置が任意形状領域内となるように
境界線を変更する例であり、図5(c)は境界線が色差サ
ンプル位置上を通る場合、色差サンプル位置が任意形状
領域外となるように境界線を変更する例である。なお、
図5(b)及び(c)の点線は変更前の境界線を示している。
【0015】本実施例では任意形状領域の場合について
述べたが、矩形領域の場合は以下のようにして形状情報
を簡単に変更することができる。すなわち、図1の形状
位置制限判定部101では矩形の左上の座標と右下の座
標を調べ、少なくとも左上の座標の水平及び垂直成分が
色差サンプル位置の中間点にあるかどうかを判定する。
形状変更部102では各成分を色差サンプル位置の中間
位置に変更すればよい。
【0016】図2は本発明の第2の実施例を示すブロッ
ク図である。これは部品画像符号化部の前処理として入
力画像から部品画像を切り出し、従来技術の問題点を解
決するものである。
【0017】図2のオーバーサンプル部201では入力
画像の色差サンプル位置が輝度サンプル位置と同サンプ
ル数となるようにオーバーサンプルされる。図6にその
例を示す。図6で×は輝度サンプル位置、○は色差サン
プル位置、●はオーバーサンプルされた色差サンプル位
置である。図2のサブサンプル部202では、形状情報
に従って任意形状領域が切り出され、同時に色差サンプ
ル位置がサブサンプルされる。図6の例では水平方向の
境界線が色差サンプル位置○の上を通っているため、領
域内に含まれる色差サンプル位置としては●で示された
サンプル位置が選ばれる。形状情報を変更する必要がな
いので、第1の実施例と比べきめ細かく任意形状を決定
することができる。
【0018】図3は本発明の第3の実施例を示すブロッ
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に従来技術の問題点を解決し、良好な画
質で部品画像をフレーム画像に合成するものである。こ
こで部品画像復号部とは図13の部品画像復号部1306、
1307、1308と同じものである。
【0019】図3の合成位置制限判定部301では合成
時に部品画像の境界線がフレーム画像上の色差サンプル
位置を通るかどうかを判定する。境界線が色差サンプル
位置を通る場合には、図3の合成位置変更部302にて
境界線が色差サンプル位置を通らないように合成位置を
変更する。図11の例で、画像2を画像1の合成位置2
に合成する場合には境界線が色差サンプル位置上にある
ため、合成位置変更部302によって合成位置が変更さ
れる。図11では例えば合成位置2を右に1輝度サンプ
ル分だけずらす。
【0020】図4は本発明の第4の実施例を示すブロッ
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に従来技術の問題点を解決し、良好な画
質で部品画像をフレーム画像に合成するものである。
【0021】図4のオーバーサンプル部401は図2の
オーバーサンプル部201と同様の働きをし、色差サン
プル位置を輝度サンプル位置と同サンプル数となるよう
にオーバーサンプルする。図4のサブサンプル部402
は色差サンプル位置をサブサンプルすると共に合成位置
情報に従って部品画像をフレーム画像に合成する。
【0022】図7に第4の実施例の動作を示す。図7
(a)は復号された部品画像であり、●はオーバーサンプ
ル部401によってオーバーサンプルされた色差サンプ
ル位置を表す。この部品画像の図7(c)のフレーム画像
上の点線の位置に合成する場合、サブサンプル部402
は部品画像の色差サンプル位置を図7(b)のようにサブ
サンプルし、図7(c)に合成する。
【0023】上記実施例では色差サンプル位置が輝度サ
ンプル位置に比べ水平・垂直共に半分に間引かれた4:
2:0フォーマットの動画像について説明してきたが、
その他のフォーマットの画像についても本発明を用いる
ことは容易である。例えば、色差サンプルが水平方向に
のみ半分に間引かれた4:2:2フォーマットの場合に
は、本発明を水平方向にのみ適用すれば良い。
【0024】
【発明の効果】本発明によれば、前記任意形状領域を含
む領域の境界線に基づいて切り出される画像が、色差の
サンプル周波数が輝度のものに比べて小さく、且つ輝度
と色差のサンプル位置関係が予め定められたフォーマッ
トを有し、前記任意形状領域を含む領域が、矩形領域で
あり、前記矩形領域を示す4点の座標のうち少なくとも
左上の1点の座標の取り得る自由度を制限して、前記矩
形領域の位置を決定することにより、どのような領域を
切り出した際も、合成時は必ず予め定められたフォーマ
ットに適合した部分画像となり、合成時に合成後の画像
の輝度データと色差データのパターンが不一致となるこ
とによって色差データのずれが生じ、歪みを発生すると
いう問題を回避することができる。また、前記矩形領域
を示す4点の座標のうち少なくとも左上の1点の座標の
取り得る自由度を制限して、前記矩形領域の位置を決定
することにより、簡単にかつ良好な画質で部品画像の切
り出しを行うことができる。
【0025】
【0026】
【0027】
【0028】
【0029】
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すブロック図であ
る。
【図2】本発明に第2の実施例を示すブロック図であ
る。
【図3】本発明に第3の実施例を示すブロック図であ
る。
【図4】本発明に第4の実施例を示すブロック図であ
る。
【図5】本発明の第1の実施例の動作を説明する図であ
る。
【図6】本発明の第2の実施例の動作を説明する図であ
る。
【図7】本発明の第4の実施例の動作を説明する図であ
る。
【図8】従来の技術の問題点を説明する図である。
【図9】従来の技術の問題点を説明する図である。
【図10】従来の技術の問題点を説明する図である。
【図11】従来の技術の問題点を説明する図である。
【図12】従来の技術の問題点を説明する図である。
【図13】従来の技術を示すブロック図である。
【図14】従来の技術を説明する図である。
【符号の説明】
101 形状位置制限判定部 102 形状変更部 202、401 オーバーサンプル部 202、402 サブサンプル部 301 合成位置制限判定部 302 合成位置変更部 303、403 部品画像合成部 1301、1302、1303 部品画像符号化部 1304 多重化部 1305 非多重化部 1306、1307、1308 部品画像復号部 1309 部品画像合成部
フロントページの続き (56)参考文献 特開 平8−23550(JP,A) 国際公開92/29462(WO,A1) 栄藤 稔,階層表現と多重テンプレー トを用いた画像符号化,電子情報通信学 会技術研究報告,日本,電子情報通信学 会,1995年 3月17日,IE94−159, 99−106 画像フォーマットとビットストリー ム,テレビジョン学会誌、49[4 ](1995.4.20)p.437−443 ,日 本,テレビジョン学会 (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 11/00 - 11/22

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像内の任意形状領域を指定する領域指
    定手段と、 前記指定された任意形状領域を含む領域の境界線を決定
    する境界線決定手段と、 前記決定された境界線に基づいて切り出された画像を符
    号化する画像符号化手段と、 前記指定された任意形状領域を示す形状情報を符号化す
    る形状情報符号化手段とを備えた画像データ符号化装置
    であって、前記切り出された画像は、色差のサンプル周波数が輝度
    のものに比べて小さく、且つ輝度と色差のサンプル位置
    関係が予め定められたフォーマットを有し、 前記任意形状領域を含む領域は、矩形領域であり、 前記矩形領域を示す4点の座標のうち少なくとも左上の
    1点の座標の取り得る自由度を制限して、前記矩形領域
    の位置を決定することを特徴とする画像データ符号化装
    置。
  2. 【請求項2】 画像内の任意形状領域を示す形状情報の
    符号化データと、前記任意形状領域を含む領域の境界線
    に基づいて切り出された画像の符号化データとを入力す
    る入力手段と、 前記形状情報の符号化データを復号する形状情報復号手
    段と、 前記画像の符号化データを復号する画像復号手段とを備
    え、 前記復号された形状情報に基づいて、前記復号された画
    像を任意の画像に合成する画像データ復号装置であっ
    て、 前記切り出された画像は、色差のサンプル周波数が輝度
    のものに比べて小さく、且つ輝度と色差のサンプル位置
    関係が予め定められたフォーマットを有し、 前記任意形状領域を含む領域は、矩形領域であり、 前記矩形領域を示す4点の座標のうち少なくとも左上の
    1点の座標の取り得る自由度を制限して、前記矩形領域
    の位置が決定されたものであることを特徴とする画像デ
    ータ復号装置
JP7577396A 1996-03-29 1996-03-29 画像データ符号化/復号装置及び方法 Expired - Lifetime JP3256434B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7577396A JP3256434B2 (ja) 1996-03-29 1996-03-29 画像データ符号化/復号装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7577396A JP3256434B2 (ja) 1996-03-29 1996-03-29 画像データ符号化/復号装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001033108A Division JP3461807B2 (ja) 2001-02-09 2001-02-09 動画像復号方法

Publications (2)

Publication Number Publication Date
JPH09271041A JPH09271041A (ja) 1997-10-14
JP3256434B2 true JP3256434B2 (ja) 2002-02-12

Family

ID=13585872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7577396A Expired - Lifetime JP3256434B2 (ja) 1996-03-29 1996-03-29 画像データ符号化/復号装置及び方法

Country Status (1)

Country Link
JP (1) JP3256434B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483814B1 (ko) 1999-03-05 2005-04-20 가부시끼가이샤 도시바 동화상 부호화 장치 및 동화상 복호화 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
栄藤 稔,階層表現と多重テンプレートを用いた画像符号化,電子情報通信学会技術研究報告,日本,電子情報通信学会,1995年 3月17日,IE94−159,99−106
画像フォーマットとビットストリーム,テレビジョン学会誌、49[4](1995.4.20)p.437−443 ,日本,テレビジョン学会

Also Published As

Publication number Publication date
JPH09271041A (ja) 1997-10-14

Similar Documents

Publication Publication Date Title
EP0880286B1 (en) Moving image encoding and decoding device
EP1079610B1 (en) Moving-picture processing method, and apparatus therefor
EP0933939A1 (en) Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium
US6016362A (en) Apparatus and method for image coding and decoding
US20040086043A1 (en) Moving image encoding apparatus and moving image decoding apparatus
JPH0746628A (ja) 画像信号符号化装置及び画像信号復号化装置
JP3256434B2 (ja) 画像データ符号化/復号装置及び方法
JP2000165641A (ja) 画像処理方法,画像処理装置およびデータ記憶媒体
JP3461807B2 (ja) 動画像復号方法
JP2004537931A (ja) シーンを符号化する方法及び装置
JPH0846961A (ja) 画像符号化復号化方法
JP3866946B2 (ja) 動画像符号化装置
JPH06197337A (ja) 画像伝送装置
KR100374717B1 (ko) 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치
JP3280546B2 (ja) 画像編集・符号化装置および画像復号装置
JPH09307906A (ja) 画像符号化装置及び画像復号装置
JP3526316B2 (ja) 動画像圧縮符号化方法
JP3148751B2 (ja) 動画像符号化装置および動画像復号装置
JP3474707B2 (ja) 画像符号化装置及び画像復号装置
JP2592983B2 (ja) テレビ会議方式
JP2819566B2 (ja) 動画像伝送システム
JP3148752B2 (ja) 動画像符号化装置
JP2001218206A (ja) 画像符号化装置及び方法、媒体
JPH07298238A (ja) 映像伝送装置
JPH1023332A (ja) 合成信号処理回路

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081130

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091130

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091130

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 11

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 12

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term