JP3256434B2 - 画像データ符号化/復号装置及び方法 - Google Patents
画像データ符号化/復号装置及び方法Info
- Publication number
- JP3256434B2 JP3256434B2 JP7577396A JP7577396A JP3256434B2 JP 3256434 B2 JP3256434 B2 JP 3256434B2 JP 7577396 A JP7577396 A JP 7577396A JP 7577396 A JP7577396 A JP 7577396A JP 3256434 B2 JP3256434 B2 JP 3256434B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- color difference
- decoding
- shape information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
分野に属し、画像データを高能率に符号化する符号化及
び符号化されたデータを復号する復号処理に関するもの
である。
ケンスを符号化及び復号し、合成する方式が検討されて
いる。例えば、文献「階層表現と多重テンプレートを用
いた画像符号化」(信学技報IE94-159, pp99-106(1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス(例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など)を合成して新
たなシーケンスを作成する手法が述べられている。
/IEC MPEG4)では、図13に示すような階層構造を持つ
符号化装置及び復号装置によって入力画像と注目する領
域の形状を示す形状情報で表される複数の部品画像の符
号化、復号及び合成が検討されている。ここで部品画像
とは、動画像内の人物や物体などを部品として切り出し
た画像のことである。ただし、通常の動画像自体も部品
画像の一種として扱われる。部品画像符号化部1301、13
02、1303では入力画像の画素値データと、形状情報がそ
れぞれ符号化され、多重化部1304では複数の部品画像符
号化データが多重化され伝送または蓄積される。復号装
置では多重化された部品画像の符号化データが非多重化
部1305で分離され、部品画像復号部1306、1307、1308で
複数の部品画像符号化データが復号され、部品画像合成
部1309で復号画像と形状情報が合成されディスプレイな
どに表示される。ここで、合成位置情報は合成時に各部
品をフレームに表示する際の位置を示す情報である。こ
の情報は符号化時に符号化データに多重しているものを
用いるか、または復号時に手動又は自動で与えられるも
のを用いても良い。
式的に示したものである。図14(a)の部品画像1は
背景を表す通常の動画像であり、図14(b)の部品画
像2は人物のみを切り出した動画像である。さらに、図
14(c)の部品画像3は自動車のみを切り出した動画
像である。符号化データのうち部品画像1だけを復号す
れば図14(a)と同様の背景だけの画像が得られ、部
品画像1と部品画像2を復号し合成すれば図14(d)
のような画像が再生される。さらに部品画像3を復号
し、3つの部品画像を合成すれば図14(e)のような
画像が再生される。
図8〜図12を用いて説明する。なお以下では、色差の
サンプル周波数が輝度のものに比べ垂直・水平共に半分
の場合について説明する。このフォーマットは4:2:
0フォーマットと呼ばれる。
問題点を説明する図である。ここで×は輝度のサンプル
位置、○は色差のサンプル位置を表す。
界線の右側を注目領域として切り出す場合の説明図であ
る。ここで、境界線は輝度サンプル点の中間を通るもの
とする。境界線として境界線1を選んだ場合、色差のサ
ンプル点B、Cが注目領域に含まれる。これに対し、境
界線として境界線2のを選んだ場合は色差のサンプル点
Bは境界線上に位置する。このサンプル点を注目領域に
含め、かつ輝度と色差のサンプル位置関係を保つと図9
に示すように色差のサンプル点が右にずれてしまう。一
方サンプル点Bを注目領域から除外し、かつ輝度と色差
のサンプル位置関係を保つと図10に示すように色差の
サンプル点が左にずれてしまう。このような色差サンプ
ル位置のずれにより、表示の際の色のにじみや欠落など
の歪みが発生する。
問題点を説明する図である。ここで×は輝度のサンプル
位置、○は画像1の色差のサンプル位置、●は画像2の
色差のサンプル位置を表す。
考える。画像2の左上の輝度サンプル点Cを画像1の輝
度サンプル点Dに合成する場合、画像1と画像2の色差
のサンプル位置は一致する。しかし輝度サンプル点Cを
輝度サンプル点Eに合成する場合は、画像1と画像2の
色差のサンプル位置が一致しない。図12に示すように
画像2の色差のサンプル位置を画像1に一致させると、
色差サンプル点A、Bの位置が右または左にずれるが、
これによって表示の際の色のにじみや欠落などの歪みが
発生する。
上述した色差サンプル位置のずれによる歪みの発生をな
くし、歪みの少ない部品画像の符号化方式及び復号方式
を提供することにある。
に、本願の第1の発明は、画像内の任意形状領域を指定
する領域指定手段と、前記指定された任意形状領域を含
む領域の境界線を決定する境界線決定手段と、前記決定
された境界線に基づいて切り出された画像を符号化する
画像符号化手段と、前記指定された任意形状領域を示す
形状情報を符号化する形状情報符号化手段とを備えた画
像データ符号化装置であって、前記切り出された画像
は、色差のサンプル周波数が輝度のものに比べて小さ
く、且つ輝度と色差のサンプル位置関係が予め定められ
たフォーマットを有し、前記任意形状領域を含む領域
は、矩形領域であり、前記矩形領域を示す4点の座標の
うち少なくとも左上の1点の座標の取り得る自由度を制
限して、前記矩形領域の位置を決定することを特徴とす
る。本願の第2の発明は、画像内の任意形状領域を示す
形状情報の符号化データと、前記任意形状領域を含む領
域の境界線に基づいて切り出された画像の符号化データ
とを入力する入力手段と、前記形状情報の符号化データ
を復号する形状情報復号手段と、前記画像の符号化デー
タを復号する画像復号手段とを備え、前記復号された形
状情報に基づいて、前記復号された画像を任意の画像に
合成する画像データ復号装置であって、前記切り出され
た画像は、色差のサンプル周波数が輝度のものに比べて
小さく、且つ輝度と色差のサンプル位置関係が予め定め
られたフォーマットを有し、前記任意形状領域を含む領
域は、矩形領域であり、前記矩形領域を示す4点の座標
のうち少なくとも左上の1点の座標の取り得る自由度を
制限して、前記矩形領域の位置が決定されたものである
ことを特徴とする。
すブロック図である。これは部品画像符号化部の形状情
報入力部にて形状情報を変更し、従来技術の問題点を解
決するものである。ここで部品画像符号化部とは図13
の部品画像符号化部1301、1302、1303と同じものであ
る。
ンプル位置に基づいて制限する。すなわち、図1の形状
位置制限判定部101で任意形状領域の境界線が色差サ
ンプル位置の中間位置を通るか否かを判定し、中間位置
を通る場合には境界線を変更せず、中間位置を通らない
場合には形状変更部102にて、境界線が色差サンプル
位置の中間点を通るように形状を変更する。このように
任意形状領域の形状を制限すれば、輝度と色差のサンプ
ル位置関係が変化せずかつ、色差サンプル位置のずれも
発生せず部品画像を切り出すことが可能となる。
(c)は本実施例によって変更された形状情報の例であ
る。○は色差サンプル位置を、実線は境界線をあらわし
ている。図5(b)は境界線が色差サンプル位置上を通る
場合、色差サンプル位置が任意形状領域内となるように
境界線を変更する例であり、図5(c)は境界線が色差サ
ンプル位置上を通る場合、色差サンプル位置が任意形状
領域外となるように境界線を変更する例である。なお、
図5(b)及び(c)の点線は変更前の境界線を示している。
述べたが、矩形領域の場合は以下のようにして形状情報
を簡単に変更することができる。すなわち、図1の形状
位置制限判定部101では矩形の左上の座標と右下の座
標を調べ、少なくとも左上の座標の水平及び垂直成分が
色差サンプル位置の中間点にあるかどうかを判定する。
形状変更部102では各成分を色差サンプル位置の中間
位置に変更すればよい。
ク図である。これは部品画像符号化部の前処理として入
力画像から部品画像を切り出し、従来技術の問題点を解
決するものである。
画像の色差サンプル位置が輝度サンプル位置と同サンプ
ル数となるようにオーバーサンプルされる。図6にその
例を示す。図6で×は輝度サンプル位置、○は色差サン
プル位置、●はオーバーサンプルされた色差サンプル位
置である。図2のサブサンプル部202では、形状情報
に従って任意形状領域が切り出され、同時に色差サンプ
ル位置がサブサンプルされる。図6の例では水平方向の
境界線が色差サンプル位置○の上を通っているため、領
域内に含まれる色差サンプル位置としては●で示された
サンプル位置が選ばれる。形状情報を変更する必要がな
いので、第1の実施例と比べきめ細かく任意形状を決定
することができる。
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に従来技術の問題点を解決し、良好な画
質で部品画像をフレーム画像に合成するものである。こ
こで部品画像復号部とは図13の部品画像復号部1306、
1307、1308と同じものである。
時に部品画像の境界線がフレーム画像上の色差サンプル
位置を通るかどうかを判定する。境界線が色差サンプル
位置を通る場合には、図3の合成位置変更部302にて
境界線が色差サンプル位置を通らないように合成位置を
変更する。図11の例で、画像2を画像1の合成位置2
に合成する場合には境界線が色差サンプル位置上にある
ため、合成位置変更部302によって合成位置が変更さ
れる。図11では例えば合成位置2を右に1輝度サンプ
ル分だけずらす。
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に従来技術の問題点を解決し、良好な画
質で部品画像をフレーム画像に合成するものである。
オーバーサンプル部201と同様の働きをし、色差サン
プル位置を輝度サンプル位置と同サンプル数となるよう
にオーバーサンプルする。図4のサブサンプル部402
は色差サンプル位置をサブサンプルすると共に合成位置
情報に従って部品画像をフレーム画像に合成する。
(a)は復号された部品画像であり、●はオーバーサンプ
ル部401によってオーバーサンプルされた色差サンプ
ル位置を表す。この部品画像の図7(c)のフレーム画像
上の点線の位置に合成する場合、サブサンプル部402
は部品画像の色差サンプル位置を図7(b)のようにサブ
サンプルし、図7(c)に合成する。
ンプル位置に比べ水平・垂直共に半分に間引かれた4:
2:0フォーマットの動画像について説明してきたが、
その他のフォーマットの画像についても本発明を用いる
ことは容易である。例えば、色差サンプルが水平方向に
のみ半分に間引かれた4:2:2フォーマットの場合に
は、本発明を水平方向にのみ適用すれば良い。
む領域の境界線に基づいて切り出される画像が、色差の
サンプル周波数が輝度のものに比べて小さく、且つ輝度
と色差のサンプル位置関係が予め定められたフォーマッ
トを有し、前記任意形状領域を含む領域が、矩形領域で
あり、前記矩形領域を示す4点の座標のうち少なくとも
左上の1点の座標の取り得る自由度を制限して、前記矩
形領域の位置を決定することにより、どのような領域を
切り出した際も、合成時は必ず予め定められたフォーマ
ットに適合した部分画像となり、合成時に合成後の画像
の輝度データと色差データのパターンが不一致となるこ
とによって色差データのずれが生じ、歪みを発生すると
いう問題を回避することができる。また、前記矩形領域
を示す4点の座標のうち少なくとも左上の1点の座標の
取り得る自由度を制限して、前記矩形領域の位置を決定
することにより、簡単にかつ良好な画質で部品画像の切
り出しを行うことができる。
る。
る。
る。
る。
る。
る。
る。
Claims (2)
- 【請求項1】 画像内の任意形状領域を指定する領域指
定手段と、 前記指定された任意形状領域を含む領域の境界線を決定
する境界線決定手段と、 前記決定された境界線に基づいて切り出された画像を符
号化する画像符号化手段と、 前記指定された任意形状領域を示す形状情報を符号化す
る形状情報符号化手段とを備えた画像データ符号化装置
であって、前記切り出された画像は、色差のサンプル周波数が輝度
のものに比べて小さく、且つ輝度と色差のサンプル位置
関係が予め定められたフォーマットを有し、 前記任意形状領域を含む領域は、矩形領域であり、 前記矩形領域を示す4点の座標のうち少なくとも左上の
1点の座標の取り得る自由度を制限して、前記矩形領域
の位置を決定することを特徴とする画像データ符号化装
置。 - 【請求項2】 画像内の任意形状領域を示す形状情報の
符号化データと、前記任意形状領域を含む領域の境界線
に基づいて切り出された画像の符号化データとを入力す
る入力手段と、 前記形状情報の符号化データを復号する形状情報復号手
段と、 前記画像の符号化データを復号する画像復号手段とを備
え、 前記復号された形状情報に基づいて、前記復号された画
像を任意の画像に合成する画像データ復号装置であっ
て、 前記切り出された画像は、色差のサンプル周波数が輝度
のものに比べて小さく、且つ輝度と色差のサンプル位置
関係が予め定められたフォーマットを有し、 前記任意形状領域を含む領域は、矩形領域であり、 前記矩形領域を示す4点の座標のうち少なくとも左上の
1点の座標の取り得る自由度を制限して、前記矩形領域
の位置が決定されたものであることを特徴とする画像デ
ータ復号装置 。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7577396A JP3256434B2 (ja) | 1996-03-29 | 1996-03-29 | 画像データ符号化/復号装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7577396A JP3256434B2 (ja) | 1996-03-29 | 1996-03-29 | 画像データ符号化/復号装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001033108A Division JP3461807B2 (ja) | 2001-02-09 | 2001-02-09 | 動画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09271041A JPH09271041A (ja) | 1997-10-14 |
JP3256434B2 true JP3256434B2 (ja) | 2002-02-12 |
Family
ID=13585872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7577396A Expired - Lifetime JP3256434B2 (ja) | 1996-03-29 | 1996-03-29 | 画像データ符号化/復号装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3256434B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100483814B1 (ko) | 1999-03-05 | 2005-04-20 | 가부시끼가이샤 도시바 | 동화상 부호화 장치 및 동화상 복호화 장치 |
-
1996
- 1996-03-29 JP JP7577396A patent/JP3256434B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
Title |
---|
栄藤 稔,階層表現と多重テンプレートを用いた画像符号化,電子情報通信学会技術研究報告,日本,電子情報通信学会,1995年 3月17日,IE94−159,99−106 |
画像フォーマットとビットストリーム,テレビジョン学会誌、49[4](1995.4.20)p.437−443 ,日本,テレビジョン学会 |
Also Published As
Publication number | Publication date |
---|---|
JPH09271041A (ja) | 1997-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0880286B1 (en) | Moving image encoding and decoding device | |
EP1079610B1 (en) | Moving-picture processing method, and apparatus therefor | |
EP0933939A1 (en) | Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium | |
US6016362A (en) | Apparatus and method for image coding and decoding | |
US20040086043A1 (en) | Moving image encoding apparatus and moving image decoding apparatus | |
JPH0746628A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
JP3256434B2 (ja) | 画像データ符号化/復号装置及び方法 | |
JP2000165641A (ja) | 画像処理方法,画像処理装置およびデータ記憶媒体 | |
JP3461807B2 (ja) | 動画像復号方法 | |
JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
JPH0846961A (ja) | 画像符号化復号化方法 | |
JP3866946B2 (ja) | 動画像符号化装置 | |
JPH06197337A (ja) | 画像伝送装置 | |
KR100374717B1 (ko) | 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치 | |
JP3280546B2 (ja) | 画像編集・符号化装置および画像復号装置 | |
JPH09307906A (ja) | 画像符号化装置及び画像復号装置 | |
JP3526316B2 (ja) | 動画像圧縮符号化方法 | |
JP3148751B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JP3474707B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP2592983B2 (ja) | テレビ会議方式 | |
JP2819566B2 (ja) | 動画像伝送システム | |
JP3148752B2 (ja) | 動画像符号化装置 | |
JP2001218206A (ja) | 画像符号化装置及び方法、媒体 | |
JPH07298238A (ja) | 映像伝送装置 | |
JPH1023332A (ja) | 合成信号処理回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091130 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091130 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 11 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 11 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 12 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |