JP3461807B2 - 動画像復号方法 - Google Patents
動画像復号方法Info
- Publication number
- JP3461807B2 JP3461807B2 JP2001033108A JP2001033108A JP3461807B2 JP 3461807 B2 JP3461807 B2 JP 3461807B2 JP 2001033108 A JP2001033108 A JP 2001033108A JP 2001033108 A JP2001033108 A JP 2001033108A JP 3461807 B2 JP3461807 B2 JP 3461807B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color difference
- sample
- boundary line
- difference sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
理の分野に属し、画像データを高能率に符号化する動画
像符号化方法及びこの動画像符号化方法で作成された符
号化データを復号する動画像復号方法に関するものであ
る。
ケンスを符号化及び復号し、合成する方式が検討されて
いる。例えば、文献「階層表現と多重テンプレートを用
いた画像符号化」(信学技報IE94-159, pp99-106(1995))
では、背景となる動画像シーケンスと前景となる部品動
画像の動画像シーケンス(例えばクロマキー技術によっ
て切り出された人物画像や魚の映像など)とを合成して
新たなシーケンスを作成する手法が述べられている。
/IEC MPEG4)では、図13に示すような階層構造を持つ
符号化装置及び復号装置によって、入力画像と注目する
領域の形状を示す形状情報で表される複数の部品画像の
符号化、復号及び合成が検討されている。ここで部品画
像とは、動画像内の人物や物体などを部品として切り出
した画像のことである。ただし、通常の動画像自体も部
品画像の一種として扱われる。
入力画像の画素値データと、形状情報とがそれぞれ符号
化され、多重化部1304では複数の部品画像符号化データ
が多重化され、伝送または蓄積される。復号装置では、
多重化された部品画像の符号化データが非多重化部1305
で分離され、部品画像復号部1306、1307、1308で複数の
部品画像符号化データが復号され、部品画像合成部1309
で復号画像と形状情報が合成され、ディスプレイなどに
表示される。
フレームに表示する際の位置を示す情報である。この情
報は符号化時に符号化データに多重しているものを用い
るか、または復号時に手動又は自動で与えられるものを
用いても良い。
的に示したものである。図14(a)の部品画像1は背
景を表す通常の動画像であり、図14(b)の部品画像
2は人物のみを切り出した動画像である。さらに、図1
4(c)の部品画像3は自動車のみを切り出した動画像
である。
すれば、図14(a)と同様の背景だけの画像が得ら
れ、部品画像1と部品画像2とを復号し合成すれば、図
14(d)のような画像が再生される。さらに部品画像
3を復号し、3つの部品画像を合成すれば、図14
(e)のような画像が再生される。
図8〜図12を用いて説明する。なお以下では、色差の
サンプル周波数が輝度のものに比べ垂直・水平共に半分
の場合について説明する。このフォーマットは4:2:
0フォーマットと呼ばれる。図8〜図10は従来の符号
化装置における問題点を説明する図である。ここで、×
は輝度のサンプル位置、○は色差のサンプル位置を表
す。
界線の右側を注目領域として切り出す場合の説明図であ
る。ここで、境界線は輝度サンプル点の中間を通るもの
とする。境界線として境界線1を選んだ場合、色差のサ
ンプル点B、Cが注目領域に含まれる。これに対し、境
界線として境界線2を選んだ場合は、色差のサンプル点
Bは境界線上に位置する。
度と色差のサンプル位置関係を保つと、図9に示すよう
に色差のサンプル点が右にずれてしまう。一方、サンプ
ル点Bを注目領域から除外し、かつ輝度と色差のサンプ
ル位置関係を保つと、図10に示すように色差のサンプ
ル点が左にずれてしまう。このような色差サンプル位置
のずれにより、表示の際の色のにじみや欠落などの歪み
が発生する。
問題点を説明する図である。ここで、×は輝度のサンプ
ル位置、○は画像1の色差のサンプル位置、●は画像2
の色差のサンプル位置を表す。
考える。画像2の左上の輝度サンプル点Cを画像1の輝
度サンプル点Dに合成する場合、画像1と画像2の色差
のサンプル位置は一致する。しかし、輝度サンプル点C
を輝度サンプル点Eに合成する場合は、画像1と画像2
の色差のサンプル位置が一致しない。
プル位置を画像1に一致させると、色差サンプル点A、
Bの位置が右または左にずれるが、これによって表示の
際の色のにじみや欠落などの歪みが発生する。
題を解決し、上述した色差サンプル位置のずれによる歪
みの発生をなくし、歪みの少ない部品画像の符号化方法
及び復号方法を提供することにある。
差サンプルと輝度サンプルを含み前記色差サンプルが前
記輝度サンプルに対して水平または垂直方向に間引かれ
ている画像フレームから切り出された任意形状領域内の
画像符号化データを復号して、所定のフレーム画像に合
成する動画像復号方法であって、前記任意形状領域の水
平または垂直方向の境界線が前記色差サンプル位置の中
間位置を通るか否かを判定し、前記境界線が前記色差サ
ンプル位置の中間位置を通らない場合には、前記色差サ
ンプル位置の中間位置を通るように前記水平または垂直
方向の境界線を変更して前記フレーム画像に合成し、前
記境界線が前記色差サンプル位置の中間位置を通る場合
には、前記境界線を変更しないで前記フレーム画像に合
成することを特徴とする。本願の第2の発明は、色差サ
ンプルと輝度サンプルを含み前記色差サンプルが前記輝
度サンプルに対して水平または垂直方向に間引かれてい
る画像フレームから切り出された任意形状領域の画像符
号化データを復号して、所定のフレーム画像に合成する
動画像復号方法であって、前記任意形状領域の水平また
は垂直方向の境界線が前記色差サンプル位置を通るか否
かを判定し、前記境界線が前記色差サンプル位置を通る
場合には、前記色差サンプル位置を通らないように前記
水平または垂直方向の境界線を変更して前記フレーム画
像に合成し、前記境界線が前記色差サンプル位置を通ら
ない場合には、前記境界線を変更しないで前記フレーム
画像に合成することを特徴とする。 本願の第3の発明
は、前記任意形状領域は、矩形領域であることを特徴と
する。
すブロック図である。これは部品画像符号化部の形状情
報入力部にて形状情報を変更し、従来技術の問題点を解
決するものである。ここで、部品画像符号化部とは図1
3の部品画像符号化部1301、1302、1303と同じものであ
る。上記従来例と同一部分については、その説明は省略
する。
サンプル位置に基づいて制限する。すなわち、図1の形
状位置制限判定部101で任意形状領域の境界線が色差
サンプル位置の中間位置を通るか否かを判定し、中間位
置を通る場合には境界線を変更せず、中間位置を通らな
い場合には、形状変更部102にて、境界線が色差サン
プル位置の中間点を通るように形状を変更する。
れば、輝度と色差のサンプル位置関係が変化せず、か
つ、色差サンプル位置のずれも発生せず部品画像を切り
出すことが可能となる。
(c)は本実施例によって変更された形状情報の例であ
る。○は色差サンプル位置を、実線は境界線をあらわし
ている。図5(b)は境界線が色差サンプル位置上を通る
場合、色差サンプル位置が任意形状領域内となるように
境界線を変更する例であり、図5(c)は境界線が色差サ
ンプル位置上を通る場合、色差サンプル位置が任意形状
領域外となるように境界線を変更する例である。なお、
図5(b)及び(c)の点線は変更前の境界線を示している。
て述べたが、矩形領域の場合は以下のようにして形状情
報を簡単に変更することができる。すなわち、図1の形
状位置制限判定部101では矩形の左上の座標と右下の
座標とを調べ、少なくとも左上の座標の水平及び垂直成
分が色差サンプル位置の中間点にあるかどうかを判定す
る。形状変更部102では各成分を色差サンプル位置の
中間位置に変更すればよい。
ク図である。これは部品画像符号化部の前処理として入
力画像から部品画像を切り出し、従来技術の問題点を解
決するものである。
力画像の色差サンプル位置が輝度サンプル位置と同サン
プル数となるようにオーバーサンプルされる。図6にそ
の例を示す。図6で×は輝度サンプル位置、○は色差サ
ンプル位置、●はオーバーサンプルされた色差サンプル
位置である。
報に従って任意形状領域が切り出され、同時に色差サン
プル位置がサブサンプルされる。図6の例では水平方向
の境界線が色差サンプル位置○の上を通っているため、
領域内に含まれる色差サンプル位置としては、●で示さ
れたサンプル位置が選ばれる。形状情報を変更する必要
がないので、第1の実施例と比べきめ細かく任意形状を
決定することができる。
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に、従来技術の問題点を解決し、良好な
画質で部品画像をフレーム画像に合成するものである。
ここで、部品画像復号部とは図13の部品画像復号部13
06、1307、1308と同じものである。上記従来例と同一部
分については、その説明は省略する。
成時に部品画像の境界線がフレーム画像上の色差サンプ
ル位置を通るかどうかを判定する。境界線が色差サンプ
ル位置を通る場合には、図3の合成位置変更部302に
て、境界線が色差サンプル位置を通らないように合成位
置を変更する。
2に合成する場合には、境界線が色差サンプル位置上に
あるため、合成位置変更部302によって合成位置が変
更される。図11では例えば合成位置2を右に1輝度サ
ンプル分だけずらす。
ク図である。これは部品画像復号部で復号された部品画
像を合成する際に、従来技術の問題点を解決し、良好な
画質で部品画像をフレーム画像に合成するものである。
のオーバーサンプル部201と同様の働きをし、色差サ
ンプル位置を輝度サンプル位置と同サンプル数となるよ
うにオーバーサンプルする。図4のサブサンプル部40
2は、色差サンプル位置をサブサンプルすると共に、合
成位置情報に従って部品画像をフレーム画像に合成す
る。
(a)は復号された部品画像であり、●はオーバーサンプ
ル部401によってオーバーサンプルされた色差サンプ
ル位置を表す。この部品画像の図7(c)のフレーム画像
上の点線の位置に合成する場合、サブサンプル部402
は部品画像の色差サンプル位置を図7(b)のようにサブ
サンプルし、図7(c)に合成する。
が輝度サンプル位置に比べ水平・垂直共に半分に間引か
れた4:2:0フォーマットの動画像について説明して
きたが、その他のフォーマットの画像についても本発明
を用いることは容易である。例えば、色差サンプルが水
平方向にのみ半分に間引かれた4:2:2フォーマット
の場合には、本発明を水平方向にのみ適用すれば良い。
データのサンプル位置と色差データのサンプル位置との
相対位置関係が変化しないように、前記任意形状領域の
座標を制限するので、部品画像を切り出す際に色差サン
プル位置のずれがなく、良好な画質で切り出しを行うこ
とができる。
切り出す場合、矩形領域を示す4点の座標のうち少なく
とも左上の1点の取り得る自由度を、色差データのサン
プル位置に基づいて制限することによって、矩形領域を
切り出す際に簡単にかつ良好な画質で部品画像の切り出
しを行うことができる。
ンプル間隔が輝度データのサンプル間隔に一致するよう
に、該色差データをオーバーサンプルした上で、前記任
意形状領域を切り出し、さらに、前記任意形状領域内の
輝度データのサンプル位置と色差データのサンプル位置
の相対位置関係が変化しないように、色差データをサブ
サンプルすることによって、輝度データのサンプル位置
と色差データのサンプル位置との相対位置関係が変化せ
ず、かつ部品画像を切り出す際に色差サンプル位置のず
れがなく、良好な画質で切り出しを行うことができる。
この場合、切り出す座標の制限をしないので、切り出し
位置を細かく設定することができる。
のフレーム画像に合成する際に、前記フレーム画像にお
ける色差データのサンプル位置に基づいて、前記任意形
状領域内の画像の合成位置座標を制限することによっ
て、部品画像をフレーム画像に合成する際に色差サンプ
ル位置のずれがなく、良好な画質で合成を行うことがで
きる。
ンプル間隔が輝度データのサンプル間隔に一致するよう
に、該色差データをオーバーサンプルし、前記任意形状
領域内の画像を任意のフレーム画像に合成する際に、前
記任意形状領域内の画像と前記フレーム画像との色差デ
ータのサンプル位置が一致するように、再び前記色差デ
ータをサブサンプルすることによって、部品画像の色差
サンプル位置のずれがなく、良好な画質で合成を行うこ
とができる。この場合、切り出す座標の制限をしないの
で、合成位置を細かく設定することができる。
る。
る。
る。
る。
る。
る。
る。
Claims (3)
- 【請求項1】 色差サンプルと輝度サンプルを含み前記
色差サンプルが前記輝度サンプルに対して水平または垂
直方向に間引かれている画像フレームから切り出された
任意形状領域内の画像符号化データを復号して、所定の
フレーム画像に合成する動画像復号方法であって、前記任意形状領域の水平または垂直方向の境界線が前記
色差サンプル位置の中間位置を通るか否かを判定し、 前記境界線が前記色差サンプル位置の中間位置を通らな
い場合には、前記色差サンプル位置の中間位置を通るよ
うに前記水平または垂直方向の境界線を変更して前記フ
レーム画像に合成し、 前記境界線が前記色差サンプル位置の中間位置を通る場
合には、前記境界線を変更しないで前記フレーム画像に
合成する ことを特徴とする動画像復号方法。 - 【請求項2】 色差サンプルと輝度サンプルを含み前記
色差サンプルが前記輝度サンプルに対して水平または垂
直方向に間引かれている画像フレームから切り出された
任意形状領域の画像符号化データを復号して、所定のフ
レーム画像に合成する動画像復号方法であって、 前記任意形状領域の水平または垂直方向の境界線が前記
色差サンプル位置を通るか否かを判定し、 前記境界線が前記色差サンプル位置を通る場合には、前
記色差サンプル位置を通らないように前記水平または垂
直方向の境界線を変更して前記フレーム画像に合成し、 前記境界線が前記色差サンプル位置を通らない場合に
は、前記境界線を変更しないで前記フレーム画像に合成
することを特徴とする動画像復号方法。 - 【請求項3】 前記任意形状領域は、矩形領域であるこ
とを特徴とする請求項1または請求項2記載の動画像復
号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001033108A JP3461807B2 (ja) | 2001-02-09 | 2001-02-09 | 動画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001033108A JP3461807B2 (ja) | 2001-02-09 | 2001-02-09 | 動画像復号方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7577396A Division JP3256434B2 (ja) | 1996-03-29 | 1996-03-29 | 画像データ符号化/復号装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001268592A JP2001268592A (ja) | 2001-09-28 |
JP3461807B2 true JP3461807B2 (ja) | 2003-10-27 |
Family
ID=18896914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001033108A Expired - Fee Related JP3461807B2 (ja) | 2001-02-09 | 2001-02-09 | 動画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3461807B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7916782B2 (en) | 2004-08-18 | 2011-03-29 | Panasonic Corporation | Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof |
-
2001
- 2001-02-09 JP JP2001033108A patent/JP3461807B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001268592A (ja) | 2001-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1079610B1 (en) | Moving-picture processing method, and apparatus therefor | |
US6674479B2 (en) | Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion | |
EP0880286B1 (en) | Moving image encoding and decoding device | |
EP0909096B1 (en) | Picture encoder and picture decoder | |
JP3228874B2 (ja) | 圧縮ディジタルビデオビットストリーム分割方法及び装置、並びにその復号方法及び装置 | |
US8279938B2 (en) | Encoding device and method, decoding device and method, program, recording medium, and data structure | |
JP2005506771A (ja) | インタラクティブ・ビデオ装置、及びその装置によって用いられる画像に字幕を付ける方法 | |
JP3224514B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JPH1023407A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体 | |
US20060170762A1 (en) | Video composition apparatus, video composition method and video composition program | |
JPH0746628A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
KR20030029442A (ko) | 특수 효과 데이터 부호화 방법, 특수 효과 표시 방법, 및특수 효과 데이터 편집 방법 | |
JP3461807B2 (ja) | 動画像復号方法 | |
JP2000165641A (ja) | 画像処理方法,画像処理装置およびデータ記憶媒体 | |
JP3256434B2 (ja) | 画像データ符号化/復号装置及び方法 | |
JPH0846961A (ja) | 画像符号化復号化方法 | |
JP3247836B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP3866946B2 (ja) | 動画像符号化装置 | |
JP3526316B2 (ja) | 動画像圧縮符号化方法 | |
JP3148751B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JP3648121B2 (ja) | 復号化方法および復号化装置 | |
JP2819566B2 (ja) | 動画像伝送システム | |
JPH0564184A (ja) | Tv会議システムの画面構成方式 | |
JP3148752B2 (ja) | 動画像符号化装置 | |
JP2004165800A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |