JP3098939B2 - 動画像符号化装置及び動画像復号装置 - Google Patents
動画像符号化装置及び動画像復号装置Info
- Publication number
- JP3098939B2 JP3098939B2 JP17864295A JP17864295A JP3098939B2 JP 3098939 B2 JP3098939 B2 JP 3098939B2 JP 17864295 A JP17864295 A JP 17864295A JP 17864295 A JP17864295 A JP 17864295A JP 3098939 B2 JP3098939 B2 JP 3098939B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- image
- lower layer
- selected area
- upper layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】本発明はディジタル動画像処
理の分野に属し、動画像データを高能率に符号化する動
画像符号化装置と、この動画像符号化装置で作成された
符号化データを復号する動画像復号装置に関するもので
ある。
理の分野に属し、動画像データを高能率に符号化する動
画像符号化装置と、この動画像符号化装置で作成された
符号化データを復号する動画像復号装置に関するもので
ある。
【０００２】
【従来技術】動画像符号化において、特定の領域の画質
を他の領域より良好にする方式が提案されている。
を他の領域より良好にする方式が提案されている。
【０００３】例えば、ISO/IEC JTC1/SC29/WG11 MPEG95/
030に記載されている方式では動画像から領域を選択
し、選択された領域（以下、選択領域と称す。）では量
子化幅や時間解像度などを制御することで、選択領域の
画質を他の領域よりも良好にしている。
030に記載されている方式では動画像から領域を選択
し、選択された領域（以下、選択領域と称す。）では量
子化幅や時間解像度などを制御することで、選択領域の
画質を他の領域よりも良好にしている。
【０００４】また図１２に、他の従来法のブロック図を
示す。この図１２の領域選択部２０は動画像内の特定の
領域を選択する部分である。例えばテレビ電話等の動画
像で顔領域を選択する場合、文献「リアルタイム顔画像
追尾方式」（画像電子学会研究会予稿,93-04-04, pp.13
-16(1994)）に記載されているような方式を用いて領域
を選択することができる。
示す。この図１２の領域選択部２０は動画像内の特定の
領域を選択する部分である。例えばテレビ電話等の動画
像で顔領域を選択する場合、文献「リアルタイム顔画像
追尾方式」（画像電子学会研究会予稿,93-04-04, pp.13
-16(1994)）に記載されているような方式を用いて領域
を選択することができる。
【０００５】同図の領域位置・形状符号化部２１は、選
択領域の位置及び形状を符号化する部分である。形状は
任意形状ならば例えばチェイン符号を用いて符号化され
る。符号化された位置及び形状は同図の符号化データ統
合部２２で符号化データに組み込まれ、伝送あるいは蓄
積される。
択領域の位置及び形状を符号化する部分である。形状は
任意形状ならば例えばチェイン符号を用いて符号化され
る。符号化された位置及び形状は同図の符号化データ統
合部２２で符号化データに組み込まれ、伝送あるいは蓄
積される。
【０００６】同図の符号化パラメータ調節部２３は、動
画像符号化において画質やデータ量の制御のために用い
られる種々のパラメータを調節して、領域位置・形状符
号化部２１で選択領域の画質が他の領域よりも良好に符
号化されるよう、制御する部分である。
画像符号化において画質やデータ量の制御のために用い
られる種々のパラメータを調節して、領域位置・形状符
号化部２１で選択領域の画質が他の領域よりも良好に符
号化されるよう、制御する部分である。
【０００７】同図のパラメータ符号化部２４は、前記種
々のパラメータを符号化する部分である。符号化された
パラメータは同図の符号化データ統合部２２で符号化デ
ータに組み込まれ、伝送あるいは蓄積される。同図の動
画像符号化部２５は、入力された動画像データを上記種
々のパラメータを用いて符号化する部分であり、従来用
いられている方式が使用される。即ち、動き補償予測、
直交変換、量子化、可変長符号化等が組み合わせられ高
能率符号化が実現される。符号化された動画像データは
同図の符号化データ統合部２２で符号化データに組み込
まれ、伝送あるいは蓄積される。
々のパラメータを符号化する部分である。符号化された
パラメータは同図の符号化データ統合部２２で符号化デ
ータに組み込まれ、伝送あるいは蓄積される。同図の動
画像符号化部２５は、入力された動画像データを上記種
々のパラメータを用いて符号化する部分であり、従来用
いられている方式が使用される。即ち、動き補償予測、
直交変換、量子化、可変長符号化等が組み合わせられ高
能率符号化が実現される。符号化された動画像データは
同図の符号化データ統合部２２で符号化データに組み込
まれ、伝送あるいは蓄積される。
【０００８】以上のようにして、画像内の選択領域の画
質が他の領域よりも良好になるよう符号化がなされる。
質が他の領域よりも良好になるよう符号化がなされる。
【０００９】
【発明が解決しようとする課題】前述のごとく、従来の
技術においては量子化幅、空間解像度、時間解像度など
のパラメータを調節し、選択領域に多くのビット数を割
り当てることで画質を良好にしている。しかしながら、
従来の技術においては選択領域と他の領域とを一つの符
号化データの中に組み込んでいるため、符号化データの
一部だけを復号して特定の領域の復号画像を得るとか、
低い画質の復号画像を得るというような処理ができない
という問題があった。近年、このような符号化データの
階層性が盛んに研究されているが、特定の領域が選択し
得るような方式は十分考慮されていない。
技術においては量子化幅、空間解像度、時間解像度など
のパラメータを調節し、選択領域に多くのビット数を割
り当てることで画質を良好にしている。しかしながら、
従来の技術においては選択領域と他の領域とを一つの符
号化データの中に組み込んでいるため、符号化データの
一部だけを復号して特定の領域の復号画像を得るとか、
低い画質の復号画像を得るというような処理ができない
という問題があった。近年、このような符号化データの
階層性が盛んに研究されているが、特定の領域が選択し
得るような方式は十分考慮されていない。
【００１０】本発明の目的は、このような問題を解決
し、符号化全体としては動画像内の選択領域を他の領域
よりも良好な画質とするのに加え、符号化データに階層
性を持たせ、符号化データの一部から選択領域だけをい
ろいろな画質で再生したり、符号化データの一部から低
画質の画像を再生することが可能な符号化装置、及び復
号装置を提供することにある。
し、符号化全体としては動画像内の選択領域を他の領域
よりも良好な画質とするのに加え、符号化データに階層
性を持たせ、符号化データの一部から選択領域だけをい
ろいろな画質で再生したり、符号化データの一部から低
画質の画像を再生することが可能な符号化装置、及び復
号装置を提供することにある。
【００１１】
【課題を解決するための手段】本願請求項１に係る動画
像符号化装置は、符号化データに階層構造を持たせる動
画像符号化装置において、各フレームの特定の領域を選
択する領域選択手段と、各フレームの選択領域の位置及
び形状を符号化する領域位置・形状符号化手段と、前記
選択領域の画素値だけを、低画質で符号化する下位レイ
ヤ符号化手段と、各フレームの画像全体の画素値を、下
位レイヤの既に復号された画素値及び第１の上位レイヤ
の既に復号された画素値を用いて、低画質で予測符号化
する第１の上位レイヤ符号化手段と、前記選択領域の画
素値を、下位レイヤの既に復号された画素値及び第２の
上位レイヤの既に復号された画素値を用いて、高画質で
予測符号化する第２の上位レイヤ符号化手段と、前記各
符号化手段により得られる符号化データを、階層構造を
持つように統合する符号化データ統合手段とを備えたも
のである。本願請求項２に係る動画像符号化装置は、符
号化データに階層構造を持たせる動画像符号化装置にお
いて、各フレームの特定の領域を選択する領域選択手段
と、各フレームの選択領域の位置及び形状を符号化する
領域位置・形状符号化手段と、前記選択領域の画素値だ
けを、低画質で符号化する下位レイヤ符号化手段と、前
記選択領域以外の画素値を、第１の上位レイヤの既に復
号された画素値を用いて、低画質で予測符号化する第１
の上位レイヤ符号化手段と、前記選択領域の画素値を、
下位レイヤの既に復号された画素値及び第２の上位レイ
ヤの既に復号された画素値を用いて、高画質で予測符号
化する第２の上位レイヤ符号化手段と、前記各符号化手
段により得られる符号化データを、階層構造を持つよう
に統合する符号化データ統合手段とを備えたものであ
る。本願請求項３に係る動画像復号装置は、各フレーム
の特定の選択領域の位置及び形状の符号化データと、各
フレームの選択領域の画素値を低画質で符号化した下位
レイヤの符号化データと、各フレームの画像全体の画素
値を前記下位レイヤの復号された画素値を用いて低画質
で予測符号化した第１の上位レイヤの符号化データと、
各フレームの選択領域の画素値を前記下位レイヤの復号
された画素値を用いて高画質で予測符号化した第２の上
位レイヤ符号化データとを含む符号化データから動画像
を復号する動画像復号装置であって、前記符号化データ
から、前記選択領域の位置及び形状の符号化データ、前
記下位レイヤの符号化データを分離する符号化データ分
離手段と、前記選択領域の位置及び形状の符号化データ
を復号する領域位置・形状復号手段と、前記下位レイヤ
の符号化データを復号し、選択領域について低画質の復
号画像を作成する下位レイヤ復号手段とを備えたもので
ある。本願請求項４に係る動画像復号装置は、各フレー
ムの特定の選択領域の位置及び形状の符号化データと、
各フレームの選択領域の画素値を低画質で符号化した下
位レイヤの符号化データと、各フレームの選択領域以外
の画素値を低画質で符号化した第１の上位レイヤの符号
化データと、各フレームの選択領域の画素値を前記下位
レイヤの復号された画素値を用いて高画質で予測符号化
した第２の上位レイヤ符号化データとを含む符号化デー
タから動画像を復号する動画像復号装置であって、前記
符号化データから、前記選択領域の位置及び形状の符号
化データ、前記下位レイヤの符号化データを分離する符
号化データ分離手段と、前記選択領域の位置及び形状の
符号化データを復号する領域位置・形状復号手段と、前
記下位レイヤの符号化データを復号し、選択領域につい
て低画質の復号画像を作成する下位レイヤ復号手段とを
備えたものである。本願請求項５に係る動画像復号装置
は、各フレームの特定の選択領域の位置及び形状の符号
化データと、各フレームの選択領域の画素値を低画質で
符号化した下位レイヤの符号化データとを含む符号化デ
ータ、或いは、各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの画像全体の画素値を前記下位レイヤの復号さ
れた画素値を用いて低画質で予測符号化した上位レイヤ
の符号化データとを含む符号化データから動画像を復号
する動画像復号装置であって、入力された符号化データ
を分離する符号化データ分離手段と、前記選択領域の位
置及び形状の符号化データを復号する領域位置・形状復
号手段と、前記下位レイヤの符号化データを復号し、選
択領域について低画質の復号画像を作成する下位レイヤ
復号手段と、前記上位レイヤの符号化データが入力され
た場合、前記下位レイヤの復号画像からの予測を行うこ
とにより、該上位レイヤの符号化データを復号し、画像
全体について、低画質の復号画像を作成する上位レイヤ
復号手段とを備え、前記下位レイヤ復号手段で作成され
た選択領域の復号画像、又は、前記上位レイヤ復号手段
で作成された画像全体の復号画像を再生するものであ
る。本願請求項６に係る動画像復号装置は、各フレーム
の特定の選択領域の位置及び形状の符号化データと、各
フレームの選択領域の画素値を低画質で符号化した下位
レイヤの符号化データとを含む符号化データ、或いは、
各フレームの特定の選択領域の位置及び形状の符号化デ
ータと、各フレームの選択領域の画素値を低画質で符号
化した下位レイヤの符号化データと、各フレームの選択
領域の画素値を前記下位レイヤの復号画像を用いて高画
質で予測符号化した上位レイヤの符号化データとを含む
符号化データから動画像を復号する動画像復号装置であ
って、入力された符号化データを分離する符号化データ
分離手段と、前記選択領域の位置及び形状の符号化デー
タを復号する領域位置・形状復号手段と、前記下位レイ
ヤの符号化データを復号し、選択領域について低画質の
復号画像を作成する下位レイヤ復号手段と、前記上位レ
イヤの符号化データが入力された場合、前記下位レイヤ
の復号画像からの予測を行うことにより、該上位レイヤ
の符号化データを復号し、選択領域について高画質の復
号画像を作成する上位レイヤ復号手段とを備え、前記下
位レイヤ復号手段で作成された低画質の復号画像、又
は、前記上位レイヤ復号手段で作成された高画質の復号
画像を再生するものである。本願請求項７に係る動画像
復号装置は、各フレームの特定の選択領域の位置及び形
状の符号化データと、各フレームの選択領域の画素値を
低画質で符号化した下位レイヤの符号化データと、各フ
レームの画像全体の画素値を低画質で符号化した第１の
上位レイヤの符号化データと、各フレームの選択領域の
画素値を高画質で符号化した第２の上位レイヤの符号化
データとを含む符号化データから動画像を復号する動画
像復号装置であって、前記符号化データから、前記選択
領域の位置及び形状の符号化データ、前記下位レイヤの
符号化データ、前記第１の上位レイヤの符号化データ、
及び前記第２の上位レイヤの符号化データを分離する符
号化データ分離手段と、前記選択領域の位置及び形状の
符号化データを復号する領域位置・形状復号手段と、前
記下位レイヤの符号化データを復号し、選択領域 につい
て低画質の復号画像を作成する下位レイヤ復号手段と、
前記下位レイヤの復号画像からの予測を行うことによ
り、前記第１の上位レイヤの符号化データを復号し、画
像全体について、低画質の復号画像を作成する第１の上
位レイヤ復号手段と、前記下位レイヤの復号画像からの
予測を行うことにより、前記第２の上位レイヤの符号化
データを復号し、選択領域について高画質の復号画像を
作成する第２の上位レイヤ復号手段とを備え、前記下位
レイヤ復号手段で作成された低画質の選択領域の復号画
像、又は、前記第１の上位レイヤ復号手段で作成された
低画質の画像全体の復号画像、又は、前記第２の上位レ
イヤ復号手段で作成された高画質の選択領域を加えた画
面全体の復号画像を再生するものである。本願請求項８
に係る動画像復号装置は、各フレームの特定の選択領域
の位置及び形状の符号化データと、各フレームの選択領
域の画素値を低画質で符号化した下位レイヤの符号化デ
ータと、各フレームの選択領域以外の画素値を低画質で
符号化した第１の上位レイヤの符号化データと、各フレ
ームの選択領域の画素値を高画質で符号化した第２の上
位レイヤの符号化データとを含む符号化データから動画
像を復号する動画像復号装置であって、前記符号化デー
タから、前記選択領域の位置及び形状の符号化データ、
前記下位レイヤの符号化データ、前記第１の上位レイヤ
の符号化データ、及び前記第２の上位レイヤの符号化デ
ータを分離する符号化データ分離手段と、前記選択領域
の位置及び形状の符号化データを復号する領域位置・形
状復号手段と、前記下位レイヤの符号化データを復号
し、選択領域について低画質の復号画像を作成する下位
レイヤ復号手段と、前記第１の上位レイヤの符号化デー
タを復号し、選択領域以外について、低画質の復号画像
を作成する第１の上位レイヤ復号手段と、前記下位レイ
ヤの復号画像からの予測を行うことにより、前記第２の
上位レイヤの符号化データを復号し、選択領域について
高画質の復号画像を作成する第２の上位レイヤ復号手段
とを備え、前記下位レイヤ復号手段で作成された低画質
の選択領域の復号画像、又は、前記第１の上位レイヤ復
号手段で作成された選択領域以外の復号画像を加えた低
画質の画面全体の復号画像、又は、前記第２の上位レイ
ヤ復号手段で作成された高画質の選択領域を加えた画面
全体の復号画像を再生するものである。
像符号化装置は、符号化データに階層構造を持たせる動
画像符号化装置において、各フレームの特定の領域を選
択する領域選択手段と、各フレームの選択領域の位置及
び形状を符号化する領域位置・形状符号化手段と、前記
選択領域の画素値だけを、低画質で符号化する下位レイ
ヤ符号化手段と、各フレームの画像全体の画素値を、下
位レイヤの既に復号された画素値及び第１の上位レイヤ
の既に復号された画素値を用いて、低画質で予測符号化
する第１の上位レイヤ符号化手段と、前記選択領域の画
素値を、下位レイヤの既に復号された画素値及び第２の
上位レイヤの既に復号された画素値を用いて、高画質で
予測符号化する第２の上位レイヤ符号化手段と、前記各
符号化手段により得られる符号化データを、階層構造を
持つように統合する符号化データ統合手段とを備えたも
のである。本願請求項２に係る動画像符号化装置は、符
号化データに階層構造を持たせる動画像符号化装置にお
いて、各フレームの特定の領域を選択する領域選択手段
と、各フレームの選択領域の位置及び形状を符号化する
領域位置・形状符号化手段と、前記選択領域の画素値だ
けを、低画質で符号化する下位レイヤ符号化手段と、前
記選択領域以外の画素値を、第１の上位レイヤの既に復
号された画素値を用いて、低画質で予測符号化する第１
の上位レイヤ符号化手段と、前記選択領域の画素値を、
下位レイヤの既に復号された画素値及び第２の上位レイ
ヤの既に復号された画素値を用いて、高画質で予測符号
化する第２の上位レイヤ符号化手段と、前記各符号化手
段により得られる符号化データを、階層構造を持つよう
に統合する符号化データ統合手段とを備えたものであ
る。本願請求項３に係る動画像復号装置は、各フレーム
の特定の選択領域の位置及び形状の符号化データと、各
フレームの選択領域の画素値を低画質で符号化した下位
レイヤの符号化データと、各フレームの画像全体の画素
値を前記下位レイヤの復号された画素値を用いて低画質
で予測符号化した第１の上位レイヤの符号化データと、
各フレームの選択領域の画素値を前記下位レイヤの復号
された画素値を用いて高画質で予測符号化した第２の上
位レイヤ符号化データとを含む符号化データから動画像
を復号する動画像復号装置であって、前記符号化データ
から、前記選択領域の位置及び形状の符号化データ、前
記下位レイヤの符号化データを分離する符号化データ分
離手段と、前記選択領域の位置及び形状の符号化データ
を復号する領域位置・形状復号手段と、前記下位レイヤ
の符号化データを復号し、選択領域について低画質の復
号画像を作成する下位レイヤ復号手段とを備えたもので
ある。本願請求項４に係る動画像復号装置は、各フレー
ムの特定の選択領域の位置及び形状の符号化データと、
各フレームの選択領域の画素値を低画質で符号化した下
位レイヤの符号化データと、各フレームの選択領域以外
の画素値を低画質で符号化した第１の上位レイヤの符号
化データと、各フレームの選択領域の画素値を前記下位
レイヤの復号された画素値を用いて高画質で予測符号化
した第２の上位レイヤ符号化データとを含む符号化デー
タから動画像を復号する動画像復号装置であって、前記
符号化データから、前記選択領域の位置及び形状の符号
化データ、前記下位レイヤの符号化データを分離する符
号化データ分離手段と、前記選択領域の位置及び形状の
符号化データを復号する領域位置・形状復号手段と、前
記下位レイヤの符号化データを復号し、選択領域につい
て低画質の復号画像を作成する下位レイヤ復号手段とを
備えたものである。本願請求項５に係る動画像復号装置
は、各フレームの特定の選択領域の位置及び形状の符号
化データと、各フレームの選択領域の画素値を低画質で
符号化した下位レイヤの符号化データとを含む符号化デ
ータ、或いは、各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの画像全体の画素値を前記下位レイヤの復号さ
れた画素値を用いて低画質で予測符号化した上位レイヤ
の符号化データとを含む符号化データから動画像を復号
する動画像復号装置であって、入力された符号化データ
を分離する符号化データ分離手段と、前記選択領域の位
置及び形状の符号化データを復号する領域位置・形状復
号手段と、前記下位レイヤの符号化データを復号し、選
択領域について低画質の復号画像を作成する下位レイヤ
復号手段と、前記上位レイヤの符号化データが入力され
た場合、前記下位レイヤの復号画像からの予測を行うこ
とにより、該上位レイヤの符号化データを復号し、画像
全体について、低画質の復号画像を作成する上位レイヤ
復号手段とを備え、前記下位レイヤ復号手段で作成され
た選択領域の復号画像、又は、前記上位レイヤ復号手段
で作成された画像全体の復号画像を再生するものであ
る。本願請求項６に係る動画像復号装置は、各フレーム
の特定の選択領域の位置及び形状の符号化データと、各
フレームの選択領域の画素値を低画質で符号化した下位
レイヤの符号化データとを含む符号化データ、或いは、
各フレームの特定の選択領域の位置及び形状の符号化デ
ータと、各フレームの選択領域の画素値を低画質で符号
化した下位レイヤの符号化データと、各フレームの選択
領域の画素値を前記下位レイヤの復号画像を用いて高画
質で予測符号化した上位レイヤの符号化データとを含む
符号化データから動画像を復号する動画像復号装置であ
って、入力された符号化データを分離する符号化データ
分離手段と、前記選択領域の位置及び形状の符号化デー
タを復号する領域位置・形状復号手段と、前記下位レイ
ヤの符号化データを復号し、選択領域について低画質の
復号画像を作成する下位レイヤ復号手段と、前記上位レ
イヤの符号化データが入力された場合、前記下位レイヤ
の復号画像からの予測を行うことにより、該上位レイヤ
の符号化データを復号し、選択領域について高画質の復
号画像を作成する上位レイヤ復号手段とを備え、前記下
位レイヤ復号手段で作成された低画質の復号画像、又
は、前記上位レイヤ復号手段で作成された高画質の復号
画像を再生するものである。本願請求項７に係る動画像
復号装置は、各フレームの特定の選択領域の位置及び形
状の符号化データと、各フレームの選択領域の画素値を
低画質で符号化した下位レイヤの符号化データと、各フ
レームの画像全体の画素値を低画質で符号化した第１の
上位レイヤの符号化データと、各フレームの選択領域の
画素値を高画質で符号化した第２の上位レイヤの符号化
データとを含む符号化データから動画像を復号する動画
像復号装置であって、前記符号化データから、前記選択
領域の位置及び形状の符号化データ、前記下位レイヤの
符号化データ、前記第１の上位レイヤの符号化データ、
及び前記第２の上位レイヤの符号化データを分離する符
号化データ分離手段と、前記選択領域の位置及び形状の
符号化データを復号する領域位置・形状復号手段と、前
記下位レイヤの符号化データを復号し、選択領域 につい
て低画質の復号画像を作成する下位レイヤ復号手段と、
前記下位レイヤの復号画像からの予測を行うことによ
り、前記第１の上位レイヤの符号化データを復号し、画
像全体について、低画質の復号画像を作成する第１の上
位レイヤ復号手段と、前記下位レイヤの復号画像からの
予測を行うことにより、前記第２の上位レイヤの符号化
データを復号し、選択領域について高画質の復号画像を
作成する第２の上位レイヤ復号手段とを備え、前記下位
レイヤ復号手段で作成された低画質の選択領域の復号画
像、又は、前記第１の上位レイヤ復号手段で作成された
低画質の画像全体の復号画像、又は、前記第２の上位レ
イヤ復号手段で作成された高画質の選択領域を加えた画
面全体の復号画像を再生するものである。本願請求項８
に係る動画像復号装置は、各フレームの特定の選択領域
の位置及び形状の符号化データと、各フレームの選択領
域の画素値を低画質で符号化した下位レイヤの符号化デ
ータと、各フレームの選択領域以外の画素値を低画質で
符号化した第１の上位レイヤの符号化データと、各フレ
ームの選択領域の画素値を高画質で符号化した第２の上
位レイヤの符号化データとを含む符号化データから動画
像を復号する動画像復号装置であって、前記符号化デー
タから、前記選択領域の位置及び形状の符号化データ、
前記下位レイヤの符号化データ、前記第１の上位レイヤ
の符号化データ、及び前記第２の上位レイヤの符号化デ
ータを分離する符号化データ分離手段と、前記選択領域
の位置及び形状の符号化データを復号する領域位置・形
状復号手段と、前記下位レイヤの符号化データを復号
し、選択領域について低画質の復号画像を作成する下位
レイヤ復号手段と、前記第１の上位レイヤの符号化デー
タを復号し、選択領域以外について、低画質の復号画像
を作成する第１の上位レイヤ復号手段と、前記下位レイ
ヤの復号画像からの予測を行うことにより、前記第２の
上位レイヤの符号化データを復号し、選択領域について
高画質の復号画像を作成する第２の上位レイヤ復号手段
とを備え、前記下位レイヤ復号手段で作成された低画質
の選択領域の復号画像、又は、前記第１の上位レイヤ復
号手段で作成された選択領域以外の復号画像を加えた低
画質の画面全体の復号画像、又は、前記第２の上位レイ
ヤ復号手段で作成された高画質の選択領域を加えた画面
全体の復号画像を再生するものである。
【００１２】上記のように構成された符号化装置及び復
号装置によれば、画像内の選択された領域について、空
間解像度、量子化幅、時間解像度などの違いによって、
選択された領域の画質を他に比べて良好に符号化及び復
号することができ、符号化装置においては符号化データ
に階層性を持たせることができ、復号装置においては符
号化データの一部を復号することで簡易にデータの復号
ができる。
号装置によれば、画像内の選択された領域について、空
間解像度、量子化幅、時間解像度などの違いによって、
選択された領域の画質を他に比べて良好に符号化及び復
号することができ、符号化装置においては符号化データ
に階層性を持たせることができ、復号装置においては符
号化データの一部を復号することで簡易にデータの復号
ができる。
【００１３】
【発明の実施の形態】まず、本発明の概念について述べ
る。図９は本発明の符号化方式の概念を説明する図であ
る。本発明の階層符号化では下位レイヤと2つの上位レ
イヤが用いられる。下位レイヤにおいては斜線で示され
た選択領域だけが低い画質で符号化される。注目してい
る時間をtとし、その復号画像をL(t)とする。第1の上位
レイヤでは下位レイヤで符号化されなかった領域が符号
化される。このレイヤの復号画像をH1(t)と書くことに
する。この際、下位レイヤの復号画像L(t)及び第1の上
位レイヤの復号済画像H1(t-1)などを用いて予測符号化
が行われる。第2の上位レイヤでは選択領域だけが下位
レイヤよりも高画質で予測符号化される。このレイヤの
復号画像をH2(t)と書く。この際、下位レイヤの復号画
像L(t)及び第2の上位レイヤの復号済画像H2(t-1)などが
用いて予測符号化が行われる。
る。図９は本発明の符号化方式の概念を説明する図であ
る。本発明の階層符号化では下位レイヤと2つの上位レ
イヤが用いられる。下位レイヤにおいては斜線で示され
た選択領域だけが低い画質で符号化される。注目してい
る時間をtとし、その復号画像をL(t)とする。第1の上位
レイヤでは下位レイヤで符号化されなかった領域が符号
化される。このレイヤの復号画像をH1(t)と書くことに
する。この際、下位レイヤの復号画像L(t)及び第1の上
位レイヤの復号済画像H1(t-1)などを用いて予測符号化
が行われる。第2の上位レイヤでは選択領域だけが下位
レイヤよりも高画質で予測符号化される。このレイヤの
復号画像をH2(t)と書く。この際、下位レイヤの復号画
像L(t)及び第2の上位レイヤの復号済画像H2(t-1)などが
用いて予測符号化が行われる。
【００１４】図１０及び図１１は本発明の復号方式の概
念を説明する図である。図１０では符号化データの下位
レイヤだけを復号した場合、第1の上位レイヤだけを復
号した場合、全てを復号した場合の3階層の復号過程を
示している。この場合、下位レイヤまでの復号では符号
化装置で選択された領域のみが低画質で再生され、第1
の上位レイヤまでを復号すると画像全体が低画質で再生
され、符号化データ全てを復号すると選択領域が高画質
で、それ以外の領域が低画質で再生される。これに対
し、図１１では第1の上位レイヤの代りに第2の上位レイ
ヤを復号した後、符号化データの全てを復号する場合を
示している。この場合は中間のレイヤ（第2の上位レイ
ヤ）で選択領域だけが高画質で再生される。
念を説明する図である。図１０では符号化データの下位
レイヤだけを復号した場合、第1の上位レイヤだけを復
号した場合、全てを復号した場合の3階層の復号過程を
示している。この場合、下位レイヤまでの復号では符号
化装置で選択された領域のみが低画質で再生され、第1
の上位レイヤまでを復号すると画像全体が低画質で再生
され、符号化データ全てを復号すると選択領域が高画質
で、それ以外の領域が低画質で再生される。これに対
し、図１１では第1の上位レイヤの代りに第2の上位レイ
ヤを復号した後、符号化データの全てを復号する場合を
示している。この場合は中間のレイヤ（第2の上位レイ
ヤ）で選択領域だけが高画質で再生される。
【００１５】このように、本発明の復号装置では下位レ
イヤのみに対応した簡易なものでは低画質の選択領域の
みが再生され、上位レイヤまで対応したものでは低画質
の画像全体かあるいは高画質の選択領域のみが再生され
る。つまり、共通の下位レイヤの上位に2種類の異なる
上位レイヤがあり、これらが選択できる。
イヤのみに対応した簡易なものでは低画質の選択領域の
みが再生され、上位レイヤまで対応したものでは低画質
の画像全体かあるいは高画質の選択領域のみが再生され
る。つまり、共通の下位レイヤの上位に2種類の異なる
上位レイヤがあり、これらが選択できる。
【００１６】以下、本発明の実施の形態を詳細に説明す
る。
る。
【００１７】図１は本発明の実施の形態における符号化
器を示すブロック図である。
器を示すブロック図である。
【００１８】この図１の領域選択部５及び領域位置・形
状符号化部６は、従来の技術で述べた図１２のものと同
様のはたらきをする。
状符号化部６は、従来の技術で述べた図１２のものと同
様のはたらきをする。
【００１９】図１の下位レイヤ符号化部４は、領域選択
部５で選ばれた選択領域だけを低い画質で符号化して、
下位レイヤの符号化データを作成し、またこれを復号し
た復号画像を作成する部分である。復号画像は予測符号
化の参照画像として用いられる。
部５で選ばれた選択領域だけを低い画質で符号化して、
下位レイヤの符号化データを作成し、またこれを復号し
た復号画像を作成する部分である。復号画像は予測符号
化の参照画像として用いられる。
【００２０】同図の第1の上位レイヤ符号化部１は、画
像全体を低い画質で符号化し、第1の上位レイヤの符号
化データを作成し、またこれを復号した復号画像を作成
する部分である。復号画像は予測符号化の参照画像とし
て用いられる。
像全体を低い画質で符号化し、第1の上位レイヤの符号
化データを作成し、またこれを復号した復号画像を作成
する部分である。復号画像は予測符号化の参照画像とし
て用いられる。
【００２１】同図の第2の上位レイヤ符号化部２は、選
択領域だけを高い画質で符号化し、第2の上位レイヤの
符号化データを作成し、またこれを復号した復号画像を
作成する部分である。復号画像は予測符号化の参照画像
として用いられる。
択領域だけを高い画質で符号化し、第2の上位レイヤの
符号化データを作成し、またこれを復号した復号画像を
作成する部分である。復号画像は予測符号化の参照画像
として用いられる。
【００２２】同図の符号化データ統合部３は、選択領域
の位置及び形状の符号、下位レイヤの符号化データ、第
1の上位レイヤの符号化データ、第2の上位レイヤの符号
化データを統合する部分である。
の位置及び形状の符号、下位レイヤの符号化データ、第
1の上位レイヤの符号化データ、第2の上位レイヤの符号
化データを統合する部分である。
【００２３】下位レイヤ符号化部４と第1の上位レイヤ
符号化部１と第2の上位レイヤ符号化部２とで画像を符
号化する方法としては、次に述べるいくつかの方法があ
る。
符号化部１と第2の上位レイヤ符号化部２とで画像を符
号化する方法としては、次に述べるいくつかの方法があ
る。
【００２４】図５及び図６は、量子化幅の大きさによっ
て下位レイヤと上位レイヤの画質を制御する手法を説明
するものである。
て下位レイヤと上位レイヤの画質を制御する手法を説明
するものである。
【００２５】図５（ａ）は下位レイヤの符号化を示すの
ものであり、斜線で示した領域が選択領域である。下位
レイヤの最初のフレームでは選択領域がフレーム内符号
化され、それ以外のフレームでは選択領域が動き補償予
測によって予測符号化されている。動き補償予測の参照
画像として、下位レイヤ中で既に符号化され復号された
フレームの選択領域が用いられる。図では前方予測のみ
を示したが、後方予測を組み合わせて用いてもよい。下
位レイヤでは第2の上位レイヤよりも量子化幅が大きく
なるように制御されるので、入力画像の選択領域のみが
SNR(Signal-to-Noise Ratio)の低い画質で符号化され
る。このため下位レイヤは少ない符号量で符号化され
る。
ものであり、斜線で示した領域が選択領域である。下位
レイヤの最初のフレームでは選択領域がフレーム内符号
化され、それ以外のフレームでは選択領域が動き補償予
測によって予測符号化されている。動き補償予測の参照
画像として、下位レイヤ中で既に符号化され復号された
フレームの選択領域が用いられる。図では前方予測のみ
を示したが、後方予測を組み合わせて用いてもよい。下
位レイヤでは第2の上位レイヤよりも量子化幅が大きく
なるように制御されるので、入力画像の選択領域のみが
SNR(Signal-to-Noise Ratio)の低い画質で符号化され
る。このため下位レイヤは少ない符号量で符号化され
る。
【００２６】図５(b)は第1の上位レイヤの符号化を示し
ている。ここでは画像全体が符号化される。例えば画像
全体を下位レイヤの復号画像と第1の上位レイヤの復号
画像をもとに予測符号化する方法を用いる。この場合、
最初のフレームでは画像全体を下位レイヤの復号画像か
ら予測符号化し（選択領域以外については実質的に動き
補償予測が用いられず、フレーム内符号化となる）、そ
れ以外のフレームでは動き補償予測による予測符号化も
組み合わせて符号化がなされる。
ている。ここでは画像全体が符号化される。例えば画像
全体を下位レイヤの復号画像と第1の上位レイヤの復号
画像をもとに予測符号化する方法を用いる。この場合、
最初のフレームでは画像全体を下位レイヤの復号画像か
ら予測符号化し（選択領域以外については実質的に動き
補償予測が用いられず、フレーム内符号化となる）、そ
れ以外のフレームでは動き補償予測による予測符号化も
組み合わせて符号化がなされる。
【００２７】あるいは、選択領域については全く符号化
を行わず、他の領域についてのみ予測符号化を行う方法
をとってもよい。図６にそのような場合を示す。符号化
は選択領域以外の領域について行う。
を行わず、他の領域についてのみ予測符号化を行う方法
をとってもよい。図６にそのような場合を示す。符号化
は選択領域以外の領域について行う。
【００２８】図５(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが小さい量子化幅で符号
化される。この際、符号化の対象となるのは原画像と下
位レイヤからの予測画像の差分データである。このよう
に図５(c)では下位レイヤからの予測のみを示したが、
第2の上位レイヤでの復号済みフレームからの予測と組
み合わせて符号化しても良い。
ている。ここでは選択領域のみが小さい量子化幅で符号
化される。この際、符号化の対象となるのは原画像と下
位レイヤからの予測画像の差分データである。このよう
に図５(c)では下位レイヤからの予測のみを示したが、
第2の上位レイヤでの復号済みフレームからの予測と組
み合わせて符号化しても良い。
【００２９】図７は、図１の符号化装置において時間解
像度の違いによって下位レイヤと上位レイヤの画質を制
御する手法を説明するものである。
像度の違いによって下位レイヤと上位レイヤの画質を制
御する手法を説明するものである。
【００３０】図７(a)は下位レイヤの符号化を示すのも
のであり、斜線で示した領域が選択領域である。下位レ
イヤの最初のフレームでは選択領域がフレーム内符号化
され、それ以外のフレームでは選択領域が動き補償予測
によって予測符号化されている。動き補償予測の参照画
像として、下位レイヤ中で既に符号化され復号されたフ
レームの選択領域が用いられる。図７(a)では前方予測
のみを示したが、後方予測を組み合わせて用いてもよ
い。下位レイヤでは第2の上位レイヤよりもフレームレ
ートを小さくし、時間解像度が低くなるように制御され
る。ここでは量子化幅を小さくして各々のフレームでの
SNRが大きくなるよう符号化してもかまわない。
のであり、斜線で示した領域が選択領域である。下位レ
イヤの最初のフレームでは選択領域がフレーム内符号化
され、それ以外のフレームでは選択領域が動き補償予測
によって予測符号化されている。動き補償予測の参照画
像として、下位レイヤ中で既に符号化され復号されたフ
レームの選択領域が用いられる。図７(a)では前方予測
のみを示したが、後方予測を組み合わせて用いてもよ
い。下位レイヤでは第2の上位レイヤよりもフレームレ
ートを小さくし、時間解像度が低くなるように制御され
る。ここでは量子化幅を小さくして各々のフレームでの
SNRが大きくなるよう符号化してもかまわない。
【００３１】図７(b)は第1の上位レイヤの符号化を示し
ている。ここでは画像全体が低い時間解像度で符号化さ
れる。予測の方法としては図５(b)あるいは図６と同様
のものが用いられる。
ている。ここでは画像全体が低い時間解像度で符号化さ
れる。予測の方法としては図５(b)あるいは図６と同様
のものが用いられる。
【００３２】図７(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが高い時間解像度で符号
化される。この際、下位レイヤで選択領域が符号化され
たフレームについては下位レイヤからの予測を用い、そ
れ以外のフレームについては上位レイヤの復号済みのフ
レームからの動き補償予測を用いる。下位レイヤからの
予測を用いる場合は第2の上位レイヤの符号化を全く行
わないようにすることもできる。この場合は下位レイヤ
の復号画像をそのまま第2の上位レイヤの復号画像とす
る。
ている。ここでは選択領域のみが高い時間解像度で符号
化される。この際、下位レイヤで選択領域が符号化され
たフレームについては下位レイヤからの予測を用い、そ
れ以外のフレームについては上位レイヤの復号済みのフ
レームからの動き補償予測を用いる。下位レイヤからの
予測を用いる場合は第2の上位レイヤの符号化を全く行
わないようにすることもできる。この場合は下位レイヤ
の復号画像をそのまま第2の上位レイヤの復号画像とす
る。
【００３３】図８は、空間解像度の違いによって下位レ
イヤと上位レイヤの画質を調節する手法を説明するもの
である。
イヤと上位レイヤの画質を調節する手法を説明するもの
である。
【００３４】図８(a)は下位レイヤの符号化を示すのも
のである。原画像が低域通過フィルタや間引きなどの操
作によって空間解像度の低い画像に変換され、斜線で示
した選択領域だけが符号化される。下位レイヤの最初の
フレームでは選択領域がフレーム内符号化され、それ以
外のフレームでは選択領域が動き補償予測によって予測
符号化されている。
のである。原画像が低域通過フィルタや間引きなどの操
作によって空間解像度の低い画像に変換され、斜線で示
した選択領域だけが符号化される。下位レイヤの最初の
フレームでは選択領域がフレーム内符号化され、それ以
外のフレームでは選択領域が動き補償予測によって予測
符号化されている。
【００３５】図８(b)は第1の上位レイヤの符号化を示し
ている。原画像が空間解像度の低い画像に変換され、画
像全体が高い時間解像度で符号化される。予測の方法と
しては図５(b)あるいは図６と同様のものが用いられ
る。
ている。原画像が空間解像度の低い画像に変換され、画
像全体が高い時間解像度で符号化される。予測の方法と
しては図５(b)あるいは図６と同様のものが用いられ
る。
【００３６】図８(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが高い空間解像度で符号
化される。この際、下位レイヤの復号画像が原画像と同
じ空間解像度に変換され、選択領域が下位レイヤからの
予測及び第2の上位レイヤで既に符号化され復号された
フレームからの動き補償予測を用いて符号化される。
ている。ここでは選択領域のみが高い空間解像度で符号
化される。この際、下位レイヤの復号画像が原画像と同
じ空間解像度に変換され、選択領域が下位レイヤからの
予測及び第2の上位レイヤで既に符号化され復号された
フレームからの動き補償予測を用いて符号化される。
【００３７】上記は階調(SNR)解像度、時間解像度、空
間解像度について述べたが、これらを組み合わせても良
い。
間解像度について述べたが、これらを組み合わせても良
い。
【００３８】例えば空間解像度の違いと時間解像度の違
いによって下位レイヤと上位レイヤの画質を調節した
り、あるいは量子化幅の違いと時間解像度の違いによっ
て下位レイヤと上位レイヤの画質を調節することができ
る。
いによって下位レイヤと上位レイヤの画質を調節した
り、あるいは量子化幅の違いと時間解像度の違いによっ
て下位レイヤと上位レイヤの画質を調節することができ
る。
【００３９】以上のようにして、全体としては選択領域
の画質が他の領域よりも良好になるよう符号化がなさ
れ、かつ符号化データに下位レイヤと2種類の上位レイ
ヤの階層性を持たせることができる。
の画質が他の領域よりも良好になるよう符号化がなさ
れ、かつ符号化データに下位レイヤと2種類の上位レイ
ヤの階層性を持たせることができる。
【００４０】次に本発明の実施の形態における復号器に
ついて説明する。
ついて説明する。
【００４１】図２は復号器の第1の例を示すブロック図
であり、下位レイヤのみを復号するものである。
であり、下位レイヤのみを復号するものである。
【００４２】図２の符号化データ分離部７は符号化デー
タから領域の位置及び形状を表す符号化データと下位レ
イヤの符号化データを分離して取り出す部分である。
タから領域の位置及び形状を表す符号化データと下位レ
イヤの符号化データを分離して取り出す部分である。
【００４３】同図の領域位置・形状復号部９は、選択領
域の位置及び形状を復号する部分である。
域の位置及び形状を復号する部分である。
【００４４】同図の下位レイヤ復号部８は、選択領域に
ついての下位レイヤの符号化データを復号し、低い画質
の復号画像を選択領域についてのみ作成する部分であ
る。
ついての下位レイヤの符号化データを復号し、低い画質
の復号画像を選択領域についてのみ作成する部分であ
る。
【００４５】従って、この復号装置から出力される画像
は、選択領域だけに画像情報を持ち、選択領域のみが
「ウインドウ」として表示される。あるいは下位レイヤ
復号部８に空間解像度変換器を備えておき、選択領域を
拡大して画面全体に表示するようにしても良い。
は、選択領域だけに画像情報を持ち、選択領域のみが
「ウインドウ」として表示される。あるいは下位レイヤ
復号部８に空間解像度変換器を備えておき、選択領域を
拡大して画面全体に表示するようにしても良い。
【００４６】このように、この実施の形態では選択領域
の下位レイヤのデータのみを復号するので復号画像は画
質の低いものとなるが、上位レイヤのデータを復号する
部分がないためハードウエア規模、処理量などが少なく
てすみ、簡易な復号処理が可能となる。
の下位レイヤのデータのみを復号するので復号画像は画
質の低いものとなるが、上位レイヤのデータを復号する
部分がないためハードウエア規模、処理量などが少なく
てすみ、簡易な復号処理が可能となる。
【００４７】図３は復号器の第2の例を示すブロック図
である。領域位置・形状復号部９と下位レイヤ復号部８
は、図２のものと同様のはたらきをする。
である。領域位置・形状復号部９と下位レイヤ復号部８
は、図２のものと同様のはたらきをする。
【００４８】図３の符号化データ分離部１０は符号化デ
ータから領域位置・形状のデータ、選択領域の下位レイ
ヤの符号化データ及び第1の上位レイヤの符号化データ
を分離して取り出す部分である。
ータから領域位置・形状のデータ、選択領域の下位レイ
ヤの符号化データ及び第1の上位レイヤの符号化データ
を分離して取り出す部分である。
【００４９】同図の第１の上位レイヤ復号部１１は、第
１の上位レイヤの符号化データを復号する部分である。
ここでは、領域位置・形状データと下位レイヤの復号画
像及び第１の上位レイヤの復号済み画像が利用され、画
像全体が低い画質で復号され、第１の上位レイヤの復号
画像が作成される。
１の上位レイヤの符号化データを復号する部分である。
ここでは、領域位置・形状データと下位レイヤの復号画
像及び第１の上位レイヤの復号済み画像が利用され、画
像全体が低い画質で復号され、第１の上位レイヤの復号
画像が作成される。
【００５０】ここでは、上位レイヤとして第１の上位レ
イヤを用いたが、その代りに第２の上位レイヤを用いる
こともできる。その場合、符号化データ分離部１０は、
符号化データから領域位置・形状のデータ、下位レイヤ
の符号化データ及び第２の上位レイヤの符号化データを
分離して取り出す。また、第１の上位レイヤ復号部１１
は第２の上位レイヤ復号部に置き換えられ、領域位置・
形状データと選択領域の下位レイヤの復号画像及び第２
の上位レイヤの復号済み画像が利用され、選択領域だけ
が高い画質で復号され、第２の上位レイヤの復号画像が
作成される。復号画像はディスプレイ上の「ウインド
ウ」として表示されるか、あるいは画面全体に拡大して
表示される。
イヤを用いたが、その代りに第２の上位レイヤを用いる
こともできる。その場合、符号化データ分離部１０は、
符号化データから領域位置・形状のデータ、下位レイヤ
の符号化データ及び第２の上位レイヤの符号化データを
分離して取り出す。また、第１の上位レイヤ復号部１１
は第２の上位レイヤ復号部に置き換えられ、領域位置・
形状データと選択領域の下位レイヤの復号画像及び第２
の上位レイヤの復号済み画像が利用され、選択領域だけ
が高い画質で復号され、第２の上位レイヤの復号画像が
作成される。復号画像はディスプレイ上の「ウインド
ウ」として表示されるか、あるいは画面全体に拡大して
表示される。
【００５１】図４は復号器の第3の例を示すブロック図
である。領域位置・形状復号部９及び下位レイヤ復号部
８は、図２のものと同様のはたらきをする。
である。領域位置・形状復号部９及び下位レイヤ復号部
８は、図２のものと同様のはたらきをする。
【００５２】図４の符号化データ分離部１３は符号化デ
ータから領域位置・形状のデータ、下位レイヤの符号化
データ、第1の上位レイヤの符号化データ、第2の上位レ
イヤの符号化データを分離して取り出す部分である。
ータから領域位置・形状のデータ、下位レイヤの符号化
データ、第1の上位レイヤの符号化データ、第2の上位レ
イヤの符号化データを分離して取り出す部分である。
【００５３】同図の第1の上位レイヤ復号部１１は、第1
の上位レイヤの符号化データを復号し、同図の第2の上
位レイヤ復号部１２は、第2の上位レイヤの符号化デー
タを復号する。
の上位レイヤの符号化データを復号し、同図の第2の上
位レイヤ復号部１２は、第2の上位レイヤの符号化デー
タを復号する。
【００５４】同図の上位レイヤ合成部１４では領域位置
・形状の情報を利用し、第１の上位レイヤの復号画像に
第２の上位レイヤの復号画像を合成する。合成は選択領
域では第２の上位レイヤの復号画像を、選択領域以外は
第１の上位レイヤの復号画像を用いることで行う。従っ
て、復号装置から出力される画像は、画像全体に画像情
報を持ち、特に選択領域について、ＳＮＲ、時間解像
度、空間解像度などが良好な画像が復号される。このよ
うにして、符号化器で選択された領域の画質が他の領域
よりも良好になるよう復号がなされる。尚、上記発明の
実施の形態では、復号装置において全ての符号化データ
を受け取ることを前提に説明したが、動画像通信などで
は、復号側から符号化側に限られたデータだけを伝送す
るよう要求する場合もある。例えば、領域位置・形状の
符号化データ、下位レイヤの符号化データ、第１の上位
レイヤの符号化データを送るよう要求する。これは、主
に帯域の小さい伝送路で通信する目的で行われる。本発
明を用いれば、非常に狭い伝送路で使用する場合には、
下位レイヤのデータだけを通信し、これより少し広い帯
域では２種類の上位レイヤの一方を選択に通信し、さら
に広い帯域では全てのデータを通信するようなことが可
能である。
・形状の情報を利用し、第１の上位レイヤの復号画像に
第２の上位レイヤの復号画像を合成する。合成は選択領
域では第２の上位レイヤの復号画像を、選択領域以外は
第１の上位レイヤの復号画像を用いることで行う。従っ
て、復号装置から出力される画像は、画像全体に画像情
報を持ち、特に選択領域について、ＳＮＲ、時間解像
度、空間解像度などが良好な画像が復号される。このよ
うにして、符号化器で選択された領域の画質が他の領域
よりも良好になるよう復号がなされる。尚、上記発明の
実施の形態では、復号装置において全ての符号化データ
を受け取ることを前提に説明したが、動画像通信などで
は、復号側から符号化側に限られたデータだけを伝送す
るよう要求する場合もある。例えば、領域位置・形状の
符号化データ、下位レイヤの符号化データ、第１の上位
レイヤの符号化データを送るよう要求する。これは、主
に帯域の小さい伝送路で通信する目的で行われる。本発
明を用いれば、非常に狭い伝送路で使用する場合には、
下位レイヤのデータだけを通信し、これより少し広い帯
域では２種類の上位レイヤの一方を選択に通信し、さら
に広い帯域では全てのデータを通信するようなことが可
能である。
【００５５】
【発明の効果】本発明の動画像符号化及び復号装置によ
れば、画像上の選択された領域の画質がそれ以外の領域
の画質より良好となるように符号化を行うことができ
る。
れば、画像上の選択された領域の画質がそれ以外の領域
の画質より良好となるように符号化を行うことができ
る。
【００５６】符号化データの下位レイヤのみを復号すれ
ば、選択領域だけが低い画質で復号される。
ば、選択領域だけが低い画質で復号される。
【００５７】符号化データの上位レイヤを復号する際は
第1の上位レイヤを復号するか、第２の上位レイヤを復
号するかが選択できる。第１の上位レイヤを選択した場
合は画像全体を低い画質で復号することができ、第2の
上位レイヤを選択した場合は特定の選択領域だけを高い
画質で符号化することができる。
第1の上位レイヤを復号するか、第２の上位レイヤを復
号するかが選択できる。第１の上位レイヤを選択した場
合は画像全体を低い画質で復号することができ、第2の
上位レイヤを選択した場合は特定の選択領域だけを高い
画質で符号化することができる。
【００５８】さらに、全ての符号化データを復号する場
合は画像上の選択された領域の画質がそれ以外の領域の
画質より良好となるように復号することができる。
合は画像上の選択された領域の画質がそれ以外の領域の
画質より良好となるように復号することができる。
【００５９】
【図１】本発明の第１の実施の形態における符号化器を
示すブロック図である。
示すブロック図である。
【図２】本発明の第１の実施の形態における復号器を示
すブロック図である。
すブロック図である。
【図３】本発明の第２の実施の形態における復号器を示
すブロック図である。
すブロック図である。
【図４】本発明の第３の実施の形態における復号器を示
すブロック図である。
すブロック図である。
【図５】（ａ）は本発明の符号化器における下位レイヤ
の符号化方法の一例を示す図であり、（ｂ）は同符号化
器における第1の上位レイヤの符号化方法の一例を示す
図であり、（ｃ）は同符号化器における第2の上位レイ
ヤの符号化方法の一例を示す図である。
の符号化方法の一例を示す図であり、（ｂ）は同符号化
器における第1の上位レイヤの符号化方法の一例を示す
図であり、（ｃ）は同符号化器における第2の上位レイ
ヤの符号化方法の一例を示す図である。
【図６】本発明の符号化器における第1の上位レイヤの
符号化方法の他の一例を示す図である。
符号化方法の他の一例を示す図である。
【図７】（ａ）は本発明の符号化器における下位レイヤ
の符号化方法の他の例を示す図であり、（ｂ）は同符号
化器における第1の上位レイヤの符号化方法の他の例を
示す図であり、（ｃ）は同符号化器における第2の上位
レイヤの符号化方法の他の例を示す図である。
の符号化方法の他の例を示す図であり、（ｂ）は同符号
化器における第1の上位レイヤの符号化方法の他の例を
示す図であり、（ｃ）は同符号化器における第2の上位
レイヤの符号化方法の他の例を示す図である。
【図８】（ａ）は本発明の符号化器における下位レイヤ
の符号化方法の更に他の例を示す図であり、（ｂ）は同
符号化器における第1の上位レイヤの符号化方法の更に
他の例を示す図であり、（ｃ）は同符号化器における第
2の上位レイヤの符号化方法の更に他の例を示す図であ
る。
の符号化方法の更に他の例を示す図であり、（ｂ）は同
符号化器における第1の上位レイヤの符号化方法の更に
他の例を示す図であり、（ｃ）は同符号化器における第
2の上位レイヤの符号化方法の更に他の例を示す図であ
る。
【図９】本発明の符号化方法の概念を示す図である。
【図１０】本発明の復号方法の概念の一例を示す図であ
る。
る。
【図１１】本発明の復号方法の概念の他の一例を示す図
である。
である。
【図１２】従来方法を説明するブロック図である。
１ 第１の上位レイヤ符号化部 ２ 第２の上位レイヤ符号化部 ３ 符号化データ統合部 ４ 下位レイヤ符号化部 ５ 領域選択部 ６ 領域位置・形状符号化部 ７ 符号化データ分離部 ８ 下位レイヤ復号部 ９ 領域位置・形状復号部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 ＥＰＡＴ（ＱＵＥＳＴＥＬ) ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (8)
- 【請求項１】 符号化データに階層構造を持たせる動画
像符号化装置において、 各フレームの特定の領域を選択する領域選択手段と、 各フレームの選択領域の位置及び形状を符号化する領域
位置・形状符号化手段と、 前記選択領域の画素値だけを、低画質で符号化する下位
レイヤ符号化手段と、 各フレームの画像全体の画素値を、下位レイヤの既に復
号された画素値及び第１の上位レイヤの既に復号された
画素値を用いて、低画質で予測符号化する第１の上位レ
イヤ符号化手段と、 前記選択領域の画素値を、下位レイヤの既に復号された
画素値及び第２の上位レイヤの既に復号された画素値を
用いて、高画質で予測符号化する第２の上位レイヤ符号
化手段と、 前記各符号化手段により得られる符号化データを、階層
構造を持つように統合する符号化データ統合手段とを備
えたことを特徴とする動画像符号化装置。 - 【請求項２】 符号化データに階層構造を持たせる動画
像符号化装置において、 各フレームの特定の領域を選択する領域選択手段と、 各フレームの選択領域の位置及び形状を符号化する領域
位置・形状符号化手段と、 前記選択領域の画素値だけを、低画質で符号化する下位
レイヤ符号化手段と、 前記選択領域以外の画素値を、第１の上位レイヤの既に
復号された画素値を用いて、低画質で予測符号化する第
１の上位レイヤ符号化手段と、 前記選択領域の画素値を、下位レイヤの既に復号された
画素値及び第２の上位レイヤの既に復号された画素値を
用いて、高画質で予測符号化する第２の上位レイヤ符号
化手段と、 前記各符号化手段により得られる符号化データを、階層
構造を持つように統合する符号化データ統合手段とを備
えたことを特徴とする動画像符号化装置。 - 【請求項３】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの画像全体の画素値を前記下位レイヤの復号さ
れた画素値を用いて低画質で予測符号化した第１の上位
レイヤの符号化データと、各フレームの選択領域の画素
値を前記下位レイヤの復号された画素値を用いて高画質
で予測符号化した第２の上位レイヤ符号化データとを含
む符号化データから動画像を復号する動画像復号装置で
あって、 前記符号化データから、前記選択領域の位置及び形状の
符号化データ、前記下位レイヤの符号化データを分離す
る符号化データ分離手段と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段と
を備えたことを特徴とする動画像復号装置。 - 【請求項４】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの選択領域以外の画素値を低画質で符号化した
第１の上位レイヤの符号化データと、各フレームの選択
領域の画素値を前記下位レイヤの復号された画素値を用
いて高画質で予測符号化した第２の上位レイヤ符号化デ
ータとを含む符号化データから動画像を復号する動画像
復号装置であって、 前記符号化データから、前記選択領域の位置及び形状の
符号化データ、前記下位レイヤの符号化データを分離す
る符号化データ分離手段と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段と
を備えたことを特徴とする動画像復号装置。 - 【請求項５】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データとを含
む符号化データ、或いは、各フレームの特定の選択領域
の位置及び形状の符号化データと、各フレームの選択領
域の画素値を低画質で符号化した下位レイヤの符号化デ
ータと、各フレームの画像全体の画素値を前記下位レイ
ヤの復号された画素値を用いて低画質で予測符号化した
上位レイヤの符号化データとを含む符号化データから動
画像を復号する動画像復号装置であって、入力された 符号化データを分離する符号化データ分離手
段と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段
と、前記上位レイヤの符号化データが入力された場合、前記
下位レイヤの復号画像からの予測を行うことにより、該
上位レイヤの符号化データを復号し、画像全体につい
て、低画質の復号画像を作成する上位レイヤ復号手段と
を備え、 前記下位レイヤ復号手段で作成された選択領域の復号画
像、又は、前記上位レイヤ復号手段で作成された画像全
体の復号画像を再生することを特徴とする動画像復号装
置。 - 【請求項６】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データとを含
む符号化データ、或いは、各フレームの特定の選択領域
の位置及び形状の符号化データと、各フレームの選択領
域の画素値を低画質で符号化した下位レイヤの符号化デ
ータと、各フレームの選択領域の画素値を前記下位レイ
ヤの復号画像を用いて高画質で予測符号化した上位レイ
ヤの符号化データとを含む符号化データから動画像を復
号する動画像復号装置であって、 入力された符号化データを分離する符号化データ分離手
段と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段
と、 前記上位レイヤの符号化データが入力された場合、前記
下位レイヤの復号画像からの予測を行うことにより、該
上位レイヤの符号化データを復号し、選択領域について
高画質の復号画像を作成する上位レイヤ復号手段とを備
え、 前記下位レイヤ復号手段で作成された低画質の復号画
像、又は、前記上位レイ ヤ復号手段で作成された高画質
の復号画像を再生することを特徴とする動画像復号装
置 。 - 【請求項７】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの画像全体の画素値を低画質で符号化した第１
の上位レイヤの符号化データと、各フレームの選択領域
の画素値を高画質で符号化した第２の上位レイヤの符号
化データとを含む符号化データから動画像を復号する動
画像復号装置であって、 前記符号化データから、前記選択領域の位置及び形状の
符号化データ、前記下位レイヤの符号化データ、前記第
１の上位レイヤの符号化データ、及び前記第２の上位レ
イヤの符号化データを分離する符号化データ分離手段
と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段
と、 前記下位レイヤの復号画像からの予測を行うことによ
り、前記第１の上位レイヤの符号化データを復号し、画
像全体について、低画質の復号画像を作成する第１の上
位レイヤ復号手段と、 前記下位レイヤの復号画像からの予測を行うことによ
り、前記第２の上位レイヤの符号化データを復号し、選
択領域について高画質の復号画像を作成する第２の上位
レイヤ復号手段とを備え、 前記下位レイヤ復号手段で作成された低画質の選択領域
の復号画像、又は、前記第１の上位レイヤ復号手段で作
成された低画質の画像全体の復号画像、又は、前記第２
の上位レイヤ復号手段で作成された高画質の選択領域を
加えた画面全体の復号画像を再生することを特徴とする
動画像復号装置 。 - 【請求項８】 各フレームの特定の選択領域の位置及び
形状の符号化データと、各フレームの選択領域の画素値
を低画質で符号化した下位レイヤの符号化データと、各
フレームの選択領域以外の画素値を低画質で符号化した
第１の上位レイヤの符号化データと、各フレームの選択
領域の画素値を高画質で符号化した第 ２の上位レイヤの
符号化データとを含む符号化データから動画像を復号す
る動画像復号装置であって、 前記符号化データから、前記選択領域の位置及び形状の
符号化データ、前記下位レイヤの符号化データ、前記第
１の上位レイヤの符号化データ、及び前記第２の上位レ
イヤの符号化データを分離する符号化データ分離手段
と、 前記選択領域の位置及び形状の符号化データを復号する
領域位置・形状復号手段と、 前記下位レイヤの符号化データを復号し、選択領域につ
いて低画質の復号画像を作成する下位レイヤ復号手段
と、 前記第１の上位レイヤの符号化データを復号し、選択領
域以外について、低画質の復号画像を作成する第１の上
位レイヤ復号手段と、 前記下位レイヤの復号画像からの予測を行うことによ
り、前記第２の上位レイヤの符号化データを復号し、選
択領域について高画質の復号画像を作成する第２の上位
レイヤ復号手段とを備え、 前記下位レイヤ復号手段で作成された低画質の選択領域
の復号画像、又は、前記第１の上位レイヤ復号手段で作
成された選択領域以外の復号画像を加えた低画質の画面
全体の復号画像、又は、前記第２の上位レイヤ復号手段
で作成された高画質の選択領域を加えた画面全体の復号
画像を再生することを特徴とする動画像復号装置 。
Priority Applications (16)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17864295A JP3098939B2 (ja) | 1995-07-14 | 1995-07-14 | 動画像符号化装置及び動画像復号装置 |
| US08/661,651 US6023301A (en) | 1995-07-14 | 1996-06-11 | Video coding device and video decoding device |
| EP99202513A EP0961496B1 (en) | 1995-07-14 | 1996-07-09 | Video coding device and video decoding device |
| EP96305038A EP0753970B1 (en) | 1995-07-14 | 1996-07-09 | Hierarchical video coding device and decoding device |
| DE69615948T DE69615948T2 (de) | 1995-07-14 | 1996-07-09 | Hierarchischer Bildkodierer und -dekodierer |
| EP99202515A EP0961498B1 (en) | 1995-07-14 | 1996-07-09 | Video coding device and video decoding device |
| DE69628467T DE69628467T2 (de) | 1995-07-14 | 1996-07-09 | Videokodierung- und dekodierungsvorrichtung |
| DE69634423T DE69634423T2 (de) | 1995-07-14 | 1996-07-09 | Videokodierung- und dekodierungsvorrichtung |
| DE69626142T DE69626142T2 (de) | 1995-07-14 | 1996-07-09 | Videokodierung- und dekodierungsvorrichtung |
| EP99202514A EP0961497B1 (en) | 1995-07-14 | 1996-07-09 | Video coding device and video decoding device |
| US09/095,061 US5986708A (en) | 1995-07-14 | 1998-06-10 | Video coding device and video decoding device |
| US09/095,086 US6088061A (en) | 1995-07-14 | 1998-06-10 | Video coding device and video decoding device |
| US09/095,078 US5963257A (en) | 1995-07-14 | 1998-06-10 | Video coding device and video decoding device |
| US09/289,196 US6023299A (en) | 1995-07-14 | 1999-04-09 | Video coding device and video decoding device |
| US09/293,177 US6084914A (en) | 1995-07-14 | 1999-04-16 | Video coding device and video decoding device |
| JP2000180906A JP3494617B2 (ja) | 1995-07-14 | 2000-06-16 | 動画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17864295A JP3098939B2 (ja) | 1995-07-14 | 1995-07-14 | 動画像符号化装置及び動画像復号装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000180906A Division JP3494617B2 (ja) | 1995-07-14 | 2000-06-16 | 動画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0937260A JPH0937260A (ja) | 1997-02-07 |
| JP3098939B2 true JP3098939B2 (ja) | 2000-10-16 |
Family
ID=16052035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17864295A Expired - Lifetime JP3098939B2 (ja) | 1995-07-14 | 1995-07-14 | 動画像符号化装置及び動画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3098939B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257502A (ja) | 1997-03-17 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置 |
| JP4697500B2 (ja) * | 1999-08-09 | 2011-06-08 | ソニー株式会社 | 送信装置および送信方法、受信装置および受信方法、並びに記録媒体 |
| JP3947107B2 (ja) | 2000-11-23 | 2007-07-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ・デコーディング方法及び対応するデコーダ |
| CA2547891C (en) * | 2003-12-01 | 2014-08-12 | Samsung Electronics Co., Ltd. | Method and apparatus for scalable video encoding and decoding |
| WO2006118114A1 (ja) * | 2005-04-27 | 2006-11-09 | Nec Corporation | 画像復号方法、その装置及びプログラム |
| US20090028452A1 (en) * | 2005-04-27 | 2009-01-29 | Nec Corporation | Image decoding method, image decoding device, and program |
| KR100947660B1 (ko) * | 2008-02-25 | 2010-03-12 | 김영로 | 선택적 영역의 독립적 화질 개선 방법 |
| DK2978220T3 (da) * | 2013-03-21 | 2019-09-30 | Sony Corp | Anordning og fremgangsmåde til afkodning af billede patentkrav |
| WO2015132881A1 (ja) * | 2014-03-04 | 2015-09-11 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
-
1995
- 1995-07-14 JP JP17864295A patent/JP3098939B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0937260A (ja) | 1997-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5963257A (en) | Video coding device and video decoding device | |
| US6427027B1 (en) | Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon | |
| EP0731608B1 (en) | Image encoder and decoder with area selection | |
| US6330280B1 (en) | Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal | |
| JP2003533101A (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
| KR100701443B1 (ko) | 코드화된 비디오 신호의 트랜스코딩 방법 및 움직임 벡터 선택의 트랜스코더 | |
| JP2962348B2 (ja) | 画像符号変換方式 | |
| JP3098939B2 (ja) | 動画像符号化装置及び動画像復号装置 | |
| US6714591B1 (en) | Video image coding device and video image decoding device | |
| US20060133677A1 (en) | Method and apparatus for performing residual prediction of image block when encoding/decoding video signal | |
| US20060120459A1 (en) | Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information | |
| JP3494617B2 (ja) | 動画像復号装置 | |
| JP2002044671A (ja) | 動画像復号装置 | |
| JPH11285001A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP2002016911A (ja) | オブジェクト映像符号化装置 | |
| JPH1141558A (ja) | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 | |
| JPH11266454A (ja) | 画像符号化装置及び画像復号装置 | |
| AU731425B2 (en) | Picture encoding and decoding | |
| AU759435B2 (en) | Picture encoding and decoding | |
| JP2002044657A (ja) | 画像復号化方法、画像復号化装置および画像復号化プログラム記録媒体 | |
| JP2001045497A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体および記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070811 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080811 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080811 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term |