JPH0937260A - 動画像符号化装置及び動画像復号装置 - Google Patents

動画像符号化装置及び動画像復号装置

Info

Publication number
JPH0937260A
JPH0937260A JP17864295A JP17864295A JPH0937260A JP H0937260 A JPH0937260 A JP H0937260A JP 17864295 A JP17864295 A JP 17864295A JP 17864295 A JP17864295 A JP 17864295A JP H0937260 A JPH0937260 A JP H0937260A
Authority
JP
Japan
Prior art keywords
decoding
upper layer
code
lower layer
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP17864295A
Other languages
English (en)
Other versions
JP3098939B2 (ja
Inventor
Hiroyuki Katada
裕之 堅田
Hiroshi Kusao
寛 草尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP17864295A priority Critical patent/JP3098939B2/ja
Priority to US08/661,651 priority patent/US6023301A/en
Priority to EP96305038A priority patent/EP0753970B1/en
Priority to EP99202513A priority patent/EP0961496B1/en
Priority to DE69615948T priority patent/DE69615948T2/de
Priority to EP99202515A priority patent/EP0961498B1/en
Priority to DE69628467T priority patent/DE69628467T2/de
Priority to DE69634423T priority patent/DE69634423T2/de
Priority to EP99202514A priority patent/EP0961497B1/en
Priority to DE69626142T priority patent/DE69626142T2/de
Publication of JPH0937260A publication Critical patent/JPH0937260A/ja
Priority to US09/095,078 priority patent/US5963257A/en
Priority to US09/095,086 priority patent/US6088061A/en
Priority to US09/095,061 priority patent/US5986708A/en
Priority to US09/289,196 priority patent/US6023299A/en
Priority to US09/293,177 priority patent/US6084914A/en
Priority to JP2000180906A priority patent/JP3494617B2/ja
Application granted granted Critical
Publication of JP3098939B2 publication Critical patent/JP3098939B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【解決手段】 符号化データに階層構造を持たせる動画
像符号化装置において、各フレームの特定の領域を選択
し、選択領域の位置及び形状を符号化し、選択領域の画
素値を符号化して下位レイヤの符号化データとし、次に
画像全体の画素値を下位レイヤ及び第1の上位レイヤの
既に復号された画素値を用いて符号化して第1の上位レ
イヤの符号化データとし、さらに選択領域の画素値を下
位レイヤ及び第2の上位レイヤの既に復号された画素値
を用いて符号化して第2の上位レイヤの符号化データと
するように構成する。 【効果】 符号化データの一部を復号することで、選択
領域のみを低画質で再生したり、あるいは画像全体を低
画質で再生したり、あるいは選択領域のみを高画質で再
生したり、あるいは画像全体を選択領域について高画質
で、他の領域について低画質で再生したりできる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はディジタル動画像処
理の分野に属し、動画像データを高能率に符号化する動
画像符号化装置と、この動画像符号化装置で作成された
符号化データを復号する動画像復号装置に関するもので
ある。
【0002】
【従来技術】動画像符号化において、特定の領域の画質
を他の領域より良好にする方式が提案されている。
【0003】例えば、ISO/IEC JTC1/SC29/WG11 MPEG95/
030に記載されている方式では動画像から領域を選択
し、選択された領域(以下、選択領域と称す。)では量
子化幅や時間解像度などを制御することで、選択領域の
画質を他の領域よりも良好にしている。
【0004】また図12に、他の従来法のブロック図を
示す。この図12の領域選択部20は動画像内の特定の
領域を選択する部分である。例えばテレビ電話等の動画
像で顔領域を選択する場合、文献「リアルタイム顔画像
追尾方式」(画像電子学会研究会予稿,93-04-04, pp.13
-16(1994))に記載されているような方式を用いて領域
を選択することができる。
【0005】同図の領域位置・形状符号化部21は、選
択領域の位置及び形状を符号化する部分である。形状は
任意形状ならば例えばチェイン符号を用いて符号化され
る。符号化された位置及び形状は同図の符号化データ統
合部22で符号化データに組み込まれ、伝送あるいは蓄
積される。
【0006】同図の符号化パラメータ調節部23は、動
画像符号化において画質やデータ量の制御のために用い
られる種々のパラメータを調節して、領域位置・形状符
号化部21で選択領域の画質が他の領域よりも良好に符
号化されるよう、制御する部分である。
【0007】同図のパラメータ符号化部24は、前記種
々のパラメータを符号化する部分である。符号化された
パラメータは同図の符号化データ統合部22で符号化デ
ータに組み込まれ、伝送あるいは蓄積される。同図の動
画像符号化部25は、入力された動画像データを上記種
々のパラメータを用いて符号化する部分であり、従来用
いられている方式が使用される。即ち、動き補償予測、
直交変換、量子化、可変長符号化等が組み合わせられ高
能率符号化が実現される。符号化された動画像データは
同図の符号化データ統合部22で符号化データに組み込
まれ、伝送あるいは蓄積される。
【0008】以上のようにして、画像内の選択領域の画
質が他の領域よりも良好になるよう符号化がなされる。
【0009】
【発明が解決しようとする課題】前述のごとく、従来の
技術においては量子化幅、空間解像度、時間解像度など
のパラメータを調節し、選択領域に多くのビット数を割
り当てることで画質を良好にしている。しかしながら、
従来の技術においては選択領域と他の領域とを一つの符
号化データの中に組み込んでいるため、符号化データの
一部だけを復号して特定の領域の復号画像を得るとか、
低い画質の復号画像を得るというような処理ができない
という問題があった。近年、このような符号化データの
階層性が盛んに研究されているが、特定の領域が選択し
得るような方式は十分考慮されていない。
【0010】本発明の目的はこのような問題を解決し、
符号化全体としては動画像内の選択領域を他の領域より
も良好な画質とするに加え、符号化データに階層性を持
たせ、符号化データの一部から選択領域だけをいろいろ
な画質で再生したり、符号化データの一部から低画質の
画像を再生したりすることが可能な符号化装置、及び復
号装置を提供することにある。
【0011】
【課題を解決するための手段】本発明は、上記目的を達
成するために、(1)符号化データに階層構造を持たせ
る動画像符号化装置において下位レイヤ符号化手段と2
つの上位レイヤ符号化手段を用いるものであって、各フ
レームの特定の領域を選択する領域選択手段と、各フレ
ームの選択領域の位置及び形状を符号化する領域位置・
形状符号化手段と、選択領域の画素値だけを低画質で符
号化する下位レイヤ符号化手段と、各フレームの画像全
体の画素値を下位レイヤの既に復号された画素値及び第
1の上位レイヤの既に復号された画素値を用いて低画質
で予測符号化する第1の上位レイヤ符号化手段と、各フ
レームの選択領域の画素値を下位レイヤの既に復号され
た画素値及び第2の上位レイヤの既に復号された画素値
を用いて高画質で予測符号化する第2の上位レイヤ符号
化手段と、前記各符号化手段により得られる符号化デー
タを階層構造を持つように統合する符号化データ統合手
段とを備えること、さらに(2)前記(1)の動画像符
号化装置の第1の上位レイヤ符号化手段において、選択
領域の画素値は符号化せず、選択領域以外の画素値を下
位レイヤ及び第1の上位レイヤの既に復号された画素値
を用いて符号化することを特徴とすること、さらに
(3)前記(1)または(2)に記載の動画像符号化装
置により符号化されたデータから動画像を復号する動画
像復号装置であって、前記符号化されたデータから領域
の位置及び形状の符号及び下位レイヤの符号を取り出す
符号化データ分離手段と、前記位置及び形状の符号を復
号する領域位置・形状復号手段と、前記下位レイヤの符
号を復号する下位レイヤ復号手段とを備え、選択領域を
低画質で復号すること、さらに(4)前記(1)または
(2)に記載の動画像符号化装置により符号化されたデ
ータから動画像を復号する動画像復号装置であって、前
記符号化されたデータから領域の位置及び形状の符号、
第1の上位レイヤの符号及び下位レイヤの符号を取り出
す符号化データ分離手段と、前記位置及び形状の符号を
復号する領域位置・形状復号手段と、前記下位レイヤの
符号を復号する下位レイヤ復号手段と、第1の上位レイ
ヤの符号を復号する第1の上位レイヤ復号手段とを備
え、動画像全体を低画質で復号すること、さらに(5)
前記(1)または(2)に記載の動画像符号化装置によ
り符号化されたデータから動画像を簡易に復号する動画
像復号装置であって、前記符号化されたデータから領域
の位置及び形状の符号、第2の上位レイヤの符号及び下
位レイヤの符号を取り出す符号化データ分離手段と、前
記位置及び形状の符号を復号する領域位置・形状復号手
段と、前記下位レイヤの符号を復号する下位レイヤ復号
手段と、第2の上位レイヤの符号を復号する第2の上位レ
イヤ復号手段とを備え、選択領域を高画質で復号するこ
と、さらに(6)前記(1)または(2)に記載の動画
像符号化装置により符号化されたデータから動画像を復
号する動画像復号装置であって、前記符号化されたデー
タを領域の位置及び形状の符号、第1の上位レイヤの符
号、第2の上位レイヤの符号及び下位レイヤの符号に分
離する符号化データ分離手段と、前記位置及び形状の符
号を復号する領域位置・形状復号手段と、前記下位レイ
ヤの符号を復号する下位レイヤ復号手段と、第1の上位
レイヤの符号を復号する第1の上位レイヤ復号手段と、
第2の上位レイヤの符号を復号する第2の上位レイヤ復号
手段とを備え、選択領域を高画質で復号し、他の領域を
低画質で復号すること、を特徴としたものである。
【0012】上記のように構成された符号化装置及び復
号装置によれば、画像内の選択された領域について、空
間解像度、量子化幅、時間解像度などの違いによって、
選択された領域の画質を他に比べて良好に符号化及び復
号することができ、符号化装置においては符号化データ
に階層性を持たせることができ、復号装置においては符
号化データの一部を復号することで簡易にデータの復号
ができる。
【0013】
【発明の実施の形態】まず、本発明の概念について述べ
る。図9は本発明の符号化方式の概念を説明する図であ
る。本発明の階層符号化では下位レイヤと2つの上位レ
イヤが用いられる。下位レイヤにおいては斜線で示され
た選択領域だけが低い画質で符号化される。注目してい
る時間をtとし、その復号画像をL(t)とする。第1の上位
レイヤでは下位レイヤで符号化されなかった領域が符号
化される。このレイヤの復号画像をH1(t)と書くことに
する。この際、下位レイヤの復号画像L(t)及び第1の上
位レイヤの復号済画像H1(t-1)などを用いて予測符号化
が行われる。第2の上位レイヤでは選択領域だけが下位
レイヤよりも高画質で予測符号化される。このレイヤの
復号画像をH2(t)と書く。この際、下位レイヤの復号画
像L(t)及び第2の上位レイヤの復号済画像H2(t-1)などが
用いて予測符号化が行われる。
【0014】図10及び図11は本発明の復号方式の概
念を説明する図である。図10では符号化データの下位
レイヤだけを復号した場合、第1の上位レイヤだけを復
号した場合、全てを復号した場合の3階層の復号過程を
示している。この場合、下位レイヤまでの復号では符号
化装置で選択された領域のみが低画質で再生され、第1
の上位レイヤまでを復号すると画像全体が低画質で再生
され、符号化データ全てを復号すると選択領域が高画質
で、それ以外の領域が低画質で再生される。これに対
し、図11では第1の上位レイヤの代りに第2の上位レイ
ヤを復号した後、符号化データの全てを復号する場合を
示している。この場合は中間のレイヤ(第2の上位レイ
ヤ)で選択領域だけが高画質で再生される。
【0015】このように、本発明の復号装置では下位レ
イヤのみに対応した簡易なものでは低画質の選択領域の
みが再生され、上位レイヤまで対応したものでは低画質
の画像全体かあるいは高画質の選択領域のみが再生され
る。つまり、共通の下位レイヤの上位に2種類の異なる
上位レイヤがあり、これらが選択できる。
【0016】以下、本発明の実施の形態を詳細に説明す
る。
【0017】図1は本発明の実施の形態における符号化
器を示すブロック図である。
【0018】この図1の領域選択部5及び領域位置・形
状符号化部6は、従来の技術で述べた図12のものと同
様のはたらきをする。
【0019】図1の下位レイヤ符号化部4は、領域選択
部5で選ばれた選択領域だけを低い画質で符号化して、
下位レイヤの符号化データを作成し、またこれを復号し
た復号画像を作成する部分である。復号画像は予測符号
化の参照画像として用いられる。
【0020】同図の第1の上位レイヤ符号化部1は、画
像全体を低い画質で符号化し、第1の上位レイヤの符号
化データを作成し、またこれを復号した復号画像を作成
する部分である。復号画像は予測符号化の参照画像とし
て用いられる。
【0021】同図の第2の上位レイヤ符号化部2は、選
択領域だけを高い画質で符号化し、第2の上位レイヤの
符号化データを作成し、またこれを復号した復号画像を
作成する部分である。復号画像は予測符号化の参照画像
として用いられる。
【0022】同図の符号化データ統合部3は、選択領域
の位置及び形状の符号、下位レイヤの符号化データ、第
1の上位レイヤの符号化データ、第2の上位レイヤの符号
化データを統合する部分である。
【0023】下位レイヤ符号化部4と第1の上位レイヤ
符号化部1と第2の上位レイヤ符号化部2とで画像を符
号化する方法としては、次に述べるいくつかの方法があ
る。
【0024】図5及び図6は、量子化幅の大きさによっ
て下位レイヤと上位レイヤの画質を制御する手法を説明
するものである。
【0025】図5(a)は下位レイヤの符号化を示すの
ものであり、斜線で示した領域が選択領域である。下位
レイヤの最初のフレームでは選択領域がフレーム内符号
化され、それ以外のフレームでは選択領域が動き補償予
測によって予測符号化されている。動き補償予測の参照
画像として、下位レイヤ中で既に符号化され復号された
フレームの選択領域が用いられる。図では前方予測のみ
を示したが、後方予測を組み合わせて用いてもよい。下
位レイヤでは第2の上位レイヤよりも量子化幅が大きく
なるように制御されるので、入力画像の選択領域のみが
SNR(Signal-to-Noise Ratio)の低い画質で符号化され
る。このため下位レイヤは少ない符号量で符号化され
る。
【0026】図5(b)は第1の上位レイヤの符号化を示し
ている。ここでは画像全体が符号化される。例えば画像
全体を下位レイヤの復号画像と第1の上位レイヤの復号
画像をもとに予測符号化する方法を用いる。この場合、
最初のフレームでは画像全体を下位レイヤの復号画像か
ら予測符号化し(選択領域以外については実質的に動き
補償予測が用いられず、フレーム内符号化となる)、そ
れ以外のフレームでは動き補償予測による予測符号化も
組み合わせて符号化がなされる。
【0027】あるいは、選択領域については全く符号化
を行わず、他の領域についてのみ予測符号化を行う方法
をとってもよい。図6にそのような場合を示す。符号化
は選択領域以外の領域について行う。
【0028】図5(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが小さい量子化幅で符号
化される。この際、符号化の対象となるのは原画像と下
位レイヤからの予測画像の差分データである。このよう
に図5(c)では下位レイヤからの予測のみを示したが、
第2の上位レイヤでの復号済みフレームからの予測と組
み合わせて符号化しても良い。
【0029】図7は、図1の符号化装置において時間解
像度の違いによって下位レイヤと上位レイヤの画質を制
御する手法を説明するものである。
【0030】図7(a)は下位レイヤの符号化を示すのも
のであり、斜線で示した領域が選択領域である。下位レ
イヤの最初のフレームでは選択領域がフレーム内符号化
され、それ以外のフレームでは選択領域が動き補償予測
によって予測符号化されている。動き補償予測の参照画
像として、下位レイヤ中で既に符号化され復号されたフ
レームの選択領域が用いられる。図7(a)では前方予測
のみを示したが、後方予測を組み合わせて用いてもよ
い。下位レイヤでは第2の上位レイヤよりもフレームレ
ートを小さくし、時間解像度が低くなるように制御され
る。ここでは量子化幅を小さくして各々のフレームでの
SNRが大きくなるよう符号化してもかまわない。
【0031】図7(b)は第1の上位レイヤの符号化を示し
ている。ここでは画像全体が低い時間解像度で符号化さ
れる。予測の方法としては図5(b)あるいは図6と同様
のものが用いられる。
【0032】図7(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが高い時間解像度で符号
化される。この際、下位レイヤで選択領域が符号化され
たフレームについては下位レイヤからの予測を用い、そ
れ以外のフレームについては上位レイヤの復号済みのフ
レームからの動き補償予測を用いる。下位レイヤからの
予測を用いる場合は第2の上位レイヤの符号化を全く行
わないようにすることもできる。この場合は下位レイヤ
の復号画像をそのまま第2の上位レイヤの復号画像とす
る。
【0033】図8は、空間解像度の違いによって下位レ
イヤと上位レイヤの画質を調節する手法を説明するもの
である。
【0034】図8(a)は下位レイヤの符号化を示すのも
のである。原画像が低域通過フィルタや間引きなどの操
作によって空間解像度の低い画像に変換され、斜線で示
した選択領域だけが符号化される。下位レイヤの最初の
フレームでは選択領域がフレーム内符号化され、それ以
外のフレームでは選択領域が動き補償予測によって予測
符号化されている。
【0035】図8(b)は第1の上位レイヤの符号化を示し
ている。原画像が空間解像度の低い画像に変換され、画
像全体が高い時間解像度で符号化される。予測の方法と
しては図5(b)あるいは図6と同様のものが用いられ
る。
【0036】図8(c)は第2の上位レイヤの符号化を示し
ている。ここでは選択領域のみが高い空間解像度で符号
化される。この際、下位レイヤの復号画像が原画像と同
じ空間解像度に変換され、選択領域が下位レイヤからの
予測及び第2の上位レイヤで既に符号化され復号された
フレームからの動き補償予測を用いて符号化される。
【0037】上記は階調(SNR)解像度、時間解像度、空
間解像度について述べたが、これらを組み合わせても良
い。
【0038】例えば空間解像度の違いと時間解像度の違
いによって下位レイヤと上位レイヤの画質を調節した
り、あるいは量子化幅の違いと時間解像度の違いによっ
て下位レイヤと上位レイヤの画質を調節することができ
る。
【0039】以上のようにして、全体としては選択領域
の画質が他の領域よりも良好になるよう符号化がなさ
れ、かつ符号化データに下位レイヤと2種類の上位レイ
ヤの階層性を持たせることができる。
【0040】次に本発明の実施の形態における復号器に
ついて説明する。
【0041】図2は復号器の第1の例を示すブロック図
であり、下位レイヤのみを復号するものである。
【0042】図2の符号化データ分離部7は符号化デー
タから領域の位置及び形状を表す符号化データと下位レ
イヤの符号化データを分離して取り出す部分である。
【0043】同図の領域位置・形状復号部9は、選択領
域の位置及び形状を復号する部分である。
【0044】同図の下位レイヤ復号部8は、選択領域に
ついての下位レイヤの符号化データを復号し、低い画質
の復号画像を選択領域についてのみ作成する部分であ
る。
【0045】従って、この復号装置から出力される画像
は、選択領域だけに画像情報を持ち、選択領域のみが
「ウインドウ」として表示される。あるいは下位レイヤ
復号部8に空間解像度変換器を備えておき、選択領域を
拡大して画面全体に表示するようにしても良い。
【0046】このように、この実施の形態では選択領域
の下位レイヤのデータのみを復号するので復号画像は画
質の低いものとなるが、上位レイヤのデータを復号する
部分がないためハードウエア規模、処理量などが少なく
てすみ、簡易な復号処理が可能となる。
【0047】図3は復号器の第2の例を示すブロック図
である。領域位置・形状復号部9と下位レイヤ復号部8
は、図2のものと同様のはたらきをする。
【0048】図3の符号化データ分離部10は符号化デ
ータから領域位置・形状のデータ、選択領域の下位レイ
ヤの符号化データ及び第1の上位レイヤの符号化データ
を分離して取り出す部分である。
【0049】同図の第1の上位レイヤ復号部11は、第1
の上位レイヤの符号化データを復号する部分である。こ
こでは領域位置・形状データと下位レイヤの復号画像及
び第2の上位レイヤの復号済み画像が利用され、画像全
体が低い画質で復号され、第1の上位レイヤの復号画像
が作成される。
【0050】ここでは上位レイヤとして第1の上位レイ
ヤを用いたが、その代りに第2の上位レイヤを用いるこ
ともできる。その場合、符号化データ分離部10は符号
化データから領域位置・形状のデータ、下位レイヤの符
号化データ及び第1の上位レイヤの符号化データを分離
して取り出す。また第1の上位レイヤ復号部11は第2の
上位レイヤ復号部に置き換えられ、領域位置・形状デー
タと選択領域の下位レイヤの復号画像及び第2の上位レ
イヤの復号済み画像が利用され、選択領域だけが高い画
質で復号され、第2の上位レイヤの復号画像が作成され
る。復号画像はディスプレイ上の「ウインドウ」として
表示されるか、あるいは画面全体に拡大して表示され
る。
【0051】図4は復号器の第3の例を示すブロック図
である。領域位置・形状復号部9及び下位レイヤ復号部
8は、図2のものと同様のはたらきをする。
【0052】図4の符号化データ分離部13は符号化デ
ータから領域位置・形状のデータ、下位レイヤの符号化
データ、第1の上位レイヤの符号化データ、第2の上位レ
イヤの符号化データを分離して取り出す部分である。
【0053】同図の第1の上位レイヤ復号部11は、第1
の上位レイヤの符号化データを復号し、同図の第2の上
位レイヤ復号部12は、第2の上位レイヤの符号化デー
タを復号する。
【0054】同図の上位レイヤ合成部14では領域位置
・形状の情報を利用し、第1の上位レイヤの復号画像に
第2の上位レイヤの復号画像を合成する。合成は選択領
域では第2の上位レイヤの復号画像を、選択領域以外は
第1の上位レイヤの復号画像を用いることで行う。従っ
て、復号装置から出力される画像は、画像全体に画像情
報を持ち、特に選択領域についてSNR、時間解像度、空
間解像度などが良好な画像が復号される。このようにし
て、符号化器で選択された領域の画質が他の領域よりも
良好になるよう復号がなされる。
【0055】
【発明の効果】本発明の動画像符号化及び復号装置によ
れば、画像上の選択された領域の画質がそれ以外の領域
の画質より良好となるように符号化を行うことができ
る。
【0056】符号化データの下位レイヤのみを復号すれ
ば、選択領域だけが低い画質で復号される。
【0057】符号化データの上位レイヤを復号する際は
第1の上位レイヤを復号するか、第2の上位レイヤを復
号するかが選択できる。第1の上位レイヤを選択した場
合は画像全体を低い画質で復号することができ、第2の
上位レイヤを選択した場合は特定の選択領域だけを高い
画質で符号化することができる。
【0058】さらに、全ての符号化データを復号する場
合は画像上の選択された領域の画質がそれ以外の領域の
画質より良好となるように復号することができる。
【0059】上記発明の実施の形態では、復号装置にお
いて全ての符号化データを受けとることを前提に説明し
たが、動画像通信などでは復号側から符号化側に限られ
たデータだけを伝送するよう要求する場合もある。例え
ば領域位置・形状の符号化データ、下位レイヤの符号化
データ、第1の上位レイヤの符号化データを送るよう要
求する。これは主に帯域の小さい伝送路で通信する目的
で行われる。本発明を用いれば非常に狭い伝送路で使用
する場合には下位レイヤのデータだけを通信し、これよ
り少し広い帯域では2種類の上位レイヤの一方を選択的
に通信し、さらに広い帯域では全てのデータを通信する
ような通信が実現できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における符号化器を
示すブロック図である。
【図2】本発明の第1の実施の形態における復号器を示
すブロック図である。
【図3】本発明の第2の実施の形態における復号器を示
すブロック図である。
【図4】本発明の第3の実施の形態における復号器を示
すブロック図である。
【図5】(a)は本発明の符号化器における下位レイヤ
の符号化方法の一例を示す図であり、(b)は同符号化
器における第1の上位レイヤの符号化方法の一例を示す
図であり、(c)は同符号化器における第2の上位レイ
ヤの符号化方法の一例を示す図である。
【図6】本発明の符号化器における第1の上位レイヤの
符号化方法の他の一例を示す図である。
【図7】(a)は本発明の符号化器における下位レイヤ
の符号化方法の他の例を示す図であり、(b)は同符号
化器における第1の上位レイヤの符号化方法の他の例を
示す図であり、(c)は同符号化器における第2の上位
レイヤの符号化方法の他の例を示す図である。
【図8】(a)は本発明の符号化器における下位レイヤ
の符号化方法の更に他の例を示す図であり、(b)は同
符号化器における第1の上位レイヤの符号化方法の更に
他の例を示す図であり、(c)は同符号化器における第
2の上位レイヤの符号化方法の更に他の例を示す図であ
る。
【図9】本発明の符号化方法の概念を示す図である。
【図10】本発明の復号方法の概念の一例を示す図であ
る。
【図11】本発明の復号方法の概念の他の一例を示す図
である。
【図12】従来方法を説明するブロック図である。
【符号の説明】
1 第1の上位レイヤ符号化部 2 第2の上位レイヤ符号化部 3 符号化データ統合部 4 下位レイヤ符号化部 5 領域選択部 6 領域位置・形状符号化部 7 符号化データ分離部 8 下位レイヤ復号部 9 領域位置・形状復号部

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 符号化データに階層構造を持たせる動画
    像符号化装置において、 下位レイヤ符号化手段と、 2つの上位レイヤ符号化手段と、 各フレームの特定の領域を選択する領域選択手段と、 各フレームの選択領域の位置及び形状を符号化する領域
    位置・形状符号化手段と、 選択領域の画素値だけを低画質で符号化する下位レイヤ
    符号化手段と、 各フレームの画像全体の画素値を下位レイヤの既に復号
    された画素値及び第1の上位レイヤの既に復号された画
    素値を用いて低画質で予測符号化する第1の上位レイヤ
    符号化手段と、 各フレームの選択領域の画素値を下位レイヤの既に復号
    された画素値及び第2の上位レイヤの既に復号された画
    素値を用いて高画質で予測符号化する第2の上位レイヤ
    符号化手段と、 前記各符号化手段により得られる符号化データを階層構
    造を持つように統合する符号化データ統合手段とを備え
    ることを特徴とする動画像符号化装置。
  2. 【請求項2】 請求項1に記載の動画像符号化装置の第1
    の上位レイヤ符号化手段において、選択領域の画素値は
    符号化せず、選択領域以外の画素値を下位レイヤ及び第
    1の上位レイヤの既に復号された画素値を用いて符号化
    することを特徴とする動画像符号化装置。
  3. 【請求項3】 請求項1または2に記載の動画像符号化装
    置により符号化されたデータから動画像を復号する動画
    像復号装置であって、前記符号化されたデータから領域
    の位置及び形状の符号及び下位レイヤの符号を取り出す
    符号化データ分離手段と、前記位置及び形状の符号を復
    号する領域位置・形状復号手段と、前記下位レイヤの符
    号を復号する下位レイヤ復号手段とを備え、選択領域を
    低画質で復号することを特徴とする動画像復号装置。
  4. 【請求項4】 請求項1または2に記載の動画像符号化装
    置により符号化されたデータから動画像を復号する動画
    像復号装置であって、前記符号化されたデータから領域
    の位置及び形状の符号、第1の上位レイヤの符号及び下
    位レイヤの符号を取り出す符号化データ分離手段と、前
    記位置及び形状の符号を復号する領域位置・形状復号手
    段と、前記下位レイヤの符号を復号する下位レイヤ復号
    手段と、第1の上位レイヤの符号を復号する第1の上位レ
    イヤ復号手段とを備え、動画像全体を低画質で復号する
    ことを特徴とする動画像復号装置。
  5. 【請求項5】 請求項1または2に記載の動画像符号化装
    置により符号化されたデータから動画像を簡易に復号す
    る動画像復号装置であって、前記符号化されたデータか
    ら領域の位置及び形状の符号、第2の上位レイヤの符号
    及び下位レイヤの符号を取り出す符号化データ分離手段
    と、前記位置及び形状の符号を復号する領域位置・形状
    復号手段と、前記下位レイヤの符号を復号する下位レイ
    ヤ復号手段と、第2の上位レイヤの符号を復号する第2の
    上位レイヤ復号手段とを備え、選択領域を高画質で復号
    することを特徴とする動画像復号装置。
  6. 【請求項6】 請求項1または2に記載の動画像符号化装
    置により符号化されたデータから動画像を復号する動画
    像復号装置であって、前記符号化されたデータを領域の
    位置及び形状の符号、第1の上位レイヤの符号、第2の上
    位レイヤの符号及び下位レイヤの符号に分離する符号化
    データ分離手段と、前記位置及び形状の符号を復号する
    領域位置・形状復号手段と、前記下位レイヤの符号を復
    号する下位レイヤ復号手段と、第1の上位レイヤの符号
    を復号する第1の上位レイヤ復号手段と、第2の上位レイ
    ヤの符号を復号する第2の上位レイヤ復号手段とを備
    え、選択領域を高画質で復号し、他の領域を低画質で復
    号することを特徴とする動画像復号装置。
JP17864295A 1995-07-14 1995-07-14 動画像符号化装置及び動画像復号装置 Expired - Lifetime JP3098939B2 (ja)

Priority Applications (16)

Application Number Priority Date Filing Date Title
JP17864295A JP3098939B2 (ja) 1995-07-14 1995-07-14 動画像符号化装置及び動画像復号装置
US08/661,651 US6023301A (en) 1995-07-14 1996-06-11 Video coding device and video decoding device
EP99202513A EP0961496B1 (en) 1995-07-14 1996-07-09 Video coding device and video decoding device
DE69615948T DE69615948T2 (de) 1995-07-14 1996-07-09 Hierarchischer Bildkodierer und -dekodierer
EP99202515A EP0961498B1 (en) 1995-07-14 1996-07-09 Video coding device and video decoding device
DE69628467T DE69628467T2 (de) 1995-07-14 1996-07-09 Videokodierung- und dekodierungsvorrichtung
DE69634423T DE69634423T2 (de) 1995-07-14 1996-07-09 Videokodierung- und dekodierungsvorrichtung
EP99202514A EP0961497B1 (en) 1995-07-14 1996-07-09 Video coding device and video decoding device
EP96305038A EP0753970B1 (en) 1995-07-14 1996-07-09 Hierarchical video coding device and decoding device
DE69626142T DE69626142T2 (de) 1995-07-14 1996-07-09 Videokodierung- und dekodierungsvorrichtung
US09/095,078 US5963257A (en) 1995-07-14 1998-06-10 Video coding device and video decoding device
US09/095,086 US6088061A (en) 1995-07-14 1998-06-10 Video coding device and video decoding device
US09/095,061 US5986708A (en) 1995-07-14 1998-06-10 Video coding device and video decoding device
US09/289,196 US6023299A (en) 1995-07-14 1999-04-09 Video coding device and video decoding device
US09/293,177 US6084914A (en) 1995-07-14 1999-04-16 Video coding device and video decoding device
JP2000180906A JP3494617B2 (ja) 1995-07-14 2000-06-16 動画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17864295A JP3098939B2 (ja) 1995-07-14 1995-07-14 動画像符号化装置及び動画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000180906A Division JP3494617B2 (ja) 1995-07-14 2000-06-16 動画像復号装置

Publications (2)

Publication Number Publication Date
JPH0937260A true JPH0937260A (ja) 1997-02-07
JP3098939B2 JP3098939B2 (ja) 2000-10-16

Family

ID=16052035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17864295A Expired - Lifetime JP3098939B2 (ja) 1995-07-14 1995-07-14 動画像符号化装置及び動画像復号装置

Country Status (1)

Country Link
JP (1) JP3098939B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001011889A1 (en) * 1999-08-09 2001-02-15 Sony Corporation Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
US6393152B2 (en) 1997-03-17 2002-05-21 Matsushita Electric Industrial Co., Ltd. Hierarchical image decoding apparatus and multiplexing method
WO2006118114A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、その装置及びプログラム
WO2006118113A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、画像復号装置及びプログラム
JP2006333519A (ja) * 2003-12-01 2006-12-07 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法と装置
KR100947660B1 (ko) * 2008-02-25 2010-03-12 김영로 선택적 영역의 독립적 화질 개선 방법
US7944966B2 (en) 2000-11-23 2011-05-17 Trident Microsystems (Far East) Ltd. Video decoding method and corresponding decoder
WO2015132881A1 (ja) * 2014-03-04 2015-09-11 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム
CN110177273A (zh) * 2013-03-21 2019-08-27 索尼公司 图像编码装置和方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393152B2 (en) 1997-03-17 2002-05-21 Matsushita Electric Industrial Co., Ltd. Hierarchical image decoding apparatus and multiplexing method
US7760156B2 (en) 1999-08-09 2010-07-20 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, receiving method, transmitting and receiving apparatus, transmitting and receiving method, record medium, and signal
JP2002016920A (ja) * 1999-08-09 2002-01-18 Sony Corp 送信装置および送信方法、受信装置および受信方法、送受信装置および送受信方法、記録媒体、並びに信号
US7009579B1 (en) 1999-08-09 2006-03-07 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, transmitting and receiving apparatus and method, record medium and signal
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
WO2001011889A1 (en) * 1999-08-09 2001-02-15 Sony Corporation Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
KR100811572B1 (ko) * 1999-08-09 2008-03-10 소니 가부시끼 가이샤 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 송수신 장치 및 송수신 방법, 및 기록 매체
US7486253B2 (en) 1999-08-09 2009-02-03 Sony Corporation Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal
US7944966B2 (en) 2000-11-23 2011-05-17 Trident Microsystems (Far East) Ltd. Video decoding method and corresponding decoder
JP2006333519A (ja) * 2003-12-01 2006-12-07 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法と装置
WO2006118113A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、画像復号装置及びプログラム
WO2006118114A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、その装置及びプログラム
US8223840B2 (en) 2005-04-27 2012-07-17 Nec Corporation Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof
JP5019053B2 (ja) * 2005-04-27 2012-09-05 日本電気株式会社 画像復号方法、画像復号装置及びプログラム
JP5019054B2 (ja) * 2005-04-27 2012-09-05 日本電気株式会社 画像復号方法、その装置及びプログラム
KR100947660B1 (ko) * 2008-02-25 2010-03-12 김영로 선택적 영역의 독립적 화질 개선 방법
CN110177273A (zh) * 2013-03-21 2019-08-27 索尼公司 图像编码装置和方法
CN110234007A (zh) * 2013-03-21 2019-09-13 索尼公司 图像解码装置和方法
WO2015132881A1 (ja) * 2014-03-04 2015-09-11 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム
GB2538196A (en) * 2014-03-04 2016-11-09 Mitsubishi Electric Corp Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and program
JPWO2015132881A1 (ja) * 2014-03-04 2017-03-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム

Also Published As

Publication number Publication date
JP3098939B2 (ja) 2000-10-16

Similar Documents

Publication Publication Date Title
US6088061A (en) Video coding device and video decoding device
US6330280B1 (en) Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal
KR100311294B1 (ko) 화상신호부호화방법및화상신호부호화장치및화상신호복호화방법및화상신호복호화장치
EP0731608B1 (en) Image encoder and decoder with area selection
US6167158A (en) Object-based digital image predictive method
US20040091049A1 (en) Video encoding apparatus and video decoding apparatus
US20090168880A1 (en) Method and Apparatus for Scalably Encoding/Decoding Video Signal
JP2003533101A (ja) 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ
JP2962348B2 (ja) 画像符号変換方式
KR20040091686A (ko) 더 높은 질의 참조 프레임을 사용하는 fgst 코딩 방법
US6128041A (en) Method and apparatus for binary shape encoding
CN101601300A (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
JP3055083B2 (ja) ディジタル信号を符号化する少なくとも1つの符号器とディジタル信号を復号する少なくとも1つの復号器とを備えるシステムおよび、本発明によるシステムに使用される符号器と復号器
JPH0722961A (ja) デジタル信号を符号化するための少なくとも1個の符号器及び符号化したデジタル信号を復号化するための少なくとも1個の復号器を含む装置並びに装置で使用される符号器及び復号器
JP3098939B2 (ja) 動画像符号化装置及び動画像復号装置
JPH06253339A (ja) 第1デジタル信号をコード化するための第1エンコーダ、第2デジタル信号をコード化するための第2エンコーダ、およびコード化されたデジタル信号をデコードするための少なくとも1つのデコーダからなるシステム、および該システムに用いられるコーダとデコーダ
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
US6049567A (en) Mode coding method in a binary shape encoding
JP3494617B2 (ja) 動画像復号装置
JP2002044671A (ja) 動画像復号装置
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
US6904093B1 (en) Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block
JPH11266454A (ja) 画像符号化装置及び画像復号装置
JPH1141558A (ja) 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体
JP2000165857A (ja) 階層動画評価装置及び動画通信装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070811

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080811

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080811

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 13

EXPY Cancellation because of completion of term