JPH0918876A - 動画像符号化装置及び動画像復号装置 - Google Patents
動画像符号化装置及び動画像復号装置Info
- Publication number
- JPH0918876A JPH0918876A JP7160524A JP16052495A JPH0918876A JP H0918876 A JPH0918876 A JP H0918876A JP 7160524 A JP7160524 A JP 7160524A JP 16052495 A JP16052495 A JP 16052495A JP H0918876 A JPH0918876 A JP H0918876A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- band
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
(57)【要約】
【構成】 動画像符号化装置において、画像から複数個
の領域を抽出し、領域毎に分割する領域抽出／分割部
と、分割領域毎に画像中での各領域の重要度を決定する
領域ランク指定部と、各領域の領域情報を符号化する領
域情報符号化部と、画像をサブバンド分割するレイヤ符
号化／量子化部と、エントロピー符号化部と、領域情報
の符号化データとをまとめて階層化する符号化データ階
層化部とを設けたことを特徴とする。 【効果】 本発明の動画像符号化装置では、サブバンド
画像の各帯域と領域情報とをもとに、空間解像度と量子
化幅とに違いをもたせることによって、重要と判断され
た領域をその領域よりも高画質にすることができる。
の領域を抽出し、領域毎に分割する領域抽出／分割部
と、分割領域毎に画像中での各領域の重要度を決定する
領域ランク指定部と、各領域の領域情報を符号化する領
域情報符号化部と、画像をサブバンド分割するレイヤ符
号化／量子化部と、エントロピー符号化部と、領域情報
の符号化データとをまとめて階層化する符号化データ階
層化部とを設けたことを特徴とする。 【効果】 本発明の動画像符号化装置では、サブバンド
画像の各帯域と領域情報とをもとに、空間解像度と量子
化幅とに違いをもたせることによって、重要と判断され
た領域をその領域よりも高画質にすることができる。
Description
【０００１】
【産業上の利用分野】本発明はディジタル画像処理に関
し、画像データを高能率で符号化する動画像符号化装置
と、この動画像符号化装置で作成された符号化データを
復号する動画像復号装置に関するものである。
し、画像データを高能率で符号化する動画像符号化装置
と、この動画像符号化装置で作成された符号化データを
復号する動画像復号装置に関するものである。
【０００２】
【従来技術】近年、画像の高能率符号化及び復号方式と
してサブバンド符号化方式が提案されている。サブバン
ド符号化方式では、図１２に示すようなツリー構造の分
割フィルタバンクによって入力画像の分析を行い、図１
３に示すような帯域分割を行う方法が符号化効率の高い
方式として一般に知られている（文献１：藤井、野村”
Wavelet変換について”、電子情報通信学会技術報告 I
E92-11(1992)）。符号化は図１４に示す構成で行い、復
号は図１５に示す構成で行う。ここで図１２、図１３、
図１４、図１５の図面を参照しつつ、従来の技術を説明
する。ここで、1301は入力画像（原信号でもよいし、動
画像では動き予測を行った後の予測誤差信号でもよい）
を分割する２次元分割フィルタ、1302は水平及び垂直方
向に各々2:1のダウンサンプリングを行うダウンサンプ
リング部である。
してサブバンド符号化方式が提案されている。サブバン
ド符号化方式では、図１２に示すようなツリー構造の分
割フィルタバンクによって入力画像の分析を行い、図１
３に示すような帯域分割を行う方法が符号化効率の高い
方式として一般に知られている（文献１：藤井、野村”
Wavelet変換について”、電子情報通信学会技術報告 I
E92-11(1992)）。符号化は図１４に示す構成で行い、復
号は図１５に示す構成で行う。ここで図１２、図１３、
図１４、図１５の図面を参照しつつ、従来の技術を説明
する。ここで、1301は入力画像（原信号でもよいし、動
画像では動き予測を行った後の予測誤差信号でもよい）
を分割する２次元分割フィルタ、1302は水平及び垂直方
向に各々2:1のダウンサンプリングを行うダウンサンプ
リング部である。
【０００３】図１３は入力画像信号に対し、３回の２次
元サブバンド分割を行って得た結果であり、図１２の各
フィルタ出力(LL1〜HH3)を示す。図では水平方向高域か
つ垂直方向低域をHL1、水平方向低域かつ垂直方向高域
をLH1、水平方向高域かつ垂直方向高域をHH1としてい
る。また水平方向低域かつ垂直方向低域に対しては、さ
らに２次元のサブバンド分割を行って前述と同様に帯域
HL2、LH2、HH2を得る。またこの時も水平方向低域かつ
垂直方向低域に対しては、さらに２次元のサブバンド分
割を行って前述と同様に帯域HL3、LH3、HH3を得る。こ
の時の水平方向低域かつ垂直方向低域はLL3とする。な
お、同図に図示する帯域分割用のフィルタバンクとして
は、ウェーブレット変換用フィルタバンク、サブバンド
分割合成フィルタバンクなどを用いることができる。
元サブバンド分割を行って得た結果であり、図１２の各
フィルタ出力(LL1〜HH3)を示す。図では水平方向高域か
つ垂直方向低域をHL1、水平方向低域かつ垂直方向高域
をLH1、水平方向高域かつ垂直方向高域をHH1としてい
る。また水平方向低域かつ垂直方向低域に対しては、さ
らに２次元のサブバンド分割を行って前述と同様に帯域
HL2、LH2、HH2を得る。またこの時も水平方向低域かつ
垂直方向低域に対しては、さらに２次元のサブバンド分
割を行って前述と同様に帯域HL3、LH3、HH3を得る。こ
の時の水平方向低域かつ垂直方向低域はLL3とする。な
お、同図に図示する帯域分割用のフィルタバンクとして
は、ウェーブレット変換用フィルタバンク、サブバンド
分割合成フィルタバンクなどを用いることができる。
【０００４】図１３のように分割された画像信号は各帯
域毎に異なる特性（例えば相関性、統計的性質など）を
もっているため、各帯域毎に帯域の特性に合わせた符号
化方式を用い、また異なるビットレートを割り当てるこ
とができるため、符号化効率がよいことがサブバンド符
号化方式の特徴である。
域毎に異なる特性（例えば相関性、統計的性質など）を
もっているため、各帯域毎に帯域の特性に合わせた符号
化方式を用い、また異なるビットレートを割り当てるこ
とができるため、符号化効率がよいことがサブバンド符
号化方式の特徴である。
【０００５】図１４に２段のサブバンド分割を処理する
画像符号化装置を、図１５に２段のサブバンド合成を処
理する画像復号装置を示す。ここで、1501は入力画像
（原信号でもよいし、動画像では動き予測を行った後の
予測誤差信号でもよい）を分割する２次元分割フィル
タ、1502は水平及び垂直方向各々2:1のダウンサンプリ
ングを行うダウンサンプリング部、1503はサブバンド分
割後の各帯域毎のデータを符号化または量子化するレイ
ヤ符号化／量子化部、1504はレイヤ符号化／量子化部の
出力をエントロピー符号化するエントロピー符号化部、
1508は各帯域の符号化データをまとめる符号化データ階
層部である。ここでレイヤ符号化／量子化部1504の処理
としては、量子化のみを行ってもよいし、符号化にはDP
CMを用いその結果を量子化してもよいし、またはベクト
ル量子化を行ってもよいなど、様々な方法を使うことが
できる。また符号化データ階層部1508は各帯域の符号化
データに階層性を持たすためのものである。例えば、図
１３は３段の２次元分割フィルタを用いて画像をサブバ
ンド分割した場合であるが、低解像度の帯域からLL2、L
H2、HL2、HH2、LH1、HL1、HH1と帯域毎に符号化データ
をまとめ、各帯域の情報の先頭に帯域を表すヘッダを付
加することで、符号化データの階層構造を実現すること
ができる。
画像符号化装置を、図１５に２段のサブバンド合成を処
理する画像復号装置を示す。ここで、1501は入力画像
（原信号でもよいし、動画像では動き予測を行った後の
予測誤差信号でもよい）を分割する２次元分割フィル
タ、1502は水平及び垂直方向各々2:1のダウンサンプリ
ングを行うダウンサンプリング部、1503はサブバンド分
割後の各帯域毎のデータを符号化または量子化するレイ
ヤ符号化／量子化部、1504はレイヤ符号化／量子化部の
出力をエントロピー符号化するエントロピー符号化部、
1508は各帯域の符号化データをまとめる符号化データ階
層部である。ここでレイヤ符号化／量子化部1504の処理
としては、量子化のみを行ってもよいし、符号化にはDP
CMを用いその結果を量子化してもよいし、またはベクト
ル量子化を行ってもよいなど、様々な方法を使うことが
できる。また符号化データ階層部1508は各帯域の符号化
データに階層性を持たすためのものである。例えば、図
１３は３段の２次元分割フィルタを用いて画像をサブバ
ンド分割した場合であるが、低解像度の帯域からLL2、L
H2、HL2、HH2、LH1、HL1、HH1と帯域毎に符号化データ
をまとめ、各帯域の情報の先頭に帯域を表すヘッダを付
加することで、符号化データの階層構造を実現すること
ができる。
【０００６】次に1601は符号化データをエントロピー復
号するエントロピー復号部、1602はエントロピー復号部
の出力をレイヤ符号化／量子化部1503に対応する方式で
逆量子化または復号するレイヤ逆量子化／復号部、1603
は水平及び垂直方向に各々1:2のアップサンプリングを
行うアップサンプリング部、1604はアップサンプリング
した信号を所定の帯域にサブバンド合成する２次元合成
フィルタ、1606は符号化データを各帯域毎のデータに分
離する符号化データ分離部である。３段以上のサブバン
ド分割を処理する場合は、図１２に示すように同図のLL
2の領域に含まれる信号に対し、さらに分割／合成フィ
ルタをかけることで達成することができる。なおレイヤ
符号化／量子化部1503とこれに対応するレイヤ逆量子化
／復号部1602はLL、LH、HL、HHの各帯域の特性に合わせ
た方法を選択してもよいし、同じ方式を使用してもよ
い。
号するエントロピー復号部、1602はエントロピー復号部
の出力をレイヤ符号化／量子化部1503に対応する方式で
逆量子化または復号するレイヤ逆量子化／復号部、1603
は水平及び垂直方向に各々1:2のアップサンプリングを
行うアップサンプリング部、1604はアップサンプリング
した信号を所定の帯域にサブバンド合成する２次元合成
フィルタ、1606は符号化データを各帯域毎のデータに分
離する符号化データ分離部である。３段以上のサブバン
ド分割を処理する場合は、図１２に示すように同図のLL
2の領域に含まれる信号に対し、さらに分割／合成フィ
ルタをかけることで達成することができる。なおレイヤ
符号化／量子化部1503とこれに対応するレイヤ逆量子化
／復号部1602はLL、LH、HL、HHの各帯域の特性に合わせ
た方法を選択してもよいし、同じ方式を使用してもよ
い。
【０００７】
【発明が解決しようとする課題】近年研究が活発に行わ
れている超低ビットレートを目標とした動画像符号化に
おいては、サブバンド画像の各帯域毎に異なる符号化方
式を用いて、異なるビットレートを割り当てるだけで
は、視覚的に十分な画質を得ることが難しいという問題
がある。
れている超低ビットレートを目標とした動画像符号化に
おいては、サブバンド画像の各帯域毎に異なる符号化方
式を用いて、異なるビットレートを割り当てるだけで
は、視覚的に十分な画質を得ることが難しいという問題
がある。
【０００８】従来のサブバンド分割方式ではサブバンド
画像の同じ帯域のデータに対しては、同じ符号化方式を
用い、同じビットレートを割り当てるため、例えば原画
像シーケンスが図１６に示すようなオブジェクト（対象
となる人、物体）と背景とに分けることができるような
シーケンスの場合には、オブジェクトと背景に同じ処理
を施してしまい、例えばオブジェクトと背景とに同じ量
子化値を用いるなど、非効率となってしまう。
画像の同じ帯域のデータに対しては、同じ符号化方式を
用い、同じビットレートを割り当てるため、例えば原画
像シーケンスが図１６に示すようなオブジェクト（対象
となる人、物体）と背景とに分けることができるような
シーケンスの場合には、オブジェクトと背景に同じ処理
を施してしまい、例えばオブジェクトと背景とに同じ量
子化値を用いるなど、非効率となってしまう。
【０００９】本発明の目的は、上記従来の動画像符号化
装置及び動画像復号装置における問題を解決し、超低ビ
ットレートで視覚的に高画質の画像が得られる動画像符
号化装置及び動画像復号装置を提供することにある。
装置及び動画像復号装置における問題を解決し、超低ビ
ットレートで視覚的に高画質の画像が得られる動画像符
号化装置及び動画像復号装置を提供することにある。
【００１０】
【課題を解決するための手段】本発明の動画像符号化装
置及び動画像復号装置は、上記課題を解決するため以下
の構成からなる。
置及び動画像復号装置は、上記課題を解決するため以下
の構成からなる。
【００１１】(１) 画像から複数個の領域を抽出し、領
域毎に分割する領域抽出／分割手段と、分割領域毎に画
像中での各領域の重要度を決定する領域ランク指定手段
と、各領域の位置、形状、重要度（以下領域情報と呼
ぶ）を符号化する領域情報符号化手段と、画像をサブバ
ンド分割する分割フィルタバンクと、サブバンド分割さ
れた各帯域の各領域毎に画質を変更するレイヤ符号化／
量子化手段と、これをエントロピー符号化するエントロ
ピー符号化手段と、領域情報の符号化データとサブバン
ド画像の各帯域毎の符号化データを階層化する符号化デ
ータ階層化手段とからなる。
域毎に分割する領域抽出／分割手段と、分割領域毎に画
像中での各領域の重要度を決定する領域ランク指定手段
と、各領域の位置、形状、重要度（以下領域情報と呼
ぶ）を符号化する領域情報符号化手段と、画像をサブバ
ンド分割する分割フィルタバンクと、サブバンド分割さ
れた各帯域の各領域毎に画質を変更するレイヤ符号化／
量子化手段と、これをエントロピー符号化するエントロ
ピー符号化手段と、領域情報の符号化データとサブバン
ド画像の各帯域毎の符号化データを階層化する符号化デ
ータ階層化手段とからなる。
【００１２】(２)上記(１)に加えて、符号化する際の画
質の周期的な変更を可能にするためのフレームカウンタ
手段と、量子化幅変更手段とからなる。
質の周期的な変更を可能にするためのフレームカウンタ
手段と、量子化幅変更手段とからなる。
【００１３】(３)上記(２)に加えて、領域情報をたくわ
える領域情報記憶手段と、現在の領域情報と領域情報記
憶手段にたくわえられた既に処理済みのフレームの領域
情報とから動領域の動き情報を求める動き領域検出手段
からなる。
える領域情報記憶手段と、現在の領域情報と領域情報記
憶手段にたくわえられた既に処理済みのフレームの領域
情報とから動領域の動き情報を求める動き領域検出手段
からなる。
【００１４】(４)符号化データを領域情報の符号化デー
タとサブバンド画像の各帯域毎の符号化データとに分離
する符号化データ分離手段と、サブバンド画像の各帯域
毎の符号化データをエントロピー復号するエントロピー
復号手段と、領域情報を復号する領域情報復号手段と、
領域情報をもとにサブバンド画像の各帯域毎の符号化デ
ータを逆量子化または復号するレイヤ逆量子化／復号手
段と、レイヤ逆量子化／復号手段の出力を所定の帯域に
サブバンド合成する合成フィルタバンクとからなる。
タとサブバンド画像の各帯域毎の符号化データとに分離
する符号化データ分離手段と、サブバンド画像の各帯域
毎の符号化データをエントロピー復号するエントロピー
復号手段と、領域情報を復号する領域情報復号手段と、
領域情報をもとにサブバンド画像の各帯域毎の符号化デ
ータを逆量子化または復号するレイヤ逆量子化／復号手
段と、レイヤ逆量子化／復号手段の出力を所定の帯域に
サブバンド合成する合成フィルタバンクとからなる。
【００１５】(５)上記(４)に加えて、再生画像の画質の
周期的な変更を可能にするためのフレームカウンタ手段
と、量子化幅変更手段とからなる。
周期的な変更を可能にするためのフレームカウンタ手段
と、量子化幅変更手段とからなる。
【００１６】(６)上記(５)に加えて、領域情報をたくわ
える領域情報記憶手段と、現在の領域情報と領域情報記
憶手段にたくわえられた既に処理済みのフレームの領域
情報とから領域の動き情報を求める動き領域検出手段か
らなる。
える領域情報記憶手段と、現在の領域情報と領域情報記
憶手段にたくわえられた既に処理済みのフレームの領域
情報とから領域の動き情報を求める動き領域検出手段か
らなる。
【００１７】
【作用】本発明の動画像符号化装置及び動画像復号装置
では、画像をツリー構造をもつサブバンドに分割し、サ
ブバンドの各帯域と画像を領域に分割した結果をもと
に、空間解像度と量子化幅に違いをもたせることによっ
て、重要と判断された領域をその他の領域よりも高画質
にすることができる。
では、画像をツリー構造をもつサブバンドに分割し、サ
ブバンドの各帯域と画像を領域に分割した結果をもと
に、空間解像度と量子化幅に違いをもたせることによっ
て、重要と判断された領域をその他の領域よりも高画質
にすることができる。
【００１８】本発明の動画像符号化装置及び動画像復号
装置では、画像をツリー構造をもつサブバンドに分割
し、サブバンドの各帯域と画像を領域に分割した結果と
時間情報とをもとに、空間解像度と量子化幅と時間解像
度とに違いをもたせることによって、重要と判断された
領域をその他の領域よりも高画質にすることができる。
装置では、画像をツリー構造をもつサブバンドに分割
し、サブバンドの各帯域と画像を領域に分割した結果と
時間情報とをもとに、空間解像度と量子化幅と時間解像
度とに違いをもたせることによって、重要と判断された
領域をその他の領域よりも高画質にすることができる。
【００１９】本発明の動画像符号化装置及び動画像復号
装置では、画像をツリー構造をもつサブバンドに分割
し、サブバンドの各帯域と画像を領域に分割した結果と
時間情報と動き情報とをもとに、空間解像度と量子化幅
と時間解像度とに違いをもたせることによって、重要と
判断された領域をその他の領域よりも高画質にし、また
動きのある領域のために変化の生じた回りの領域に対し
ても情報を与えることによって、視覚的に良好な画質を
得ることができる。
装置では、画像をツリー構造をもつサブバンドに分割
し、サブバンドの各帯域と画像を領域に分割した結果と
時間情報と動き情報とをもとに、空間解像度と量子化幅
と時間解像度とに違いをもたせることによって、重要と
判断された領域をその他の領域よりも高画質にし、また
動きのある領域のために変化の生じた回りの領域に対し
ても情報を与えることによって、視覚的に良好な画質を
得ることができる。
【００２０】本発明の動画像符号化装置では符号化デー
タに階層構造をもたせているため、動画像復号装置では
符号化データの一部を復号することで簡単にデータの復
号ができる。また階層構造によって空間解像度が異なる
ので、再生画像を表示する表示装置に合わせた解像度の
画像を復号することができる。
タに階層構造をもたせているため、動画像復号装置では
符号化データの一部を復号することで簡単にデータの復
号ができる。また階層構造によって空間解像度が異なる
ので、再生画像を表示する表示装置に合わせた解像度の
画像を復号することができる。
【００２１】
【実施例】以下図面を参照して、本発明の動画像符号化
装置及び動画像復号装置の実施例を詳細に説明する。
装置及び動画像復号装置の実施例を詳細に説明する。
【００２２】まず、本発明の第１の実施例を、図１に示
す符号化装置及び図５に示す復号装置に基づいて説明す
る。
す符号化装置及び図５に示す復号装置に基づいて説明す
る。
【００２３】図１は本発明の第１の実施例における符号
化装置のブロック図である。図１において101、102、10
4は図１４に示す1501、1502、1504と全く同じ構成であ
る。101は２次元分割フィルタバンク、102は水平及び垂
直方向各々2:1のダウンサンプリング部、104は量子化後
のデータをエントロピー符号化するエントロピー符号化
部である。エントロピー符号化部104では各帯域毎のデ
ータを別々に符号化することもできるし、一つにまとめ
て符号化することもできる。１段目の２次元分割フィル
タバンクの水平方向低域かつ垂直方向低域の帯域LL1は
ダウンサンプリング後、次段の２次元分割フィルタによ
ってさらに４つの帯域LL2、LH2、HL2、HH2に分割され
る。103は帯域の種類（水平方向低域かつ垂直方向低
域、水平方向低域かつ垂直方向高域、水平方向高域かつ
垂直方向低域、水平方向高域かつ垂直方向高域）と領域
ランク指定部106の出力である各領域の重要度とをもと
に符号化方法あるいは量子化幅を設定するレイヤ符号化
／量子化部である。105は画像内の特定の領域を抽出
し、画像を領域毎に分割する領域分割／抽出部である。
例えばテレビ電話等の画像で顔領域を抽出する場合、文
献”リアルタイム顔画像追尾方式”（画像電子学会研究
会予稿、93-04-04 pp.13-16(1994)）に記載されている
ような方式を用いて顔領域を抽出し、分割することがで
きる。また、動画像シーケンスがもっと一般的なオブジ
ェクトの場合は、特開平6-251148号の公報に記載されて
いるような方法を用いて、オブジェクトの輪郭をもとに
領域を抽出し、分割することができる。106は領域抽出
／分割部105で得られた領域分割画像を用いて、分割さ
れた各領域に画像中での重要度を割り当てる領域ランク
指定部である。例えば領域抽出／分割部105の出力が、
図１６のような画像を背景とオブジェクトに分割したも
のであるとする。この例ではオブジェクトとして人物を
扱っている。例えば図２のように、顔に相当する部分は
観察者が最も重視する部分なので、重要度が最も高いレ
ベル１を与え、顔以外のオブジェクトの部分は、顔より
は重要度が低いものの手の動きなど観察者の視覚に訴え
るものが多いので、レベル２を与え、背景は最も重要度
が低いのでレベル３を与えるようにしている。図２の例
ではレベルを１〜３に限ったが、レベル数はさらに多く
てもまた少なくてもよい。また図２ではオブジェクトを
顔と体に分けて異なるレベルを与えたが、同一のレベル
を与えることもできる。また重要度の判定方法として
は、この他にも、画像の中心に近い領域ほど高いレベル
を与える方法や、オブジェクトの動き情報を利用して動
きに応じてレベルを与える方法なども可能である。107
は領域分割/抽出部105で得られた各領域の位置、形状と
領域ランク指定部106で得られた各領域の重要度とを符
号化する領域情報符号化部である。領域の位置、形状、
重要度の情報を合わせて以後領域情報と呼ぶ。領域の位
置、形状の符号化方法としては、例えば領域の輪郭を符
号化するチェイン符号化等がある。108は領域情報の符
号化データと各帯域の符号化データとをまとめて階層化
し、図１の動画像符号化装置の出力となる符号化データ
を作成する符号化データ階層化部である。これは従来の
各帯域の画像情報の符号化データを階層化するのに加え
て、領域情報の先頭に領域を示すヘッダを付加した領域
情報の符号化データを合わせて、階層構造を実現するも
のである。
化装置のブロック図である。図１において101、102、10
4は図１４に示す1501、1502、1504と全く同じ構成であ
る。101は２次元分割フィルタバンク、102は水平及び垂
直方向各々2:1のダウンサンプリング部、104は量子化後
のデータをエントロピー符号化するエントロピー符号化
部である。エントロピー符号化部104では各帯域毎のデ
ータを別々に符号化することもできるし、一つにまとめ
て符号化することもできる。１段目の２次元分割フィル
タバンクの水平方向低域かつ垂直方向低域の帯域LL1は
ダウンサンプリング後、次段の２次元分割フィルタによ
ってさらに４つの帯域LL2、LH2、HL2、HH2に分割され
る。103は帯域の種類（水平方向低域かつ垂直方向低
域、水平方向低域かつ垂直方向高域、水平方向高域かつ
垂直方向低域、水平方向高域かつ垂直方向高域）と領域
ランク指定部106の出力である各領域の重要度とをもと
に符号化方法あるいは量子化幅を設定するレイヤ符号化
／量子化部である。105は画像内の特定の領域を抽出
し、画像を領域毎に分割する領域分割／抽出部である。
例えばテレビ電話等の画像で顔領域を抽出する場合、文
献”リアルタイム顔画像追尾方式”（画像電子学会研究
会予稿、93-04-04 pp.13-16(1994)）に記載されている
ような方式を用いて顔領域を抽出し、分割することがで
きる。また、動画像シーケンスがもっと一般的なオブジ
ェクトの場合は、特開平6-251148号の公報に記載されて
いるような方法を用いて、オブジェクトの輪郭をもとに
領域を抽出し、分割することができる。106は領域抽出
／分割部105で得られた領域分割画像を用いて、分割さ
れた各領域に画像中での重要度を割り当てる領域ランク
指定部である。例えば領域抽出／分割部105の出力が、
図１６のような画像を背景とオブジェクトに分割したも
のであるとする。この例ではオブジェクトとして人物を
扱っている。例えば図２のように、顔に相当する部分は
観察者が最も重視する部分なので、重要度が最も高いレ
ベル１を与え、顔以外のオブジェクトの部分は、顔より
は重要度が低いものの手の動きなど観察者の視覚に訴え
るものが多いので、レベル２を与え、背景は最も重要度
が低いのでレベル３を与えるようにしている。図２の例
ではレベルを１〜３に限ったが、レベル数はさらに多く
てもまた少なくてもよい。また図２ではオブジェクトを
顔と体に分けて異なるレベルを与えたが、同一のレベル
を与えることもできる。また重要度の判定方法として
は、この他にも、画像の中心に近い領域ほど高いレベル
を与える方法や、オブジェクトの動き情報を利用して動
きに応じてレベルを与える方法なども可能である。107
は領域分割/抽出部105で得られた各領域の位置、形状と
領域ランク指定部106で得られた各領域の重要度とを符
号化する領域情報符号化部である。領域の位置、形状、
重要度の情報を合わせて以後領域情報と呼ぶ。領域の位
置、形状の符号化方法としては、例えば領域の輪郭を符
号化するチェイン符号化等がある。108は領域情報の符
号化データと各帯域の符号化データとをまとめて階層化
し、図１の動画像符号化装置の出力となる符号化データ
を作成する符号化データ階層化部である。これは従来の
各帯域の画像情報の符号化データを階層化するのに加え
て、領域情報の先頭に領域を示すヘッダを付加した領域
情報の符号化データを合わせて、階層構造を実現するも
のである。
【００２４】次に領域情報を使ったサブバンド画像の符
号化／量子化について述べる。
号化／量子化について述べる。
【００２５】図１３は図１２のような３段の２次元分割
フィルタを用いて分割したサブバンド画像である。従来
より図１３の各帯域毎（LL3、LH3、HL3、HH3、LH2、HL
2、HH2、LH1、HL1、HH1）に異なる符号化、あるいは量
子化が行われていることは既に述べた。一般には低域の
情報を多く含む図１３の左上の帯域ほど細かい量子化幅
を用い、高域の情報（エッジ情報など）を多く含む図１
３の右下の帯域ほど粗い量子化幅を用いて量子化を行う
ことが知られている。本実施例では従来、各帯域内では
同じ量子化処理が行われていたものを、図２に示すよう
な領域情報を用いることによって、同じ帯域内でも量子
化幅を変更することができ、重要な部分に細かい量子化
幅を割り当てることができるのが特徴である。つまり領
域分割により、各帯域について量子化幅は各領域毎に設
定できる。
フィルタを用いて分割したサブバンド画像である。従来
より図１３の各帯域毎（LL3、LH3、HL3、HH3、LH2、HL
2、HH2、LH1、HL1、HH1）に異なる符号化、あるいは量
子化が行われていることは既に述べた。一般には低域の
情報を多く含む図１３の左上の帯域ほど細かい量子化幅
を用い、高域の情報（エッジ情報など）を多く含む図１
３の右下の帯域ほど粗い量子化幅を用いて量子化を行う
ことが知られている。本実施例では従来、各帯域内では
同じ量子化処理が行われていたものを、図２に示すよう
な領域情報を用いることによって、同じ帯域内でも量子
化幅を変更することができ、重要な部分に細かい量子化
幅を割り当てることができるのが特徴である。つまり領
域分割により、各帯域について量子化幅は各領域毎に設
定できる。
【００２６】図３(a)は図１の２段サブバンド分割を用
い、図２に示す領域(1〜3)を用いた場合に設定し得る量
子化値について記したものである。帯域LL2では
QLL2-1、QLL2-2、QLL2-3の３種類の量子化幅を取り得
る。以下同様に帯域LH2、HL2、HH2、LH1、HL1、HH1でも
それぞれ３種類の量子化幅を用いることができ、計21種
類の量子化幅を用いることができる。一般に量子化幅は
低域すなわち図３(a)の左上の帯域ほど細かくし、高域
すなわち図３(a)の右下の帯域ほど粗い量子化幅を用い
るほうが画質がよい。また重要領域すなわち領域レベル
の低い領域ほど量子化幅を細かくする方が視覚的に画質
がよくなる。従ってこれらを考慮して上記の21種類の量
子化幅を設定することになる。図３(b)は量子化幅設定
の一例を示したもので、各帯域（LL2、(LH2、HL2、HH
2)、(LH1、HL1、HH1))の各領域（レベル１、２、３）毎
に異なる量子化幅を使用したものである。つまり、レベ
ル１、２、３で各々使う量子化幅をQX-1、QX-2、Q
X-3(ここでX:LL2〜HH1)とすると、 QX-1<QX-2<QX-3 (1) の場合に限定し、重要な領域ほど細かい量子化を行って
主観的な画質を良くしようとするものである。
い、図２に示す領域(1〜3)を用いた場合に設定し得る量
子化値について記したものである。帯域LL2では
QLL2-1、QLL2-2、QLL2-3の３種類の量子化幅を取り得
る。以下同様に帯域LH2、HL2、HH2、LH1、HL1、HH1でも
それぞれ３種類の量子化幅を用いることができ、計21種
類の量子化幅を用いることができる。一般に量子化幅は
低域すなわち図３(a)の左上の帯域ほど細かくし、高域
すなわち図３(a)の右下の帯域ほど粗い量子化幅を用い
るほうが画質がよい。また重要領域すなわち領域レベル
の低い領域ほど量子化幅を細かくする方が視覚的に画質
がよくなる。従ってこれらを考慮して上記の21種類の量
子化幅を設定することになる。図３(b)は量子化幅設定
の一例を示したもので、各帯域（LL2、(LH2、HL2、HH
2)、(LH1、HL1、HH1))の各領域（レベル１、２、３）毎
に異なる量子化幅を使用したものである。つまり、レベ
ル１、２、３で各々使う量子化幅をQX-1、QX-2、Q
X-3(ここでX:LL2〜HH1)とすると、 QX-1<QX-2<QX-3 (1) の場合に限定し、重要な領域ほど細かい量子化を行って
主観的な画質を良くしようとするものである。
【００２７】また重要でない領域は符号化を行わないと
いう処理も可能である。この場合符号化データには、符
号化を行わない領域を示す情報も含めることにしてい
る。図３(c)は符号化を行わない領域を用いる一例であ
り、図中"０"の領域が符号化データをもたない領域であ
る。つまり、帯域LL2ではすべての領域を符号化し、帯
域LH2、HL2、HH2ではオブジェクトの顔と体を符号化
し、背景は符号化しない。帯域LH3、HL3、HH3では視覚
的に最も重要なオブジェクトの頭だけを符号化し、オブ
ジェクトの体と背景は符号化しない。以上のデータを使
って再生した画像は、図２のレベル３（背景）の領域は
解像度の低い低画質の画像であるが、図２のレベル２
（オブジェクトの体）の領域は背景よりは解像度の高い
やや高画質の画像になり、図２のレベル１（オブジェク
トの顔）の領域は解像度の高い高画質の画像になる。
いう処理も可能である。この場合符号化データには、符
号化を行わない領域を示す情報も含めることにしてい
る。図３(c)は符号化を行わない領域を用いる一例であ
り、図中"０"の領域が符号化データをもたない領域であ
る。つまり、帯域LL2ではすべての領域を符号化し、帯
域LH2、HL2、HH2ではオブジェクトの顔と体を符号化
し、背景は符号化しない。帯域LH3、HL3、HH3では視覚
的に最も重要なオブジェクトの頭だけを符号化し、オブ
ジェクトの体と背景は符号化しない。以上のデータを使
って再生した画像は、図２のレベル３（背景）の領域は
解像度の低い低画質の画像であるが、図２のレベル２
（オブジェクトの体）の領域は背景よりは解像度の高い
やや高画質の画像になり、図２のレベル１（オブジェク
トの顔）の領域は解像度の高い高画質の画像になる。
【００２８】次に図５を用いて本発明の第1の実施例に
おけるに動画像復号装置を説明する。図５の501、503、
504は図１５の1601、1603、1604と同じものであり、501
はエントロピー復号を行うエントロピー復号部、503は
水平及び垂直方向各々1:2のアップサンプリングを行う
アップサンプリング部、504はサブバンドに分割された
画像を合成する２次元合成フィルタである。506は符号
化データを各分割領域の領域情報と各帯域毎の符号化デ
ータに分離する符号化データ分離部、502はエントロピ
ー復号分離部501の出力を各帯域毎に図１のレイヤ符号
化／量子化部103の処理に応じた逆量子化／復号を行う
レイヤ逆量子化／復号部、505は領域情報の符号化デー
タから例えば図２に示すような領域情報を復号する領域
情報復号部である。レイヤ逆量子化／復号部502では、
領域情報復号部505の出力である領域情報を利用して、
各帯域の領域毎に符号化／量子化に対応した逆量子化／
復号処理を行う。例えば、図４(a)のLL2に２次元合成フ
ィルタをかけると図４(b-3)のような最も解像度の低い
再生画像が得られ、図４(a)のLL2、LH2、HL2、HH2に２
次元合成フィルタをかけると図４(b-2)のようなオブジ
ェクトがやや解像度の高い再生画像が得られ、図４の全
ての帯域に２次元合成フィルタをかけると図４(b-1)の
ようなオブジェクトの頭は高解像度でオブジェクトの体
はやや解像度の高い再生画像が得られる。
おけるに動画像復号装置を説明する。図５の501、503、
504は図１５の1601、1603、1604と同じものであり、501
はエントロピー復号を行うエントロピー復号部、503は
水平及び垂直方向各々1:2のアップサンプリングを行う
アップサンプリング部、504はサブバンドに分割された
画像を合成する２次元合成フィルタである。506は符号
化データを各分割領域の領域情報と各帯域毎の符号化デ
ータに分離する符号化データ分離部、502はエントロピ
ー復号分離部501の出力を各帯域毎に図１のレイヤ符号
化／量子化部103の処理に応じた逆量子化／復号を行う
レイヤ逆量子化／復号部、505は領域情報の符号化デー
タから例えば図２に示すような領域情報を復号する領域
情報復号部である。レイヤ逆量子化／復号部502では、
領域情報復号部505の出力である領域情報を利用して、
各帯域の領域毎に符号化／量子化に対応した逆量子化／
復号処理を行う。例えば、図４(a)のLL2に２次元合成フ
ィルタをかけると図４(b-3)のような最も解像度の低い
再生画像が得られ、図４(a)のLL2、LH2、HL2、HH2に２
次元合成フィルタをかけると図４(b-2)のようなオブジ
ェクトがやや解像度の高い再生画像が得られ、図４の全
ての帯域に２次元合成フィルタをかけると図４(b-1)の
ようなオブジェクトの頭は高解像度でオブジェクトの体
はやや解像度の高い再生画像が得られる。
【００２９】次に、本発明の第２の実施例を、図６に示
す符号化装置及び図８に示す復号装置に基づいて説明す
る。
す符号化装置及び図８に示す復号装置に基づいて説明す
る。
【００３０】図６は本発明の第２の実施例における動画
像符号化装置のブロック図である。図６と図１との違い
は、フレームカウンタ609と量子化幅変更部612である。
フレームカウンタ609をブロック図に組み込むことによ
り、量子化幅変更部612で特定時刻のフレームで使用す
る量子化幅を変更し、レイヤ符号化／量子化部603の処
理の基準に時間情報を加えることができる。量子化幅の
時間的な制御は、決められた同期で行ってもよいし、ユ
ーザが調整できるようにしてもよい。また重要領域の大
きさによって周期が大きく、または小さくなるようにし
てもよい。図７を使って具体例を説明する。図７は時間
の経過に従って図２のような領域情報をもつサブバンド
画像の符号化方式の一例を示したものである。フレーム
カウンタ609は最初のフレームが入力されたときにリセ
ットする。時刻t1では図３(a)に示されるように各帯域
の各領域を量子化幅QX-I(t1)(ここでX:LL2〜HH1、I:1〜
3)である。次に時刻t2では量子化幅をQX-I(t2)とし、次
式の関係を持たせる。
像符号化装置のブロック図である。図６と図１との違い
は、フレームカウンタ609と量子化幅変更部612である。
フレームカウンタ609をブロック図に組み込むことによ
り、量子化幅変更部612で特定時刻のフレームで使用す
る量子化幅を変更し、レイヤ符号化／量子化部603の処
理の基準に時間情報を加えることができる。量子化幅の
時間的な制御は、決められた同期で行ってもよいし、ユ
ーザが調整できるようにしてもよい。また重要領域の大
きさによって周期が大きく、または小さくなるようにし
てもよい。図７を使って具体例を説明する。図７は時間
の経過に従って図２のような領域情報をもつサブバンド
画像の符号化方式の一例を示したものである。フレーム
カウンタ609は最初のフレームが入力されたときにリセ
ットする。時刻t1では図３(a)に示されるように各帯域
の各領域を量子化幅QX-I(t1)(ここでX:LL2〜HH1、I:1〜
3)である。次に時刻t2では量子化幅をQX-I(t2)とし、次
式の関係を持たせる。
【００３１】 QX-I(t1)＜QX-I(t2) (2) 従って時刻t2の画質は時刻t1の画質よりも低下する。時
刻t4も同様である。
刻t4も同様である。
【００３２】また時刻t3では量子化幅をQX-I(t3)とし、
次式の関係を持たせる。
次式の関係を持たせる。
【００３３】 QX-I(t1)＜QX-I(t3)＜QX-I(t2) (3) 従って時刻t3の画質は時刻t2の画質よりは良いが、時刻
t1の画質よりも悪い。
t1の画質よりも悪い。
【００３４】以上t1〜t4を1つの周期として、この周期
を繰り返すことによって領域毎に異なる時間解像度をも
つ動画像シーケンスとして符号化することができる。以
上の処理は量子化幅変更部612で、フレームカウンタ609
の出力によって量子化値を変更することによって実現で
きる。この処理を行うことによって、量子化幅に時間的
な変化を持たすことができ、また各領域の重要度に応じ
て量子化幅の変更の度合いを変えることで、重要な領域
（オブジェクト）は量子化幅の変更の度合いを小さく
し、背景は量子化幅の変更の度合いを大きくし、視覚的
な画質を高めることができる。また重要でない領域に関
しては符号化を行わない時刻を設けることもでき、重要
な領域は高い時間解像度で表示し、重要でない領域は低
い時間解像度で表示することが可能であり、画像全体を
同じ時間解像度で符号化した場合と同じビットレートで
比べると、視覚的に高い画質のものが得られる。なお上
記の例では、瞬間的にやや画質を落として符号化してい
るが、視覚的には各時刻の画像を均一の画質で表示して
も、瞬間的に低い画質の画像が入っても同じに見えるこ
とが既に知られている。動画像国際標準のISO-IEC11172
ではこの性質を使っており、上記の例のように瞬間的に
画質を落としても視覚的な劣化は認められない。
を繰り返すことによって領域毎に異なる時間解像度をも
つ動画像シーケンスとして符号化することができる。以
上の処理は量子化幅変更部612で、フレームカウンタ609
の出力によって量子化値を変更することによって実現で
きる。この処理を行うことによって、量子化幅に時間的
な変化を持たすことができ、また各領域の重要度に応じ
て量子化幅の変更の度合いを変えることで、重要な領域
（オブジェクト）は量子化幅の変更の度合いを小さく
し、背景は量子化幅の変更の度合いを大きくし、視覚的
な画質を高めることができる。また重要でない領域に関
しては符号化を行わない時刻を設けることもでき、重要
な領域は高い時間解像度で表示し、重要でない領域は低
い時間解像度で表示することが可能であり、画像全体を
同じ時間解像度で符号化した場合と同じビットレートで
比べると、視覚的に高い画質のものが得られる。なお上
記の例では、瞬間的にやや画質を落として符号化してい
るが、視覚的には各時刻の画像を均一の画質で表示して
も、瞬間的に低い画質の画像が入っても同じに見えるこ
とが既に知られている。動画像国際標準のISO-IEC11172
ではこの性質を使っており、上記の例のように瞬間的に
画質を落としても視覚的な劣化は認められない。
【００３５】次に図８を用いて本発明の第２の実施例に
おける動画像復号装置を説明する。図８と図５の違いは
フレームカウンタ807と量子化幅変更部810である。図８
ではフレームカウンタ807を加えることにより、量子化
幅変更部810で特定時刻のフレームで使用する量子化幅
を変更し、レイヤ逆量子化／復号部802の処理に時間情
報を用いることが可能になり、図６に示す動画像符号化
装置で符号化した符号化データの復号が可能になる。な
お、図６に示す動画像符号化装置との同期をとるため
に、フレームカウンタ807は最初のフレームが入力され
たときにリセットする必要がある。
おける動画像復号装置を説明する。図８と図５の違いは
フレームカウンタ807と量子化幅変更部810である。図８
ではフレームカウンタ807を加えることにより、量子化
幅変更部810で特定時刻のフレームで使用する量子化幅
を変更し、レイヤ逆量子化／復号部802の処理に時間情
報を用いることが可能になり、図６に示す動画像符号化
装置で符号化した符号化データの復号が可能になる。な
お、図６に示す動画像符号化装置との同期をとるため
に、フレームカウンタ807は最初のフレームが入力され
たときにリセットする必要がある。
【００３６】さらに、本発明の第３の実施例を、図９に
示す符号化装置及び図１１に示す復号装置に基づいて説
明する。
示す符号化装置及び図１１に示す復号装置に基づいて説
明する。
【００３７】図９は本発明の第３の実施例における動画
像符号化装置のブロック図である。図９と図６の違い
は、図９では領域情報記憶部910と動き領域検出部911を
付加したことである。910は既に処理済みのフレームの
領域ランク指定部906で作成された領域情報をたくわえ
る領域情報記憶部、911は領域ランク指定部906にある現
在の領域情報と領域情報記憶部910にたくわえられた既
に処理済みのフレームの領域情報から、オブジェクトの
動きによって新しく現れた背景と動いたオブジェクトの
領域を検出するための動き領域検出部である。
像符号化装置のブロック図である。図９と図６の違い
は、図９では領域情報記憶部910と動き領域検出部911を
付加したことである。910は既に処理済みのフレームの
領域ランク指定部906で作成された領域情報をたくわえ
る領域情報記憶部、911は領域ランク指定部906にある現
在の領域情報と領域情報記憶部910にたくわえられた既
に処理済みのフレームの領域情報から、オブジェクトの
動きによって新しく現れた背景と動いたオブジェクトの
領域を検出するための動き領域検出部である。
【００３８】図10は時間の経過に従って、図２のような
領域情報をもつ動画像シーケンスの符号化を説明する図
である。図７と異なり、図10では格子柄で塗り潰した１
フレーム前にオブジェクトが存在した位置と現在オブジ
ェクトが存在する位置、つまりオブジェクトの動きによ
って変化した領域を、動き領域検出部911の出力によっ
て知ることができる。例えば図７と図10の時刻t2を比較
すると、図７では各帯域の各領域に対して量子化幅の大
小はあるものの全てに情報が割り当てられている。一方
図10では、情報の割り当てられる部分は重要な領域と、
オブジェクトの動きによって新たに現れた部分(格子柄
で塗り潰した部分)のみである。つまり領域情報と時間
情報とのほかに、オブジェクトのために隠れていた背景
を特定することができるため、動きの少ない背景には全
く情報を与えず、オブジェクトの動きによって変化した
部分だけを符号化することによって、画質を保ちながら
符号化データ量を少なくすることができる。またここで
使用する動きの情報は復号側でも同様の領域情報記憶部
と動き領域検出部をもつことによって知ることができる
ため、動き情報を符号化する必要はなく、符号化情報の
増加はない。
領域情報をもつ動画像シーケンスの符号化を説明する図
である。図７と異なり、図10では格子柄で塗り潰した１
フレーム前にオブジェクトが存在した位置と現在オブジ
ェクトが存在する位置、つまりオブジェクトの動きによ
って変化した領域を、動き領域検出部911の出力によっ
て知ることができる。例えば図７と図10の時刻t2を比較
すると、図７では各帯域の各領域に対して量子化幅の大
小はあるものの全てに情報が割り当てられている。一方
図10では、情報の割り当てられる部分は重要な領域と、
オブジェクトの動きによって新たに現れた部分(格子柄
で塗り潰した部分)のみである。つまり領域情報と時間
情報とのほかに、オブジェクトのために隠れていた背景
を特定することができるため、動きの少ない背景には全
く情報を与えず、オブジェクトの動きによって変化した
部分だけを符号化することによって、画質を保ちながら
符号化データ量を少なくすることができる。またここで
使用する動きの情報は復号側でも同様の領域情報記憶部
と動き領域検出部をもつことによって知ることができる
ため、動き情報を符号化する必要はなく、符号化情報の
増加はない。
【００３９】次に図１１を用いて本発明の第３の実施例
における動画像復号装置の実施例を説明する。図１１と
図８の違いは領域情報記憶部1208と動き領域検出部1209
である。領域情報記憶部1208と動き領域検出部1209は図
９の領域情報記憶部910と動き領域検出部911と同じもの
で、復号側でも符号化側と同じ動き情報を計算すること
によって、レイヤ逆量子化／復号部1202の処理に動き情
報を用いることが可能となり、図９に示す動画像符号化
装置で作成した符号化データの復号が可能になる。
における動画像復号装置の実施例を説明する。図１１と
図８の違いは領域情報記憶部1208と動き領域検出部1209
である。領域情報記憶部1208と動き領域検出部1209は図
９の領域情報記憶部910と動き領域検出部911と同じもの
で、復号側でも符号化側と同じ動き情報を計算すること
によって、レイヤ逆量子化／復号部1202の処理に動き情
報を用いることが可能となり、図９に示す動画像符号化
装置で作成した符号化データの復号が可能になる。
【００４０】さらに上記の第１、第２、第３の実施例を
説明した動画像復号装置では、符号化データに階層構造
を持たせているため、各帯域のヘッダー情報を調べるこ
とによって、再生画像を表示する装置の解像度に合わせ
て、復号する帯域を変更することができる。
説明した動画像復号装置では、符号化データに階層構造
を持たせているため、各帯域のヘッダー情報を調べるこ
とによって、再生画像を表示する装置の解像度に合わせ
て、復号する帯域を変更することができる。
【００４１】以上に述べた方法により、領域情報を用い
ることによって、超低ビットレートで視覚的に高画質の
画像を得ることができる動画像符号化装置及び動画像復
号装置を提供することができる。
ることによって、超低ビットレートで視覚的に高画質の
画像を得ることができる動画像符号化装置及び動画像復
号装置を提供することができる。
【００４２】
【発明の効果】本発明の動画像符号化装置及び動画像復
号装置では、サブバンド画像の各帯域と画像を領域に分
割した結果をもとに、空間解像度と量子化幅に違いをも
たせることによって、重要と判断された領域をその他の
領域よりも高画質にすることができる。
号装置では、サブバンド画像の各帯域と画像を領域に分
割した結果をもとに、空間解像度と量子化幅に違いをも
たせることによって、重要と判断された領域をその他の
領域よりも高画質にすることができる。
【００４３】本発明の動画像符号化装置及び動画像復号
装置では、サブバンド画像の各帯域と画像を領域に分割
した結果と時間情報とをもとに、空間解像度と量子化幅
と時間解像度とに違いをもたせることによって、重要と
判断された領域をその他の領域よりも高画質にすること
ができる。
装置では、サブバンド画像の各帯域と画像を領域に分割
した結果と時間情報とをもとに、空間解像度と量子化幅
と時間解像度とに違いをもたせることによって、重要と
判断された領域をその他の領域よりも高画質にすること
ができる。
【００４４】本発明の動画像符号化装置及び動画像復号
装置では、サブバンド画像の各帯域と画像を領域に分割
した結果と時間情報と動き情報とをもとに、空間解像度
と量子化幅と時間解像度とに違いをもたせることによっ
て、重要と判断された領域をその他の領域よりも高画質
にし、また動きのある領域のために変化の生じた回りの
領域に対しても情報を与えることによって、視覚的に良
好な画質を得ることができる。
装置では、サブバンド画像の各帯域と画像を領域に分割
した結果と時間情報と動き情報とをもとに、空間解像度
と量子化幅と時間解像度とに違いをもたせることによっ
て、重要と判断された領域をその他の領域よりも高画質
にし、また動きのある領域のために変化の生じた回りの
領域に対しても情報を与えることによって、視覚的に良
好な画質を得ることができる。
【００４５】本発明の動画像符号化装置では符号化デー
タに階層構造をもたせているため、動画像復号装置では
符号化データの一部を復号することで簡単にデータの復
号ができる。また階層構造によって空間解像度が異なる
ので、再生画像を表示する表示装置に合わせた解像度の
画像を復号することができる。
タに階層構造をもたせているため、動画像復号装置では
符号化データの一部を復号することで簡単にデータの復
号ができる。また階層構造によって空間解像度が異なる
ので、再生画像を表示する表示装置に合わせた解像度の
画像を復号することができる。
【図１】本発明の第１の実施例の動画像符号化装置の一
構成例を示すブロック図である。
構成例を示すブロック図である。
【図２】本発明の領域ランク指定部の出力の一例を示す
図である。
図である。
【図３】本発明の第１の実施例の符号化方法の説明図で
ある。
ある。
【図４】本発明の第１の実施例の符号化方法の説明図で
ある。
ある。
【図５】本発明の第１の実施例の動画像復号装置の一構
成例を示すブロック図である。
成例を示すブロック図である。
【図６】本発明の第２の実施例の動画像符号化装置の一
構成例を示すブロック図である。
構成例を示すブロック図である。
【図７】本発明の第２の実施例の符号化方法の説明図で
ある。
ある。
【図８】本発明の第２の実施例の動画像復号装置の一構
成例を示すブロック図である。
成例を示すブロック図である。
【図９】本発明の第３の実施例の動画像符号化装置の一
構成例を示すブロック図である。
構成例を示すブロック図である。
【図１０】本発明の第３の実施例の符号化方法の説明図
である。
である。
【図１１】本発明の第３の実施例の動画像復号装置の一
構成例を示すブロック図である。
構成例を示すブロック図である。
【図１２】従来のサブバンド分割フィルタバンクの一構
成例を示す図である。
成例を示す図である。
【図１３】従来のサブバンド分割フィルタバンクで得ら
れたサブバンド画像の概念図である。
れたサブバンド画像の概念図である。
【図１４】従来の動画像符号化装置の一構成例を示すブ
ロック図である。
ロック図である。
【図１５】従来の動画像復号装置の一構成例を示すブロ
ック図である。
ック図である。
【図１６】超低ビットレート符号化で使われる動画像の
一例を示す図である。
一例を示す図である。
１０１，６０１，９０１，１３０１，１５０１ ２次分
割フィルタ １０２，６０２，９０２，１３０２，１５０２ ダウン
サンプリング部 １０３，６０３，９０３，１５０３ レイヤ符号化／量
子化部 １０４，６０４，９０４，１５０４ エントロピー符号
化部 １０５，６０５，９０５ 領域抽出／分割部 １０６，６０６，９０６ 領域ランク指定部 １０７，６０７，９０７ 領域情報符号化部 １０８，６０８，９０８、１５０８ 符号化データ階層
化部 ５０１，８０１，１２０１，１６０１ エントロピー復
号部 ５０２，８０２，１２０２，１６０２ レイヤ逆量子化
／復号部 ５０３，８０３，１２０３，１６０３ アップサンプリ
ング部 ５０４，８０４，１２０４，１６０４ ２次元合成フィ
ルタ ５０５，８０５，１２０５ 領域情報復号部 ５０６，８０６，１２０６，１６０６ 符号化データ分
離部 ６０９，８０７，９０９，１２０７ フレームカウンタ ９１０，１２０８ 領域情報記憶部 ９１１，１２０９ 動き領域検出部 ６１２，８１０，９１２，１２１０ 量子化幅変更部
割フィルタ １０２，６０２，９０２，１３０２，１５０２ ダウン
サンプリング部 １０３，６０３，９０３，１５０３ レイヤ符号化／量
子化部 １０４，６０４，９０４，１５０４ エントロピー符号
化部 １０５，６０５，９０５ 領域抽出／分割部 １０６，６０６，９０６ 領域ランク指定部 １０７，６０７，９０７ 領域情報符号化部 １０８，６０８，９０８、１５０８ 符号化データ階層
化部 ５０１，８０１，１２０１，１６０１ エントロピー復
号部 ５０２，８０２，１２０２，１６０２ レイヤ逆量子化
／復号部 ５０３，８０３，１２０３，１６０３ アップサンプリ
ング部 ５０４，８０４，１２０４，１６０４ ２次元合成フィ
ルタ ５０５，８０５，１２０５ 領域情報復号部 ５０６，８０６，１２０６，１６０６ 符号化データ分
離部 ６０９，８０７，９０９，１２０７ フレームカウンタ ９１０，１２０８ 領域情報記憶部 ９１１，１２０９ 動き領域検出部 ６１２，８１０，９１２，１２１０ 量子化幅変更部
Claims (6)
- 【請求項１】 画像から複数個の領域を抽出し、領域毎
に分割する領域抽出／分割部と、分割領域毎に画像中で
の各領域の重要度を決定する領域ランク指定部と、各領
域の位置、形状及び重要度からなる領域情報を符号化す
る領域情報符号化部と、画像をサブバンド分割する分割
フィルタバンクと、領域情報をもとにしてサブバンド画
像の各帯域を符号化または量子化するレイヤ符号化／量
子化部と、前記レイヤ符号化／量子化部の出力をエント
ロピー符号化するエントロピー符号化部と、領域情報の
符号化データとサブバンド画像の各帯域の符号化データ
をまとめて階層化する符号化データ階層化部とからな
り、各帯域の各領域毎に重要度によって異なる空間解像
度と階調とを与えることを特徴とする動画像符号化装
置。 - 【請求項２】 請求項１の動画像符号化装置において、
さらにフレームカウンタと、フレームカウンタの出力に
よって量子化幅を変更する量子化幅変更部とを備えるこ
とによって、画像の各領域の重要度のほかに、時間情報
によっても各帯域の各領域毎に異なる空間解像度と時間
解像度と階調とを与えることを特徴とする動画像符号化
装置。 - 【請求項３】 請求項２の動画像符号化装置において、
各領域のランクと位置をたくわえる領域情報記憶部と、
現在の各領域のランクと位置の情報と領域情報記憶部に
たくわえられた既に処理済みのフレームの情報とから動
領域を求める動き領域検出部とを備えることによって、
画像の各領域の重要度と時間情報のほかに、各領域の動
き情報をもとに各帯域の各動領域毎に異なる空間解像度
と時間解像度と階調とを与えることを特徴とする動画像
符号化装置。 - 【請求項４】 請求項１の動画像符号化装置によって作
成された符号化データを復号する動画像復号装置におい
て、符号化データをサブバンド画像の各帯域の符号化デ
ータと領域情報の符号化データに分離する符号化データ
分離部と、領域情報のデータを復号する領域情報復号部
と、画像の符号化データをエントロピー復号するエント
ロピー復号部と、前記エントロピー復号されたデータを
前記領域情報をもとにサブバンド画像の各帯域の各領域
毎に逆量子化し、復号するレイヤ逆量子化／復号部と、
前記レイヤ逆量子化／復号部の出力を所定の帯域にサブ
バンド合成する合成フィルタバンクからなり、サブバン
ド画像の各帯域の各領域毎に空間解像度と階調の異なる
再生画像を復号することを特徴とする動画像復号装置。 - 【請求項５】 請求項４の動画像復号装置において、フ
レームカウンタと、フレームカウンタの出力によって量
子化幅を変更する量子化幅変更部とを備えることによっ
て、サブバンド画像の各帯域の各領域毎に空間解像度と
時間解像度と階調の異なる再生画像を復号することを特
徴とする動画像復号装置。 - 【請求項６】 請求項５の動画像復号装置において、領
域情報復号部で復号した領域情報をたくわえる領域情報
記憶部と、領域情報復号部で復号した現在の領域情報と
領域情報記憶部にたくわえられた既に処理済みのフレー
ムの領域情報とから動領域を求める動き領域検出部とを
備えることによって、各領域の動き情報をもとに、サブ
バンド画像の各帯域の各領域毎に空間解像度と時間解像
度と階調の異なる再生画像を復号することを特徴とする
動画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7160524A JPH0918876A (ja) | 1995-06-27 | 1995-06-27 | 動画像符号化装置及び動画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7160524A JPH0918876A (ja) | 1995-06-27 | 1995-06-27 | 動画像符号化装置及び動画像復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0918876A true JPH0918876A (ja) | 1997-01-17 |
Family
ID=15716830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7160524A Pending JPH0918876A (ja) | 1995-06-27 | 1995-06-27 | 動画像符号化装置及び動画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0918876A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002094991A (ja) * | 2000-09-19 | 2002-03-29 | Mega Chips Corp | 関心領域符号化方法 |
| JP2003009153A (ja) * | 2001-06-26 | 2003-01-10 | Canon Inc | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 |
| JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
| US8005309B2 (en) | 2004-02-09 | 2011-08-23 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
| US8150173B2 (en) | 2004-10-29 | 2012-04-03 | Sanyo Electric Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
| JP2014045243A (ja) * | 2012-08-24 | 2014-03-13 | Sumitomo Electric Ind Ltd | 映像データ配信装置およびそれを含む双方向対話システム |
| CN113347421A (zh) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | 视频编码和解码方法、装置和计算机设备 |
-
1995
- 1995-06-27 JP JP7160524A patent/JPH0918876A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002094991A (ja) * | 2000-09-19 | 2002-03-29 | Mega Chips Corp | 関心領域符号化方法 |
| JP4701448B2 (ja) * | 2000-09-19 | 2011-06-15 | 株式会社メガチップス | 関心領域符号化方法 |
| JP2003009153A (ja) * | 2001-06-26 | 2003-01-10 | Canon Inc | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 |
| US8005309B2 (en) | 2004-02-09 | 2011-08-23 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
| US8326058B2 (en) | 2004-02-09 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus |
| JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
| US8150173B2 (en) | 2004-10-29 | 2012-04-03 | Sanyo Electric Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
| US8208738B2 (en) | 2004-10-29 | 2012-06-26 | Sanyo Electric Co., Ltd. | Image coding method and apparatus, and image decoding method and apparatus |
| JP2014045243A (ja) * | 2012-08-24 | 2014-03-13 | Sumitomo Electric Ind Ltd | 映像データ配信装置およびそれを含む双方向対話システム |
| CN113347421A (zh) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | 视频编码和解码方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8005309B2 (en) | Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus | |
| KR100664932B1 (ko) | 비디오 코딩 방법 및 장치 | |
| US5818531A (en) | Video encoding and decoding apparatus | |
| US8477849B2 (en) | Wavelet based multiresolution video representation with spatially scalable motion vectors | |
| US6597739B1 (en) | Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding | |
| JPH09121345A (ja) | 画像符号化装置及び画像復号装置 | |
| JP4124792B2 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| JP2001326936A (ja) | 画像符号化装置及び方法 | |
| JPH03136595A (ja) | デイジタル動画像の記憶または伝送に用いるビデオ画像データの処理方法 | |
| JPH0646403A (ja) | マルチレベル信号符号化方法および画像シーケンス統合方法 | |
| KR20150010903A (ko) | 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치 | |
| JP2006115459A (ja) | Ｓｖｃの圧縮率を高めるシステムおよび方法 | |
| EP4365820A1 (en) | Video super-resolution network, and video super-resolution, encoding and decoding processing method and device | |
| US5995027A (en) | Digital-signal coding by breakdown into frequency subbands and finite state vectorial quantization | |
| KR20000059799A (ko) | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 | |
| Aulí-Llinàs et al. | Lossy-to-lossless 3D image coding through prior coefficient lookup tables | |
| EP1705924A1 (en) | Moving picture encoding method and device, and moving picture decoding method and device | |
| KR100621584B1 (ko) | 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더 | |
| JPH08294119A (ja) | 画像符号化／復号化装置 | |
| JPH0918876A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP4208533B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP2353294B1 (en) | Encoding method, encoding device, and encoding program for encoding interlaced image | |
| KR100897640B1 (ko) | 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 | |
| JPH09307897A (ja) | 画像データ圧縮処理方法 | |
| JP2000295622A (ja) | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体 |