JPH11266457A

JPH11266457A - 画像処理装置、方法、及び記録媒体

Info

Publication number: JPH11266457A
Application number: JP754999A
Authority: JP
Inventors: Akiyoshi Hamanaka; 章佳浜中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-01-14
Filing date: 1999-01-14
Publication date: 1999-09-28
Anticipated expiration: 2019-01-14
Also published as: JP4332246B2

Abstract

(57)【要約】【課題】様々なスケーラブルファクタにおける情報量
の多い画像を受信側で任意に選択できるようにするこ
と。【解決手段】入力された画像データの情報をを少なく
とも複数のスケーラブルファクタで削減して、単一のベ
ースレイヤを形成すると共に、当該ベースレイヤを用い
て、複数のスケーラブルファクタに関する情報を有する
複数のエンハンスメントレイヤを形成することにより、
伝送するデータ量は最小限に抑えつつ、上記課題を解決
した。また、受信側での画像選択に適したシステムを構
築できるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置、方法
及び記録媒体に関し、特に階層符号化により互いに異な
る複数のスケーラビリティをもって画像を処理する装
置、及び方法に関するものである。

【０００２】

【従来の技術】従前より動画像の符号化方式としてＭＰ
ＥＧ２と呼ばれる方式が知られているが、このＭＰＥＧ
２方式にあっては、空間スケーラビリティとＳＮ比スケ
ーラビリティと称される２つのスケーラビリティによっ
て、同一画像に対して二種類の空間的、時間的解像度の
異なる符号化データを伝送可能とし、復号側の選択によ
り低解像度画像と高解像度画像を選択して復号すること
ができる。

【０００３】ここでＭＰＥＧ２に於ける空間スケーラビ
リティとは、原画像を任意の手段にて低解像度化した画
像を符号化した符号化データと、前記低解像度画像をア
ップンサンプルして原画像と同サイズとして画像と、原
画像のフレーム（又はフィールド）間の両方を予測対象
として符号化した高解像度画像の符号化データとを伝送
するもので、復号側では、復号画像の解像度（高低）を
選択可能である。

【０００４】また、ＭＰＥＧ２の於けるＳＮ比スケーラ
ビリティは、原画像のＤＣＴ係数を任意の量子化ステッ
プで量子化したもの（低画質）と、前記符号化データを
復号化し、原画像から差し引いた差分を前記符号化され
たデータよりも小さいステップサイズで量子化したもの
（高画質）を独立に符号化して両方とも伝送し、復号側
では低画質画像と高画質画像を選択して復号することが
可能である。

【０００５】ここで、以下、本明細書においては、各ス
ケーラビリティにおいて、復号した画質が異なる２つの
動画像情報のうち、低画質画像の方をベース・レイヤ、
前記ベース・レイヤと組み合わせることにより高画質復
号画像を実現する差分又は付加情報をエンハンスメント
・レイヤと称する。

【０００６】また、空間スケーラビリティを用いて、サ
イズ（又は解像度）の異なる２種類の画像（ベース・レ
イヤとエンハンスメント・レイヤ）を同時に圧縮符号化
し、復号化装置側では、復号化回路及び画像表示装置等
の性能に応じて、ベース・レイヤから空間解像度が低い
画像を復元するか、ベース・レイヤ及びエンハンスメン
ト・レイヤの両方からの高解像度の画像を復元するかを
選択する方法も知られている。

【０００７】空間スケーラビリティをＨＤＴＶとＮＴＳ
Ｃ画像信号を例に、図１を参照して説明する。原画像が
ＨＤＴＶ画像（１４４０×１１５２画素）とした場合、
原画像データをＸ，Ｙ方向共に１／２に間引いた７２０
×５７６画素の画像をベース・レイヤとする。原画像の
前方予測（Ｐ）及び双方向予測（Ｂ）に加え、ベース・
レイヤを原画像と同サイズにアップ・サンプルした画像
（拡張ベース・レイヤ）も予測（比較）対象として符号
化したものをエンハンスメント・レイヤという。

【０００８】更に、ＳＮ比スケーラビリティを用いて、
符号量（具体的には、量子化ステップ）が異なる２種類
の画像（ベース・レイヤとエンハンスメント・レイヤ）
を同時に圧縮し、復号化装置側では復号化回路の処理能
力に応じて、ベース・レイヤから低レート（低画質）の
画像を復元し、ベース・レイヤとエンハンスメント・レ
イヤの両方から高レート（高画質）の画像を復元する方
法も、知られている。

【０００９】ＳＮ比スケーラビリティについて簡単に説
明する。図２はＳＮ比スケーラビリティの概念図を示
す。同一の画像に対して、互いに異なる２種類の量子化
係数を適用して、同一画像で圧縮比の異なる圧縮画像情
報を生成する。この時、圧縮比の大きい画像情報、即
ち、低ビットレートで低画質の画像情報をベースレイ
ヤ、圧縮比の小さい画像情報、即ち、高ビットレートで
高画質の画像情報と前記ベース・レイヤの画像情報との
差分をエンハンスメント・レイヤと定義し、復号化装置
側では、ベース・レイヤの画像情報とエンハンスメント
・レイヤの画像情報をを加算したものが低圧縮比の高画
質画像となる。

【００１０】

【発明が解決しようとする課題】このように、ＭＰＥＧ
２方式で空間スケーラビリティ又はＳＮ比スケーラビリ
ティを使用する場合、空間スケーラビリティ及びＳＮ比
スケーラビリティの何れか一方のみを選択可能であっ
た。従って、従来の符号化装置では、同時に複数のスケ
ーラビリティを使用して画像データを符号化することは
不可能である。換言すると、１つの画像シーケンスに於
いて、指定できるスケーラビリティは１種類のみであ
る。また、何れか１つのスケーラビリティを使用して符
号化された画像情報を受信した復号化装置側では、画質
の選択枝は次の２種類のみである。即ち、ベース・レイ
ヤのみから復号化した低画質画像か又は、ベース・レイ
ヤから復号化した画像とエンハンスメント・レイヤから
復号化した画像を合成した高画質画像である。

【００１１】即ち、従来例では、復号化装置の性能や受
信者のニーズに応じて画質又は復号化速度を選択できな
いという問題点があった。

【００１２】上述の如き問題は、例示したＭＰＥＧ２の
みならず所謂階層符号化を２種類以上のファクタに対し
て行う場合に共通の課題であることは明らかであろう。

【００１３】本発明は上述した様な問題点を解決するこ
とを目的とする。

【００１４】本発明は、受信側で任意のスケーラブルフ
ァクタを選択することのでき、しかも伝送データ量を最
小限に抑えることのできる画像処理装置を提供すること
を目的とする。

【００１５】

【課題を解決するための手段】上述の如き目的下におい
て、本件の１つの発明によれば、入力された画像データ
の情報をを少なくとも複数のスケーラブルファクタで削
減して、単一のベースレイヤを形成する手段と、当該ベ
ースレイヤを用いて、複数のスケーラブルファクタに関
する情報を有する複数のエンハンスメントレイヤを形成
する手段を具備することを特徴とする画像処理装置が提
示される。

【００１６】また、本件の他の発明においては入力され
たデータから、画像データの情報をを少なくとも複数の
スケーラブルファクタで削減して得たベースレイヤのデ
ータを抽出し、当該抽出されたベースレイヤのデータか
ら画像信号を復元する復元手段と、前記入力データか
ら、複数のスケーラブルファクタに関する情報を有する
複数のエンハンスメントレイヤのデータを抽出し、前記
ベースレイヤのデータと前記複数のエンハンスメントレ
イヤのデータとから前記複数のファクタについて前記復
元されたベースレイヤの画像信号より情報量の多い複数
の画像信号を形成する形成手段とを具備することを特徴
とする画像処理装置が提示される。

【００１７】上述の如き装置を提示することにより、伝
送するデータ量は最小限に抑え、様々なスケーラブルフ
ァクタにおける情報量の多い画像を受信側で任意に選択
できるようにした。また、受信側での画像選択に適した
システムを構築した。

【００１８】

【発明の実施の形態】以下、本発明をその好適なる態様
を示す実施例についてのみ、図面を参照して詳細に説明
する。

【００１９】図３は、本発明の一実施例の符号化装置の
概略構成ブロック図を示し、図４は、この符号化装置に
対応する復号化装置の概略構成ブロック図を示す。共
に、ＮＴＳＣ信号などのインターレース画像信号を扱
う。本実施例では、空間スケーラビリティと時間スケー
ラビリティを併用する。

【００２０】ここで、時間スケーラビリティについて図
４を用いて説明する。図４に於いて、図示の如く２フレ
ーム毎に原画像を平均化したり、フレーム間引すること
により得た画像群をベースレイヤとする。そして、全フ
レームについての原画像を、図示の様にベースレイヤ中
の時間軸が近接したフレームと全フレーム中の時間軸が
近接したフレームとから予測し、予測差分をとって符号
化したものをエンハンスメントレイヤとする。これによ
って時間軸方向について低解像度のベイスレイヤと、こ
れを用いて時間軸方向に高解像度のエンハンスメントレ
イヤとが得られる。

【００２１】先ず、図３を説明する。１０はＲＧＢ画像
データを４：２：０のＹＣｂＣｒ画像データに変換する
変換回路、１２は、変換回路１０の出力データを、スケ
ーラビリティの使用及び不使用並びに、使用するモード
を選択するスケーラビリティ選択器、１４は、スケーラ
ビリティ選択器１２のスケーラビリティ使用時の出力か
ら空間スケーラビリティに対応するエンハンスメント・
レイヤのデータを生成する空間スケーラビリティ・エン
ハンスメント・レイヤ生成回路、１６は、スケーラビリ
ティ選択器１２のスケーラビリティ使用時の出力から空
間及び時間の各スケーラビリティに共通するベース・レ
イヤのデータを生成する共通ベース・レイヤ生成回路、
１８は、スケーラビリティ選択器１２のスケーラビリテ
ィ使用時の出力から時間スケーラビリティに対応するエ
ンハンスメント・レイヤのデータを生成する時間スケー
ラビリティ・エンハンスメント・レイヤ生成回路であ
る。

【００２２】２０は、生成回路１４，１６，１８の出力
及びスケーラビリティ選択器１２のスケーラビリティ不
使用時の出力を、１フレーム又は１フイールド毎に水平
垂直共に各ｎ（ｎ≧２）画素のブロックを単位にブロッ
ク分割し、更に、Ｙ、Ｃｂ及びＣｒ独立にこのブロック
をそれぞれａ個、ｂ個及びｃ個まとめてマクロブロック
として出力するブロック化処理回路であり、生成回路１
４，１６，１８の出力及びスケーラビリティ選択器１２
のスケーラビリティ不使用時の出力に応じた４つのブロ
ック化回路２０ａ，２０ｂ，２０ｃ，２０ｄを具備す
る。

【００２３】２２は、ブロック化処理回路１１８から出
力されるＹＣｒＣｂのブロック・データをマクロブロッ
クを符号化単位としてＭＰＥＧ２方式として周知の符号
化方式で圧縮符号化する符号化回路である。符号化回路
２２は、具体的には、予測符号化方式（イントラ（Ｉピ
クチャ）／インター（Ｐピクチャ又はＢピクチャ）の選
択）、直交変換（ＤＣＴ）、量子化及び可変長符号化を
併用して、ブロック化処理回路２０からの画像データを
圧縮符号化する。

【００２４】ＲＧＢ／ＹＣｂＣｒ変換回路１０は、各８
ビットのＲＧＢ画像信号を各８ビットで４：２：０のＹ
ＣｂＣｒ信号に変換する。

【００２５】符号化の際にスケーラビリティを使用する
場合、スケーラビリティ選択器１２は、変換回路１０の
出力を各生成回路１４，１６，１８に印加し、生成回路
１４，１６，１８はそれぞれ、空間スケーラビリティの
エンハンスメント・レイヤ、共通ベース・レイヤ及び時
間スケーラビリティ・エンハンスメント・レイヤを生成
し、ブロック化処理回路２０に印加する。

【００２６】ブロック化処理回路２０は、入力画像デー
タを１フレーム又は１フイールド毎に水平垂直共に各ｎ
画素のブロックを単位にブロック分割し、更に、Ｙ、Ｃ
ｂ及びＣｒ独立にこのブロックをそれぞれａ個、ｂ個及
びｃ個まとめてマクロブロックとして出力する回路であ
り、上述のように、各レイヤ用とスケーラビリティの不
使用とで合計４つのブロック化回路２０ａ，２０ｂ，２
０ｃ，２０ｄを具備する。

【００２７】ブロック化処理回路２０のブロック化回路
２０ａ〜２０ｃは生成回路１４，１６，１８からの各レ
イヤのデータを上述の様にブロック化して符号化回路２
２に印加し、符号化回路２２は、予測符号化方式（イン
トラ（Ｉピクチャ）／インター（Ｐピクチャ又はＢピク
チャ））の選択の下で予測処理を行った後、直交変換
（ＤＣＴ）、量子化及び可変長符号化により、ブロック
化回路２０ａ〜２０ｃの出力データを圧縮符号化する。

【００２８】スケーラビリティを使用しない場合（ノー
マル・モード）、スケーラビリティ選択器１２は、変換
回路１０の出力をそのままブロック化処理回路２０のブ
ロック化回路２０ｄに供給する。符号化回路２２は、ブ
ロック化回路２０ｄからのブロック・データを、予測符
号化方式（イントラ（Ｉピクチャ）／インター（Ｐピク
チャ又はＢピクチャ））の選択の下で予測処理を行った
後、直交変換（ＤＣＴ）、量子化及び可変長符号化によ
り圧縮符号化する。

【００２９】ここで、図５及び図６を用いて本実施例に
おける空間スケーラビリティ・エンハンストメントレイ
ヤ、共通ベースレイヤ、時間スケーラビリティ・エンハ
ンストメントレイヤについて、更に詳細に説明する。

【００３０】図５は図３の回路１４，１６，１８を含む
要部の詳細を示すブロック図であり、図６は図５の動作
を説明するための概念図である。図中、回路１４ａ，１
４ｂ，１４ｃ，１４ｄは夫々図３における回路１４に含
まれ、回路１６ａは図３における回路１６に含まれ、回
路１８ａ，１８ｂ，１８ｃは図３における回路１８に含
まれる。

【００３１】図６に示すように、時間解像度及び空間解
像度が共に高い原画像群が図３のスケーラビリティ選択
器１２から入力されると、フレーム間引き回路１４ａに
おいては、隣接２フレームの平均をとるなどの時間方向
のローパスフィルタリングを施した後、隣接２フレーム
の１フレームを間引くことにより原画像群の時間解像度
を１／２とする。また、画素間引き回路１８ａは原画像
を２次元ローパスフィルタにて帯域制限した後、サブサ
ンプリングなどにより画素間引きを行って原画像群の空
間解像度を例えば１／２に低下させる。

【００３２】更に、フレーム＋画素間引き回路１６ａに
おいては上記２つの処理を連続して行うことによって、
原画像の空間解像度及び時間解像度の双方を低下させ、
図６に示す共通ベースレイヤを得る。ここで、回路１６
ａは、その回路規模の節約のために、回路１４ａもしく
は回路１８ａの出力を利用し、回路１４ａの出力を不図
示の画素間引き回路に導いたり，回路１８ａの出力を不
図示のフレーム間引き回路に導くことによっても実現可
能である。

【００３３】共通ベースレイヤの画像群とフレーム間引
き回路１４ａの出力する画像群はフレームレートが等し
く、各フレームの画素数が異なるので、共通ベースレイ
ヤの画像は画像補間回路１４ｃに導かれ、画素数を回路
１４ａの出力と一致させる。このようにして共通ベース
レイヤの各画面の画素数を単純に増やした画像群を本実
施例では拡張ベースレイヤと呼ぶことにする。そして、
予測回路１４ｄはこの拡張ベースレイヤの画像に基づい
てフレーム間引き回路１４ａの出力を予測し、この予測
値とフレーム間引き回路１４ａとの差分が差分回路１４
ｂにて演算される。

【００３４】ここで、予測は、単純には図６に示すよう
に時間的に対応する拡張ベースレイヤの画像とフレーム
間引き回路１４ａの出力との差分をとるだけでいいが、
拡張ベースレイヤの画像を複数用いて予測することも可
能である。

【００３５】上記差分回路１４ｂの出力する差分値は、
空間エンハンストメント・レイヤの画像群としてブロッ
ク化回路２０ａに供給される。また、前述の共通ベース
レイヤの画像群はブロック化回路２０ｂに供給される。

【００３６】一方、画素間引き回路１８ａの出力する画
像は、共通ベースレイヤの画像群と画素数が共通である
ため、予測回路１８ｂにおいて図示の如く予測を行うこ
とができ、差分回路１８ｃにおいてその予測画面との差
分をとられる。この差分回路１８ｃの出力は時間エンハ
ンスメントレイヤとしてブロック化回路２０ｃに供給さ
れる。

【００３７】本実施例においては、図６にハッチングで
示す予測はＤＣＴ変換後に量子化した値から局部復号値
を演算し、その復号値を元に予測差分を行う。即ち、こ
のような処理は図３における符号化回路２２内部で行わ
れる。このように本実施例においては、ブロック化前、
即ちＤＣＴ変換前のラスタ画像の状態で、時間エンハン
スメントレイヤと空間エンハンスメントレイヤとを形成
したが、ＤＣＴ変換後にＤＣＴ係数を量子化したデータ
を一旦局部復号した値を用いて予測値を計算すること
で、時間エンハンスメントレイヤと空間エンハンスメン
トレイヤとを形成することも可能である。この場合に
は、ハッチングにて示す予測処理を組み合わせて単一の
差分回路により構成することも可能である。

【００３８】また、上記実施例においては、空間エンハ
ンスメントレイヤと時間エンハンスメントレイヤのみを
設ける構成としたが、更に上記共通ベースレイヤからＳ
Ｎエンハンスメントレイヤを設けるように構成すること
も可能である。更に、これら３つのエンハンスメントレ
イヤ中の任意の２つを設ける構成としたり、任意の２つ
の組み合わせによりなるエンハンスメントレイヤを複数
設ける構成とすることも可能である。

【００３９】上述の如く構成した、符号化側の装置によ
れば、複数のスケーラビリティを復号側で任意に選択す
ることができ、様々なユーザーの要求に対応することが
できる。また、各エンハンスメントレイヤを形成する際
に利用するベースレイヤとしては共通のものを利用する
構成としているので、送信側の回路構成を最小限にする
ことができ、更に送信するデータ量も最小限にすること
が可能である。

【００４０】次に図７について説明する。３０は図３に
示す符号化装置からのＭＰＥＧ２ビットストリーム・デ
ータを復号化する復号化装置、３２は、図３に示す符号
化装置からのＭＰＥＧ２ビットストリームのヘッダ情報
を読み取り、復号化回路３０での復号化処理を含めて図
７に示す復号化装置の全体的に動作を制御する制御情報
検出回路、３４は復号化回路３０により復号化された画
像データをラスタリングすると共に、制御情報検出回路
３２で検出されたスケーラビリティ・フラグに基づいて
以後の処理経路を選択するラスタリング／選択回路であ
る。

【００４１】３６は、図３に示す符号化装置の共通ベー
ス・レイヤ生成回路１６の出力に相当するラスタ化／選
択回路３４の出力から共通ベース・レイヤのデータを復
元する共通ベース・レイヤ復元回路である。

【００４２】３８は、共通ベース・レイヤ復元回路３６
で得られる拡張ベースレイヤの画像データを参照し、図
３に示す符号化装置の空間スケーラビリティ・エンハン
スメント・レイヤ生成回路１４の出力に相当するラスタ
化／選択回路３４の出力から空間スケーラビリティ・エ
ンハンスメント・レイヤのデータから高空間解像度の画
像復元する空間スケーラビリティ・エンハンスメント・
レイヤ復元回路である。

【００４３】４０は、共通ベース・レイヤ生成回路１６
の出力に相当する共通ベースレイヤ復元回路３６に入力
される情報を参照し、図３に示す符号化装置の時間スケ
ーラビリティ・エンハンスメント・レイヤ生成回路１８
の出力に相当するラスタ化／選択回路３４の出力から時
間スケーラビリティ・エンハンスメント・レイヤのデー
タから高時間解像度の画像を復元する時間スケーラビリ
ティ・エンハンスメント・レイヤ復元回路である。

【００４４】４６は、空間エンハンストメントレイヤ復
元回路３８の出力ビデオ信号、時間エンハンストメント
レイヤ復元回路４０の出力ビデオ信号、共通ベースレイ
ヤ復元回路３６の出力ビデオ信号又は、ノーマル・モー
ドでラスタ化／選択回路３４から出力されるビデオ信号
を選択するビデオ選択器である。こうしてビデオ選択器
４６は、スケーラビリティが使用されている場合には、
時間的空間的に低解像度の画像信号、時間的に高解像度
の画像信号及び空間的に高解像度の画像信号の何れかを
選択可能である。

【００４５】図７に示す復号化装置の動作を説明する。
伝送（記録再生を含む。）されたビット・ストリーム
は、復号化回路３０に入力し、そのヘッダ情報は制御情
報検出回路３２にも印加される。制御情報検出回路３２
は、ヘッダ情報から符号化条件を解読し、解読内容に応
じた制御信号を復号化回路３０及びラスタ／選択器３４
に印加する。

【００４６】復号化回路３０は、制御情報検出回路３２
からの制御信号で指定された符号化形式（インター／イ
ントラ）に従って受信データを復号化（可変長復号化、
逆量子化及び逆ＤＣＴ）して、ラスタ化／選択回路３４
に供給する。ラスタ化／選択回路３４は、復号化回路３
０からの画像データをラスタ化し、制御情報検出回路３
４２からの制御情報に従い、スケーラビリティが使用さ
れているときには復号化回路３０の出力を復元回路３
６，３８，４０に、スケーラビリティが使用されていな
いとき（ノーマル・モード）には、復号化回路３０の出
力をビデオ選択器４６にそれぞれ供給する。前者の場
合、共通ベース・レイヤの画像データは復元回路３６
に、空間スケーラビリティのエンハンスメント・レイヤ
のデータは復元回路３８に、時間スケーラビリティのエ
ンハンスメント・レイヤのデータ復元回路４０にそれぞ
れ印加され、復元回路３６，３８，４０により独立に処
理される。

【００４７】図８は、上記図７における共通ベースレイ
ヤ復元回路３６，空間エンハンスメントレイヤ復元回路
３８及び時間エンハンスレイや復元回路４０の詳細を説
明するための図である。以下、この図８と先の図６とを
用いて各レイヤの復元動作について詳細に説明する。

【００４８】図８中、回路３６ａ，３６ｂは夫々図７に
おける回路３６に含まれ、回路３８ａ，３８ｂ，３８ｃ
は図７における回路３８に含まれ、回路４０ａ，４０
ｂ，４０ｃは図７における回路４０に含まれる。

【００４９】ラスタ化／選択回路３４で抽出された共通
ベースレイヤの情報は、画素補間回路３６ａに供給さ
れ、画素補間がされて、原画像と同じサイズの画像に戻
される。この動作は符号化時の画素補間回路１４ｃの動
作と同じであり、これによって拡張ベースレイヤの画像
が得られる。なお、この拡張ベースレイヤの画像をフレ
ーム補間回路３６ｂにてフレーム間補間することにより
原画像とフレームレートと画素数とが一致した画像信号
が得られる。但し、このフレーム補間回路３６ｂの出力
画像信号の時間解像度及び空間解像度は共に低解像度で
あることはいうまでもない。

【００５０】なお、ここで、画素補間回路３６ａはこの
共通ベースレイヤから空間エンハンスメントレイヤと組
み合わせるための画像（拡張ベースレイヤ）を復元する
ための回路であると共に、この共通ベースレイヤそのも
のから画像を復元するための回路でもあり、この点で、
この回路３６ａは兼用されている。この兼用によって回
路規模は節減できているが、この回路３６ａにおける補
間の仕方を上記２つの用途に応じて変える場合には、上
記２つの用途に別々に設けることも可能である。

【００５１】一方、ラスタ化／選択回路３４にて抽出さ
れた空間エンハンスメントレイヤの情報は、加算回路３
８ｂに供給され、画素補間回路３６ａにて得られた拡張
ベースレイヤの情報から予測回路３８ａにて得た予測情
報と加算される。この加算回路３８ｂの出力のフレーム
数は共通ベースラインレイヤと同じであるので、この回
路３８ｂの出力はフレーム補間回路３８ｃに供給され、
該回路３８ｃにてフレーム間補間することにより原画像
とフレームレートと画素数とが一致した画像信号が得ら
れる。この画像情報は、時間解像度は低解像度であるが
及び空間解像度は高解像度な画像情報となる。

【００５２】更に、ラスタ化／選択回路３４にて抽出さ
れた時間エンハンスメントレイヤの情報は、加算回路４
０ｂに供給され、共通ベースラインレイヤの情報から予
測回路４０ａにおいて得た予測情報と加算される。この
加算回路４０ｂの出力の画素数は共通ベースラインレイ
ヤと同じであるので、この回路３８ｂの出力は画素補間
回路４０ｃに供給され、該回路３８ｃにて空間的に画素
補間することにより原画像とフレームレートと画素数と
が一致した画像信号が得られる。この画像情報は、空間
解像度は低解像度であるが時間解像度は高解像度な画像
情報となる。

【００５３】最終的に、ビデオ選択器４８には各回路３
６，３８，４０から出力された、空間解像度が高い画像
信号、低解像度画像信号、時間高解像度画像信号の３種
類が入力される。このビデオ選択器４６は選択信号４８
により切り換えられ、スケーラビリティを用いて伝送さ
れている場合には上記３種類の画像信号を全て得ること
ができこれらを選択的に出力できる。また、スケーラビ
リティを用いることなく伝送した場合には復号回路３０
において復号された画像情報が一義的に出力される。

【００５４】次に、上記実施例の復号装置を含むシステ
ムの一例について説明する。図９は、本例システムの概
略構成ブロック図を示す。５０はＤＶＤ再生装置、５２
はディジタルＶＴＲ、５４はデイジタル画像のオーサリ
ング・ツール（ＥＷＳ）、５６はツール５４に対するサ
ーバ（ＥＷＳ）、５８はパーソナルコンピュータ（端
末）、６０，６２，６４，６６はコンピュータ５８のモ
ニタ画面に表示されるアイコン、６８は、コンピュータ
５８に接続するマウス、７０はマウス６８に対応するマ
ウス・カーソルである。

【００５５】ＤＶＤ再生装置５０、ディジタルＶＴＲ５
２及びツール５４はそれぞれ、図２に示す復号化装置に
相当する構成を具備するものとする。即ち、ＤＶＤ再生
装置５０、ディジタルＶＴＲ５２及びツール５４の出力
は、ビデオ選択器４６の出力に相当する。

【００５６】コンピュータ５８のモニタ画面上に表示さ
れるアイコン６０はＤＶＤ再生装置５０からのディジタ
ル動画像に関する画像を示し、アイコン６２はディジタ
ルＶＴＲ５２のからのディジタル動画像に関する画像を
示し、アイコン６４，６６はツール５４（即ち、サーバ
５６）からのディジタル動画像に関する画像を示す。先
にも述べたように、アイコン６０〜６６の絵柄は、対応
するディジタル動画像の先頭フレーム又は任意のＩフレ
ームの共通ベース・レイヤから形成される。

【００５７】図１０は図９に示すシステムにおけるコン
ピュータ５８の動作を説明するためのフローチャートで
あり、以下この図１０及び図１１を用いて動作の説明を
する。

【００５８】コンピュータ５８の電源スイッチがオンさ
れると、ステップＳ１〜Ｓ３において、コンピュータ５
８はＤＶＤ５０，デジタルＶＴＲ５２，更にはサーバ５
６が接続されているか否かをチェックする。このチェッ
クに伴い、これらの装置が接続されていた場合には各装
置から再生もしくは出力された画像を前述のようにアイ
コンとして表示する（ステップＳ４〜Ｓ６）。ここで表
示される画像信号は、動画像そのものではなく、共通ベ
ースレイヤから抽出された代表画像であり、この表示の
みであればコンピュータ５８と各機器とのインターフェ
ースの伝送レートをそれほど占有することはない。

【００５９】このように、少なくとも１つの画像が表示
された状態でマウス６８によりその画面上にカーソル７
０を移動した状態で右クリックがなされると（ステップ
Ｓ７）、その画像を今度は共通ベースレイヤを用いて動
画像表示する（ステップＳ８）。ここででは、最もデー
タ量の少ない共通ベースレイヤを表示することになるの
でインターフェースに対してはそれほど大きな負担はか
からない。図１０のフローチャートから明らかなよう
に、マウス６８により別の画像の上にカーソル７０上に
持っていき、そこで右クリックをすると、その別の画像
が動画として表示されるが他の画像は、新たに抽出され
た先述の代表画像に戻る。

【００６０】そして、このように共通ベースレイヤによ
る動画像が表示されている状態で、当該動画像上にカー
ソル７０をもっていき左クリックすると（ステップＳ
９）、図１１の枠７２に示すような解像度選択表示がな
される（ステップＳ１０）。そして、この状態でカーソ
ル７０を任意の解像度（低解像度，空間高解像度もしく
は時間高解像度）表示上にもっていきマウス６８を右ク
リックすると、当該解像度が選択される。この選択に応
じて、コンピュータ５８は各装置に設けられている図７
のビデオ選択器４６に選択信号４８を供給し、所望の解
像度の画像信号を選択し、これを受信し、その動画像を
モニタ上に表示する（ステップＳ１１）。この時、この
表示は所望の表示であるので、全画面表示に切り換える
のが望ましい。

【００６１】上記、ステップＳ１〜Ｓ３，Ｓ７を含む検
出は常時行われており、この検出中にステップＳ１２に
おいて電源がオフされたことが検出されれば処理を終了
する。また、解像度選択画面表示中に枠７２にカーソル
７０が位置した状態でマウス６８が右クリックされた場
合には選択しなかったものとして、上記検出のループに
戻る。尚、上記フローチャートに従う処理はコンピュー
タ５８内のＲＯＭ９０に記憶されているプログラムによ
って実行される。

【００６２】上記、復号側装置及び復号装置を用いたシ
ステムにおいては、ユーザの選択により任意のスケーラ
ビリティを選択的に利用して、所望の画像をリアルタイ
ムに鑑賞することができる。この結果、画像の検索など
に要する不必要な復号化のための時間待ちを回避するこ
とができる。また、上述の如く、基本的には動画を表示
せず、更に、表示する場合においても必要最小限の情報
を転送するのみで表示可能としたので、インターフェー
スやコンピュータ内部のＣＰＵの占有時間を短縮でき、
快適な操作が可能となる。

【００６３】また、復号化回路においても、共通ベース
レイヤの回路を複数のエンハンスメントレイヤの復号要
に共用する構成となっているので、各復号装置内におけ
る回路規模の小型化の点でも有利である。

【００６４】

【発明の効果】以上説明したように、本件発明の画像処
理方法及び装置によれば伝送するデータ量は最小限に抑
え、様々なスケーラブルファクタにおける情報量の多い
画像を受信側で任意に選択できる様にすることが可能と
なった。また、受信側での画像選択に適したシステムを
構築することができた。

【図面の簡単な説明】

【図１】空間スケーラビリティについて説明するための
概念図である。

【図２】ＳＮ比スケーラビリティについて説明するため
の概念図である。

【図３】本発明の一実施例としての符号化装置の概略を
示すブロック図である。

【図４】時間スケーラビリティについて説明するための
概念図である。

【図５】図３の要部詳細を示すブロック図である。

【図６】図５の動作を説明するための概念図である。

【図７】図３の符号化装置に対応する復号化装置の構成
を示すブロック図である。

【図８】図７の要部詳細を示すブロック図である。

【図９】図７の装置を用いたシステムの構成例を示す図
である。

【図１０】図９のシステムの動作を説明するためのフロ
ーチャートである。

【図１１】図９のシステムの表示状態を示す図である。

【符号の説明】

１０ＲＧＢ／ＹＣｂＣｒ変換回路１２スケーラビリティ選択器１４空間スケーラビリティ・エンハンスメント・レイ
ヤ生成回路１６共通ベース・レイヤ生成回路１８時間スケーラビリティ・エンハンスメント・レイ
ヤ生成回路２０ブロック化処理回路２０ａ，２０ｂ，２０ｃ，２０ｄブロック化回路２２符号化回路３０復号化装置３２制御情報検出回路３４ラスタ化／選択回路３６共通ベース・レイヤ復元回路３８空間スケーラビリティ・エンハンスメント・レイ
ヤ復元回路４０時間スケーラビリティ・エンハンスメント・レイ
ヤ復元回路４２空間解像度復元回路４４時間解像度復元回路４６ビデオ選択器４８選択信号５０ＤＶＤ再生装置５２ディジタルＶＴＲ５４オーサリング・ツール（ＥＷＳ）５６サーバ（ＥＷＳ）５８パーソナルコンピュータ（端末）６０，６２，６４，６６モニタ画面に表示されるアイ
コン６８マウス７０マウス・カーソル

Claims

【特許請求の範囲】

【請求項１】入力された画像データの情報をを少なく
とも複数のスケーラブルファクタで削減して、単一のベ
ースレイヤを形成する手段と、当該ベースレイヤを用い
て、複数のスケーラブルファクタに関する情報を有する
複数のエンハンスメントレイヤを形成する手段を具備す
ることを特徴とする画像処理装置。
【請求項２】前記ベースレイヤ及び複数のエンハンス
メントレイヤを高能率符号化する符号化手段を具備する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記符号化手段は上記ベースレイヤと複
数のエンハンスメントレイヤをシリアルに処理すること
を特徴とする請求項２に記載の画像処理装置。
【請求項４】前記符号化手段が、前記各レイヤに含ま
れる輝度信号と色信号を夫々垂直水平両方向に複数画素
を有するブロックにブロック化し、ブロック化された輝
度信号とブロック化された色信号を所定数集めてマクロ
ブロックを形成することを特徴とする請求項２もしくは
３に記載の画像処理装置。
【請求項５】前記複数のエンハンスメントレイヤは、
空間解像度を高くするための情報を有する空間エンハン
スメントレイヤと時間解像度を高くするための時間エン
ハンスメントレイヤとを含むことを特徴とする請求項１
〜４の何れかに記載の画像処理装置。
【請求項６】前記ベースレイヤは前記入力画像データ
の空間解像度と時間解像度を低下させることにより得た
ものであり、前記空間エンハンスメントレイヤは前記入
力画像データの時間解像度を低下させたデータと前記ベ
ースレイヤとから形成し、前記時間エンハンスメントレ
イヤは前記入力画像データの空間解像度を低下させたデ
ータと前記ベースレイヤとから形成することを特徴とす
る請求項５に記載の画像処理装置。
【請求項７】前記ベースレイヤと前記複数のエンハン
スメントレイヤ、もしくは、前記入力画像データを選択
的に出力するための選択手段を具備することを特徴とす
る請求項１〜６の何れかに記載の画像処理装置。
【請求項８】入力された画像データの情報をを少なく
とも複数のスケーラブルファクタで削減して、単一のベ
ースレイヤを形成し、当該ベースレイヤを用いて、複数
のスケーラブルファクタに関する情報を有する複数のエ
ンハンスメントレイヤを形成することを特徴とする画像
処理方法。
【請求項９】前記ベースレイヤ及び複数のエンハンス
メントレイヤを高能率符号化することを特徴とする請求
項８に記載の画像処理方法。
【請求項１０】前記高能率符号化に際しては、上記ベ
ースレイヤと複数のエンハンスメントレイヤをシリアル
に処理することを特徴とする請求項９に記載の画像処理
方法。
【請求項１１】入力されたデータから、画像データの
情報をを少なくとも複数のスケーラブルファクタで削減
して得たベースレイヤのデータを抽出し、当該抽出され
たベースレイヤのデータから画像信号を復元する復元手
段と、前記入力データから、複数のスケーラブルファクタに関
する情報を有する複数のエンハンスメントレイヤのデー
タを抽出し、前記ベースレイヤのデータと前記複数のエ
ンハンスメントレイヤのデータとから前記複数のファク
タについて前記復元されたベースレイヤの画像信号より
情報量の多い複数の画像信号を形成する形成手段とを具
備することを特徴とする画像処理装置。
【請求項１２】前記ベースレイヤのデータと前記エン
ハンスメントレイヤのデータとは夫々高能率符号化され
たものであり、当該高能率符号化されたデータを復号す
るための復号手段を有することを特徴とする請求項１１
に記載の画像処理装置。
【請求項１３】前記復号手段は前記ベースレイヤと前
記複数のエンハンスメントレイヤとをシリアルに処理す
ることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】前記各レイヤのデータは垂直水平両方
向に複数画素を含むブロック単位で符号化されており、
前記復号手段はブロック単位で入力されたデータをライ
ン毎に出力することを特徴とする請求項１２もしくは１
３に記載の画像処理装置。
【請求項１５】前記形成手段は前記復号手段を介して
復号された複数のエンハンスメントレイヤと、前記復号
手段を介して復号されたベースレイヤとを用いて前記復
元されたベースレイヤの画像信号より情報量の多い複数
の画像信号を形成することを特徴とする請求項１２〜１
４の何れかに記載の画像処理装置。
【請求項１６】前記復元されたベースレイヤの画像信
号と前記情報量の多い複数の画像信号とを選択的に出力
する選択手段を有することを特徴とする請求項１１〜１
５の何れかに記載の画像処理装置。
【請求項１７】前記選択手段はマニュアル操作により
選択されることを特徴とする請求項１６に記載の画像処
理装置。
【請求項１８】前記選択手段は画像表示手段を有し、
前記画像表示手段は前記ベースレイヤの画像信号に係わ
る画像を表示可能であることを特徴とする請求項１７に
記載の画像処理装置。
【請求項１９】前記選択手段は前記表示手段上の位置
を指示するポインティング手段を更に有し、前記ベース
レイヤの画像信号に係わる画像を表示しているときに、
前記ポインティング手段により当該画像上の位置を指示
することによって前記情報量の多い複数の画像信号を表
示するべく選択可能としたことを特徴とする請求項１８
に記載の画像処理装置。
【請求項２０】前記表示手段は複数の前記復元手段か
らの複数のベースレイヤの画像信号を同時に表示可能で
あり、当該複数の画像信号から動画像表示する画像信号
を選択可能である。
【請求項２１】入力されたデータから、画像データの
情報をを少なくとも複数のスケーラブルファクタで削減
して得たベースレイヤのデータを抽出し、当該抽出され
たベースレイヤのデータから画像信号を復元すると共
に、前記入力データから、複数のスケーラブルファクタに関
する情報を有する複数のエンハンスメントレイヤのデー
タを抽出し、前記ベースレイヤのデータと前記複数のエ
ンハンスメントレイヤのデータとから前記複数のファク
タについて前記復元されたベースレイヤの画像信号より
情報量の多い複数の画像信号を形成することを特徴とす
る画像処理方法。
【請求項２２】前記ベースレイヤのデータと前記エン
ハンスメントレイヤのデータとは夫々高能率符号化され
たものであり、当該高能率符号化されたデータを復号す
ることを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】前記ベースレイヤと前記複数のエンハ
ンスメントレイヤとをシリアルに復号処理することを特
徴とする請求項２２に記載の画像処理方法。
【請求項２４】前記復元されたベースレイヤの画像信
号と前記情報量の多い複数の画像信号とを選択的に出力
することを特徴とする請求項２２もしくは２３に記載の
画像処理方法。
【請求項２５】画像データの情報をを少なくとも複数
のスケーラブルファクタで削減して得たベースレイヤの
データから復元した第１の画像信号と、複数のスケーラ
ブルファクタに関する情報を有する複数のエンハンスメ
ントレイヤのデータと前記ベースレイヤのデータとから
前記複数のファクタについて前記復元されたベースレイ
ヤの画像信号より情報量の多い第２及び第３の画像信号
を入力し、前記第１、第２、第３の画像信号を中の選択された画像
信号に対応する画像を表示することを特徴とする画像処
理方法。
【請求項２６】マニュアル操作により前記選択動作が
実行されることを特徴とする請求項２５に記載の画像処
理方法。
【請求項２７】表示画面上の位置を指示するポインテ
ィングデバイスが、前記第１の画像信号に係わる画像を
表示しているときに、当該画像上の位置を指示すること
によって、前記第２もしくは第３の画像信号に対応する
画像を表示するべく選択可能としたことを特徴とする請
求項２６に記載の画像処理方法。
【請求項２８】前記第１の画像信号を複数入力し、当
該複数の第１の画像信号に係わる画像を同時に表示可能
であり、当該複数の画像信号から動画像表示する画像信
号を選択することを特徴とする請求項２５〜２７の何れ
かに記載の画像処理方法。
【請求項２９】画像データの情報をを少なくとも複数
のスケーラブルファクタで削減して得たベースレイヤの
データから復元した第１の画像信号と、複数のスケーラ
ブルファクタに関する情報を有する複数のエンハンスメ
ントレイヤのデータと前記ベースレイヤのデータとから
前記複数のファクタについて前記復元されたベースレイ
ヤの画像信号より情報量の多い第２及び第３の画像信号
を入力する第１のステップと、前記第１、第２、第３の
画像信号を選択する第２のステップと、選択された画像
信号に対応する画像を表示させる第３のステップを実行
させるためのプログラムを記憶しているコンピュータに
て読み取り可能な記録媒体。