JPH10234039A

JPH10234039A - 複数画像の復号化方法

Info

Publication number: JPH10234039A
Application number: JP3760397A
Authority: JP
Inventors: Chun Sen Bun; チユンセンブン
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-02-21
Filing date: 1997-02-21
Publication date: 1998-09-02

Abstract

(57)【要約】【課題】物体を構成する複数の小物体を合成するため
の合成情報をほかの物体の合成情報とまとめて伝送する
ためデータの編集が難しい。【解決手段】動画像を構成するＭ個の物体に対し、ｍ
番目の物体を構成するＮ＿ｍ個の小物体について、圧縮
符号化して得られたＮ＿ｍ個の小物体符号系列に、Ｎ＿
ｍ個の小物体符号系列が共有するｍ番目の共通データ系
列と、Ｎ＿ｍ個の小物体符号系列とｍ番目の共通データ
系列との関係を示す関連情報を付加し多重化したデータ
ストリームを受信し、Ｎ＿ｍ個の小物体符号系列を復号
化しＮ＿ｍ個の再生小物体を生成する複数画像の復号化
方法において、関連情報には、ｍ番目の共通データ系列
を上位データとし、上位データには、Ｎ＿ｍ個の小物体
を合成するｍ番目の合成情報を記述し、ｍ番目の合成情
報にしたがってＮ＿ｍ個の再生小物体を合成、Ｎ＿ｍ個
の小物体符号系列を下位データとする階層的関係付け情
報を記述する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の物体を構成
する画像を圧縮し伝送する方法に関するもので、特に複
数の物体を合成するための合成情報の伝送およびそれを
用いた画像復号化方法に関するものである。

【０００２】

【従来の技術】デジタル画像を効率よく蓄積もしくは伝
送するには、圧縮符号化する必要がある。デジタル画像
を圧縮符号化するための方法として、ＪＰＥＧやＭＰＥ
Ｇに代表される離散コサイン変換（ＤＣＴ）のほかに、
サブバンドやウェアブレット、フラクタルなどの波形符
号化方法がある。また、画像間の冗長な信号を取り除く
には動き補償を用いた画像間予測を行い、差分信号を波
形符号化する。

【０００３】最近、圧縮効率を向上させると同時に画像
を構成する物体単位の再生ができるように、画像を構成
する物体を別々に圧縮符号化し伝送する。再生側では、
それぞれの物体を復号化し、再生した物体を合成し画像
を表示する。物体単位に符号化することで、物体を自由
に組み合わせて合成することにより動画像を簡単に再編
集できる。また、通信路の混み具合や再生装置の性能、
視聴者の好みによって、比較的に重要でない物体を再生
しなくても、動画像を見ることができる。すなわち、物
体単位のスケーラビリティが実現できる。

【０００４】物体を圧縮符号化して得られた物体符号化
系列（またはビットストリーム）を所定の長さに分割
し、補助情報を付加しパケット単位で多重化し伝送す
る。受信側では、多重化したパケットを並べ替えて分割
する前のビットストリームに戻して復号化器で再生す
る。再生した物体を合成するためのシナリオ、すなわち
合成情報が必要である。この合成情報を受信し制御信号
に変換して、再生物体を合成して表示する。

【０００５】従来の技術では、画像の合成情報を一括し
て受信する。図７は従来技術における多重化したビット
ストリームの模式図を示す。この多重化ビットストリー
ムに対応する画像は図２に示されている。図２の画像２
０１は背景２０２と車２０３から構成される。背景２０
２は更に山２０５と山２０６、車２０３は更に車輪２０
７、２０８と車体２０９から構成される。山２０５、山
２０６、車輪２０７（車輪２０８と同じとする）、車体
２０９を夫々圧縮符号化し生成したビットストリームを
多重化する。図７では山２０５の画像データ７０３、山
２０６の画像データ７０４、車体の画像データ７０５と
車輪の画像データ７０６の順に多重化されている。各デ
ータはもっと小さく分割し多重化してもよい。全画像合
成情報７０２には山２０５、山２０６、車輪２０７、２
０８、車体２０９の配置、前後関係が記述されており、
受信画像では、全画像合成情報７０２にしたがって各物
体を合成し画像２０１を生成する。従来の技術に用いる
方法の特徴は、画像を構成するすべての物体に関する合
成情報は一括して全画像合成情報７０２に記述されてい
ることである。

【０００６】

【発明が解決しようとする課題】このような物体単位の
ビットストリームおよび合成情報の伝送方法において
は、物体単位の再生やビットストリームの簡易な再編集
が要求されている。従来の技術に見られるように、車２
０３という物体だけ再生したい、またはそのビットスト
リームを取り出したいときには全画像合成情報７０２を
解析し、車輪２０７，２０８と車体２０９を合成する情
報を抽出し、それに基づいて車２０３を合成したり、新
たな合成情報を生成しなければならない。すなわち、物
体を構成する複数の小物体を合成するための合成情報を
ほかの物体の合成情報とをまとめているため物体単位の
再生やビットストリームの再編集が難しくなる課題があ
る。

【０００７】本発明は、物体単位のビットストリームお
よび合成情報を物体毎にまとめることにより物体単位の
再生やビットストリームの再編集を効率化することを目
的とする。

【０００８】

【課題を解決するための手段】この課題を解決するため
に、本発明の複数画像の復号化方法は、動画像を構成す
るＭ（Ｍは整数）個の物体に対し、ｍ（ｍ＝１，２，
…，Ｍ）番目の物体を構成するＮ＿ｍ（Ｎ＿ｍは整数
で、物体によって変わる）個の小物体について、所定の
方法で圧縮符号化して得られたＮ＿ｍ個の小物体符号系
列に、Ｎ＿ｍ個の小物体符号系列が共有するｍ番目の共
通データ系列と、Ｎ＿ｍ個の小物体符号系列とｍ番目の
共通データ系列との関係を示す関連情報を付加し多重化
したデータストリームを受信し、Ｎ＿ｍ個の小物体符号
系列を所定の方法で復号化しＮ＿ｍ個の再生小物体を生
成する複数画像の復号化方法において、前記関連情報に
は、ｍ番目の共通データ系列を上位データとし、Ｎ＿ｍ
個の小物体符号系列を下位データとする階層的関係付け
情報を記述し、上位データには、少なくともＮ＿ｍ個の
小物体を合成するｍ番目の合成情報を記述し、ｍ番目の
合成情報にしたがってＮ＿ｍ個の再生小物体を合成する
ものである。

【０００９】

【発明の実態の形態】以下、本発明の実施の形態につい
て、図１から図６を用いて説明する。

【００１０】図１は本発明による複数画像の復号化方法
を実現するための装置を示すブロック図である。図１に
おいて１０１は入力端子、１０２は分離器、１０３は制
御器、１０４から１０７はデコーダ、１０８から１１０
は合成器、１１１は表示器である。

【００１１】以上のように構成された複数画像の復号化
装置について、まず全体の動作を説明する。詳細につい
て図２以降で述べる。入力端子１０１に多重化データス
トリームを入力する。本実施の形態に用いられる多重化
したデータストリームのフォーマットについて後述す
る。分離器１０２では、多重化データストリームを解析
し、画像の合成情報やその他の制御信号をライン１２１
を経由し制御器１０３に送る。本実施の形態では汎用プ
ロセッサーを用いて制御する。動画像を構成する複数の
物体の圧縮符号化データはデコーダ１０４、１０５、１
０６、１０７に送られる。本実施の形態では、四つの物
体を想定し四つのデコーダを具備しているが、これは説
明しやすくするためであって、任意の個数のデコーダが
あってもよい。デコーダ１０４から１０７にて圧縮符号
化された各物体のデータを復号化し異なる再生物体を生
成する。本実施の形態のデコーダはＭＰＥＧ１に代表さ
れるフレーム間動き補償・離散コサイン変換方式を用い
ているが、これに限るものではない。制御器１０３に
て、各物体の合成情報を制御信号に変換し合成器１０
８、１０９、１１０に送り、各デコーダの出力を合成し
表示器１１１に出力する。

【００１２】図２は本実施の形態を説明するために用い
られる画像の模式図である。図２の画像２０１は一連の
動画像の中の一こまを示し、背景２０２と車２０３の二
つの物体から構成される。背景２０２は更に山２０５と
山２０６の二つの小物体、車２０３は更に車輪２０７、
２０８と車体２０９の三つの小物体から構成される。車
輪２０７と車輪２０８は同じものとして説明する。小物
体の山２０５、山２０６、車輪２０７、車体２０９を夫
々圧縮符号化しデータ系列（またはビットストリームと
も言う）に変換する。本実施の形態ではMPEG1の方式を
用いて各小物体を圧縮符号化する。なお、画像２０１を
一つの物体とすると、背景２０２と車２０３は小物体と
みなすことができる。

【００１３】小物体のデータ系列は物体単位に階層的に
関連付ける。図３は画像２０１の各物体と小物体のデー
タ系列の関係図を示す。山２０５のデータ系列３０４と
山２０６のデータ系列３０５は背景２０２を構成する小
物体であり、下位データとする。その上位データとして
背景の共通データ系列３０２があり、データ系列３０４
とデータ系列３０５との共通データが記述される。本実
施の形態では、画像を再生するための参照クロックや、
復号化するために用いられる可変長符号の参照テーブル
が記述される。本発明によると、共通データには山２０
５と山２０６を合成するための合成情報を記述する。同
様に車輪のデータ系列３０６と車体のデータ系列３０７
を下位データとし、その上位データには車輪２０７，２
０８と車体２０９とを合成するための合成情報が記述さ
れている。さらに、共通データ系列３０２と共通データ
系列３０３を下位データとし、その上位データには、背
景２０２と車２０３とを合成するための合成情報が記述
される。

【００１４】データ系列の階層関係情報はテーブル３０
８にまとめられ伝送する。各データ系列にインデクスと
いう識別子を割り当て、これはテーブル３０８の下位デ
ータ系列のインデクスの欄３１７に記述される。各デー
タ系列は一意的な論理チャネルに割り当てて伝送する。
これは下位データ系列の論理チャネル番号の欄３１６に
示される。各下位データが属する上位データ系列との関
係は上位データ系列の論理チャネル番号の欄３１８に記
述される。

【００１５】図４は本実施の形態に用いられる共通デー
タ系列の模式図を示す。データ系列の先頭には共通デー
タであることを認識するための同期信号４０２が記述さ
れている。本実施の形態では、３２ビットの符号であら
わす。次に１０ビットの符号であらわす参照クロック４
０３が続く。復号化するために用いられる可変長符号の
参照テーブル４０５が記述され、そのテーブルの大きさ
（バイト長）を示すにはテーブル長４０４が記述され
る。また、共通データ系列には合成情報を記述する。そ
れが合成情報のデータ４０７で、合成情報のデータ長４
０６でデータの大きさ（バイト長）を示す。本実施の形
態に用いられる合成情報のデータフォーマットは４０８
に示される。４１３は山２０５を合成するための情報
で、４１４は山２０６を合成するための情報である。山
２０５の合成情報４１３で説明する。“ｉｄ”４０９は
物体または小物体の識別子である。“ｃｏ”４１０は画
像における物体の奥行きを示し、本実施の形態では、値
が小さいほど後ろにあり、“０”はもっとも背後にある
ことを意味する。“ｘｐｏｓ”４１１と“ｙｐｏｓ”４
１２は物体の配置を示す。（０，０）は合成座標の中心
に位置することを意味する。なお、合成情報には物体を
回転させたり、拡大縮小したりするパラメータ、物体を
平滑化するパラメータを追加してもよい。

【００１６】データ系列の階層関係情報テーブル３０
８、共通データ系列３０１，３０２、３０３と、小物体
の符号データ系列３０４、３０５、３０６、３０７を多
重化したものは図５に示す。ＳＡＴ（５０１）にはデー
タ系列の階層関係情報テーブル３０８、最上位合成情報
５０２には全画像の共通データ系列３０１、背景合成情
報５０３には背景の共通データ系列３０２、画像データ
５０４にはデータ系列３０４、画像データ５０５にはデ
ータ系列３０５、車合成情報５０６には共通データ系列
３０３、画像データ５０７にはデータ系列３０７、画像
データ５０８にはデータ系列３０６の符号が入る。画像
データの一例は図６に示す。画像のフレーム（こま）の
データを認識するための同期信号６０１、物体の識別子
（ＩＤ）６０２と符号化データ６０５が含まれる。本実
施の形態では、符号化データ６０５には量子化幅、コサ
イン変換係数、動きベクトルなどのデータが含まれる。
フォーマットはＭＰＥＧ１と同じものを用いる。

【００１７】図５と図７とを比較するとわかるように、
従来の技術ではすべての物体および小物体を合成するた
めの情報は一括している（７０２）のに対し、本発明に
よる合成情報は物体毎に分けている（５０３、５０
６）。そのために、たとえば車だけのデータを抽出し編
集するときには、データ系列の階層関係情報テーブル３
０８より、直接に上位と下位データの関係がわかり、対
応するデータを簡単に再編集できる。画像の合成情報を
解析し編集する必要がないメリットがある。

【００１８】図５に示す多重化データを図１の復号化装
置に入力して、簡単に所定の物体を復号化し合成するこ
とができる。多重化データを入力端子１０１に入力し、
分離器１０２にてデータを解析し、ＳＡＴ（５０１）、
最上位合成情報５０２、背景合成情報５０３、車合成情
報５０６などをライン１２１を経由し制御器１０３に送
る。画像データ５０４をデコーダ１０４に、画像データ
５０５をデコーダ１０５に、画像データ５０７をデコー
ダ１０６に、画像データ５０８をデコーダ１０７に送っ
て、夫々復号化し小物体を生成する。一方制御器１０３
では、ＳＡＴ（５０１）のテーブルを引きデータ系列の
上下関係から、共通データによる制御信号を所定のデコ
ーダに送る。図１において、ライン１３６を経由しデコ
ーダ１０４と１０５に送り、ライン１３７を経由しデコ
ーダ１０６と１０７に送る。同様に共通データに含まれ
る合成情報を所定の合成器に送り、再生小物体を合成す
る。本実施の形態では、背後にある物体の上を前にある
物体で上書きする方法で画像を合成する。物体の各画素
を重みつけ平均で合成してもよい。この例では、合成器
１０８にて背景が合成され、合成器１０９にて車が合成
される。最後に合成器１１０にて合成器１０８と合成器
１０９の出力を合成し、一枚の画像を生成し、表示器１
１１に表示する。なお、複数の合成器を一つの合成器で
置き換え、時分割で物体を合成してもよい。背景のみを
表示したいときに、制御器１０３は合成情報を解析する
必要なく、データの系列の関係から合成すべき対象物体
とその合成情報が直ちにわかるために、効率よく物体を
選択的に表示することができる。

【００１９】なお、共通データ系列には小物体の符号系
列を含めてもよい。すなわち、物体を構成する複数の小
物体の中の一つを上位データとし、そのデータ系列に画
像合成情報を記述してもよい。また、画像だけでなく、
オーディオのデータに対し同じように合成情報を多重化
してもよい。

【００２０】

【発明の効果】以上のように本発明によれば、物体単位
にそれを構成する各小物体及び各小物体を合成するため
の合成情報を上位と下位データの関係で結び付けること
により、物体単位の再生や物体単位のビットストリーム
の再編集が簡単になる効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態による複数画像の復号化装
置を示すブロック図

【図２】本発明の実施の形態を説明するための画像を示
す模式図

【図３】本発明の実施の形態を説明するための画像の各
物体のデータ系列の関係を示す模式図

【図４】本発明の実施の形態に用いられる共通データ系
列を示す模式図

【図５】本発明の実施の形態を説明するための画像に対
応する多重化データを示す模式図

【図６】本発明の実施の形態を説明するための画像の各
物体の符号化データ系列を示す模式図

【図７】従来の技術に用いられる多重化データを示す模
式図

【符号の説明】

１０１入力端子１０２分離器１０３制御器１０４デコーダ１０５デコーダ１０６デコーダ１０７デコーダ１０８合成器１０９合成器１１０合成器１１１表示器

Claims

【特許請求の範囲】

【請求項１】動画像を構成するＭ（Ｍは整数）個の物体
に対し、ｍ（ｍ＝１，２，…，Ｍ）番目の物体を構成す
るＮ＿ｍ（Ｎ＿ｍは整数で、物体によって変わる）個の
小物体について、所定の方法で圧縮符号化して得られた
Ｎ＿ｍ個の小物体符号系列に、前記Ｎ＿ｍ個の小物体符
号系列が共有するｍ番目の共通データ系列と、前記Ｎ＿
ｍ個の小物体符号系列と前記ｍ番目の共通データ系列と
の関係を示す関連情報を付加し多重化したデータストリ
ームを受信し、前記Ｎ＿ｍ個の小物体符号系列を所定の
方法で復号化しＮ＿ｍ個の再生小物体を生成する複数画
像の復号化方法において、前記関連情報には、前記ｍ番目の共通データ系列を上位
データとし、前記Ｎ＿ｍ個の小物体符号系列を下位デー
タとする階層的関係付け情報を記述し、前記上位データには、少なくとも前記Ｎ＿ｍ個の小物体
を合成するｍ番目の合成情報を記述し、前記ｍ番目の合
成情報にしたがって前記Ｎ＿ｍ個の再生小物体を合成す
ることを特徴とする複数画像の復号化方法。
【請求項２】Ｎ＿ｍ個の小物体符号系列を有するｍ番目
の物体と、Ｎ＿ｍ’個の小物体符号系列を有するｍ’番
目の物体とを下位データとし、前記ｍ番目の物体と前記
ｍ’番目の物体とが共有する共通データ系列を上位デー
タとし、前記上位データには、少なくとも前記ｍ番目の物体と
ｍ’番目の物体とを合成するｍ”番目の合成情報を記述
し、前記ｍ”番目の合成情報にしたがって前記ｍ番目の
物体とｍ’番目の物体とを合成することを特徴とする請
求項１記載の複数画像の復号化方法。
【請求項３】動画像を構成するＭ（Ｍは整数）個の物体
に対し、ｍ（ｍ＝１，２，…，Ｍ）番目の物体を構成す
るＮ＿ｍ（Ｎ＿ｍは整数で、物体によって変わる）個の
小物体について、所定の方法で圧縮符号化して得られた
Ｎ＿ｍ個の小物体符号系列に、前記Ｎ＿ｍ個の小物体符
号系列が共有するｍ番目の共通データ系列と、前記Ｎ＿
ｍ個の小物体符号系列と前記ｍ番目の共通データ系列と
の関係を示す関連情報を付加し多重化したデータストリ
ームを伝送する画像伝送方法において、前記関連情報には、前記ｍ番目の共通データ系列を上位
データとし、前記Ｎ＿ｍ個の小物体符号系列を下位デー
タとする階層的関係付け情報を記述し、前記上位データには、少なくとも前記Ｎ＿ｍ個の小物体
を合成するｍ番目の合成情報を記述ることを特徴とする
画像伝送方法。
【請求項４】動画像を構成するＭ（Ｍは整数）個の物体
に対し、ｍ（ｍ＝１，２，…，Ｍ）番目の物体を構成す
るＮ＿ｍ（Ｎ＿ｍは整数で、物体によって変わる）個の
小物体について、所定の方法で圧縮符号化して得られた
Ｎ＿ｍ個の小物体符号系列に、前記Ｎ＿ｍ個の小物体を
合成するためのｍ番目の合成情報を含めたｍ番目の共通
データ系列と、前記ｍ番目の共通データ系列を上位デー
タとし前記Ｎ＿ｍ個の小物体符号系列を下位データとす
る階層的関係付け情報を含めたｍ番目の関連情報とを付
加し多重化したデータストリームを受信する入力端子
と、前記多重化したデータストリームを解析し、前記Ｎ＿ｍ
個の小物体符号系列と前記ｍ番目の共通データ系列と前
記ｍ番目の関連情報とを分離する分離器と、前記Ｎ＿ｍ個の小物体符号系列を所定の方法で復号化
し、Ｎ＿ｍ個の再生小物体を生成するｍ番目の復号化器
と、前記ｍ番目の関連情報により前記上位データである前記
ｍ番目の共通データ系列に記述された前記ｍ番目の合成
情報を用いて、前記下位データである前記Ｎ＿ｍ個の再
生小物体を合成しｍ番目の合成物体を生成するｍ番目の
合成器とを具備する複数画像の復号化装置。
【請求項５】ｍ番目の合成物体とｋ（ｋ≠ｍ）番目の合
成物体との上位データである共通データ系列に記述され
たｍ’番目の合成情報を用いて、前記ｍ番目の合成物体
と前記ｋ番目の合成物体とを合成しｍ’番目の合成物体
を生成する合成器とを具備する請求項４記載の複数画像
の復号化装置。