JP4175565B2

JP4175565B2 - 画像伝送装置

Info

Publication number: JP4175565B2
Application number: JP2003387817A
Authority: JP
Inventors: 賢治松尾; 幸一高木; 淳小池; 修一松本
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2003-11-18
Filing date: 2003-11-18
Publication date: 2008-11-05
Anticipated expiration: 2023-11-18
Also published as: JP2005151298A

Description

本発明は、画像伝送装置に関し、特に、通信路の帯域幅や表示機器の処理能力が様々に異なる環境下においても、受像環境の違いに関係なく全ての画像受信者が同じ画像を高品質で視聴できる画像伝送装置に関する。

近年、コンピュータの性能向上とネットワークの広帯域化により、デジタル画像の配信が容易になった。一方、ネットワークの多様化により、画像受信者が有する通信路の帯域幅や表示機器の処理能力が様々に異なっている。放送の観点からは、異なる受像環境が混在する場合であっても全ての画像受信者が受像環境の違いに関係なく同じ画像を視聴できることが重要である。

この課題を解決するための手法として、階層符号化技術が存在する。階層符号化技術では、基本階層と拡張階層の２階層に分割された符号化ストリームを作成する。基本階層は、画像を再生するための最低限の情報を含み、拡張階層は、基本階層に付加されて再生画像の品質を高める情報を含む。階層符号化技術によって、画像受信者が有する通信路の帯域幅や表示機器の処理能力に応じて、伝送する階層をスケーラブルに選択し、２段階の品質で画像を再生することができる。

従来の代表的な階層符号化技術の１つとして、下記非特許文献１で提案されているＦＧＳ（Fine Granularity Scalability）符号化技術を挙げることができる。ＦＧＳ符号化技術は、特にスケーラビリティ（復号自由度）の高い階層符号化技術である。このスケーラビリティの高さはビットプレーン符号化処理によって実現されている。すなわち、ＦＧＳ符号化技術の拡張階層では、画像品質を高めるための情報がビットプレーン符号化処理により細かく符号化され、比較的小さな単位の符号語が作成される。ビットプレーン符号化処理により作成された符号語は、再生画像の品質に寄与する度合いが高いものから順番に拡張階層符号化ストリームに格納される。

そのため、拡張階層符号化ストリームの符号量を変化させて画像受信者が有する通信路の帯域幅に合わせて、符号量を柔軟に制御することができ、同時に品質が高い画像を再生することができる。また、通信路の輻輳により拡張階層符号化ストリームが伝送途中で欠落した場合でも、受信できた符号化ストリームの符号量に応じた品質の画像を再生することができるという特徴を持つ。
Weiping Li,"Overviw of Fine Granularity Scalability in MPEG-4 Video Standard",IEEE Transaction on circuit and systems for video technology, Vol.11, No.3, Mar.2001

しかしながら、従来の階層的符号化技術は、階層化による分割損（階層化による動き補償精度の低下）の影響により符号化による情報圧縮の効率が低く、階層化を行わない符号化方式と比較して再生画像の品質が大きく下回るという課題があった。すなわち、画像符号化技術は画像内の冗長な信号を効率よく取り除くことによって、限られた量の情報で再生画像の品質を高めることを基本的な原理とするが、階層化により効率よく冗長な信号を取り除く処理が行えなくなり、符号化効率が低下し、再生画像の品質が低下するという課題があった。

例えば、画像符号化技術では前後フレーム間の画像の動き補償予測処理を行うことにより冗長な信号を効率よく削減できるが、上記ＦＧＳ符号化では基本階層に対してのみ動き補償予測処理を適用し、拡張階層に対しては単純な前後フレーム間予測処理しか適用していないため、冗長な信号を効率よく取り除くことができていない。このような符号化効率の低下は、画像受信者の再生画像全体の品質を低下させ、さらには受像者が画像から受ける主観的な品質および意味的内容の理解を低下させる。

本発明の目的は、上記課題を解決し、画像受信者が有する通信路の帯域幅や表示機器の処理能力が様々に異なる環境下においても、全ての画像受信者が受像環境の違いに関係なく同じ画像を高品質で視聴できる画像伝送装置を提供することにある。

上記課題を解決するために、本発明は、画像を階層符号化処理して伝送する画像伝送装置において、原画像を複数nのオブジェクト画像o(n)(ここで、n=1,2,・・・,n)に分割し、各オブジェクト画像o(n)を基本階層と拡張階層の２階層に分け、基本階層では量子化処理を含む符号化処理を行って基本階層符号化ストリームを生成し、拡張階層では原画像と基本階層の復号画像の差分である残差画像をビットプレーン符号化処理を行って拡張階層符号化ストリームを生成し、生成した基本階層符号化ストリームと拡張階層符号化ストリームを蓄積するとともに、各オブジェクト画像o(n)について拡張階層符号化ストリームの符号語が順次復号された場合の符号量Rと符号化歪Dみとの関係を示すレート歪み特性を生成して保持する符号化蓄積手段と、前記レート歪み特性と通信路の帯域幅とに基づいて、各オブジェクト画像o(n)についてのdD(n)/dR(n)が同一であり、かつ各オブジェクト画像o(n)の拡張階層符号化ストリームに割り当てられる符号量の総計が、フレーム画面の拡張階層全体に割り当てることができる設定符号量を超えないという制約条件の下で、各オブジェクト画像o(n)に対する符号量を配分し、該配分に従って各オブジェクト画像o(n)の拡張階層符号化ストリームをカットして送出する伝送手段とを備えた点に第１の特徴がある。

また、本発明は、前記伝送手段が、各オブジェクト画像に対する符号量を配分する際、各オブジェクト画像に対し重み付けする点に第２の特徴がある。

本発明の特徴によれば、レート歪み特性と通信路の帯域幅を考慮してフレーム全体の画質を最大限に高める制御が可能になるので、通信路の帯域幅や表示機器の処理能力が様々に異なる環境下においても、受像環境の違いに関係なく全ての画像受信者が同じ画像を高品質で視聴できるようになる。

また、各オブジェクト画像に対する符号量を配分する際に各オブジェクト画像に対し視覚的複雑度、優先度等に従って重み付けすることにより、例えば前景オブジェクト画像を比較的高品質で、背景オブジェクト画像を比較的低品質で符号化するなどしてフレーム画像全体の主観的品質を高めることができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像伝送装置の基本構成を示すブロック図である。以下では、画像受信者に画像を配信する場合を例にとって説明する。

まず、入力画像が符号化蓄積装置１１に入力される。入力画像は、オブジェクト以外の部分が例えば「0」レベルとされた複数のオブジェクト画像ｏ(1),ｏ(2),・・・であり、これはフレーム画像からオブジェクトの画像領域を分割することによって得られる。

フレーム画像からオブジェクト画像を分割するには公知の技術を利用できる。例えば特開2003-44860号公報「映像オブジェクト追跡装置」や特開2002-358526号公報「映像オブジェクト検出・追跡装置」や特開2001-236512号公報「動オブジェクト抽出装置」に記載されたオブジェクト抽出の技術を利用できる。

符号化蓄積装置１１は、各オブジェクト画像ｏ(1),ｏ(2),・・・をそれぞれ階層符号化処理し、各オブジェクト画像について基本階層および拡張階層の符号化ストリームａ(1),ａ(2),・・・とレート歪み特性ｂ(1),ｂ(2),・・・を生成し、蓄積保持する。レート歪み特性の詳細は後述する。なお、拡張階層ではビットプレーン符号化が行われる。
伝送装置１２は、レート歪み特性ｂ(1),ｂ(2),・・・と通信路帯域幅ｃに従って符号化ストリームａ(1),ａ(2),・・・の符号量を低減させた符号化ストリームａ'(1),ａ'(2),・・・を生成し、これを通信路１３に送出する。符号化ストリームａ(1),ａ(2),・・・の符号量は、ビットプレーン符号化されている拡張階層符号化ストリームをカットすることにより低減される。拡張階層の符号化ストリームａ'(1),ａ'(2),・・・の送出は、例えば画像受信者からのリクエストや時刻に基づいて行われ、これにより画像受信者に対し画像が配信される。

送出される符号化ストリームａ'(1),ａ'(2),・・・は、全体として通信路１３の帯域幅内で伝送可能な符号量を有し、かつ再生画像の品質を最大限に高めるように割り当てられた符号量を有するものとされる。そのために画像伝送に先立って測定された通信路帯域幅ｃが伝送装置１２に入力される。

画像受信者側の再生装置１４は、通信路１３より受信した符号化ストリームａ'(1),ａ'(2),・・・を復号して再生オブジェクト画像ｏ'(1),ｏ'(2),・・・を再生する。これにより画像受信者は、自己が有する通信路１３で受信できる最大限の品質で再生オブジェクト画像ｏ'(1),ｏ'(2),・・・を得ることができ、これらの再生オブジェクト画像ｏ'(1),ｏ'(2),・・・を統合することによりフレーム画像を視聴できる。

図２は、オブジェクト画像が２つの場合の伝送形態を概念的に示す図である。まず、フレーム画像をオブジェクト画像ｏ(1),ｏ(2)に分割する。オブジェクト画像ｏ(1)は、例えばフレーム画像から抽出した前景画像であり、オブジェクト画像ｏ(2)はその背景画像である。

次に、各オブジェクト画像ｏ(1),ｏ(2)を階層符号化し、符号化ストリームａ(1),ａ(2)を生成する。符号化ストリームａ(1),ａ(2)には、基本階層符号化ストリームと拡張階層符号化ストリームが含まれる。一般的に、動きが少ない画像ほど符号量が少なくなる。

オブジェクト画像ｏ(1),ｏ(2)の符号化ストリームａ(1),ａ(2)の符号量を、レート歪み特性ｂ(1),ｂ(2)と通信路帯域幅ｃに従って符号語単位で通信路帯域幅に合わせてカットして符号化ストリームａ'(1),ａ'(2)とし、通信路に送出する。

受信側では、符号化ストリームａ'(1),ａ'(2)を受信してオブジェクト画像ｏ'(1),ｏ'(2)を再生し、それらを統合してフレーム画像を再構成する。

以下、階層符号化技術としてNPEG-4ベースのＦＧＳ符号化技術を用いた場合を例にとって、図１の各装置の具体例について説明する。

符号化蓄積装置１１
図３は、符号化蓄積装置１１の構成例を示すブロック図である。図３は、フレーム画像から分離されたオブジェクト画像ｏ(1),ｏ(2),・・・のうちの１つを処理するための構成である。複数のオブジェクト画像ｏ(1),ｏ(2),・・・は、このような構成の複数を並列的に、あるいは１つを時分割で使用して処理される。以下では、図３の構成がオブジェクト画像ｏ(1)を処理するものとして説明する。

入力されたオブジェクト画像ｏ(1)は、減算器３１、３２および動き検出部３３に入力される。減算器３１より後段の部分で基本階層符号化処理が行われ、減算器３２より後段の部分で拡張階層符号化処理が行われる。

基本階層符号化処理では、まず、減算器３１で入力オブジェクト画像ｏ(1)から動き補償予測部３４で得られた予測画像が減算されて、予測誤差画像が生成される。この予測誤差画像は、ＤＣＴ（直交変換）部３５で、例えば縦８画素、横８画素のブロック単位でＤＣＴ係数に変換される。

量子化部３６は量子化パラメータに従ってＤＣＴ係数を量子化する。量子化済みＤＣＴ係数が可変長符号化（ＶＬＣ）部３７で可変長符号化され、動きベクトル情報MVと共に多重化されて基本階層符号化ストリームｄ(1)が生成される。

また、量子化部３６からの量子化済みＤＣＴ係数は、逆量子化部３８で逆量子化され、逆ＤＣＴ部３９で予測誤差画像に再生され、加算器４０で動き補償予測部３４からの予測画像と加算される。加算器４０で得られた局部復号画像は、フレームメモリ４１に格納される。

動き検出部３３は、順次入力されるオブジェクト画像ｏ(1)とフレームメモリ４１からの局部復号画像に基づいてオブジェクト画像ｏ(1)の動きを検出し、動きベクトル情報MVを出力する。動きベクトル情報MVは、動き補償予測部３４と可変長符号化部３７に与えられる。オブジェクト画像の動きは、例えば縦１６画素、横１６画素のマクロブロックを単位として検出される。動き補償予測部３４は、フレームメモリ４１からの局部復号画像と動き検出部３３からの動きベクトル情報MVとにより予測画像を生成し、減算器３１と加算器４０に出力する。

拡張階層符号化処理で符号化対象となるのは減算器３２の出力、すなわち、入力オブジェクト画像ｏ(1)とフレームメモリ４１に格納されている局部復号画像との差分である残差画像である。この残差画像は、ＤＣＴ部４２でＤＣＴ係数に変換される。これにより生成されたＤＣＴ係数は、ビットプレーン符号化部４３でビットプレーン単位で符号化され、さらに可変長符号化部４４で可変長符号化されて拡張階層符号化ストリームｅ(1)が生成される。この符号化の際にビットプレーン符号化部４３でレート歪み特性ｆ(1)が生成される。

図４は、ＦＧＳ符号化技術の拡張階層の符号化処理手順の説明図である。ＦＧＳ符号化技術の拡張階層では、差分画像に対して縦８画素、横８画素のブロック単位でＤＣＴを行ってＤＣＴ係数を得る。次に、各ブロックのＤＣＴ係数をジグザグスキャンして（図４（ａ））ＤＣＴ係数を１次系列に並べ替え（同図（ｂ））、さらにビットプレーン表現に変換（同図（ｃ））した後、各ビットプレーンの二値情報シンボルを二値ゼロランレングス符号化処理により符号化して（RUN,EOP）符号語を作成する（同図（ｄ））。

以上の符号化処理手順により、再生された場合にオブジェクト画像の品質に寄与する度合いが高いものから１パスの順（図４（ｄ）では、(1,1) (0,0) (0,0) (1,0) (0,1) (0,0) (1,0) (2,0)・・・の順）に各符号語が符号化ストリームに格納されることになる。このように、再生された場合にオブジェクト画像の品質に寄与する度合いが高いものから１パスの順に各符号語が符号化ストリームに格納される階層符号化技術では、復号される符号語の符号量Ｒと符号化歪みＤを測定でき、従って符号語単位で符号量に対する符号化歪みＤを知ることができる特徴がある。

ここで、符号化歪みＤは、復号処理がその符号語で打ち切られた場合の再生オブジェクト画像と原オブジェクト画像との差異を示し、符号語がより多く復号されるにつれて符号化歪みＤは減少する。例えば、ＦＧＳ符号化技術の例では、符号化歪みＤを、客観的な画像の品質を考慮する場合は原画像との平均二乗誤差MSE（mean squared error）で定義できるが、主観的な画像の品質を考慮して重み付けされた平均二乗誤差（weighted MSE）で定義することも可能である。どちらで定義して尺度で符号化歪みＤを測定するかによって、再生されたオブジェクト画像に品質を客観的に向上させるか、主観的に向上させるかが決まる。

本発明では、再生されるオブジェクト画像の品質を最大限に高めるように画像伝送を行うために、復号される符号語の符号量Ｒと符号化歪みＤの関係であるレート歪み特性を各オブジェクト画像ｏについて測定する。すなわち、オブジェクト画像ｏのｊ_ｏ番目の符号語で打ち切った場合の総符号量をＲ_ｏ ^ｊｏとし、オブジェクト画像ｏのｊ_ｏ番目の符号語で打ち切った場合の再生オブジェクト画像と原オブジェクト画像との差異をＤ_ｏ ^ｊｏとしたとき、オブジェクト画像ｏの階層符号化処理の際に、１つの符号語が作成される度に符号量Ｒ_ｏ ^ｊｏと符号化歪みＤ_ｏ ^ｊｏを測定し、図５に示すように横軸をＲ_ｏ ^ｊｏとし、縦軸をＤ_ｏ ^ｊｏとするグラフにプロットする。これを各オブジェクト画像ｏ(1),ｏ(2),・・・に対して行い、各オブジェクト画像ｏ(1),ｏ(2),・・・についてのレート歪み特性ｆ(1),ｆ(2),・・・を得る。

このレート歪み特性ｆ(1),ｆ(2),・・・のグラフは、符号量Ｒ_ｏ ^ｊｏの増加に従って符号化歪みＤ_ｏ ^ｊｏが減少する単調減少の特性となる。図５のオブジェクト画像ｏ(1)のように、符号量Ｒ_ｏ ^ｊｏが少なくて符号化歪みＤ_ｏ ^ｊｏの小さい画像は、一般的に動きが少ない画像である。

符号化蓄積装置１１は、以上のようにして各オブジェクト画像ｏ(1),ｏ(2),・・・に対して基本階層符号化ストリームｄ(1),ｄ(2),・・・および拡張階層符号化ストリームｅ(1),ｅ(2),・・・を生成して蓄積保持し、さらに、各オブジェクト画像ｏ(1),ｏ(2),・・・に対するレート歪み特性ｆ(1),ｆ(2),・・・を生成して保持する。

伝送装置１２
図６は、伝送装置１２の構成例を示すブロック図である。伝送装置１２には、符号化蓄積装置１１で生成された基本階層および拡張階層符号化ストリームｄ(1),ｄ(2),・・・,ｅ(1),ｅ(2),・・・、レート歪み特性ｆ(1),ｆ(2),・・・、画像受信者との間の通信路１３の帯域幅ｃが入力される。

符号量配分処理部６１は、レート歪み特性ｆ(1),ｆ(2),・・・、通信路１３の帯域幅ｃ、および基本階層符号量測定部６２で測定された基本階層符号化ストリームｄ(1),ｄ(2),・・・の総符号量Ｂを用いて各オブジェクト画像ｏ(1),ｏ(2),・・・へ割り当てる符号量を決定する。

ストリームカッタ６３(1),６３(2),・・・はそれぞれ、割り当てられた符号量に従って各オブジェクト画像ｏ(1),ｏ(2),・・・の拡張階層符号化ストリームｅ(1),ｅ(2),・・・をカットし、割り当てられた符号量の拡張階層符号化ストリームｅ'(1),ｅ'(2),・・・を出力する。これらの拡張階層符号化ストリームｅ'(1),ｅ'(2),・・・は、基本階層符号化ストリームｄ(1),ｄ(2),・・・とともに通信路１３へ送出され、画像受信者へ伝送される。

符号量配分処理部６１は、画像受信者との間の通信路１３を伝送可能な符号量の範囲内で、再生画像の品質を最大限に高めるように符号量配分を決定する。具体的には、レート歪み特性ｆ(1),ｆ(2),・・・、通信路１３の帯域幅ｃ、および基本階層の符号化ストリームｄ(1),ｄ(2),・・・の総符号量Ｂに基づいて、例えば以下に示すアルゴリズムにより各オブジェクト画像ｏ(1),ｏ(2),・・・へ割り当てる符号量を算出する。

画像受信者との間の通信路１３の帯域幅ｃから定まる伝送可能な符号量をＣ、基本階層符号化ストリームｄ(1),ｄ(2),・・・の符号量をＢとすると、拡張階層全体の符号化ストリームｅ'(1),ｅ'(2),・・・に割り当てることができる設定符号量Ｒは、Ｒ＝Ｃ−Ｂで表される。

再生オブジェクト画像ｏ'(1),ｏ'(2),・・・の画像品質を最大限に高めるためには、各オブジェクト画像ｏ(1),ｏ(2),・・・のレート歪み特性ｆ(1),ｆ(2),・・・を使って、次の評価関数Ｆを最小化する必要がある。

Ｆ＝Σ_ｏ（ｋ_ｏＤ_ｏ ^ｊｏ＋λＲ_ｏ ^ｊｏ）

ここで、λは定数であり、ある定数λに対して上記式の評価関数Ｆを最小にする符号量Ｒ_ｏ ^ｊｏと符号化歪みＤ_ｏ ^ｊｏの組合せは一意に決定される。また、ｋ_ｏは、各オブジェクト画像ｏ(1),ｏ(2),・・・の視覚的複雑度、優先度等により定まる重み係数である。例えばｋ_ｏが大きいほどより多くの符号量が割り当てられ、ｋ_ｏが小さいほどより少ない符号量が割り当てられるように符号量Ｒ_ｏ ^ｊｏと符号化歪みＤ_ｏ ^ｊｏの組合せが決定される。これにより、例えば前景オブジェクト画像を比較的高品質で、背景オブジェクト画像を比較的低品質で符号化するようにしてフレーム画像全体の主観的品質を高めることができる。

定数λは、レート歪み特性曲線における接線の傾きｄＤ_ｏ／ｄＲ_ｏに相当する。ある値のλに対して、評価関数Ｆを最小にすることは、全てのオブジェクト画像ｏ(1),ｏ(2),・・・についての符号化歪み特性曲線に対して同じ傾きλを持つ接線を求めることと同値である。全てのオブジェクト画像ｏ(1),ｏ(2),・・・についての符号化歪み特性曲線に対して同じ傾きλを持つ接線を求めると、接点におけるｊ_ｏ（λ）番目の符号語で打ち切った場合の符号量Ｒ_ｏ ^{ｊｏ（λ）}と符号化歪みＤ_ｏ ^{ｊｏ（λ）}が評価関数Ｆを最小にする組み合せとなる。

このように、ある値のλに対して評価関数Ｆを最小にする符号量Ｒｏｊｏ（λ）と符号化歪みＤｏｊｏ（λ）が求められたら、次に、各オブジェクト画像ｏ(1),ｏ(2),・・・の拡張階層符号化ストリームｅ(1),ｅ(2),・・・に割り当てられる符号量の合計が、フレーム画面の拡張階層全体に割り当てられる設定符号量Ｒを超さないように、以下に示す制約条件を課して定数λの値を決定する。

各オブジェクト画像ｏ(1),ｏ(2),・・・の拡張階層符号化ストリームへ割り当てる符号量Ｒｏｊｏ（λ）の総量をＲ（λ）とすると、

Ｒ（λ）＝ΣｏＲｏｊｏ（λ）≦（拡張階層全体の符号化ストリームｅ'(1),ｅ'(2),・・・に割り当てることができる設定符号量Ｒ）

を満たし、かつ拡張階層全体の符号化ストリームｅ'(1),ｅ'(2),・・・の符号量が設定符号量Ｒにできるだけ近いように定数λを決定する。このときの定数λに対応するｊｏ（λ）番目の符号語で拡張階層符号化ストリームｅ(1),ｅ(2),・・・を打ち切ると、再生オブジェクト画像ｏ'(1),ｏ'(2),・・・全体の画像品質を最大にすることができる。

図７は、オブジェクト画像が２つの場合の符号量配分処理の概念を示す説明図である。オブジェクト画像ｏ(1),ｏ(2)についての符号化歪み特性ｆ(1),ｆ(2)に対して同じ傾きλをもつ接線を求め、その接点における符号量Ｒ_１ ^{ｊ１（λ）}およびＲ_２ ^{ｊ２（λ）}を求める。定数λを変化させて（Ｒ_１ ^{ｊ１（λ）}＋Ｒ_２ ^{ｊ２（λ）}）が設定符号量Ｒ以下で、かつそれに近くなるようにし、そのときの符号量Ｒ_１ ^{ｊ１（λ）}、Ｒ_２ ^{ｊ２（λ）}を求める。通信路に符号化ストリームを送出する際に、オブジェクト画像ｏ(1)の拡張階層の符号化ストリームをｊ１（λ）番目の符号語で打ち切り、オブジェクト画像ｏ(2)の拡張階層の符号化ストリームをｊ２（λ）番目の符号語で打ち切る。

再生装置１４
図８は、再生装置１４の構成例を示すブロック図である。図８は、オブジェクト画像ｏ'(1),ｏ'(2),・・・のうちの１つを再生するための構成である。複数のオブジェクト画像ｏ'(1),ｏ'(2),・・・は、このような構成を複数設けて並列的に、あるいは１つの構成を時分割で使用して再生される。以下では、図８の構成がオブジェクト画像ｏ'(1)を再生するものとして説明する。

基本階層符号化ストリームｄ(1)は、可変長復号（ＶＬＤ）部８１で可変長復号され、量子化済みＤＣＴ係数が出力される。同時に動きベクトル情報MVが出力される。量子化済みＤＣＴ係数は、逆量子化部８２で逆量子化され、逆ＤＣＴ部８３で予測誤差画像に再生される。加算器８４は、予測誤差信号と動き補償予測部８５からの予測画像と加算し、基本階層オブジェクト画像を出力する。この基本階層オブジェクト画像は、加算器９０に出力されるとともににフレームメモリ８６に蓄積される。フレームメモリ８６に蓄積された復号画像は、動き補償予測部８５に与えられる。

拡張階層符号化ストリームｅ'(1)は、可変長復号部８７で可変長復号され、ビットプレーン復号部８８で残差画像ＤＣＴ係数に復号される。このＤＣＴ係数は、逆ＤＣＴ部８９で残差画像に変換される。加算器９０は、この残差画像と基本階層オブジェクト画像とを加算し、再生オブジェクト画像ｏ'(1)を出力する。

以上の説明から明らかなように、本発明によれば、レート歪み特性と通信路帯域幅を考慮してフレーム全体の画質を最大限に高める制御が可能になるので、異なる受像環境が混在するネットワーク上での画像配信システムなどに有効に適用できる。

本発明に係る画像伝送装置の基本構成を示すブロック図である。本発明による伝送形態を概念的に示す図である。符号化蓄積装置の構成例を示すブロック図である。ＦＧＳ符号化技術の拡張階層の符号化処理手順の説明図である。レート歪み特性の説明図である。伝送装置の構成例を示すブロック図である。符号量配分処理の概念を示す説明図である。再生装置の構成例を示すブロック図である。

符号の説明

１１・・・符号化蓄積装置、１２・・・伝送装置、１３・・・通信路、１４・・・再生装置、３１，３２・・・減算器、３３・・・動き検出部、３４，８５・・・動き補償部、３５，４２・・・ＤＣＴ（直交変換）部、３６・・・量子化部、３７，４４・・・可変長符号化（ＶＬＣ）部、３８，８２・・・逆量子化部、３９，８３，８９・・・逆ＤＣＴ部、４０，８４，９０・・・加算器、４１，８６・・・フレームメモリ、４３・・・ビットプレーン符号化部、６１・・・符号量配分処理部、６２・・・基本階層符号量測定部、６３(1),６３(2)・・・ストリームカッタ、８１，８７・・・可変長復号部、８８・・・ビットプレーン復号部

Claims

画像を階層符号化処理して伝送する画像伝送装置において、
原画像を複数nのオブジェクト画像o(n)(ここで、n=1,2,・・・,n)に分割し、各オブジェクト画像o(n)を基本階層と拡張階層の２階層に分け、基本階層では量子化処理を含む符号化処理を行って基本階層符号化ストリームを生成し、拡張階層では原画像と基本階層の復号画像の差分である残差画像をビットプレーン符号化処理を行って拡張階層符号化ストリームを生成し、生成した基本階層符号化ストリームと拡張階層符号化ストリームを蓄積するとともに、各オブジェクト画像o(n)について拡張階層符号化ストリームの符号語が順次復号された場合の符号量Rと符号化歪Dみとの関係を示すレート歪み特性を生成して保持する符号化蓄積手段と、
前記レート歪み特性と通信路の帯域幅とに基づいて、各オブジェクト画像o(n)についてのdD(n)/dR(n)が同一であり、かつ各オブジェクト画像o(n)の拡張階層符号化ストリームに割り当てられる符号量の総計が、フレーム画面の拡張階層全体に割り当てることができる設定符号量を超えないという制約条件の下で、各オブジェクト画像o(n)に対する符号量を配分し、該配分に従って各オブジェクト画像o(n)の拡張階層符号化ストリームをカットして送出する伝送手段とを備えたことを特徴とする画像伝送装置。
前記伝送手段は、各オブジェクト画像o(n)に対する符号量を配分する際、各オブジェクト画像o(n)に対し重み付けすることを特徴とする請求項１に記載の画像伝送装置。