JP4078581B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4078581B2 JP4078581B2 JP2002026863A JP2002026863A JP4078581B2 JP 4078581 B2 JP4078581 B2 JP 4078581B2 JP 2002026863 A JP2002026863 A JP 2002026863A JP 2002026863 A JP2002026863 A JP 2002026863A JP 4078581 B2 JP4078581 B2 JP 4078581B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- data
- encoded data
- processing
- compressed encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ロバスト性を向上させた画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、モバイル通信、テレビ会議システム、またはビデオオンデマンド(VOD(Video On Demmand))システムといった、ネットワークを介して、動画像信号を伝送するシステムが普及しつつある。これに伴い、動画像符号化方法の国際標準化作業が進められている。
【０００３】
動画像符号化方法には、フレーム内の空間的な相関を利用して圧縮するフレーム内符号化と、注目フレームとその前後のフレームの時間的な相関性を利用して圧縮するフレーム間符号化があり、それらの両方を使用するものと、フレーム内符号化のみを使用するものの２種類に分類される。
【０００４】
フレーム内符号化とフレーム間符号化の両方を併用する方式として、代表的なものが、ISO国際標準MPEG(Motion Picture Expert Group)−２であり、リアルタイム動画像通信や蓄積などに利用されている。
【０００５】
これに対して、フレーム内符号化のみを利用するものとしては、ISO国際標準JPEG(Joint Photographic Coding Group)で規定される。静止画像符号化方式を連続利用したJPEGムービがある。
【０００６】
【発明が解決しようとする課題】
フレーム間符号化を利用した符号化方式の場合、時間的に前のフレームを参照して符号化が行われるため、その後のフレームを復号するには、前のフレームの画像データが正しく伝送される必要がある。
【０００７】
しかしながら、特に、無線通信においては、画像データのビットが、伝送路の途中において反転するような伝送エラーが多く発生するため、画像データを正しく復号できないことがある。
【０００８】
また、WAN(Wide Area Network), LAN(Local Area Network)といったネットワークや、ATM(Asynchronous Transfer Mode)ネットワークにおいては、パケットやセルといった、比較的小さなデータの伝送単位に分割してデータが伝送されるが、パケットやセルが衝突したり、中継器のバッファがオーバーフローしたりして、伝送中に欠落する場合がある。MPEGやJPEGの場合、このようなパケットロスなどの伝搬損出が発生した場合、パケットロスが、例えば１パーセントであったとしても、復号した画像には、エラーが他のブロックに伝搬し、画像が破綻することが知られている。
【０００９】
そこで、伝送エラーやパケットロスによる画像劣化を回避するために、エラーが発生したり、パケットが欠落した場合、そのデータ単位を再送する方法が知られている。しかしながら、このような再送処理を行う方式は、遅延が大きいため、画像データなどのように、リアルタイムにデータを伝送する必要があるデータに適用することが困難である。
【００１０】
また、冗長ビットを付加して誤り訂正を行う方法も知られている。しかしながら、冗長ビットを付加した場合、伝送容量が減少してしまうため、全体的な画質の低下につながる。さらに、誤り率が高い場合やビットが連続してエラーする、いわゆるバースト誤り、あるいはパケットロスには、対応することができない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、ロバスト性を向上させるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の第１の画像処理装置は、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置であって、画像データを、複数の画素を含むブロックにブロック化するブロック化手段と、ブロック化手段によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化手段と、ブロック化手段によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化手段と、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化手段と、多重化手段により生成された多重化データを出力する出力手段とを備えることを特徴とする。
【００１３】
前記第１の圧縮符号化手段は、ADRC処理によりフレーム内符号化処理を行うようにすることができる。
【００１４】
前記多重化手段は、IFFT処理によりOFDMの多重化を行うようにすることができる。
【００１５】
前記画像処理装置は、第１の圧縮符号化データをブロック毎にシリアルパラレル変換して多重化手段に供給するシリアルパラレル変換手段をさらに備え、多重化手段は、第１の圧縮符号化手段によりADRC処理の結果生成された第１の圧縮符号化データと、対応するブロックの、第２の圧縮符号化手段により生成されたベクトル量子化コードとを乗算する乗算手段と、乗算手段により出力されたデータを、パラレルシリアル変換するパラレルシリアル変換手段とを備えるようにすることができる。
【００１６】
前記第１の圧縮符号化データに、ガードインタバルを付加する付加手段と、付加手段によりガードインタバルが付加された第１の圧縮符号化データが多重化された多重化データを所定のキャリアで変調する変調手段とをさらに備えるようにすることができる。
【００１７】
本発明の第１の画像処理方法は、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置の画像処理方法であって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００１８】
本発明の第１の記録媒体のプログラムは、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置のプログラムであって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００１９】
本発明の第１のプログラムは、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置を制御するコンピュータが実行可能なプログラムであって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００２０】
本発明の第２の画像処理装置は、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置であって、多重化データを取得する取得手段と、取得手段により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離手段と、分離手段により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号手段と、分離手段により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号手段と、第１の復号手段による復号結果と第２の復号手段による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算手段とを備えることを特徴とする。
【００２１】
前記第１の復号手段は、第１の復号処理としてADRC処理による復号を行うようにすることができる。
【００２２】
前記分離手段は、FFT処理により第１の圧縮符号化データと第２の圧縮符号化データとを分離することができる。
【００２３】
ガードインタバルが付加されている第１の圧縮符号化データを含む多重化データから有効部分を抽出する抽出手段をさらに備えるようにすることができる。
【００２４】
所定のキャリアで変調されている多重化データを、対応するキャリアを用いて復調する復調手段をさらに備えるようにすることができる。
【００２５】
欠落したブロックの画像データを回復する回復手段をさらに備えるようにすることができる。
【００２７】
本発明の第２の画像処理方法は、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置の画像処理方法であって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とする。
【００２８】
本発明の第２の記録媒体のプログラムは、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置のプログラムであって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とする。
【００２９】
本発明の第２のプログラムは、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置を制御するコンピュータが実行可能なプログラムであって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とするプログラム。
【００３０】
本発明の第１の画像処理装置および方法、記録媒体、並びにプログラムにおいては、画像データをフレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化され、多重化データが出力される。
【００３１】
本発明の第２の画像処理装置および方法、記録媒体、並びにプログラムにおいては、多重化データから分離された第１の圧縮符号化データと第２の圧縮符号化データが、それぞれフレーム内符号化処理に対応する第１の復号処理およびベクトル量子化処理に対応する第２の復号処理により復号され、その復号結果の画素毎の平均値が演算され、最終的な復号結果とされる。
【００３２】
【発明の実施の形態】
図１は、本発明を適用した画像符号化装置の構成例を表している。この画像符号化装置１は、動画像入力部１１、ADRC符号化部１２、ベクトル量子化部１３、およびOFDM変調部１４を有している。
【００３３】
動画像入力部１１は、ブロック化部２１とシャフリング部２２により構成されている。ブロック化部２１は、入力された画像データを、ｍ×ｎ個の画素で構成されるブロックにブロック化する。シャフリング部２２は、ブロック化部２１より供給されたブロックを、その順番を並びかえることによりシャフリングする。
【００３４】
隣接するブロック同士は相関を有するが、シャフリング部２２におけるシャフリングにより、相関を有する隣接ブロックの伝送タイミングが異なるものとなる。このため、伝送されるベクトル量子化コード（インデックス）が一様に分布するようになる。
【００３５】
ADRC符号化部１２は、ADRC符号化器３１、バッファ３２、およびパケット生成部３３により構成されている。ADRC符号化器３１は、シャフリング部２２より供給された画像データを、ブロック単位で１ビットADRC（Adaptive Dynamic Range Coding）処理する。ADRC符号化器３１の出力は、ベクトル量子化符号化器４３がシャフリング部２２より出力されたブロック単位の画素データをブロック毎にベクトル量子化することで生成されるサブキャリアとなるベクトル量子化コードが生成されるまでの間、バッファ３２に一旦蓄積される。パケット生成部３３は、バッファ３２より供給されたデータ（ADRC処理の結果得られたデータ）を、ブロック単位でパケット化する。
【００３６】
ベクトル量子化部１３は、更新部４１、記憶部４２、およびベクトル量子化符号化器４３により構成されている。更新部４１は、新たな画像データが入力されたとき、記憶部４２に記憶されているコードブックを、対応するコードブックに更新する。ベクトル量子化符号化器４３は、記憶部４２に記憶されているコードブックを利用して、シャフリング部２２より供給されるブロック単位で画素データをベクトル量子化し、そのベクトル量子化コードを、バッファ３２およびOFDM変調部１４のIFFT部５２に出力する。
【００３７】
OFDM（Orthogonal Frequency Division Multiplexing）変調部１４は、シリアル／パラレル変換部５１、IFFT（Inverse Fast Fourier Transform）部５２、パラレル／シリアル変換部５３、ガードインタバル付加部５４、D/A変換部５５、ローパスフィルタ（LPF）５６、乗算器５７、発振器５８、バンドパスフィルタ（BPF）５９、およびアンテナ６０により構成されている。
【００３８】
シリアル／パラレル変換部５１は、パケット生成部３３よりシリアルに供給される各パケット（ブロック）のデータを、各パケット（ブロック）毎にパラレルのデータに変換し、IFFT部５２に出力する。
【００３９】
IFFT部５２は、シリアル／パラレル変換部５１より供給されるADRC符号化器１３１による符号化結果と、ベクトル量子化符号化器４３より供給されるベクトル量子化コード（ベクトル量子化インデックス）を、逆高速フーリエ変換（IFFT）する。
【００４０】
パラレル／シリアル変換部５３は、IFFT部５２よりブロック毎にパラレルに供給されるデータをシリアルデータに変換する。ガードインタバル付加部５４は、パラレル／シリアル変換部５３より供給されるシンボル毎のデータにガードインタバルを付加する。D/A変換部５５は、ガードインタバル付加部５４より出力されたデータをD/A変換する。ローパスフィルタ５６は、D/A変換部５５より供給されたデータの低域成分のみを抽出することにより、符号間干渉が生じないように帯域制限する。
【００４１】
乗算器５７は、発振器５８が出力するキャリアとローパスフィルタ５６より出力されるデータとを乗算する（周波数変調する）。バンドパスフィルタ５９は、乗算器５７より供給されたデータの所定の周波数帯域の成分（キャリア成分）のみを抽出することで帯域制限を行う。バンドパスフィルタ５９の出力は、アンテナ６０を介して伝送路に伝送される。
【００４２】
例えば、マイクロコンピュータなどにより構成される制御部１５は、動画像入力部１１、ADRC符号化部１２、ベクトル量子化部１３、およびOFDM変調部１４の動作を制御する。インタフェース１６には、必要に応じて、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、および半導体メモリ７４などが、適宜装着される。制御部１５は、必要に応じて、これらの記録媒体との間でプログラムや各種のデータを授受する。
【００４３】
次に、図２のフローチャートを参照して、図１の画像符号化装置１の符号化処理について説明する。
【００４４】
ステップＳ１において、ブロック化部２１は、入力された画像データをブロック化処理する。図３は、このブロック化処理の例を表している。この例においては入力された１フレーム分の画像データがｍ×ｎ個の画素毎にブロック化される。
【００４５】
なお、このブロック化は、フレーム単位で行ってもよいし、フィールド単位で行ってもよい。本明細書においては、フレームまたはフィールドといった画像の単位をアクセスユニットとも称する。
【００４６】
ステップＳ２において、シャフリング部２２は、ブロック化部２１より供給されるブロックの順番を並べかえることでシャフリングを行う。これにより、同一のタイミングで伝送されるベクトル量子化インデックスの頻度が一様に分布するようになる。
【００４７】
ステップＳ３において、ADRC符号化器３１は、ブロック毎に画素データをADRC処理する（フレーム内符号化する）。
【００４８】
ブロック毎に分割された画素データは、局所的な強い相関を有するため、同一のブロック内の各画素の値は、比較的近い値となることが多い。そこで、ブロック毎に最大値と最小値を求め、そのブロック内におけるダイナミックレンジを定義することで、レベル方向の冗長度を大幅に除去することができる。
【００４９】
例えば、図４に示されるように、各画素が８ビットで表現される場合、その値（レベル）は、０から２５５のいずれかの値を取ることになる。すなわち、各ブロックのダイナミックレンジは２５５となる。
【００５０】
しかしながら、実際には、各ブロック毎に注目すると、各ブロック内においては、その最大値（MAX）と最小値（MIN）は、２５５と０の間の所定の値であることが多い。すなわち、各ブロックの実際のダイナミックレンジは、最大値と最小値により規定される範囲となる。
【００５１】
従って、ブロック内の最大値と最小値の間を、推定されたビット長で均等に分割することで、各ブロックにおける量子化に必要なビット数を大幅に低減することが可能となる。
【００５２】
ブロック内におけるダイナミックレンジをDR、ビット割当数をｎ、ブロック内の画素信号のレベルをＬ、再量子化コードをＱとする場合、ADRC処理では、次式が演算される。
【００５３】
なお、次式における［ ］は、切り捨て処理を意味する。
【００５４】
【数１】
【００５５】
各画素のレベル（値）は、ブロック内のダイナミックレンジ（最大値と最小値の間）で一様に分布しているものと考えられる。従って、ADRC処理は、統計的に誤差分散を小さくするという意味で、妥当な量子化方式ということができる。
【００５６】
ADRC符号化器３１より出力されたデータ（再量子化コードＱ）は、バッファ３２に供給され、ベクトル量子化符号化器４３による処理とのタイミングが調整された後、パケット生成部３３に供給され、ステップＳ４においてパケット化処理される。パケット生成部３３は、１つのブロックのデータを１つのパケットにパケット化する。
【００５７】
図５に示されるように、各パケットには、ヘッダ（またはトレーラ）が付加される。ヘッダには、そのパケットの転送先のアドレスと、そのパケットに含まれるデータの誤りを検出するための誤り検出符号が含まれている。
【００５８】
パケット生成部３３より出力されたパケットは、シリアル／パラレル変換部５１に入力され、シリアル／パラレル変換される。
【００５９】
シリアル／パラレル変換部５１は、図６に示されるように、シリアルに供給される各ブロック（パケット）のデータを、パラレルのデータに変換して、IFFT部５２に供給する。
【００６０】
一方、ベクトル量子化符号化器４３は、シャフリング部２２より供給される画素データを、ブロック毎にベクトル量子化する。図７は、このベクトル量子化の処理例を表している。
【００６１】
ステップＳ４１において、ベクトル量子化符号化器４３は、シャフリング部２２より供給された画像データを、任意の大きさにブロック化する。なお、このブロックは、ブロック化部２１におけるブロックと対応するブロックとされる。
【００６２】
ステップＳ４２において、ベクトル量子化符号化器４３は、記憶部４２に記憶されているコードブックの第ｉ番目のベクトル量子化コードに対応する代表ベクトルＣを読み出す。そして、ステップＳ４３において、ベクトル量子化符号化器４３は、次式に基づいて、ステップＳ４１の処理でブロック化された注目ブロックの画素で構成されるベクトルＶの代表ベクトルＣとの距離Ｅを演算する。
【００６３】
【数２】
【００６４】
なお、上記式において、Ｄは次元数を表し、ｍ×ｎに等しい。また、Ｎはコードブックに記録されているベクトル量子化コードの数に対応する。従って、一般的に、この値Ｎは、値Ｄより小さい。
【００６５】
ステップＳ４４において、ベクトル量子化符号化器４３は、変数ｉの値が値Ｎと等しいか否かを判定する。変数ｉの値が値Ｎと等しくない場合には、ステップＳ４５に進み、ベクトル量子化符号化器４３は、変数ｉの値を１だけインクリメントした後、ステップＳ４２の処理を再び実行する。これにより、コードブックに記録されている次のベクトル量子化コードに対応する代表ベクトルＣが読み出され、ステップＳ４３において、ベクトルＶのその代表ベクトルＣとの距離Ｅが演算される。
【００６６】
以上のステップＳ４２乃至ステップＳ４５の処理が、ステップＳ４４において、ｉ＝Ｎと判定するまで、繰り返し実行される。
【００６７】
ステップＳ４４において、変数ｉの値が値Ｎと等しいと判定された場合（ブロックの画素で構成されるベクトルＶの、コードブックに記録されているベクトル量子化コードに対応する全ての代表ベクトルＣとの距離Ｅの演算が終了したと判定された場合）、ステップＳ４６に進み、ベクトル量子化符号化器４３は、Ｎ個求められた距離Ｅｉ（ｉ＝０，１，２，・・・Ｎ−１）のうち、最小値を求める。そして、その最小の距離Ｅｉが対応するベクトル量子化コード（インデックス）ｉの値を、ベクトル量子化コードの最適値として出力する。
【００６８】
図８は、以上のベクトル量子化の処理を模式的に表している。すなわち、図８の例においては、ｍ×ｎ次元のベクトル空間に対応して、９個（Ｎ＝９）の代表ベクトルがコードブックに記録されている。図８において、番号０乃至番号８がベクトル量子化コードの番号（図７のステップＳ４２，Ｓ４４，Ｓ４５のｉ）を表している。そして、図８の例の場合、４×４個の画素で構成されるブロックのベクトルＶ（図８において×印で示される位置のベクトル）は、番号５のベクトル量子化コードで表される代表ベクトルとの距離が最も小さい。そこで、この例においては、番号５のベクトル量子化コードが出力される。
【００６９】
図２に戻って、ステップＳ６において、以上のようにしてベクトル量子化処理が行われた後、ステップＳ７において、IFFT部５２によりIFFT処理が実行される。
【００７０】
IFFT部５２は、図９に模式的に示されるように、Ｎ個（記憶部４２に記憶されているコードブックのベクトル量子化番号の数（代表ベクトルの数））の乗算器８１−１乃至８１−Ｎを有している。シリアル／パラレル変換部５１より出力された第１のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−１に入力され、第２のブロックのデータ（図９ではその値が“０”と表されている）は乗算器８１−２に入力され、第３のブロックのデータ（図９ではその値が“０”と表されている）は乗算器８１−３に入力され、第４のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−４に入力される。そして、第Ｎ番目のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−Ｎに入力される。
【００７１】
乗算器８１−１乃至８１−Ｎには、記憶部４２に記憶されているＮ個のベクトル量子化コード（インデックス）にそれぞれ対応する値が供給されている。すなわち、乗算器８１−１にはインデックス１の値が、乗算器８１−２にはインデックス２の値が、乗算器８１−３にはインデックス３の値が、乗算器８１−４にはインデックス４の値が、それぞれ入力されている。そして、乗算器８１−ＮにはインデックスＮの値が入力されている。
【００７２】
図１０に示されるように、１からＮの各インデックスの値（番号）は、それぞれサブキャリアに対応している。インデックス１は、ｖ１０，ｖ１１，ｖ１２，ｖ１３・・・の構成要素で構成される代表ベクトルに対応しており、インデックス２は、ｖ２０，ｖ２１，ｖ２２，ｖ２３・・・の構成要素で構成される代表ベクトルに対応しており、インデックス３は、ｖ３０，ｖ３１，ｖ３２，ｖ３３・・・の構成要素で構成される代表ベクトルに対応する。そして、インデックスＮは、ｖＮ０，ｖＮ１，ｖＮ２，ｖＮ３，・・・の構成要素で構成される代表ベクトルに対応する。
【００７３】
乗算器８１−１は、シリアル／パラレル変換部５１より供給される第１番目のブロックのデータとインデックス１のデータとを乗算し、出力する。乗算器８１−２は、シリアル／パラレル変換部５１より入力される第２番目のブロックのデータとインデックス２のデータとを乗算し、出力する。乗算器８１−３は、シリアル／パラレル変換部５１より供給される第３番目のブロックのデータと、インデックス３のデータとを乗算し、出力する。乗算器８１−４は、シリアル／パラレル変換部５１より入力される第４番目のブロックのデータとインデックス番号４のデータとを乗算し、出力する。以下同様に、乗算器８１−Ｎは、シリアル／パラレル変換部５１より入力される第Ｎ番目のブロックのデータとインデックスＮのデータとを乗算し、出力する。
【００７４】
シリアル／パラレル変換部５１が出力するブロックの順番は、シャフリング部２２によりシャフリングされた後の順番である。上述したように、シャフリングの結果、同一のインデックス番号に対応するブロックのデータが同じタイミングでIFFT部５２に入力される可能性は低くなる。しかしながら、同一のインデックス番号に対応するブロックのデータが、同じタイミングでIFFT部５２に入力される可能性が全くないわけではない。同一のインデックス番号に対応する複数のブロックのデータが同一のタイミングで発生した場合には、１つのブロックのデータのみが選択され、伝送される。そして、他のブロックのデータは、次のタイミングで送出される。
【００７５】
また、所定のタイミングにおいて、所定のインデックス番号のブロックのデータが存在しない場合には、インデックス番号に対応するデータのみが対応する乗算器から出力されることになる（ブロックのデータが全て０とされ、全て０のデータとインデックス番号を表すデータとが乗算された結果が出力される）。
【００７６】
図２に戻って、以上のようにして、ステップＳ７においてIFFT処理が実行された後、ステップＳ８に進み、パラレル／シリアル変換部５３は、IFFT部５２によりブロック毎にパラレルに出力されたデータをシリアルデータに変換する。これにより、伝送データが時間軸上で多重化されることになる。
【００７７】
次に、ステップＳ９において、ガードインタバル付加部５４は、パラレル／シリアル変換部５３より供給されたデータにガードインタバルを付加する。ガードインタバルは、図１１に示されるように、各ブロックのデータの有効シンボル期間の終端部近傍の一部の信号波形をコピーすることで生成される。このように、ガードインタバル部を付加することで、マルチパスの影響を軽減することが可能となる。
【００７８】
すなわち、図１２に示されるように、マルチパスが存在すると、直接波以外に遅延波＃１、遅延波＃２といった遅延波が発生する。受信側においては、直接波と遅延波の合成波を受信することになる。図１２に示されるように、例えば直接波と遅延波＃２との合成波が受信側において受信された場合、受信側のFFTのウィンドウが、直接波の各有効シンボル長に対応した長さとタイミングで同期していたとしても、ガードインタバルよりも小さい遅延時間の遅延波であれば、自分自身のシンボルの重なりによる影響は避けられないものの、１つ前の別のシンボルの重なりを避けて復調することが可能となる。
【００７９】
これに対して、図１３に示されるように、ガードインタバルが存在しない場合には、遅延波が加わることによって１つ前のシンボルが重なってしない、各シンボルのデータを復調する際に特性が劣化してしまう。
【００８０】
以上のようにして、ガードインタバル付加部５４によりガードインタバルが付加されたデータは、D/A変換部５５に入力され、D/A変換された後、ローパスフィルタ５６により不要な帯域が制限され、乗算器５７に入力される。
【００８１】
乗算器５７は、ステップＳ１０において、周波数変換処理を行う。すなわち、乗算器５７は、発振器５８より供給されるキャリアをローパスフィルタ５６の出力と乗算し、図１４に示されるような複数のサブキャリアを有するキャリア（OFDM信号）を生成する。
【００８２】
乗算器５７より出力されたデータは、バンドパスフィルタ５９に入力され、ステップＳ１１において、送信処理が実行される。すなわち、バンドパスフィルタ５９は、入力されたデータからキャリア成分のみを抽出し、アンテナ６０を介して伝送路に伝送する。
【００８３】
図１５は、以上のようにして、画像符号化装置１より伝送されたデータを受信する画像復号装置の構成例を表している。
【００８４】
この画像復号装置１０１は、OFDM復調部１１１、ADRC復号部１１２、およびベクトル量子化復号部１１３を有している。
【００８５】
OFDM復調部１１１は、アンテナ１２１を介して伝送データを受信する。バンドパスフィルタ１２２は、アンテナ１２１を介して受信されたデータから、不要な帯域成分を除去し、キャリア成分だけを抽出する。乗算器１２３は、発振器１２４が発振出力するキャリア成分を、バンドパスフィルタ１２２の出力に乗算し、周波数変換処理を行う。
【００８６】
ローパスフィルタ１２５は、乗算器１２３より出力されたデータからサブキャリア成分（ベースバンド成分）を含むデータのみを抽出し、A/D変換部１２６に出力する。A/D変換部１２６は、入力されたデータをA/D変換する。
【００８７】
有効シンボル抽出部１２７は、A/D変換部１２６より供給されたデータから、有効シンボル部分だけを抽出する。FFT部１２８は、有効シンボル抽出部１２７より供給された有効シンボル部をFFT処理して、ADRC成分をパラレル／シリアル変換部１２９に出力し、ベクトル量子化コード成分をベクトル量子化復号器１５１に出力する。
【００８８】
パラレル／シリアル変換部１２９は、FFT部１２８より供給されたADRC成分をパラレル／シリアル変換し、ADRC復号部１１２のパケット再生部１４１に出力する。
【００８９】
ADRC復号部１１２は、パケット再生部１４１、ADRC復号器１４２、演算部１４３、パケット欠落エラーリカバリー処理部１４４、および選択部１４５により構成されている。
【００９０】
パケット再生部１４１は、パラレル／シリアル変換部１２９より入力されたデータからパケットを再生し、生成されたパケットに含まれるデータを抽出してADRC復号器１４２に出力する。ADRC復号器１４２は、入力されたデータをADRC処理により復号し、復号結果を演算部１４３に出力する。
【００９１】
演算部１４３にはまた、ベクトル量子化復号器１５１より出力されたデータも供給されている。演算部１４３は、ADRC復号器１４２の出力とベクトル量子化復号器１５１の出力とを用いて、その平均値を演算し、演算結果を選択部１４５に出力する。
【００９２】
パケット欠落エラーリカバリー処理部１４４は、パケット再生部１４１によりパケットの欠落が検出された場合、その欠落したパケットに含まれるデータを回復する処理を実行し、生成したデータを選択部１４５に出力する。選択部１４５は、演算部１４３またはパケット欠落エラーリカバリー処理部１４４より供給されたデータを選択し、復号結果として出力する。
【００９３】
ベクトル量子化復号部１１３は、ベクトル量子化復号器１５１、更新部１５２、および記憶部１５３により構成されている。更新部１５２は、ベクトル量子化復号器１５１より新たなデータが入力されてきたとき、記憶部１５３に対応する新たなコードブックを供給し、記憶させる。ベクトル量子化復号器１５１は、記憶部１５３に記憶されているコードブックに基づいて、FFT部１２８より供給されるベクトル量子化コード（インデックス番号）を、対応する代表ベクトルに変換することで復号処理を行う。
【００９４】
画像復号装置１０１は、さらに、例えばマイクロコンピュータで構成される制御部１１４を有している。制御部１１４は、OFDM復調部１１１、ADRC復号部１１２、およびベクトル量子化復号部１１３の処理を制御する。
【００９５】
制御部１１４にはまた、必要に応じてインタフェース１１５を介して、磁気ディスク１６１、光ディスク１６２、光磁気ディスク１６３、半導体メモリ１６４が適宜装着され、プログラムやデータなどが適宜授受される。
【００９６】
次に、図１６のフローチャートを参照して、画像復号装置１０１の復号処理について説明する。
【００９７】
ステップＳ６１において、バンドパスフィルタ１２２は、受信処理を実行し、アンテナ１２１を介して受信した信号から、キャリア成分のみを抽出し、乗算器１２３に出力する。
【００９８】
ステップＳ６２において、乗算器１２３は、発振器１２４より出力されるキャリア成分と、バンドパスフィルタ１２２より供給される成分とを乗算することで、受信データの周波数変換処理を行い、サブキャリア成分を含むデータを出力する。
【００９９】
ローパスフィルタ１２５は、乗算器１２３より出力されたデータから不要な帯域成分を除去した後、A/D変換部１２６に出力する。A/D変換部１２６は、入力されたデータをA/D変換し、有効シンボル抽出部１２７に出力する。
【０１００】
有効シンボル抽出部１２７は、ステップＳ６３において、受信したデータから有効シンボル部分を抽出し、FFT部１２８に出力する。
【０１０１】
ステップＳ６４において、FFT部１２８は、FFT処理を実行し、ADRC成分をパラレル／シリアル変換部１２９に出力するとともに、ベクトル量子化コード成分をベクトル量子化復号器１５１に出力する。
【０１０２】
パラレル／シリアル変換部１２９は、ステップＳ６５において、入力されたパラレルデータをシリアルデータに変換する。この変換処理は、図１におけるシリアル／パラレル変換部５１における場合と対応する処理となる。
【０１０３】
ステップＳ６６において、パケット再生部１４１は、パラレル／シリアル変換部１２９より供給されたデータから、パケットを再生し、パケットを構成するブロックのデータをADRC復号器１４２に出力する。
【０１０４】
ADRC復号器１４２は、ステップＳ６７において、パケット再生部１４１より供給されたデータをADRC復号処理する。
【０１０５】
ADRC復号器１４２によるADRC復号処理においては、次式に示される演算を行うことで、復元値Ｌが得られる。
【０１０６】
【数３】
【０１０７】
なお、この場合においても、Ｄはブロック内のダイナミックレンジ、ｎはビット割り当てを、Ｑは再量子化コードを、それぞれ表し、［ ］は切り捨て処理を意味する。
【０１０８】
一方、ステップＳ６８において、ベクトル量子化復号器１５１は、FFT部１２８より供給されたベクトル量子化コード（インデックス番号）を、記憶部１５３に記憶されているコードブックを参照して代表ベクトルに変換することで復号処理を行う。
【０１０９】
演算部１４３は、ステップＳ６７の処理でADRC復号器１４２により復号された結果と、ステップＳ６８の処理でベクトル量子化復号器１５１により復号された結果得られた代表ベクトルとの、平均値を演算し、選択部１４５に出力する。
【０１１０】
一方、パケット再生部１４１は、パケットが欠落している場合、その旨をパケット欠落エラーリカバリー処理部１４４に通知する。パケット欠落エラーリカバリー処理部１４４は、ステップＳ７０において、エラーリカバリー処理を実行し、欠落したパケットのブロックのデータを回復生成し、選択部１４５に出力する。
【０１１１】
選択部１４５は、ステップＳ７１において、演算部１４３より供給されたデータ、またはパケット欠落エラーリカバリー処理部１４４より供給されたデータを選択し、復号結果として出力する。
【０１１２】
図１７は、演算部１４３による演算の例を模式的に表している。同図に示されるように、FFT部１２８により分離された信号成分（ADRC成分）は、ADRC復号器１４２により復号され、復元画像１７１が演算部１４３に入力される。
【０１１３】
同様に、FFT部１２８により分離されたサブキャリア成分は、ベクトル量子化復号器１５１に入力され、復号され、復元画像１７２が得られる。
【０１１４】
ADRC復号器１４２により復号されて得られた復元画像１７１に、図１７において×印で示されるように欠落した画素があり、ベクトル量子化復号器１５１により復号して得られた復元画像１７２に、やはり図１７に×印で示される位置に欠落した画素があったとしても、演算部１４３により、その平均値を演算することにより生成した復元画像１７３では、その欠落した画素の影響を軽減することができる。
【０１１５】
演算部１４３においては、平均値演算の代わりに重み付け加算を行うようにすることも可能である。
【０１１６】
次に、パケット欠落エラーリカバリー処理部１４４のエラーリカバリー処理の具体例についてさらに説明する。
【０１１７】
いま、例えば、図１８に示されるように、ｘ1乃至ｘ16で示される１６個の画素を含むブロックが欠落したとする。その周囲のｙ’1乃至ｙ’16は、隣接するブロックの復号された画素値である。
【０１１８】
ADRCの復号値は、次式で示されるように、量子化ステップ幅ｄと、最小値MIN’の１次関数の式で表される。
【０１１９】
【数４】
【０１２０】
エラーが発生した場合、この式のｄとMIN’を推定する必要がある。隣接する画素は、非常に似通った値を取るという画像の相関性から、ｘiの復号値が、それと隣接するｙ’iの値に非常に似ているとしてプロットすると、図１９に示されるようなグラフが得られる。
【０１２１】
なお、図１９の横軸はｘを表し、縦軸はｙ’を表す。
【０１２２】
プロットした点にフィットする直線の傾きがｄとなり、切片がMIN’となる。これらの値は、最小自乗法によって求めることができる。
【０１２３】
すなわち、DR’とMIN’の両方がいずれもエラーである場合、ｄとMIN’は次式で表される。
【０１２４】
【数５】
【０１２５】
DR’のみエラーである場合には、ｄは次式で表される。
【０１２６】
【数６】
【０１２７】
さらに、MIN’だけがエラーである場合には、MIN’は次式で表される。
【数７】
【０１２８】
なお、上記式におけるΣｘｙ，Σｘ，Σｙ，Σｘ2は、それぞれ次式で表される。
【０１２９】
【数８】
【０１３０】
以上のように、ADRC符号化器３１においては、フレーム内符号化だけを行うようにしているので、MPEGのように、複数フレームにエラーが伝搬することがなくなり、高品質の画像データを伝送することが可能になる。
【０１３１】
また、伝送エラー対策のための誤り訂正符号などの冗長なビットを付加する必要がないため、冗長ビットの増加に起因する画質劣化を抑制することができる。
【０１３２】
サブキャリアに意味付けを行うことによって、１つの変調信号に複数の意味を持たせることが可能になる。その結果、同じ圧縮率の場合において、エラーに対してよりロバストな符号化が可能となる。
【０１３３】
画像の相関性を利用してエラーによって欠落したパケットやビットが反転した伝送データを自己回復することで、再送や誤り訂正などで高度に保護する必要がなくなる。その結果、再送などによる遅延の増加を抑制することができ、ネットワークの輻輳なども解決することができる。
【０１３４】
１つの元データに対して複数の符号化方式で符号化（エンコード）が行われるので、伝送データにはたくさんの意味を持たせることが可能になる。これにより、復調の際に、それぞれの信号成分を合成、平均化する処理を施すことによって、より真値に近い、劣化の少ない画像を授受することが可能となる。
【０１３５】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３６】
この記録媒体は、図１と図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１，１６１（フロッピディスクを含む）、光ディスク７２，１６２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク７３，１６３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ７４，１６４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや、ハードディスクなどで構成される。
【０１３７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３９】
【発明の効果】
以上の如く、本発明によれば、ロバスト性を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の構成例を示すブロック図である。
【図２】図１の画像符号化装置の符号化処理を説明するフローチャートである。
【図３】図２のステップＳ１におけるブロック化処理を説明する図である。
【図４】図２のステップＳ３におけるADRC処理を説明する図である。
【図５】図２のステップＳ４のパケット化処理を説明する図である。
【図６】図２のステップＳ５におけるシリアル／パラレル変換処理を説明する図である。
【図７】図２のステップＳ６におけるベクトル量子化符号化処理の詳細を説明するフローチャートである。
【図８】ベクトル量子化処理を説明する図である。
【図９】図２のステップＳ７のIFFT処理を説明する図である。
【図１０】コードブックとサブキャリアの対応を説明する図である。
【図１１】ガードインタバルを説明する図である。
【図１２】ガードインタバルを付加した場合の処理を説明する図である。
【図１３】ガードインタバルを付加しない場合の処理を説明する図である。
【図１４】 OFDM信号の周波数スペクトルを示す図である。
【図１５】本発明を適応した画像復号装置の構成例を示すブロック図である。
【図１６】図１５の画像復号装置の復号処理を説明するフローチャートである。
【図１７】図１６のステップＳ６９の演算処理の例を示す図である。
【図１８】図１６のステップＳ７０におけるエラーリカバリー処理を説明する図である。
【図１９】図１６のステップＳ７０におけるエラーリカバリー処理を説明する図である。
【符号の説明】
１ 画像符号化装置， １１ 動画像入力部， １２ ADRC符号化部， １３ベクトル量子化部， １４ OFDM変調部， ２１ ブロック化部， ２２ シャフリング部， ３１ ADRC符号化器， ３２ バッファ， ３３ パケット生成部， ４３ ベクトル量子化符号化器， ５２ IFFT部， ５４ ガードインタバル付加部， １０１ 画像復号装置， １１１ OFDM復調部， １１２ ADRC復号部， １１３ ベクトル量子化復号部， １２２ バンドパスフィルタ，１２３ 乗算器， １２７ 有効シンボル抽出部， １２８ FFT部， １４２ ADRC復号器， １４３ 演算部， １４４ パケット欠落エラーリカバリー処理部， １４５ 選択部， １５１ ベクトル量子化復号器
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ロバスト性を向上させた画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、モバイル通信、テレビ会議システム、またはビデオオンデマンド(VOD(Video On Demmand))システムといった、ネットワークを介して、動画像信号を伝送するシステムが普及しつつある。これに伴い、動画像符号化方法の国際標準化作業が進められている。
【０００３】
動画像符号化方法には、フレーム内の空間的な相関を利用して圧縮するフレーム内符号化と、注目フレームとその前後のフレームの時間的な相関性を利用して圧縮するフレーム間符号化があり、それらの両方を使用するものと、フレーム内符号化のみを使用するものの２種類に分類される。
【０００４】
フレーム内符号化とフレーム間符号化の両方を併用する方式として、代表的なものが、ISO国際標準MPEG(Motion Picture Expert Group)−２であり、リアルタイム動画像通信や蓄積などに利用されている。
【０００５】
これに対して、フレーム内符号化のみを利用するものとしては、ISO国際標準JPEG(Joint Photographic Coding Group)で規定される。静止画像符号化方式を連続利用したJPEGムービがある。
【０００６】
【発明が解決しようとする課題】
フレーム間符号化を利用した符号化方式の場合、時間的に前のフレームを参照して符号化が行われるため、その後のフレームを復号するには、前のフレームの画像データが正しく伝送される必要がある。
【０００７】
しかしながら、特に、無線通信においては、画像データのビットが、伝送路の途中において反転するような伝送エラーが多く発生するため、画像データを正しく復号できないことがある。
【０００８】
また、WAN(Wide Area Network), LAN(Local Area Network)といったネットワークや、ATM(Asynchronous Transfer Mode)ネットワークにおいては、パケットやセルといった、比較的小さなデータの伝送単位に分割してデータが伝送されるが、パケットやセルが衝突したり、中継器のバッファがオーバーフローしたりして、伝送中に欠落する場合がある。MPEGやJPEGの場合、このようなパケットロスなどの伝搬損出が発生した場合、パケットロスが、例えば１パーセントであったとしても、復号した画像には、エラーが他のブロックに伝搬し、画像が破綻することが知られている。
【０００９】
そこで、伝送エラーやパケットロスによる画像劣化を回避するために、エラーが発生したり、パケットが欠落した場合、そのデータ単位を再送する方法が知られている。しかしながら、このような再送処理を行う方式は、遅延が大きいため、画像データなどのように、リアルタイムにデータを伝送する必要があるデータに適用することが困難である。
【００１０】
また、冗長ビットを付加して誤り訂正を行う方法も知られている。しかしながら、冗長ビットを付加した場合、伝送容量が減少してしまうため、全体的な画質の低下につながる。さらに、誤り率が高い場合やビットが連続してエラーする、いわゆるバースト誤り、あるいはパケットロスには、対応することができない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、ロバスト性を向上させるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の第１の画像処理装置は、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置であって、画像データを、複数の画素を含むブロックにブロック化するブロック化手段と、ブロック化手段によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化手段と、ブロック化手段によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化手段と、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化手段と、多重化手段により生成された多重化データを出力する出力手段とを備えることを特徴とする。
【００１３】
前記第１の圧縮符号化手段は、ADRC処理によりフレーム内符号化処理を行うようにすることができる。
【００１４】
前記多重化手段は、IFFT処理によりOFDMの多重化を行うようにすることができる。
【００１５】
前記画像処理装置は、第１の圧縮符号化データをブロック毎にシリアルパラレル変換して多重化手段に供給するシリアルパラレル変換手段をさらに備え、多重化手段は、第１の圧縮符号化手段によりADRC処理の結果生成された第１の圧縮符号化データと、対応するブロックの、第２の圧縮符号化手段により生成されたベクトル量子化コードとを乗算する乗算手段と、乗算手段により出力されたデータを、パラレルシリアル変換するパラレルシリアル変換手段とを備えるようにすることができる。
【００１６】
前記第１の圧縮符号化データに、ガードインタバルを付加する付加手段と、付加手段によりガードインタバルが付加された第１の圧縮符号化データが多重化された多重化データを所定のキャリアで変調する変調手段とをさらに備えるようにすることができる。
【００１７】
本発明の第１の画像処理方法は、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置の画像処理方法であって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００１８】
本発明の第１の記録媒体のプログラムは、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置のプログラムであって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００１９】
本発明の第１のプログラムは、第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置を制御するコンピュータが実行可能なプログラムであって、画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、ブロック化ステップの処理によりブロック化された画像データを、第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、第１の圧縮符号化データと第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、多重化ステップの処理により生成された多重化データを出力する出力ステップとを含むことを特徴とする。
【００２０】
本発明の第２の画像処理装置は、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置であって、多重化データを取得する取得手段と、取得手段により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離手段と、分離手段により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号手段と、分離手段により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号手段と、第１の復号手段による復号結果と第２の復号手段による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算手段とを備えることを特徴とする。
【００２１】
前記第１の復号手段は、第１の復号処理としてADRC処理による復号を行うようにすることができる。
【００２２】
前記分離手段は、FFT処理により第１の圧縮符号化データと第２の圧縮符号化データとを分離することができる。
【００２３】
ガードインタバルが付加されている第１の圧縮符号化データを含む多重化データから有効部分を抽出する抽出手段をさらに備えるようにすることができる。
【００２４】
所定のキャリアで変調されている多重化データを、対応するキャリアを用いて復調する復調手段をさらに備えるようにすることができる。
【００２５】
欠落したブロックの画像データを回復する回復手段をさらに備えるようにすることができる。
【００２７】
本発明の第２の画像処理方法は、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置の画像処理方法であって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とする。
【００２８】
本発明の第２の記録媒体のプログラムは、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置のプログラムであって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とする。
【００２９】
本発明の第２のプログラムは、複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置を制御するコンピュータが実行可能なプログラムであって、多重化データを取得する取得ステップと、取得ステップの処理により取得された多重化データから、第１の圧縮符号化データと第２の圧縮符号化データとを分離する分離ステップと、分離ステップの処理により分離された第１の圧縮符号化データを、フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、分離ステップの処理により分離された第２の圧縮符号化データを、ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、第１の復号ステップの処理による復号結果と第２の復号ステップの処理による復号結果の画素毎の平均値を演算し、最終的な復号結果とする演算ステップとを含むことを特徴とするプログラム。
【００３０】
本発明の第１の画像処理装置および方法、記録媒体、並びにプログラムにおいては、画像データをフレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化され、多重化データが出力される。
【００３１】
本発明の第２の画像処理装置および方法、記録媒体、並びにプログラムにおいては、多重化データから分離された第１の圧縮符号化データと第２の圧縮符号化データが、それぞれフレーム内符号化処理に対応する第１の復号処理およびベクトル量子化処理に対応する第２の復号処理により復号され、その復号結果の画素毎の平均値が演算され、最終的な復号結果とされる。
【００３２】
【発明の実施の形態】
図１は、本発明を適用した画像符号化装置の構成例を表している。この画像符号化装置１は、動画像入力部１１、ADRC符号化部１２、ベクトル量子化部１３、およびOFDM変調部１４を有している。
【００３３】
動画像入力部１１は、ブロック化部２１とシャフリング部２２により構成されている。ブロック化部２１は、入力された画像データを、ｍ×ｎ個の画素で構成されるブロックにブロック化する。シャフリング部２２は、ブロック化部２１より供給されたブロックを、その順番を並びかえることによりシャフリングする。
【００３４】
隣接するブロック同士は相関を有するが、シャフリング部２２におけるシャフリングにより、相関を有する隣接ブロックの伝送タイミングが異なるものとなる。このため、伝送されるベクトル量子化コード（インデックス）が一様に分布するようになる。
【００３５】
ADRC符号化部１２は、ADRC符号化器３１、バッファ３２、およびパケット生成部３３により構成されている。ADRC符号化器３１は、シャフリング部２２より供給された画像データを、ブロック単位で１ビットADRC（Adaptive Dynamic Range Coding）処理する。ADRC符号化器３１の出力は、ベクトル量子化符号化器４３がシャフリング部２２より出力されたブロック単位の画素データをブロック毎にベクトル量子化することで生成されるサブキャリアとなるベクトル量子化コードが生成されるまでの間、バッファ３２に一旦蓄積される。パケット生成部３３は、バッファ３２より供給されたデータ（ADRC処理の結果得られたデータ）を、ブロック単位でパケット化する。
【００３６】
ベクトル量子化部１３は、更新部４１、記憶部４２、およびベクトル量子化符号化器４３により構成されている。更新部４１は、新たな画像データが入力されたとき、記憶部４２に記憶されているコードブックを、対応するコードブックに更新する。ベクトル量子化符号化器４３は、記憶部４２に記憶されているコードブックを利用して、シャフリング部２２より供給されるブロック単位で画素データをベクトル量子化し、そのベクトル量子化コードを、バッファ３２およびOFDM変調部１４のIFFT部５２に出力する。
【００３７】
OFDM（Orthogonal Frequency Division Multiplexing）変調部１４は、シリアル／パラレル変換部５１、IFFT（Inverse Fast Fourier Transform）部５２、パラレル／シリアル変換部５３、ガードインタバル付加部５４、D/A変換部５５、ローパスフィルタ（LPF）５６、乗算器５７、発振器５８、バンドパスフィルタ（BPF）５９、およびアンテナ６０により構成されている。
【００３８】
シリアル／パラレル変換部５１は、パケット生成部３３よりシリアルに供給される各パケット（ブロック）のデータを、各パケット（ブロック）毎にパラレルのデータに変換し、IFFT部５２に出力する。
【００３９】
IFFT部５２は、シリアル／パラレル変換部５１より供給されるADRC符号化器１３１による符号化結果と、ベクトル量子化符号化器４３より供給されるベクトル量子化コード（ベクトル量子化インデックス）を、逆高速フーリエ変換（IFFT）する。
【００４０】
パラレル／シリアル変換部５３は、IFFT部５２よりブロック毎にパラレルに供給されるデータをシリアルデータに変換する。ガードインタバル付加部５４は、パラレル／シリアル変換部５３より供給されるシンボル毎のデータにガードインタバルを付加する。D/A変換部５５は、ガードインタバル付加部５４より出力されたデータをD/A変換する。ローパスフィルタ５６は、D/A変換部５５より供給されたデータの低域成分のみを抽出することにより、符号間干渉が生じないように帯域制限する。
【００４１】
乗算器５７は、発振器５８が出力するキャリアとローパスフィルタ５６より出力されるデータとを乗算する（周波数変調する）。バンドパスフィルタ５９は、乗算器５７より供給されたデータの所定の周波数帯域の成分（キャリア成分）のみを抽出することで帯域制限を行う。バンドパスフィルタ５９の出力は、アンテナ６０を介して伝送路に伝送される。
【００４２】
例えば、マイクロコンピュータなどにより構成される制御部１５は、動画像入力部１１、ADRC符号化部１２、ベクトル量子化部１３、およびOFDM変調部１４の動作を制御する。インタフェース１６には、必要に応じて、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、および半導体メモリ７４などが、適宜装着される。制御部１５は、必要に応じて、これらの記録媒体との間でプログラムや各種のデータを授受する。
【００４３】
次に、図２のフローチャートを参照して、図１の画像符号化装置１の符号化処理について説明する。
【００４４】
ステップＳ１において、ブロック化部２１は、入力された画像データをブロック化処理する。図３は、このブロック化処理の例を表している。この例においては入力された１フレーム分の画像データがｍ×ｎ個の画素毎にブロック化される。
【００４５】
なお、このブロック化は、フレーム単位で行ってもよいし、フィールド単位で行ってもよい。本明細書においては、フレームまたはフィールドといった画像の単位をアクセスユニットとも称する。
【００４６】
ステップＳ２において、シャフリング部２２は、ブロック化部２１より供給されるブロックの順番を並べかえることでシャフリングを行う。これにより、同一のタイミングで伝送されるベクトル量子化インデックスの頻度が一様に分布するようになる。
【００４７】
ステップＳ３において、ADRC符号化器３１は、ブロック毎に画素データをADRC処理する（フレーム内符号化する）。
【００４８】
ブロック毎に分割された画素データは、局所的な強い相関を有するため、同一のブロック内の各画素の値は、比較的近い値となることが多い。そこで、ブロック毎に最大値と最小値を求め、そのブロック内におけるダイナミックレンジを定義することで、レベル方向の冗長度を大幅に除去することができる。
【００４９】
例えば、図４に示されるように、各画素が８ビットで表現される場合、その値（レベル）は、０から２５５のいずれかの値を取ることになる。すなわち、各ブロックのダイナミックレンジは２５５となる。
【００５０】
しかしながら、実際には、各ブロック毎に注目すると、各ブロック内においては、その最大値（MAX）と最小値（MIN）は、２５５と０の間の所定の値であることが多い。すなわち、各ブロックの実際のダイナミックレンジは、最大値と最小値により規定される範囲となる。
【００５１】
従って、ブロック内の最大値と最小値の間を、推定されたビット長で均等に分割することで、各ブロックにおける量子化に必要なビット数を大幅に低減することが可能となる。
【００５２】
ブロック内におけるダイナミックレンジをDR、ビット割当数をｎ、ブロック内の画素信号のレベルをＬ、再量子化コードをＱとする場合、ADRC処理では、次式が演算される。
【００５３】
なお、次式における［ ］は、切り捨て処理を意味する。
【００５４】
【数１】
各画素のレベル（値）は、ブロック内のダイナミックレンジ（最大値と最小値の間）で一様に分布しているものと考えられる。従って、ADRC処理は、統計的に誤差分散を小さくするという意味で、妥当な量子化方式ということができる。
【００５６】
ADRC符号化器３１より出力されたデータ（再量子化コードＱ）は、バッファ３２に供給され、ベクトル量子化符号化器４３による処理とのタイミングが調整された後、パケット生成部３３に供給され、ステップＳ４においてパケット化処理される。パケット生成部３３は、１つのブロックのデータを１つのパケットにパケット化する。
【００５７】
図５に示されるように、各パケットには、ヘッダ（またはトレーラ）が付加される。ヘッダには、そのパケットの転送先のアドレスと、そのパケットに含まれるデータの誤りを検出するための誤り検出符号が含まれている。
【００５８】
パケット生成部３３より出力されたパケットは、シリアル／パラレル変換部５１に入力され、シリアル／パラレル変換される。
【００５９】
シリアル／パラレル変換部５１は、図６に示されるように、シリアルに供給される各ブロック（パケット）のデータを、パラレルのデータに変換して、IFFT部５２に供給する。
【００６０】
一方、ベクトル量子化符号化器４３は、シャフリング部２２より供給される画素データを、ブロック毎にベクトル量子化する。図７は、このベクトル量子化の処理例を表している。
【００６１】
ステップＳ４１において、ベクトル量子化符号化器４３は、シャフリング部２２より供給された画像データを、任意の大きさにブロック化する。なお、このブロックは、ブロック化部２１におけるブロックと対応するブロックとされる。
【００６２】
ステップＳ４２において、ベクトル量子化符号化器４３は、記憶部４２に記憶されているコードブックの第ｉ番目のベクトル量子化コードに対応する代表ベクトルＣを読み出す。そして、ステップＳ４３において、ベクトル量子化符号化器４３は、次式に基づいて、ステップＳ４１の処理でブロック化された注目ブロックの画素で構成されるベクトルＶの代表ベクトルＣとの距離Ｅを演算する。
【００６３】
【数２】
なお、上記式において、Ｄは次元数を表し、ｍ×ｎに等しい。また、Ｎはコードブックに記録されているベクトル量子化コードの数に対応する。従って、一般的に、この値Ｎは、値Ｄより小さい。
【００６５】
ステップＳ４４において、ベクトル量子化符号化器４３は、変数ｉの値が値Ｎと等しいか否かを判定する。変数ｉの値が値Ｎと等しくない場合には、ステップＳ４５に進み、ベクトル量子化符号化器４３は、変数ｉの値を１だけインクリメントした後、ステップＳ４２の処理を再び実行する。これにより、コードブックに記録されている次のベクトル量子化コードに対応する代表ベクトルＣが読み出され、ステップＳ４３において、ベクトルＶのその代表ベクトルＣとの距離Ｅが演算される。
【００６６】
以上のステップＳ４２乃至ステップＳ４５の処理が、ステップＳ４４において、ｉ＝Ｎと判定するまで、繰り返し実行される。
【００６７】
ステップＳ４４において、変数ｉの値が値Ｎと等しいと判定された場合（ブロックの画素で構成されるベクトルＶの、コードブックに記録されているベクトル量子化コードに対応する全ての代表ベクトルＣとの距離Ｅの演算が終了したと判定された場合）、ステップＳ４６に進み、ベクトル量子化符号化器４３は、Ｎ個求められた距離Ｅｉ（ｉ＝０，１，２，・・・Ｎ−１）のうち、最小値を求める。そして、その最小の距離Ｅｉが対応するベクトル量子化コード（インデックス）ｉの値を、ベクトル量子化コードの最適値として出力する。
【００６８】
図８は、以上のベクトル量子化の処理を模式的に表している。すなわち、図８の例においては、ｍ×ｎ次元のベクトル空間に対応して、９個（Ｎ＝９）の代表ベクトルがコードブックに記録されている。図８において、番号０乃至番号８がベクトル量子化コードの番号（図７のステップＳ４２，Ｓ４４，Ｓ４５のｉ）を表している。そして、図８の例の場合、４×４個の画素で構成されるブロックのベクトルＶ（図８において×印で示される位置のベクトル）は、番号５のベクトル量子化コードで表される代表ベクトルとの距離が最も小さい。そこで、この例においては、番号５のベクトル量子化コードが出力される。
【００６９】
図２に戻って、ステップＳ６において、以上のようにしてベクトル量子化処理が行われた後、ステップＳ７において、IFFT部５２によりIFFT処理が実行される。
【００７０】
IFFT部５２は、図９に模式的に示されるように、Ｎ個（記憶部４２に記憶されているコードブックのベクトル量子化番号の数（代表ベクトルの数））の乗算器８１−１乃至８１−Ｎを有している。シリアル／パラレル変換部５１より出力された第１のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−１に入力され、第２のブロックのデータ（図９ではその値が“０”と表されている）は乗算器８１−２に入力され、第３のブロックのデータ（図９ではその値が“０”と表されている）は乗算器８１−３に入力され、第４のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−４に入力される。そして、第Ｎ番目のブロックのデータ（図９ではその値が“１”と表されている）は乗算器８１−Ｎに入力される。
【００７１】
乗算器８１−１乃至８１−Ｎには、記憶部４２に記憶されているＮ個のベクトル量子化コード（インデックス）にそれぞれ対応する値が供給されている。すなわち、乗算器８１−１にはインデックス１の値が、乗算器８１−２にはインデックス２の値が、乗算器８１−３にはインデックス３の値が、乗算器８１−４にはインデックス４の値が、それぞれ入力されている。そして、乗算器８１−ＮにはインデックスＮの値が入力されている。
【００７２】
図１０に示されるように、１からＮの各インデックスの値（番号）は、それぞれサブキャリアに対応している。インデックス１は、ｖ１０，ｖ１１，ｖ１２，ｖ１３・・・の構成要素で構成される代表ベクトルに対応しており、インデックス２は、ｖ２０，ｖ２１，ｖ２２，ｖ２３・・・の構成要素で構成される代表ベクトルに対応しており、インデックス３は、ｖ３０，ｖ３１，ｖ３２，ｖ３３・・・の構成要素で構成される代表ベクトルに対応する。そして、インデックスＮは、ｖＮ０，ｖＮ１，ｖＮ２，ｖＮ３，・・・の構成要素で構成される代表ベクトルに対応する。
【００７３】
乗算器８１−１は、シリアル／パラレル変換部５１より供給される第１番目のブロックのデータとインデックス１のデータとを乗算し、出力する。乗算器８１−２は、シリアル／パラレル変換部５１より入力される第２番目のブロックのデータとインデックス２のデータとを乗算し、出力する。乗算器８１−３は、シリアル／パラレル変換部５１より供給される第３番目のブロックのデータと、インデックス３のデータとを乗算し、出力する。乗算器８１−４は、シリアル／パラレル変換部５１より入力される第４番目のブロックのデータとインデックス番号４のデータとを乗算し、出力する。以下同様に、乗算器８１−Ｎは、シリアル／パラレル変換部５１より入力される第Ｎ番目のブロックのデータとインデックスＮのデータとを乗算し、出力する。
【００７４】
シリアル／パラレル変換部５１が出力するブロックの順番は、シャフリング部２２によりシャフリングされた後の順番である。上述したように、シャフリングの結果、同一のインデックス番号に対応するブロックのデータが同じタイミングでIFFT部５２に入力される可能性は低くなる。しかしながら、同一のインデックス番号に対応するブロックのデータが、同じタイミングでIFFT部５２に入力される可能性が全くないわけではない。同一のインデックス番号に対応する複数のブロックのデータが同一のタイミングで発生した場合には、１つのブロックのデータのみが選択され、伝送される。そして、他のブロックのデータは、次のタイミングで送出される。
【００７５】
また、所定のタイミングにおいて、所定のインデックス番号のブロックのデータが存在しない場合には、インデックス番号に対応するデータのみが対応する乗算器から出力されることになる（ブロックのデータが全て０とされ、全て０のデータとインデックス番号を表すデータとが乗算された結果が出力される）。
【００７６】
図２に戻って、以上のようにして、ステップＳ７においてIFFT処理が実行された後、ステップＳ８に進み、パラレル／シリアル変換部５３は、IFFT部５２によりブロック毎にパラレルに出力されたデータをシリアルデータに変換する。これにより、伝送データが時間軸上で多重化されることになる。
【００７７】
次に、ステップＳ９において、ガードインタバル付加部５４は、パラレル／シリアル変換部５３より供給されたデータにガードインタバルを付加する。ガードインタバルは、図１１に示されるように、各ブロックのデータの有効シンボル期間の終端部近傍の一部の信号波形をコピーすることで生成される。このように、ガードインタバル部を付加することで、マルチパスの影響を軽減することが可能となる。
【００７８】
すなわち、図１２に示されるように、マルチパスが存在すると、直接波以外に遅延波＃１、遅延波＃２といった遅延波が発生する。受信側においては、直接波と遅延波の合成波を受信することになる。図１２に示されるように、例えば直接波と遅延波＃２との合成波が受信側において受信された場合、受信側のFFTのウィンドウが、直接波の各有効シンボル長に対応した長さとタイミングで同期していたとしても、ガードインタバルよりも小さい遅延時間の遅延波であれば、自分自身のシンボルの重なりによる影響は避けられないものの、１つ前の別のシンボルの重なりを避けて復調することが可能となる。
【００７９】
これに対して、図１３に示されるように、ガードインタバルが存在しない場合には、遅延波が加わることによって１つ前のシンボルが重なってしない、各シンボルのデータを復調する際に特性が劣化してしまう。
【００８０】
以上のようにして、ガードインタバル付加部５４によりガードインタバルが付加されたデータは、D/A変換部５５に入力され、D/A変換された後、ローパスフィルタ５６により不要な帯域が制限され、乗算器５７に入力される。
【００８１】
乗算器５７は、ステップＳ１０において、周波数変換処理を行う。すなわち、乗算器５７は、発振器５８より供給されるキャリアをローパスフィルタ５６の出力と乗算し、図１４に示されるような複数のサブキャリアを有するキャリア（OFDM信号）を生成する。
【００８２】
乗算器５７より出力されたデータは、バンドパスフィルタ５９に入力され、ステップＳ１１において、送信処理が実行される。すなわち、バンドパスフィルタ５９は、入力されたデータからキャリア成分のみを抽出し、アンテナ６０を介して伝送路に伝送する。
【００８３】
図１５は、以上のようにして、画像符号化装置１より伝送されたデータを受信する画像復号装置の構成例を表している。
【００８４】
この画像復号装置１０１は、OFDM復調部１１１、ADRC復号部１１２、およびベクトル量子化復号部１１３を有している。
【００８５】
OFDM復調部１１１は、アンテナ１２１を介して伝送データを受信する。バンドパスフィルタ１２２は、アンテナ１２１を介して受信されたデータから、不要な帯域成分を除去し、キャリア成分だけを抽出する。乗算器１２３は、発振器１２４が発振出力するキャリア成分を、バンドパスフィルタ１２２の出力に乗算し、周波数変換処理を行う。
【００８６】
ローパスフィルタ１２５は、乗算器１２３より出力されたデータからサブキャリア成分（ベースバンド成分）を含むデータのみを抽出し、A/D変換部１２６に出力する。A/D変換部１２６は、入力されたデータをA/D変換する。
【００８７】
有効シンボル抽出部１２７は、A/D変換部１２６より供給されたデータから、有効シンボル部分だけを抽出する。FFT部１２８は、有効シンボル抽出部１２７より供給された有効シンボル部をFFT処理して、ADRC成分をパラレル／シリアル変換部１２９に出力し、ベクトル量子化コード成分をベクトル量子化復号器１５１に出力する。
【００８８】
パラレル／シリアル変換部１２９は、FFT部１２８より供給されたADRC成分をパラレル／シリアル変換し、ADRC復号部１１２のパケット再生部１４１に出力する。
【００８９】
ADRC復号部１１２は、パケット再生部１４１、ADRC復号器１４２、演算部１４３、パケット欠落エラーリカバリー処理部１４４、および選択部１４５により構成されている。
【００９０】
パケット再生部１４１は、パラレル／シリアル変換部１２９より入力されたデータからパケットを再生し、生成されたパケットに含まれるデータを抽出してADRC復号器１４２に出力する。ADRC復号器１４２は、入力されたデータをADRC処理により復号し、復号結果を演算部１４３に出力する。
【００９１】
演算部１４３にはまた、ベクトル量子化復号器１５１より出力されたデータも供給されている。演算部１４３は、ADRC復号器１４２の出力とベクトル量子化復号器１５１の出力とを用いて、その平均値を演算し、演算結果を選択部１４５に出力する。
【００９２】
パケット欠落エラーリカバリー処理部１４４は、パケット再生部１４１によりパケットの欠落が検出された場合、その欠落したパケットに含まれるデータを回復する処理を実行し、生成したデータを選択部１４５に出力する。選択部１４５は、演算部１４３またはパケット欠落エラーリカバリー処理部１４４より供給されたデータを選択し、復号結果として出力する。
【００９３】
ベクトル量子化復号部１１３は、ベクトル量子化復号器１５１、更新部１５２、および記憶部１５３により構成されている。更新部１５２は、ベクトル量子化復号器１５１より新たなデータが入力されてきたとき、記憶部１５３に対応する新たなコードブックを供給し、記憶させる。ベクトル量子化復号器１５１は、記憶部１５３に記憶されているコードブックに基づいて、FFT部１２８より供給されるベクトル量子化コード（インデックス番号）を、対応する代表ベクトルに変換することで復号処理を行う。
【００９４】
画像復号装置１０１は、さらに、例えばマイクロコンピュータで構成される制御部１１４を有している。制御部１１４は、OFDM復調部１１１、ADRC復号部１１２、およびベクトル量子化復号部１１３の処理を制御する。
【００９５】
制御部１１４にはまた、必要に応じてインタフェース１１５を介して、磁気ディスク１６１、光ディスク１６２、光磁気ディスク１６３、半導体メモリ１６４が適宜装着され、プログラムやデータなどが適宜授受される。
【００９６】
次に、図１６のフローチャートを参照して、画像復号装置１０１の復号処理について説明する。
【００９７】
ステップＳ６１において、バンドパスフィルタ１２２は、受信処理を実行し、アンテナ１２１を介して受信した信号から、キャリア成分のみを抽出し、乗算器１２３に出力する。
【００９８】
ステップＳ６２において、乗算器１２３は、発振器１２４より出力されるキャリア成分と、バンドパスフィルタ１２２より供給される成分とを乗算することで、受信データの周波数変換処理を行い、サブキャリア成分を含むデータを出力する。
【００９９】
ローパスフィルタ１２５は、乗算器１２３より出力されたデータから不要な帯域成分を除去した後、A/D変換部１２６に出力する。A/D変換部１２６は、入力されたデータをA/D変換し、有効シンボル抽出部１２７に出力する。
【０１００】
有効シンボル抽出部１２７は、ステップＳ６３において、受信したデータから有効シンボル部分を抽出し、FFT部１２８に出力する。
【０１０１】
ステップＳ６４において、FFT部１２８は、FFT処理を実行し、ADRC成分をパラレル／シリアル変換部１２９に出力するとともに、ベクトル量子化コード成分をベクトル量子化復号器１５１に出力する。
【０１０２】
パラレル／シリアル変換部１２９は、ステップＳ６５において、入力されたパラレルデータをシリアルデータに変換する。この変換処理は、図１におけるシリアル／パラレル変換部５１における場合と対応する処理となる。
【０１０３】
ステップＳ６６において、パケット再生部１４１は、パラレル／シリアル変換部１２９より供給されたデータから、パケットを再生し、パケットを構成するブロックのデータをADRC復号器１４２に出力する。
【０１０４】
ADRC復号器１４２は、ステップＳ６７において、パケット再生部１４１より供給されたデータをADRC復号処理する。
【０１０５】
ADRC復号器１４２によるADRC復号処理においては、次式に示される演算を行うことで、復元値Ｌが得られる。
【０１０６】
【数３】
なお、この場合においても、Ｄはブロック内のダイナミックレンジ、ｎはビット割り当てを、Ｑは再量子化コードを、それぞれ表し、［ ］は切り捨て処理を意味する。
【０１０８】
一方、ステップＳ６８において、ベクトル量子化復号器１５１は、FFT部１２８より供給されたベクトル量子化コード（インデックス番号）を、記憶部１５３に記憶されているコードブックを参照して代表ベクトルに変換することで復号処理を行う。
【０１０９】
演算部１４３は、ステップＳ６７の処理でADRC復号器１４２により復号された結果と、ステップＳ６８の処理でベクトル量子化復号器１５１により復号された結果得られた代表ベクトルとの、平均値を演算し、選択部１４５に出力する。
【０１１０】
一方、パケット再生部１４１は、パケットが欠落している場合、その旨をパケット欠落エラーリカバリー処理部１４４に通知する。パケット欠落エラーリカバリー処理部１４４は、ステップＳ７０において、エラーリカバリー処理を実行し、欠落したパケットのブロックのデータを回復生成し、選択部１４５に出力する。
【０１１１】
選択部１４５は、ステップＳ７１において、演算部１４３より供給されたデータ、またはパケット欠落エラーリカバリー処理部１４４より供給されたデータを選択し、復号結果として出力する。
【０１１２】
図１７は、演算部１４３による演算の例を模式的に表している。同図に示されるように、FFT部１２８により分離された信号成分（ADRC成分）は、ADRC復号器１４２により復号され、復元画像１７１が演算部１４３に入力される。
【０１１３】
同様に、FFT部１２８により分離されたサブキャリア成分は、ベクトル量子化復号器１５１に入力され、復号され、復元画像１７２が得られる。
【０１１４】
ADRC復号器１４２により復号されて得られた復元画像１７１に、図１７において×印で示されるように欠落した画素があり、ベクトル量子化復号器１５１により復号して得られた復元画像１７２に、やはり図１７に×印で示される位置に欠落した画素があったとしても、演算部１４３により、その平均値を演算することにより生成した復元画像１７３では、その欠落した画素の影響を軽減することができる。
【０１１５】
演算部１４３においては、平均値演算の代わりに重み付け加算を行うようにすることも可能である。
【０１１６】
次に、パケット欠落エラーリカバリー処理部１４４のエラーリカバリー処理の具体例についてさらに説明する。
【０１１７】
いま、例えば、図１８に示されるように、ｘ1乃至ｘ16で示される１６個の画素を含むブロックが欠落したとする。その周囲のｙ’1乃至ｙ’16は、隣接するブロックの復号された画素値である。
【０１１８】
ADRCの復号値は、次式で示されるように、量子化ステップ幅ｄと、最小値MIN’の１次関数の式で表される。
【０１１９】
【数４】
エラーが発生した場合、この式のｄとMIN’を推定する必要がある。隣接する画素は、非常に似通った値を取るという画像の相関性から、ｘiの復号値が、それと隣接するｙ’iの値に非常に似ているとしてプロットすると、図１９に示されるようなグラフが得られる。
【０１２１】
なお、図１９の横軸はｘを表し、縦軸はｙ’を表す。
【０１２２】
プロットした点にフィットする直線の傾きがｄとなり、切片がMIN’となる。これらの値は、最小自乗法によって求めることができる。
【０１２３】
すなわち、DR’とMIN’の両方がいずれもエラーである場合、ｄとMIN’は次式で表される。
【０１２４】
【数５】
DR’のみエラーである場合には、ｄは次式で表される。
【０１２６】
【数６】
さらに、MIN’だけがエラーである場合には、MIN’は次式で表される。
【数７】
なお、上記式におけるΣｘｙ，Σｘ，Σｙ，Σｘ2は、それぞれ次式で表される。
【０１２９】
【数８】
以上のように、ADRC符号化器３１においては、フレーム内符号化だけを行うようにしているので、MPEGのように、複数フレームにエラーが伝搬することがなくなり、高品質の画像データを伝送することが可能になる。
【０１３１】
また、伝送エラー対策のための誤り訂正符号などの冗長なビットを付加する必要がないため、冗長ビットの増加に起因する画質劣化を抑制することができる。
【０１３２】
サブキャリアに意味付けを行うことによって、１つの変調信号に複数の意味を持たせることが可能になる。その結果、同じ圧縮率の場合において、エラーに対してよりロバストな符号化が可能となる。
【０１３３】
画像の相関性を利用してエラーによって欠落したパケットやビットが反転した伝送データを自己回復することで、再送や誤り訂正などで高度に保護する必要がなくなる。その結果、再送などによる遅延の増加を抑制することができ、ネットワークの輻輳なども解決することができる。
【０１３４】
１つの元データに対して複数の符号化方式で符号化（エンコード）が行われるので、伝送データにはたくさんの意味を持たせることが可能になる。これにより、復調の際に、それぞれの信号成分を合成、平均化する処理を施すことによって、より真値に近い、劣化の少ない画像を授受することが可能となる。
【０１３５】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３６】
この記録媒体は、図１と図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１，１６１（フロッピディスクを含む）、光ディスク７２，１６２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク７３，１６３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ７４，１６４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや、ハードディスクなどで構成される。
【０１３７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３９】
【発明の効果】
以上の如く、本発明によれば、ロバスト性を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の構成例を示すブロック図である。
【図２】図１の画像符号化装置の符号化処理を説明するフローチャートである。
【図３】図２のステップＳ１におけるブロック化処理を説明する図である。
【図４】図２のステップＳ３におけるADRC処理を説明する図である。
【図５】図２のステップＳ４のパケット化処理を説明する図である。
【図６】図２のステップＳ５におけるシリアル／パラレル変換処理を説明する図である。
【図７】図２のステップＳ６におけるベクトル量子化符号化処理の詳細を説明するフローチャートである。
【図８】ベクトル量子化処理を説明する図である。
【図９】図２のステップＳ７のIFFT処理を説明する図である。
【図１０】コードブックとサブキャリアの対応を説明する図である。
【図１１】ガードインタバルを説明する図である。
【図１２】ガードインタバルを付加した場合の処理を説明する図である。
【図１３】ガードインタバルを付加しない場合の処理を説明する図である。
【図１４】 OFDM信号の周波数スペクトルを示す図である。
【図１５】本発明を適応した画像復号装置の構成例を示すブロック図である。
【図１６】図１５の画像復号装置の復号処理を説明するフローチャートである。
【図１７】図１６のステップＳ６９の演算処理の例を示す図である。
【図１８】図１６のステップＳ７０におけるエラーリカバリー処理を説明する図である。
【図１９】図１６のステップＳ７０におけるエラーリカバリー処理を説明する図である。
【符号の説明】
１ 画像符号化装置， １１ 動画像入力部， １２ ADRC符号化部， １３ベクトル量子化部， １４ OFDM変調部， ２１ ブロック化部， ２２ シャフリング部， ３１ ADRC符号化器， ３２ バッファ， ３３ パケット生成部， ４３ ベクトル量子化符号化器， ５２ IFFT部， ５４ ガードインタバル付加部， １０１ 画像復号装置， １１１ OFDM復調部， １１２ ADRC復号部， １１３ ベクトル量子化復号部， １２２ バンドパスフィルタ，１２３ 乗算器， １２７ 有効シンボル抽出部， １２８ FFT部， １４２ ADRC復号器， １４３ 演算部， １４４ パケット欠落エラーリカバリー処理部， １４５ 選択部， １５１ ベクトル量子化復号器
Claims (17)
- 第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置であって、
前記画像データを、複数の画素を含むブロックにブロック化するブロック化手段と、
前記ブロック化手段によりブロック化された前記画像データを、前記第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化手段と、
前記ブロック化手段によりブロック化された前記画像データを、前記第２の復号処理に対応するベクトル量子化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化手段と、
前記第１の圧縮符号化データと前記第２の圧縮符号化データを多重化した多重化データを生成する多重化手段と、
前記多重化手段により生成された前記多重化データを出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記第１の圧縮符号化手段は、ADRC処理によりフレーム内符号化処理を行う
ことを特徴とする請求項１に記載の画像処理装置。 - 前記多重化手段は、IFFT処理によりOFDMの多重化を行う
ことを特徴とする請求項２に記載の画像処理装置。 - 前記画像処理装置は、前記第１の圧縮符号化データを前記ブロック毎にシリアルパラレル変換して前記多重化手段に供給するシリアルパラレル変換手段をさらに備え、
前記多重化手段は、
前記第１の圧縮符号化手段によりADRC処理の結果生成された前記第１の圧縮符号化データと、対応する前記ブロックの、前記第２の圧縮符号化手段により生成されたベクトル量子化コードとを乗算する乗算手段と、
前記乗算手段により出力されたデータを、パラレルシリアル変換するパラレルシリアル変換手段と
を備えることを特徴とする請求項３に記載の画像処理装置。 - 前記第１の圧縮符号化データに、ガードインタバルを付加する付加手段と、
前記付加手段により前記ガードインタバルが付加された前記第１の圧縮符号化データが多重化された前記多重化データを所定のキャリアで変調する変調手段と
をさらに備えることを特徴とする請求項４に記載の画像処理装置。 - 第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置の画像処理方法であって、
前記画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、
前記第１の圧縮符号化データと前記第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、
前記多重化ステップの処理により生成された前記多重化データを出力する出力ステップと
を含むことを特徴とする画像処理方法。 - 第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置のプログラムであって、
前記画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、
前記第１の圧縮符号化データと前記第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、
前記多重化ステップの処理により生成された前記多重化データを出力する出力ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 第１と第２の異なる復号処理で復号した結果の平均値を最終的な復号結果とする復号装置に提供する画像データを符号化する画像処理装置を制御するコンピュータが実行可能なプログラムであって、
前記画像データを、複数の画素を含むブロックにブロック化するブロック化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第１の復号処理に対応するフレーム内符号化処理により符号化して第１の圧縮符号化データを生成する第１の圧縮符号化ステップと、
前記ブロック化ステップの処理によりブロック化された前記画像データを、前記第２の復号処理に対応するベクトル量子化符号化処理により符号化して第２の圧縮符号化データを生成する第２の圧縮符号化ステップと、
前記第１の圧縮符号化データと前記第２の圧縮符号化データを多重化した多重化データを生成する多重化ステップと、
前記多重化ステップの処理により生成された前記多重化データを出力する出力ステップと
を含むことを特徴とするプログラム。 - 複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置であって、
前記多重化データを取得する取得手段と、
前記取得手段により取得された前記多重化データから、前記第１の圧縮符号化データと前記第２の圧縮符号化データとを分離する分離手段と、
前記分離手段により分離された前記第１の圧縮符号化データを、前記フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号手段と、
前記分離手段により分離された前記第２の圧縮符号化データを、前記ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号手段と、
前記第１の復号手段による復号結果と前記第２の復号手段による復号結果の前記画素毎の平均値を演算し、最終的な復号結果とする演算手段と
を備えることを特徴とする画像処理装置。 - 前記第１の復号手段は、前記第１の復号処理としてADRC処理による復号を行う
ことを特徴とする請求項９に記載の画像処理装置。 - 前記分離手段は、FFT処理により前記第１の圧縮符号化データと前記第２の圧縮符号化データとを分離する
ことを特徴とする請求項９に記載の画像処理装置。 - ガードインタバルが付加されている前記第１の圧縮符号化データを含む前記多重化データから有効部分を抽出する抽出手段を
さらに備えることを特徴とする請求項９に記載の画像処理装置。 - 所定のキャリアで変調されている前記多重化データを、対応する前記キャリアを用いて復調する復調手段を
さらに備えることを特徴とする請求項９に記載の画像処理装置。 - 欠落した前記ブロックの前記画像データを回復する回復手段を
さらに備えることを特徴とする請求項９に記載の画像処理装置。 - 複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置の画像処理方法であって、
前記多重化データを取得する取得ステップと、
前記取得ステップの処理により取得された前記多重化データから、前記第１の圧縮符号化データと前記第２の圧縮符号化データとを分離する分離ステップと、
前記分離ステップの処理により分離された前記第１の圧縮符号化データを、前記フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、
前記分離ステップの処理により分離された前記第２の圧縮符号化データを、前記ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、
前記第１の復号ステップの処理による復号結果と前記第２の復号ステップの処理による復号結果の前記画素毎の平均値を演算し、最終的な復号結果とする演算ステップと
を含むことを特徴とする画像処理方法。 - 複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置のプログラムであって、
前記多重化データを取得する取得ステップと、
前記取得ステップの処理により取得された前記多重化データから、前記第１の圧縮符号化データと前記第２の圧縮符号化データとを分離する分離ステップと、
前記分離ステップの処理により分離された前記第１の圧縮符号化データを、前記フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、
前記分離ステップの処理により分離された前記第２の圧縮符号化データを、前記ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、
前記第１の復号ステップの処理による復号結果と前記第２の復号ステップの処理による復号結果の前記画素毎の平均値を演算し、最終的な復号結果とする演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 複数の画素を含むブロックにブロック化された画像データを、フレーム内符号化処理により符号化して生成された第１の圧縮符号化データと、ベクトル量子化処理により符号化して生成された第２の圧縮符号化データとが多重化された多重化データを復号する画像処理装置を制御するコンピュータが実行可能なプログラムであって、
前記多重化データを取得する取得ステップと、
前記取得ステップの処理により取得された前記多重化データから、前記第１の圧縮符号化データと前記第２の圧縮符号化データとを分離する分離ステップと、
前記分離ステップの処理により分離された前記第１の圧縮符号化データを、前記フレーム内符号化処理に対応する第１の復号処理により復号する第１の復号ステップと、
前記分離ステップの処理により分離された前記第２の圧縮符号化データを、前記ベクトル量子化処理に対応する第２の復号処理により復号する第２の復号ステップと、
前記第１の復号ステップの処理による復号結果と前記第２の復号ステップの処理による復号結果の前記画素毎の平均値を演算し、最終的な復号結果とする演算ステップと
を含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002026863A JP4078581B2 (ja) | 2002-02-04 | 2002-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002026863A JP4078581B2 (ja) | 2002-02-04 | 2002-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230136A JP2003230136A (ja) | 2003-08-15 |
| JP4078581B2 true JP4078581B2 (ja) | 2008-04-23 |
Family
ID=27748564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002026863A Expired - Fee Related JP4078581B2 (ja) | 2002-02-04 | 2002-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078581B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050072255A (ko) * | 2004-01-06 | 2005-07-11 | 엘지전자 주식회사 | 고밀도 광디스크의 서브타이틀 구성방법 및 재생방법과기록재생장치 |
| EP1716701A1 (en) | 2004-02-10 | 2006-11-02 | LG Electronic Inc. | Text subtitle decoder and method for decoding text subtitle streams |
| KR20070028326A (ko) | 2004-02-10 | 2007-03-12 | 엘지전자 주식회사 | 기록매체 및 텍스트 서브타이틀 스트림 디코딩 방법과 장치 |
| WO2005074399A2 (en) | 2004-02-10 | 2005-08-18 | Lg Electronics Inc. | Recording medium and method and apparatus for decoding text subtitle streams |
| WO2005081643A2 (en) | 2004-02-26 | 2005-09-09 | Lg Electronics Inc. | Recording medium and method and apparatus for reproducing and recording text subtitle streams |
| EP1728251A1 (en) | 2004-03-17 | 2006-12-06 | LG Electronics, Inc. | Recording medium, method, and apparatus for reproducing text subtitle streams |
| KR20060047266A (ko) | 2004-04-26 | 2006-05-18 | 엘지전자 주식회사 | 기록매체, 기록매체의 재생방법과 재생장치 |
| US7571386B2 (en) | 2004-05-03 | 2009-08-04 | Lg Electronics Inc. | Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses associated therewith |
| US7688245B2 (en) | 2008-07-11 | 2010-03-30 | Infineon Technologies Ag | Method for quantizing of signal values and quantizer |
-
2002
- 2002-02-04 JP JP2002026863A patent/JP4078581B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230136A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4448173B2 (ja) | 動きベクトル割当のための方法および装置 | |
| JP2008507915A (ja) | 映像圧縮のための符号器補助式フレーム速度アップコンバージョンのための方法及び装置 | |
| JP4078581B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2004241984A (ja) | データ伝送装置 | |
| US20120166670A1 (en) | Transmitting apparatus, transmitting method, and program | |
| KR20110124118A (ko) | 픽셀값의 차분을 이용하여 영상 프레임을 부호화하는 방법 및 이를 위한 장치 | |
| US20120163172A1 (en) | Transmitting apparatus, transmitting method, and program | |
| KR100341823B1 (ko) | 유무선 영상 통신시스템에서의 비트에러확률 기준값설정방법 | |
| CN101867801B (zh) | 一种通信方法和通信系统 | |
| JP4558190B2 (ja) | データ回復方法及び装置並びに記録媒体 | |
| WO2002005566A1 (en) | Image coding apparatus and image coding method | |
| US7724819B2 (en) | Wireless image transmission device and image transmission method | |
| US7885339B2 (en) | Bi-directional temporal error concealment | |
| JP4558193B2 (ja) | データ受信方法及び装置、その受信データの回復処理装置並びに記録媒体 | |
| US20170365070A1 (en) | Encoding program media, encoding method, encoding apparatus, decoding program media, decoding method, and decoding apparatus | |
| JPH04373286A (ja) | 画像符号化装置 | |
| US6755531B2 (en) | Motion picture code evaluator and billing system | |
| US20060120290A1 (en) | Method for adapting the bitrate of a digital signal dynamically to the available bandwidth, corresponding devices, and corresponding computer-program product | |
| WO2003092302A1 (en) | Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program | |
| US8290071B2 (en) | Modulating device and method, demodulating device and method, program, and recording medium | |
| JP4558192B2 (ja) | 復号方法及び装置並びに記録媒体 | |
| Chen et al. | Spatio-temporal video error concealment using priority-ranked region-matching | |
| Pham et al. | Unequal error protection of H. 264/AVC video bitstreams based on the motion energy estimation for group of pictures | |
| Fowdur et al. | An enhanced framework for H. 264 video transmission with joint prioritisation of retransmission and concealment order | |
| CN107835422B (zh) | 一种基于显著性的hevc多描述图像编码算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |