JP3902537B2 - 可変長符号化データ復号化方法及び可変長符号化データ復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像信号又はディジタル音響信号の圧縮符号化、及び圧縮符号化された信号の復号化に係り、特に、復号化装置によってデジタルデータを劣化なく復号化する、又はディジタルデータを復号化段階で少し劣化させるようにし、ユーザ毎に品質の異なる復号化データを供給するための可変長符号化データ復号化方法及び可変長符号化データ復号化装置に関する。
【０００２】
【従来の技術】
アナログの映像信号を伝送する、ないしは記録して再生するときは、その伝送路あるいは記録媒体の品質に応じて再生される映像信号が劣化し、オリジナルの映像信号と、使用者側で再生される映像信号の間には多少の画質の差が生じる。
【０００３】
同様にアナログの音響信号を伝送する、ないしは記録して再生するときにも、その伝送路あるいは記録媒体の品質に応じて再生される音響信号が劣化し、オリジナルの音響信号と使用者側で再生される音響信号の間には多少の音質の差が生じる。
【０００４】
そのようにして、映像信号及び／又は音響信号（以降、これらの信号のことをコンテンツ信号と呼ぶことがある）を所有する著作権者と、そのコンテンツ信号を再生する使用者との間で生じる品質の差により、著作権者の所有するコンテンツ信号に係る権利保護がなされるようにして、コンテンツビジネスの正常な運営がなされている。
【０００５】
そして、近年になり、デジタル信号処理技術が発展し、それを用いるコンテンツ信号の放送、通信、あるいは記録媒体による利用者への供給は、コンテンツ信号の品質劣化を少なくして行なえるようになってきたため、著作権者が有するコンテンツの品質と使用者側で再生されるコンテンツの品質の間に差が少なくなり、著作権者の所有するコンテンツを用いて行うビジネスの正常な運営が困難になりつつある。
【０００６】
そこで、特定の契約のなされている使用者にのみコンテンツを供給するようにする暗号化技術、及びコンディショナルアクセス技術などが開発され、それらを用いたコンテンツの供給がなされているが、その場合の暗号化、及びコンディショナルアクセスにより処理された信号は、正常な再生がなされる場合と、全く再生のなされない場合とのいずれかの場合が選択されることにより、契約関係にある使用者など、特定のユーザにのみコンテンツが供給されるような使われ方がなされている。
【０００７】
また、著作権を有する者のコンテンツが伝送、あるいは記録媒体により使用者に供給され、使用者がそのコンテンツを２次使用したときに、そのコンテンツの権利者を特定するための情報を電子透かしなどによりコンテンツ情報の中に埋め込む方法も開発されている。そして、その場合のコンテンツが２次使用されたときのコンテンツの品質の劣化は少なく、電子透かしによるコンテンツの保護は、コンテンツ所有者の特定を行うためのみにしか用いられていないのが実状である。
【０００８】
そのようにして、デジタル技術により、品質劣化が殆ど生じないコンテンツの伝送、及び記録再生技術の開発がなされた。そして、そのデジタル技術にアナログ信号が有するような好ましい著作権の保護に係る技術を盛り込んだ、好ましいコンテンツビジネスを行うための著作権者保護のための信号技術の開発が求められている。
【０００９】
ここでは、最初にコンテンツ信号の圧縮符号化、及び復号化技術について、ＭＰＥＧ（moving picture experts group）ビデオ及びＭＰＥＧオーディオの技術を説明し、次にそれらの符号化された圧縮符号化信号に、コンテンツビジネスを行うための好適な符号化を実現するための、コンテンツの開示方法に係る符号化技術について述べる。
【００１０】
最初に、ＭＰＥＧビデオの技術について説明する。
その、テレビジョン信号などの動画像信号を高能率符号化する、いわゆるＭＰＥＧビデオを用いる方式は、ディジタル衛星放送、ＤＶＤ（Digital versatile Disc）、ディジタルテープレコーダ、及び通信ネットワークで伝送される信号として広く用いられ、２００３年からはデジタル地上放送にも採用されるように計画されている。
【００１１】
即ち、そのＭＰＥＧビデオ標準は、１９８８年ＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）のＪＴＣ１／ＳＣ２（Joint Technical Committee 1 / Sub committee 2；国際標準化機構／国際電気標準化会合同技術委員会1/専門部会2）に設立された、動画像符号化標準を検討する組織により審議が開始されて作成された国際標準規格である。
【００１２】
その審議団体であるＳＣ２は、現在ＳＣ２９として動画、及び音響信号等の符号化に係る規格制定活動を継続しており、またＭＰＥＧの人達により制定された国際標準は通俗的にＭＰＥＧ規格とも呼ばれている。
【００１３】
そして、ＭＰＥＧにより最初に制定されたＭＰＥＧ１（ＭＰＥＧフェーズ1）規格は１．５Ｍｂｐｓ程度の伝送レートで記録される蓄積メディアを対象とした、音響信号の付随される動画信号の符号化標準で、静止画の符号化を目的とするＪＰＥＧ（Joint Photographic Coding Experts Group）と、ＩＳＤＮ（Integrated services digital network）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（CCITT SGXV、現在のITU-T SG15で標準化）の基本的な技術を用いた符号化標準である。
【００１４】
そのようにしてＭＰＥＧ１は１９９３年８月に、ＩＳＯ／ＩＥＣ１１１７２として制定され、そのＭＰＥＧ１規格により符号化されて記録されたディスクは多く製品化されている。
【００１５】
また、その後制定されたＭＰＥＧ２（ＭＰＥＧフェーズ２）は、通信及び放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月にＩＳＯ／ＩＥＣ１３８１８、及び「Ｈ．２６２」として制定された。
【００１６】
そして、これらのＭＰＥＧ１及びＭＰＥＧ２による符号化方式は複数の符号化技術より構成されており、それらの技術は動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロック毎に分割して符号化処理を行う。
【００１７】
その符号化処理は、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像と被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を用いて画像情報を周波数情報量に変換し、その変換された周波数領域の情報より視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の２つの画像符号化の要素技術を基にして構成されている。
【００１８】
そして、動き補償予測における予測の方向は、過去、未来、及び過去未来の両方から予測する場合の３モードが存在し、それらの３モードは１６画素×１６画素のデータよりなるマクロブロックごとに切り替えて使用できるようになされている。
【００１９】
また、入力画像のフレームに与えられるピクチャタイプとしては、Ｉ（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（Bidirectionally predictive-coded）の３種類のピクチャタイプが定められている。
【００２０】
そのIピクチャは動き予測を行わずに符号化するピクチャであるが、Ｐピクチャには過去からの予測、及び予測を行わずに符号化する２モードが存在しており、またＢピクチャには未来からの予測、過去からの予測、過去及び未来の両方向からの予測、並びに予測を行わずにフレーム内符号化を行う４つのＭＣ(Motion Compensation)モードがある。
【００２１】
それらの未来、ないしは過去の画像を用いて行う動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル（画素間距離の１／２）精度で動きベクトルを求め、その求められた動きベクトル量に対応させて未来、ないしは過去の参照画像位置をそのベクトル方向に移動させて形成した参照画像を参照して、入力された画像信号の符号化を行う。
【００２２】
そのようにして求められる動きベクトルの方向には水平方向と垂直方向とがあり、それらのベクトル情報はＭＣモードと共にマクロブロックの付加情報として伝送されるようになされている。
【００２３】
また、そのようにしてなされるピクチャデータのうち、Ｉ、Ｐ、及びＢの３種類のピクチャはＩピクチャを先頭として所定の順に並べられて伝送され、そのＩピクチャより次のIピクチャの手前にあるピクチャまでの、ピクチャ（フレーム画像）の集合をＧＯＰ(Group Of Picture)と呼ぶ。通常の蓄積メディアなどでなされる符号化においては、１５枚程度のピクチャによりＧＯＰが構成されるようになされている。
【００２４】
そして、Ｉピクチャ、及び動き補償画像として符号化されるＰ、及びＢピクチャはＤＣＴ、即ち余弦関数を積分核とする積分変換が有限空間へ離散変換する直交変換としてなされる。
【００２５】
その直交変換はマクロブロックを８画素×８画素のＤＣＴブロックに分割して２次元ＤＣＴを行うが、一般に画像データの周波数成分は低域に多く高域は少ないため、画像データはＤＣＴを行い低域周波数にエネルギを集中された変換係数により圧縮して表現することができる。
【００２６】
そして、そのＤＣＴされた画像データ（ＤＣT係数）は量子化器で量子化が行われる。即ちその量子化器により、ＤＣＴ係数は所定の量子化値により除算されて求められるが、その量子化値は８画素×８画素の２次元周波数を視覚特性で重み付けされた量子化値として得られ、その量子化値は所定の量子化スケールによりスカラー倍されたものが用いられる。
【００２７】
また、その量子化値は符号化された画像データの復号時に得られる逆量子化値を乗算することにより、デコード時にはエンコード時に与えられた量子化値による特性が打ち消されるようになされている。
【００２８】
次に、その様な手法により符号化及び復号化を行うＭＰＥＧ符号化器の構成について述べる。
図４７に、ＭＰＥＧ符号化器の構成を示し、その動作の概略を述べる。
【００２９】
そのＭＰＥＧ符号化器５０は入力端子５１、加算器５２、ＤＣＴ器５３、量子化器５４、ＶＬＣ（variable length coding）器５５、バッファ５６、符号量制御器５７、逆量子化器６１、逆ＤＣＴ器６２、加算器６３、画像メモリ６４、及び動き補償予測器６５より構成される。
【００３０】
まず、入力端子５１に供給された動画信号は動き補償予測器６５及び加算器５２に供給され、その加算器５２では動き補償予測器６５より供給される信号は極性反転されて加算され、加算されて得られる信号はＤＣＴ器５３に供給される。
【００３１】
そのＤＣＴ器５３では、供給される画像信号は前記の離散余弦変換が行われ、変換して得られるＤＣＴ変換係数は量子化器５４に供給され、前記所定の量子化値を基に量子化がなされ、量子化のなされた量子化データは逆量子化器６１、及びＶＬＣ器５５に供給される。
【００３２】
そのＶＬＣ器５５では、供給された量子化データは可変長符号化されるが、量子化された値のうちＤＣＴ変換がなされて得られる直流（ＤＣ）成分はＤＰＣＭ（differential pulse code modulation)変調がなされる。
【００３３】
また、交流（ＡＣ）成分は低域周波数成分のデータより高域周波数成分のデータの順にジグザグスキャン（zigzag scan）がされながら得られ、その得られたデータはゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから順に符号長の短い符号が割り当てられるようにして、ハフマン符号化がなされる。
【００３４】
その可変長符号化である、ハフマン符号化のされたデータはバッファ５６に一時記憶され、一時記憶されたデータは所定の転送レートにより符号化データ出力として出力される。
【００３５】
そして、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器５７に供給されて、予め設定されている目標符号量と比較され、比較して得られる発生符号量との差の符号量は量子化器５４に供給される。そして、量子化器５４ではその差の符号量を基に量子化スケールの値を変更するなどにより所定の転送レートの符号化データが得られるようにして符号量の制御がなされる。
【００３６】
一方、量子化器５４で量子化された画像データは逆量子化器６１に供給されて逆量子化がなされる。その逆量子化のなされたデータは逆ＤＣＴ器６２に供給されて、そこで逆ＤＣＴがなされ、その逆ＤＣＴされたデータは加算器６３に供給される。
【００３７】
その加算器６３では動き補償予測器６５より供給される参照画像と加算され、その加算して得られる信号は画像メモリ６４に供給されて、そこに一時記憶される。その一時記憶された画像データは、動き補償予測器６５において差分画像を演算するためのリファレンス復号化画像として用いられることにより、ＭＰＥＧ符号器５０より動き補償のされた符号化データとして出力されるようになされている。
【００３８】
そのようにして出力された符号化データはＭＰＥＧ復号化器に供給されて復号化される。
図４８に、ＭＰＥＧ復号化器の構成を示し、その動作の概略について述べる。
【００３９】
同図に示すＭＰＥＧ復号化器７０は、符号化データ入力端子７１、バッファ７２、ＶＬＤ器７３、逆量子化器７４、逆ＤＣＴ器７５、加算器７６、画像メモリ７７、及び動き補償予測器７８より構成される。
【００４０】
まず、入力端子７１に供給された符号化データはバッファ７２に一時記憶され、そこに一時記憶された符号化データは必要に応じてＶＬＤ（variable length decoding）器７３に供給される。
【００４１】
そのＶＬＤ器７３では、ＶＬＣ器５５により符号化されたデータの可変長復号が行われ、前述の直流（ＤＣ）成分および交流（ＡＣ）成分に係るデータが得られる。
【００４２】
それらの得られたデータのうち交流成分のデータはＭＰＥＧ符号化器５０でなされたと同じ低域から高域周波数成分へのジグザグスキャンの順で８×８のマトリックスに配置される量子化データとして得られ、その得られた量子化データは逆量子化器７４に供給される。
【００４３】
その逆量子化器７４では、前述の量子化マトリックス配置を基に逆量子化がなされ、その逆量子化されて得られるデータは逆ＤＣＴ器７５に供給される。そこでは逆ＤＣＴ演算がなされて画像データが復号化データとして得られる。
【００４４】
そして、その得られた画像データは画像メモリ７７に一時記憶され、一時記憶された画像データは動き補償予測器７８に供給される。そして、その画像データは動き補償予測における差分画像を演算するためのリファレンス復号化画像として用いられる。
【００４５】
そのようにして、動画を構成する画像データはＭＰＥＧ符号化器５０により符号化されて伝送、ないしは記録され、その受信、ないしは再生された符号化データはＭＰＥＧ復号器７０により復号されて動画情報として得られるようになされている。そのような手法はＭＰＥＧ１、及びＭＰＥＧ２の両者において用いられているが、いずれの場合においても伝送路における雑音、及び非直線性の影響を受けることの少ない映像信号の伝送を可能にしている。
【００４６】
そして、このようにして符号化された画像信号の著作権保護に係り、複数種類の符号化モードを用いて符号化した画像データを、入力されるセキュリティデータに基づいて符号化データの再生許可又は不許可を判定し、その判定結果に応じて符号化された画像信号の復号化を行う方法がある（例えば、特許文献１参照。）。
【００４７】
以上、画像信号の符号化、及び復号化について述べた。
次に、音響信号の圧縮符号化についてＭＰＥＧ−２ ＡＡＣ（Advanced Audio Coding）を例として説明する。
図４９に、ディジタルオーディオ信号の圧縮符号化を行うＭＰＥＧ−２ ＡＡＣ方式による符号化装置の構成を示し、その動作について説明する。
【００４８】
同図に示すオーディオ信号符号化装置４００は、聴覚心理分析器４０１、ＭＤＣＴ（Modified Discrete Cosine Transform）器４０２、スケールファクタ算出器４０３、量子化器４０４、コードブック選択器４０５、可変長符号化器４０６、最小符号量検出器４０７、符号量判定器４０８、及びビットストリーム生成器４０９よりなっている。
【００４９】
まず、ＭＰＥＧ−２ ＡＡＣオーディオ符号化装置は、入力されるディジタルオーディオ信号を聴覚心理分析器４０１によりＦＦＴ（Fast Fourier Transform）処理を行うことによリ周波数スペクトルを求め、それを基に聴覚に対してなされるマスキング量を計算し、予め設定された周波数帯域毎の許容量子化雑音電力を算出する。
【００５０】
一方、ＭＤＣＴ器４０２は、供給されるオーディオ信号をＭＤＣＴすることによりスペクトルデータを得る。そのデータはＭＤＣＴ係数と呼ばれる。そして、聴覚心理分析器４０１で決定された窓選択情報に基づいて、ロング又はショートの変換ブロック長が選択される。また、ＭＤＣＴ演算は演算ブロック長を５０％ずつオーバーラップしながら実行する。
【００５１】
そして、窓選択がロング窓として選択された場合は２０４８サンプルのオーディオ信号を１０２４本のＭＤＣＴ係数に変換し、またショート窓の場合は２５６サンプルを１２８本のＭＤＣＴ係数に変換する。
【００５２】
次に、スケールファクタ算出器４０３では、人間の聴覚特性を基にした周波数帯域毎に１０２４本のＭＤＣＴ係数を単位にして、オーディオ信号は複数のスケールファクタバンドに分けられる。そして、それぞれのスケールファクタバンドで計算された量子化雑音が聴覚心理分析器４０１で算出された許容量子化雑音電力よりも大きくならないように、各スケールファクタバンドの量子化ステップ数（スケールファクタ）が算出される。
【００５３】
図中の点描内では、スケールファクタバンド単位に処理が行われる箇所であること示している。即ち、量子化器４０４では、スケールファクタバンド単位に量子化が行われる。そして、スケールファクタ算出器４０３では、そこで算出されたスケールファクタと全体の量子化ステップ数から、スケールファクタバンド内の信号に対するＭＤＣＴ係数が求められ、求められた係数値を基にした量子化を行う。また、量子化に必要なビット数が使用可能なビット数以内に収まるようにされて全体の量子化ステップ数が制御されるようにして、ＭＤＣＴ係数の量子化が実行される。
【００５４】
次のコードブック選択器４０５では、量子化値の最大絶対値から使用可能なハフマンコードブックが選択される。
図５０に、ＭＰＥＧ−２ ＡＡＣで用いられるハフマンコードブックの表を示す。
【００５５】
そして、可変長符号化器４０６では量子化値の最大絶対値に基づいたハフマンコードブックが選択されて用いられ、そこで可変長符号化がなされる。例えば、量子化値の最大絶対値が５であるときは、ハマンコードブックは７以上が使用可能とされる。そして、選択されたハフマンコードブックは可変長符号化器４０６に供給される。
【００５６】
その可変長符号化器４０６では、量子化器４０４から出力されるＭＤＣＴ係数の量子化値が、コードブック選択器４０５により選択されたハフマンコードブックを使用して可変長符号化が行われる。そして、複数のハフマンコードブックが選択された場合には、それぞれのハフマンコードブックが用いられて符号化が行われ、その符号化された結果は最小符号量検出器４０７に供給される。更に可変長符号化器４０６では、供給されるスケールファクタも可変長符号化され、冗長度を削減した符号化結果が符号量判定器４０８に供給される。
【００５７】
最小符号量検出器４０７では、各ハフマンコードブックが用いられて符号化されたそれぞれの符号化結果を基に、発生される符号量が最小となるハフマンコードブックが選択され、その選択されたハフマンコードブックと符号化結果とが符号量判定器４０８に供給される。
【００５８】
その符号量判定器４０８では、符号化されて生じた符号量が使用可能な符号量以内に収まっているかが判定され、使用可能な符号量を越えている場合は再度量子化が行われ、生成される符号量が使用可能な符号量以下となるまで繰り返し行われる。
【００５９】
そして、使用可能ビット数を満足して出力された符号化データは、ビットストリーム生成器４０９に供給される。そこでは、サンプリング周波数、符号化レート等の符号化パラメータと共に多重化され、ＡＡＣビットストリームとして生成され、オーディオ信号符号化装置から出力される。
【００６０】
次に、そのようにして符号化されたＡＡＣビットストリームの復号化を行うオーディオ信号復号化装置について述べる。
図５１に、ＭＰＥＧ−２ ＡＡＣエンコーダに対応した復号化を行うＭＰＥＧ−２ ＡＡＣデコーダの従来例を示し、以下同図を参照して説明する。
【００６１】
同図に示すオーディオ信号復号化装置４２０は、ビットストリーム解析器４２１、可変長復号化器４２２、逆量子化器４２３、及びＩＭＤＣＴ（Inverse Modified Discrete Cosine transform）器４２４より構成される。
【００６２】
まず、ＭＰＥＧ−２ ＡＡＣデコーダでは、複数の信号が多重化されて入力されたＡＡＣビットストリームはビットストリーム解析器４２１において、サンプリング周波数、符号化レート等の符号化パラメータ、及び符号化データのそれぞれの信号に分離される。
【００６３】
そして、可変長復号化器４２２には符号化データ及び符号化パラメータであるスケールファクタと量子化値が入力され、そこではそれらのデータを基に可変長復号化が行われる。即ち、スケールファクタは、スケールファクタ用のハフマンコードブックが使用され、量子化値はスケールファクタバンド単位にビットストリーム解析器４２１から得られたハフマンコードブックの番号を基に、量子化値用のハフマンコードブックが選択されて復号化がなされる。
【００６４】
次に、復号化された量子化値及びスケールファクタは逆量子化器４２３に供給される。そこでは、ビットストリーム解析器４２１から出力される符号化パラメータの一つである全体の量子化ステップ数、及びスケールファクタを用いて、スケールファクタバンド単位毎に量子化値が逆量子化され、ＭＤＣＴ係数が算出される。
【００６５】
ＭＤＣＴ係数はＩＭＤＣＴ器４２４に入力され、そこで逆ＭＤＣＴ変換されてオーディオ信号に変換され、そこから出力される。
以上、ディジタルオーディオ信号がオーディオ信号符号化装置により圧縮符号化され、また符号化された信号はオーディオ信号復号化装置により復号化されてディジタルオーディオ信号が得られる動作について述べた。
【００６６】
そして、そのオーディオ信号復号化装置に符号化されたディジタルオーディオ信号に電子透かし情報などのセキュリティ情報を含ませて、光ディスクにＳＣＭＳ（Serial Copy Management System）方式を用いて記録すると共に、セキュリティシステムによる許可が得られないときには符号化されたディジタルオーディオ信号の一部の信号のみを記録媒体に記録するようになした光ディスク装置もある（例えば、特許文献２参照。）。
【００６７】
【特許文献１】
特開２０００−１７５１６２号公報
【特許文献２】
特開２００１−３１２８５３号公報
【００６８】
【発明が解決しようとする課題】
ところで、ＭＰＥＧ１、及びＭＰＥＧ２などの動画信号、及び音響信号の高品質な圧縮符号化信号を用いて行うコンテンツ信号の伝送は使用者にとって好ましい。しかし、著作権者がコンテンツビジネスを推進するためには好ましいとは限らない。
【００６９】
そこで、上記の符号化品質の高いＭＰＥＧの画像や音声による圧縮符号化方式に比し、例えば通常の復号化装置により復号化したときには、アナログシステムのように少し劣化した半開示状態のディジタルコンテンツデータが得られるようにする。そして、所定の復号化装置で復号化したときには劣化のないディジタルコンテンツデータが得られるようにし、コンテンツビジネスを保護するための圧縮符号化方式が求められている。
【００７０】
そのコンテンツビジネスの保護を行う符号化方式として、不正なコンテンツのコピー、及び不正な再生器を使用して行う不正再生などを防止するための機能を持たせる。また、不正再生を防止するコンテンツのセキュリティ保護のための信号処理を行なったコンテンツが市場に供給されるようにする。
【００７１】
一方、セキュリティ保護の対象となるコンテンツを、例えばＭＰＥＧ方式により圧縮符号化して得られた符号化データであるビットストリームに対して直接的に暗号化処理を施すことによりセキュリティ保護を行う方法もある。
【００７２】
しかしながら、その方法では暗号化された符号化データは特定の許可されたユーザのみにより暗号の解読が行なわれて劣化のないコンテンツデータが得られるものの、暗号化の解読処理がなされない使用者側ではそのコンテンツに係る画像ないしは音響信号情報は一切得ることができないという問題がある。
【００７３】
そこで本発明は、例えばＭＰＥＧなどにより行われるコンテンツデータの直交変換、及び直交変換されて得られる係数値データを可変長符号化して得られる符号化コンテンツ信号を可変長符号化するに際し、所謂ハフマン符号などを用いたＶＬＣ（variable length coding）テーブルを変更して用いるようにして一般の復号器と、正規の復号器とにおける再生画像、音響信号の品質を異ならせるようにするものである。
【００７４】
そして、発生確率が大きく異なる事象の場合には、一般にコード毎のレングスが異なっており、そのようなテーブルの読み替えを行うと符号量が増大し、符号化効率が悪くなることがある。しかし本発明の場合には、特にＶＬＣコードの読み替えは、ＶＬＣコード内の同じ長さの事象であるコード同士を読み替えるようにし、符号化効率の劣化を防ぐと共に、不条理な誤り信号が生じるのを防ぐようにもする。
【００７５】
また、上記の切り替えて用いられるＶＬＣテーブルのＶＬＣコードは、例えば国際標準として市場で一般的に用いられるＭＰＥＧビデオ及びＭＰＥＧＡＡＣ オーディオ規格などで規定されるＶＬＣコード体系にあるコードを用いて構成するようにし、コンテンツの圧縮符号化方式として多く市場で使用される方式との整合性が良い方法により実現するようにする。
【００７６】
さらにまた、一般的に使用されるＭＰＥＧのシンタックスを用いたＶＬＣコードが意味する事象を切り替える符号化選択信号は、例えばＭＰＥＧで規定されたユーザーデータ記録領域に記述されたデータ、画像や音声に混入された電子透かしデータ、及び画像や音声のデータとは別に伝送される付加データなど、複数の方法により伝送を可能とするようにする。そして、所望の符号化対象のコンテンツに対して所定のセキュリティレベルを確保しながら行う可変長符号化データ復号化方法及び可変長符号化データ復号化装置を提供しようとするものである。
【００７７】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）〜４）の手段より成るものである。
すなわち、
【００７８】
１） 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化方法であり、
前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化方法であって、
前記符号化選択信号を検出する第１のステップ（２６）と、
検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号を可変長復号化して前記時系列データを得る第２のステップ（２３、２２１）と、
その第２のステップで得られた時系列データを復号化して前記コンテンツ信号を得る第３のステップ（２２）と、
を有することを特徴とする可変長符号化データ復号化方法。
２） 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化方法であり、
前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化方法であって、
前記符号化選択信号を検出する第１のステップ（２６）と、
検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うか、又は検出された前記符号化選択信号により前記交換可変長符号化テーブルの使用が指定された場合にそのテーブルの使用を無視し、前記可変長符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うかを選択する第２のステップ（２３）と、
第２のステップでの選択結果に応じた符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行い時系列データを得る第３のステップ（２２１）と、
その第３のステップで得られた時系列データを復号化してコンテンツ信号を得る第４のステップ（２２）と、
を有することを特徴とする可変長符号化データ復号化方法。
３） 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化装置であり、
前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化装置であって、
前記符号化選択信号を検出する符号化選択信号検出手段（２６）と、
検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号を可変長復号化して前記時系列データを得る可変長復号化手段（２３、２２１）と、
その可変長復号化手段により得られた時系列データを復号化して前記コンテンツ信号を得るコンテンツ信号復号化手段（２２）と、
を具備して構成することを特徴とする可変長符号化データ復号化装置。
４） 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化装置であり、
前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化装置であって、
前記符号化選択信号を検出する符号化選択信号検出手段（２６）と、
検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うか、又は検出された前記符号化選択信号により前記交換可変長符号化テーブルの使用が指定された場合にそのテーブルの使用を無視し、前記可変長符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うかを選択する可変長符号化テーブル選択手段（２３）と、
可変長符号化テーブル選択手段での選択結果に応じた符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行い時系列データを得る可変長復号化手段（２２１）と、
その可変長復号化手段により得られた時系列データを復号化してコンテンツ信号を得るコンテンツ信号復号化手段（２２と、
を具備して構成することを特徴とする可変長符号化データ復号化装置。
【００７９】
【発明の実施の形態】
以下、本発明の可変長符号化データ復号化方法及び可変長符号化データ復号化装置の実施形態につき、好ましい実施例により説明する。
【００８０】
ここで符号化の対象となる信号は、画像信号、及び／又は音響信号のうちの少なくとも一方の信号を含んで構成されるコンテンツ信号である。最初に、コンテンツ信号が画像である場合の符号化方法につき、その基本的な実施例を基に説明する。
＜第１実施例＞
図１に、その画像信号の符号化方法を搭載した第１の実施例による画像信号符号化装置（以下、単に符号化装置と記すこともある。）の構成を示し、図を参照して説明する。
【００８１】
同図に示す画像信号符号化装置１０は、画像データ変換器１１、ＭＰＥＧエンコーダ１２、ＶＬＣテーブル選択器１３、標準ＶＬＣテーブル１４、特別ＶＬＣテーブル１５、及びＣＰＵ１６より構成される。そして、ＭＰＥＧエンコーダ１２にはＶＬＣ器１２１が含まれている。
【００８２】
次に、その画像信号符号化装置１０の動作について述べる。
まず、ＭＰＥＧエンコーダ１２による符号化対象の入力画像信号は画像データ変換器１１に供給されるが、そこではＣＰＵ１６から供給される後述のＶＬＣテーブル切り換え用信号である符号化選択信号が電子透かし情報として供給され、画像信号に埋め込まれる。
【００８３】
その画像信号に埋め込まれる符号化選択信号はＣＰＵ１６より出力されるが、そのＣＰＵ１６より出力される符号化選択信号はＶＬＣテーブル１３にも供給されている。そして、そのＶＬＣテーブル選択器１３では標準ＶＬＣテーブル１４、及び特別ＶＬＣテーブル１５から供給されるＶＬＣテーブルのうち、符号化選択信号により選択される方のＶＬＣテーブルがＶＬＣ器１２１に供給され、ＭＰＥＧエンコーダ１２ではＶＬＣ器１２１に一時記憶されたＶＬＣテーブルを基にした圧縮符号化が行われる。
【００８４】
即ち、そのＭＰＥＧエンコーダ１２には、符号化選択信号が電子透かしにより埋め込まれた画像信号が供給される。そして、その画像信号は埋め込まれた符号化選択信号により指定される方のＶＬＣテーブルが用いられて圧縮符号化が行われる。
【００８５】
そのようにして、ＣＰＵ１６から供給される符号化選択信号が、例えば「０」のときには標準ＶＬＣテーブルが選択されて符号化され、又「１」のときには特別ＶＬＣテーブルが選択されて符号化されるようになされる。そして、その符号化選択信号は画像データ変換器１１において変換のなされる、例えば所定の間隔毎の最初の位置にある画像信号に電子透かし手法を用いて埋め込まれるようにして、ＭＰＥＧにより圧縮符号化された符号化データが生成されるようになされている。
【００８６】
次に、生成された符号化データの復号化について述べる。
図２は、その符号化データの復号化方法を搭載した第１の実施例による画像信号復号化装置（以下、単に復号化装置と記すこともある。）の構成であり、以下図と共に説明する。
【００８７】
同図に示す画像信号復号化装置２０は、ＭＰＥＧデコーダ２２、ＶＬＣテーブル選択器２３、標準ＶＬＣテーブル２４、特別ＶＬＣテーブル２５、及び画像電子透かし検出器２６より構成される。そして、ＭＰＥＧデコーダ２２にはＶＬＣ復号器２２１が含まれている。
【００８８】
次に、画像信号復号化装置２０の動作について述べる。
まず、画像信号符号化装置１０で圧縮符号化された符号化データはＭＰＥＧデコーダ２２に供給される。ここで圧縮符号化された信号は、ＶＬＣ復号器２２１に一時記憶されるＶＬＣテーブルの値が用いられて復号化される。その復号化して得られる画像信号は画像電子透かし検出器２６に入力される。
【００８９】
その画像電子透かし検出器２６では、後述の画像データ変換器により電子透かし情報として埋め込まれた符号化選択信号が検出され、その検出されて得られる符号化選択信号はＶＬＣテーブル選択器２３に供給される。
【００９０】
ＶＬＣテーブル選択器２３では、供給された符号化選択信号、即ちＣＰＵ１６より供給された符号化選択信号に基づき、標準ＶＬＣテーブル２４、又は特別ＶＬＣテーブル２５に格納される方のＶＬＣテーブルが選択されてＶＬＣ復号器２２１に供給される。そのＶＬＣテーブルの値はＶＬＣ復号器２２１に一時記憶される。
【００９１】
次に、ＶＬＣテーブル２２１に一時記憶されたＶＬＣテーブルが用いられて、ＭＰＥＧデコーダ２２では供給される符号化データの復号化が行なわれる。そして、その復号化はＭＰＥＧエンコーダ１２のＶＬＣ器１２１に一時記憶されるＶＬＣテーブルと同一のＶＬＣテーブルが用いられて復号化される。そのため、品質の高い画像信号が復号化されて得られる。
【００９２】
以上述べた様にして、第１の実施例における画像信号符号化装置１０と画像信号復号化装置２０とでは、画像電子透かしの手法により埋め込まれた符号化選択信号により選定される方のＶＬＣテーブルが用いられて圧縮符号化、及び圧縮符号化データの復号化がなされるため、品質の高い画像信号が再生される。
【００９３】
一方、画像信号復号化装置に画像電子透かし情報を検出する機能がない場合、または画像信号復号化装置が特別ＶＬＣテーブルの情報を有していない場合は、通常のＭＰＥＧデコーダに搭載される標準ＶＬＣテーブルが用いられて復号化が行なわれるため、復号化されて得られる画像信号にはそれぞれのＶＬＣテーブルの差に基づく歪成分が含まれた画像信号として再生されることになる。
【００９４】
上記の手法を用いて、コンテンツの著作権を有する著作権者が、保有するコンテンツを契約関係にある特別のデコーダと、契約関係にない一般のデコーダとに対して異なる品質の画像信号を供給することができる。即ち、特別のデコーダには画像電子透かし検出器、及び特別ＶＬＣテーブルを搭載させることによリ、一般者と特別者とに対して異なる品質の画像信号が供給されるようにするものである。
【００９５】
そして、一般者が仮に特別ＶＬＣテーブルを搭載する画像信号復号化装置を有する場合であっても、符号化データに埋め込まれる電子透かし情報は、電子透かし情報の埋め込み方法に係る情報の与えられた特別者のみが復号可能なようにして、特別関係にある契約者のみが品質劣化のない画像信号を得られるようにする。
【００９６】
その所定の情報が埋め込まれる電子透かし信号は、例えば画像に何らかの情報を埋め込み、隠し持たせる手法である。また、その情報を埋め込む方法には複数の方法があるが、画像信号符号化装置側と画像信号復号化装置側とでは予め定められた所定の電子透かしの手法をお互いに用いるようにして、符号化選択信号の伝送を行うようにする。
【００９７】
その電子透かし手法として提案のなされている例として、例えばＮＴＴはＳＣＩＳ’９７（The 1997 Symposium on Cryptography and Information Security；１９９７年、暗号と情報セキュリティシンポジウム）−３１Ｇにおいて「ＤＣＴを用いたディジタル動画像における著作権情報埋め込み方法」を発表している。その方法は、埋め込むべき情報をＭＰＥＧ（moving picture experts group）符号化において、特にＤＣＴ（discrete cosine transform）係数、動きベクトル、及び量子化特性の変更に基づく情報埋め込み手法として提案しているものである。
【００９８】
また、防衛大学ではＳＣＩＳ’９７−２６Bにおいて「ＰＮ系列による画像への透かし署名法」を発表しており、その方法は直接拡散方式に従い、ＰＮ（pseudo noise）系列で画像信号を拡散し、画像に署名情報を合成する方法として提案されている。
【００９９】
それらの提案されている、いずれの電子透かしの手法を用いることによっても符号化選択信号の伝送が可能であり、また暗号化処理により符号化選択信号を埋め込んで伝送する他の電子透かし手法によっても実現が可能である。
【０１００】
以上、電子透かし法などにより伝送される符号化選択信号を基にして画像信号符号化装置で生成した符号化信号を画像信号復号化装置に伝送することにより、ユーザ毎に異なった品質の画像の得られる画像信号符号化装置、及び復号化装置の構成とその動作について述べた。
【０１０１】
そして、その符号化選択信号を埋め込んで伝送する画像は、例えば動画における例えばＧＯＰ（Group of Picture）の最初の画像、ないしは所定の間隔毎の１枚目の画像は、標準ＶＬＣテーブルを用いて符号化するようにし、２枚目以降の画像はその伝送された電子透かし方式で記述されたＶＬＣテーブルを用いて符号化を行うようにする。さらに、電子透かしにより記述されるＶＬＣテーブル情報を、例えば番組ソフトの開始される場所に、予め定められた時間の間は標準ＶＬＣテーブルを用いて符号化するようにして記録する方法もある。
【０１０２】
その他の方法として、画像信号をＤＣＴ変換して得られる画像ブロックのＤＣ成分を伝送する個所により、ＶＬＣテーブルに係る電子透かし情報を伝送する方法がある。通常の符号化においては、ＤＣ成分は量子化値に係りなく固定的なビット長（例えば８ビット）で量子化されるケースが多いため、その部分の冗長度は大きい。従って、例えば１画面全体のＤＣ成分の値が「偶数」を０、「奇数」を１と定めることにより電子透かしデータを伝送することができる。
【０１０３】
以上のような方法が用いられて符号化選択信号の伝送がなされる。そして、符号化時と同一の復号化ＶＬＣテーブルが用いられるときには劣化のない画像が、また異なるＶＬＣテーブルが用いられるときには少し劣化した画像が再生される。しかし、異なるＶＬＣテーブルが用いられる場合であっても、それにより生じる再生画像が破綻するような画像は再生されない。
以上、電子透かし法により符号化選択信号を伝送する第１の実施例による画像信号符号化装置及び画像信号復号化装置の構成と、それらの装置の動作について述べた。
次に、符号化選択信号をユーザが定義して伝送可能なユーザーデータ記述領域に記述して伝送する方法について述べる。
【０１０４】
＜第２実施例＞
図３は、その画像信号の符号化方法を搭載した第２の実施例による画像信号符号化装置の構成であり、以下図と共に説明する。
同図に示す画像信号符号化装置１０ａは、ＭＰＥＧエンコーダ１２ａ、ＶＬＣテーブル選択器１３、標準ＶＬＣテーブル１４、特別ＶＬＣテーブル１５、及びＣＰＵ１６aにより構成され、そしてＭＰＥＧエンコーダ１２aにはＶＬＣ器１２１及びユーザデータ記述器１２２が含まれている。同図において、前述の第１の実施例と同じ機能のブロックには同一の符号を付してある。
【０１０５】
次に、その様に構成される画像信号符号化装置１０ａの動作について、第１の実施例と異なってなされる動作について述べる。
即ち、画像信号符号化装置１０ａはＣＰＵ１６ａから供給される符号化選択信号をＭＰＥＧエンコーダ１２ａのユーザデータ記述器１２２に供給することにより、そこのユーザデータ領域に符号化選択信号を記述する。
【０１０６】
そして、ＶＬＣテーブル選択器１３からはＣＰＵ１６ａより供給される符号化選択信号に基づいたＶＬＣテーブルがＶＬＣ器１２１に供給される。そして、入力画像データはＣＰＵ１６ａから供給される符号化選択信号に基づいて圧縮符号化がなされると共に、その圧縮符号化のなされた信号のユーザデータ領域には符号化選択信号が記述された符号化データとして画像信号符号化装置１０ａより出力される。
【０１０７】
次に、そのユーザデータ記述領域への符号化選択信号の記述について述べる。
図４に、符号化データにおけるシーケンスヘッダの記述フォーマット示し、説明する。
【０１０８】
同図において、シーケンスヘッダの記述シンタックスを示している。そのシーケンスヘッダには３２ビットのシーケンスヘッダコードに続いて１２ビットの水平方向の画像サイズ、及び１２ビットの垂直方向画像サイズの順に記述される。
そして、網点を付したnextbits() == user＿data＿start＿code以降のUser＿dataの個所にユーザデータを記述することが出来る。
【０１０９】
そして、ユーザデータはＧＯＰレイヤにも記述が可能である。
図５に、符号化データのＧＯＰレイヤにおける記述フォーマットを示す。
同図におけるユーザデータの記述個所は、前述の図４と同様に網点を付して示してある。即ち、nextbits( ) == user＿data＿start＿code以降のUser＿dataの個所に上記と同様なユーザデータの記述を行なえる。
【０１１０】
そのようなユーザデータはピクチャレイヤにおいても同様な記述ができる。
図６に、符号化データにおけるピクチャレイヤの記述フォーマットを示す。同様に網点を付して示してある個所にユーザデータを記述できる。
【０１１１】
これらのようにして、ＭＰＥＧにおけるユーザデータの記述はシーケンスヘッダ、ＧＯＰレイヤ、及びピクチャレイヤのそれぞれの領域に可能である。そして、user＿data記述領域には他の異なる内容のuser＿dataが記述されることもあるので、ＶＬＣテーブルの切り替え信号である符号化選択信号を記述するときには、例えば１６進表示による「ｆｆｅｅ２４２４」などの３２ビットのヘッダ信号に続けて記述する。
【０１１２】
即ち、そのヘッダ信号に続いて２進数表示による「０」又は「１」などのＶＬＣテーブルを選択するための１ビットの信号を記述する。又は、バイトアラインした８ビットの信号によりＶＬＣテーブル選択情報を記述するようにする。
【０１１３】
そのようにして、ユーザデータ領域に符号化選択信号を記述する。そして、符号化装置はその符号化選択信号が選択する方のＶＬＣテーブルを用いて圧縮符号化を行った符号化データを生成する。次に、そのようにして生成された符号化データの復号化について述べる。
【０１１４】
図７は、その符号化データの復号化方法を搭載した第２の実施例による画像信号復号化装置の構成であり、以下図と共に説明する。
同図に示す画像信号復号化装置２０ａは、ＭＰＥＧデコーダ２２ａ、ＶＬＣテーブル選択器２３、標準ＶＬＣテーブル２４、及び特別ＶＬＣテーブル２５より構成される。そして、ＭＰＥＧデコーダ２２ａにはＶＬＣ復号器２２１及びユーザデータ復号器２２２が含まれている。同図において、前述の第１の実施例と同じ機能を有するブロックには同一の符号を付してある。また本図以降に示す図においても、特に記述する以外は同一番号が付されるものは同一の機能を有するブロックを示す。
【０１１５】
次に、その様に構成される画像信号復号化装置２０ａの動作について述べる。
まず、画像信号符号化装置１０ａで圧縮符号化のなされた符号化データはＭＰＥＧデコーダ２２ａに供給される。ここでは、ＭＰＥＧ方式により圧縮符号化された信号は、ＶＬＣ復号器２２１に一時記憶されるＶＬＣテーブルの値が用いられて復号化される。
【０１１６】
そして、その復号化は前述の図３に示したユーザデータ記述器１２２により記述されたユーザデータがユーザデータ復号器２２２により復号されて符号化選択信号が得られ、その符号化選択信号が用いられて符号化データの復号化動作が行われる。
【０１１７】
即ち、ユーザデータ復号器２２２で得られた符号化選択信号はＶＬＣテーブル選択器２３に供給される。そのＶＬＣテーブル選択器２３では、ＣＰＵ１６ａより供給された符号化選択信号に基づいて、標準ＶＬＣテーブル２４、及び特別ＶＬＣテーブル２５に格納されるいずれか一方のＶＬＣテーブルの値が選択される。そして、選択されたＶＬＣテーブルはＶＬＣ復号器２２１に供給され、そこに一時記憶される。
【０１１８】
そのＶＬＣテーブル２２１に一時記憶されたＶＬＣテーブルが用いられて、ＭＰＥＧデコーダ２２ａでは供給される符号化データの復号化がなされる。そのようして、復号化して得られる画像信号は、前述のＭＰＥＧエンコーダ１２ａのＶＬＣ器１２１に一時記憶されるＶＬＣテーブルと同一のＶＬＣテーブルが用いられて復号化されるため、品質劣化の生じない復号化画像信号として得られるようになされている。
【０１１９】
以上述べた様にして、第２の実施例における画像信号符号化装置１０ａと画像信号復号化装置２０ａとは、例えばＭＰＥＧ標準に規定されるユーザデータ記述領域に記述される符号化選択信号を基にして選定される方のＶＬＣテーブルが用いられて圧縮符号化、及び圧縮符号化がなされるため、品質の高い画像信号の符号化及び復号化がなされる。
【０１２０】
以上、ユーザデータ記述領域に符号化選択信号を記述して伝送する第２の実施例による画像信号符号化装置及び画像信号復号化装置の構成と、それらの装置の動作について述べた。
次に、符号化選択信号を、例えばＭＰＥＧ標準で規定される量子化値を用いて埋め込まれた電子透かしデータを用いて伝送する場合の第３の実施例について述べる。
【０１２１】
＜第３実施例＞
図８に、その画像信号の符号化方法を搭載した第３の実施例による画像信号符号化装置の構成を示し、図を参照して説明する。
同図に示す画像信号符号化装置１０ｂは、ＭＰＥＧエンコーダ１２ｂ、ＶＬＣテーブル選択器１３、標準ＶＬＣテーブル１４、特別ＶＬＣテーブル１５、及びＣＰＵ１６ｂより構成される。そして、ＭＰＥＧエンコーダ１２ｂにはＶＬＣ器１２１及び量子化値電子透かし情報記述器１２３が含まれている。
【０１２２】
次に、その画像信号符号化装置１０ｂの動作について、第１の実施例と異なってなされる動作を主に述べる。
まず、ＣＰＵ１６ｂから供給される符号化選択信号はＭＰＥＧエンコーダ１２ｂの量子化値電子透かし情報記述器１２３に供給される。そこでは、符号化選択信号に係る情報が電子透かし情報としてＤＣＴ変換されて得られる入力画像の量子化値として記述される。
【０１２３】
そして、ＶＬＣテーブル選択器１３からはＣＰＵ１６ｂより供給される符号化選択信号に基づいたＶＬＣテーブルが選択され、選択されたＶＬＣテーブルはＶＬＣ器１２１に供給される。そして、量子化値電子透かし情報記述器１２３により符号化選択信号が記述されて埋め込まれた入力画像データは、ＶＬＣ器１２１に格納されるＶＬＣテーブルが用いられて可変長符号化がなされる。そのようにして圧縮符号化のなされた符号化データは画像信号符号化装置１０ｂより出力される。
【０１２４】
次に、その量子化値電子透かし情報記述器１２３により、埋め込まれるようにして記述される電子透かしの動作について述べる。
図９に、ＤＣＴ変換により得られる量子化値に、電子透かし情報を記述する場合の例について示す。
【０１２５】
同図において、大きな四角形により画像全体が示されている。そして、その中に示される小さな四角は画像の縦横各々１６画素ずつであるマクロブロックを示す。また、その中に示す数字はマクロブロックのデータを量子化するときに用いられる量子化値の例である。
【０１２６】
ここでは、ＭＰＥＧ標準により規定される、マクロブロック１つにつき１つ設定される量子化スケールの値が例えば奇数のときは「１」の情報を、偶数のときには「０」であるというようにして電子透かし情報を埋め込む。即ち、マクロブロックの量子化値の奇数、偶数により「０」、「１」のデータを、マクロブロックの個数分のデータとして埋め込むことができる。
【０１２７】
そのマクロブロックの量子化値は１〜３１の値（５ビット）で表現されることがＭＰＥＧ標準により規定されている。そして、意図的に奇数ないしは偶数である所定の量子化値にすることにより、最適符号化時の値に対して１異なる値を用いて圧縮符号化を行う場合であっても、その符号化データを復号化して得られる復号画像は視覚的に画質劣化の遜色ない画像が得られることが実験により確認されている。
【０１２８】
そのようにして、量子化値電子透かし情報記述器１２３により埋め込まれる情報を用いることによリ、１ビットで伝送可能な符号化選択信号は最初に伝送されるマクロブロック１つのみを用いて伝送するようにしても良い。更には、特定のアドレスのマクロブロックを１つ、もしくは繰り返して複数のマクロブロックを用いて同一のデータを伝送するようにしてもよい。
【０１２９】
以上のようにして、量子化値電子透かし情報記述器１２３により符号化選択信号を埋め込むようにして符号化する第３の実施例の画像信号符号化装置の構成と動作について述べた。
次に、そのようにして生成された符号化データの復号化について述べる。
【０１３０】
図１０に、第３の実施例の画像信号符号化装置により符号化された符号化データの復号化を行う第３の実施例の画像信号復号化装置の構成例を示し、図を参照して説明する。
同図に示す画像信号復号化装置２０ｂは、ＭＰＥＧデコーダ２２ｂ、ＶＬＣテーブル選択器２３、標準ＶＬＣテーブル２４、及び特別ＶＬＣテーブル２５より構成される。そして、ＭＰＥＧデコーダ２２ｂにはＶＬＣ復号器２２１及び量子化値電子透かし情報検出器２２３が含まれている。
【０１３１】
次に、その様に構成される画像信号復号化装置２０ｂの動作について、第１の実施例の復号化装置２０と異なってなされる動作を主に述べる。
まず、画像信号符号化装置１０ｂで圧縮符号化のなされた符号化データはＭＰＥＧデコーダ２２ｂに供給される。そこで、ＭＰＥＧ方式により圧縮符号化のなされた信号は、ＶＬＣ復号器２２１に一時記憶されているＶＬＣテーブルの値が用いられて復号化される。
【０１３２】
そして、そこで復号化されて得られる量子化値情報の一部は逆量子化され、及び逆ＤＣＴ変換されて画像データが得られる。また、他の一部は量子化値電子透かし情報検出器２２３に供給される。そこでは、量子化値電子透かし情報記述器１２３で記述された情報が検出されることにより、符号化選択信号が得られる。
【０１３３】
その得られた符号化選択信号はＶＬＣテーブル選択器２３に供給される。そして、そのＶＬＣテーブル選択器２３では、供給された符号化選択信号、即ちＣＰＵ１６ｂより出力された符号化選択信号に基づいて、標準ＶＬＣテーブル２４、又は特別ＶＬＣテーブル２５に格納される方のＶＬＣテーブルの値が選択される。その選択されたＶＬＣテーブル値はＶＬＣ復号器２２１に供給され、そのＶＬＣテーブル値はＶＬＣ復号器２２１に一時記憶される。
【０１３４】
以上、マクロブロックごとの量子化値を奇数、及び偶数とすることにより符号化選択信号を記述して伝送する第３の実施例による画像信号符号化装置、及びその装置により伝送された符号化データを復号化する画像信号復号化装置の構成と、それらの装置の動作について述べた。
【０１３５】
＜第４実施例＞
次に、符号化選択信号をＭＰＥＧ標準で規定される動きベクトルのベクトル値に符号化選択信号を電子透かしデータとして埋め込んで伝送する第４の実施例について述べる。
【０１３６】
図１１は、その画像信号の符号化方法を搭載した第４の実施例による画像信号符号化装置の構成であり、以下図と共に説明する。
同図に示す画像信号符号化装置１０ｃは、ＭＰＥＧエンコーダ１２ｃ、ＶＬＣテーブル選択器１３、標準ＶＬＣテーブル１４、特別ＶＬＣテーブル１５、及びＣＰＵ１６ｃより構成される。そして、ＭＰＥＧエンコーダ１２ｃにはＶＬＣ器１２１及び動ベクトル電子透かし情報記述器１２４が含まれる。
【０１３７】
次に、その様に構成される画像信号符号化装置１０ｃの動作について、第１の実施例による動作と異なる動作を主に述べる。
即ち、画像信号符号化装置１０ｃではＣＰＵ１６ｃから供給される符号化選択信号がＭＰＥＧエンコーダ１２ｃの動ベクトル電子透かし情報記述器１２４に供給される。そして、そこで符号化選択信号に係る情報は、電子透かし情報として動き予測符号化における動ベクトル値として記述される。
【０１３８】
そして、ＶＬＣテーブル選択器１３ではＣＰＵ１６ｃより供給される符号化選択信号に基づいてＶＬＣテーブルが選択され、そのＶＬＣテーブルはＶＬＣ器１２１に供給される。また、動ベクトル電子透かし情報記述器１２４では符号化選択信号が記述されて埋め込まれた動きベクトル信号が生成される。そして、ＤＣＴ変換された入力録画像データの量子化値はＶＬＣ器１２１に格納されるＶＬＣテーブルにより可変長符号化がなされ、符号化データが生成される。そのようにして生成された動ベクトル信号と符号化データとは画像信号符号化装置１０ｃより出力される。
【０１３９】
次に、その動ベクトル電子透かし情報記述器１２４により埋め込まれるようにして記述される電子透かしの動作について述べる。
図１２に、動き予測検出により得られた動ベクトルに、電子透かし情報を記述する場合の例について示す。
【０１４０】
同図において、大きな四角形により画像全体が示されている。その中に示される小さな四角は画像の縦横各々１６画素ずつであるマクロブロックであり、その中に示す数字はマクロブロックデータの水平方向の動き補償ベクトル量を画素単位の動ベクトル値である。
【０１４１】
ここでは、ＭＰＥＧ標準により規定される、マクロブロック１つにつき１つの設定される動きベクトル値が、例えば奇数のときは「１」の埋め込み情報を、偶数のときには「０」であるというようにして、０及び１の情報を埋め込む。即ち、マクロブロックの動ベクトル値の奇数、及び偶数により「０」、「１」のデータを、マクロブロックの個数分のデータとして埋め込むようにして電子透かし情報を記述する。
【０１４２】
このマクロブロックの動ベクトル値は０．５画素精度で基本的には±１６の値（ＶＬＣ）で表現されることが、例えばＭＰＥＧ標準で規定されている。そのような、意図的に奇数又は偶数によりベクトル値を設定するような場合、即ち所定の動ベクトル値に対して１異なる値を用いて圧縮符号化を行う場合であっても、そのベクトル値を基に符号化データを復号化して得られる復号画像は視覚的に遜色のない画質で得られることが実験により確認されている。
【０１４３】
そのようにして、動ベクトル電子透かし情報記述器１２４により埋め込まれる情報を用いることによリ、１ビットで伝送可能な符号化選択信号は最初に伝送されるマクロブロック１つのみを用いて伝送するようにしても良い。更には、特定のアドレスのマクロブロックを１つ、もしくは繰り返して複数のマクロブロックを用いて同一のデータを伝送するようにしても良い。
【０１４４】
以上、動ベクトル電子透かし情報記述器により符号化選択信号を埋め込むようにして符号化する第４の実施例の画像信号符号化装置の構成と動作について述べた。
次に、そのようにして生成された符号化データの復号化について述べる。
【０１４５】
図１３に、第４の実施例の画像信号符号化装置により符号化された符号化データの復号化を行う、第４の実施例の画像信号復号化装置の構成例を示し、以下図と共に説明する。
同図に示す画像信号復号化装置２０ｃは、ＭＰＥＧデコーダ２２ｃ、ＶＬＣテーブル選択器２３、標準ＶＬＣテーブル２４、及び特別ＶＬＣテーブル２５より構成される。そして、ＭＰＥＧデコーダ２２ｃにはＶＬＣ復号器２２１及び動ベクトル電子透かし情報検出器２２４が含まれている。
【０１４６】
次に、その画像信号復号化装置の動作について述べる。
まず、画像信号符号化装置１０ｃで圧縮符号化のなされた動ベクトル情報を含む符号化データはＭＰＥＧデコーダ２２ｃに供給される。
【０１４７】
そして、動ベクトル情報は動ベクトル電子透かし情報検出器２２４に供給されて、動ベクトルに埋め込まれている符号化選択信号が検出される。その検出された符号化選択信号はＶＬＣテーブル選択器２３に供給されると共に、伝送された動ベクトル情報が用いられてＭＰＥＧ方式により圧縮符号化された信号は復号化されて画像信号が得られ、その得られた出力画像は画像信号復号化装置２０ｃより出力される。
【０１４８】
以上、第１〜第４の実施例を示して述べたように、符号化選択信号は画像信号のデータに電子透かし情報として埋め込む方法、所定のユーザデータ記述領域に記述する方法、量子化値電子透かし情報として埋め込む方法、ないしは動ベクトル電子透かし情報として埋め込む方法などにより、伝送が可能である。
【０１４９】
そして、その伝送方法は上記の４つの方法のうち、１つの方法により伝送する方法、複数の方法を用いて同時に伝送する方法などがある。さらには、例えばユーザデータにより符号化選択信号情報が伝送されている情報を記述して伝送するようにし、符号化選択信号の値は電子透かし情報により伝送するような方法によっても良い。
【０１５０】
そのようにして、符号化選択信号は画像信号符号化装置から画像信号復号化装置に伝送が可能である。
次に、その符号化選択信号により切り替えられるＶＬＣテーブルについて述べる。
【０１５１】
図１４に、ＭＰＥＧ標準規格で規定される標準ＶＬＣテーブルを示す。
同図において、ＶＬＣコードに対するラン長とレベルの関係が示されている。即ちこの表は、「−３１」から「＋３１」の６ビットの数により示されるデータ列を符号化して伝送するための可変長符号化テーブルである。そして、特にそのデータ列に「０」の値が多く含まれるときに連続する「０」の個数をラン長とし、連続する「０」に続けて伝送される値をレベルとする。そして、その連続する「０」の個数とそれに続けて伝送されるレベルの値に応じてＶＬＣコードが割り当てられている。
【０１５２】
そのようにしてＶＬＣコードが割り当てられるテーブルは通常のＭＰＥＧデコーダに格納されており、そのテーブルは通常のＭＰＥＧ方式により符号化されたビットストリームを復号するために用いられる。
【０１５３】
ところで、本実施例に示す画像信号符号化装置は、著作権者が通常の画像信号復号化装置に対しては多少劣化した再生画像として再生されるようにすると共に、契約関係にあるなど、特別な画像信号復号装置に対しては劣化のない高品質な画像が再生されるように特別ＶＬＣテーブルを用いて圧縮符号化を行うものである。
【０１５４】
次に、その特別ＶＬＣテーブルについて述べる。
図１５、及び図１６に、本実施例で使用する特別ＶＬＣテーブルの例を示す。
これらの図におけるＶＬＣテーブルは、１つの特別ＶＬＣテーブルを２つに分割して示したものである。
【０１５５】
即ち、このテーブルは定義されるＶＬＣコードに対して、データ「０」の連続する長さを示すラン長と、その連続する「０」の後に配置されるデータの値であるレベルを規定したものである。そして、右側の欄には入れ替えアドレスを示している。
【０１５６】
そして、入れ替えアドレスとしてはＡ１〜Ａ３８、Ｂ１〜Ｂ５、及びＣ１〜Ｃ２が記載されている。そして、そこに示したテーブルの値をそのまま使用する場合には標準ＶＬＣテーブルを使用する符号化がなされる。また、入れ替えアドレス値が同一である個所のアドレスを入れ替えることにより、特別ＶＬＣテーブルを作成することができる。
【０１５７】
次に、そのアドレスの入れ替え操作について述べる。
同テーブルの入れ替えアドレスの欄に示すＡ、Ｂ、及びＣのグループは、それぞれＶＬＣのカテゴリーを示している。そして、そのカテゴリーはラン長の値に基づいてグループ分けしたものである。
【０１５８】
即ち、Ａはラン長が０、Ｂはラン長が１、Ｃはラン長が２である場合のカテゴリー分けを示している。ここでは、ＶＬＣテーブルの一部のみを表示しているが、表示されていないラン長のグループ分けも同様にして行う。
【０１５９】
そして、特別ＶＬＣテーブルにおけるＶＬＣコードを指定するアドレス値の入れ替えは、カテゴリーが同一である、即ちラン長の値が同一であるＶＬＣコードの間で読み替えを行うようにする。
【０１６０】
そのラン長が同一のＶＬＣコード同士で読み替えを行うのは、ＭＰＥＧのように直交変換して得られる係数値を例えばジグザグスキャンして得られる係数値データを、可変長符号化して行うような圧縮符号化方式において、データの個数、及び配置を一定に保ったまま行う変更として重要である。
【０１６１】
即ち、ＭＰＥＧのＤＣＴブロック内のＤＣＴ係数のランレングスの総計は、イントラピクチャーにおいては６３、インターピクチャーにおいては６４を超えてはならない。従ってＶＬＣがハフマンコード体系に従っている場合であっても、読み替えにより６３や６４の数を超えてしまうと、その符号化信号の復号時に不条理なエラー生じ、復号化が出来ないとされ、復号化された画像が破綻してしまうからである。
【０１６２】
従って、読み替え対象となるＶＬＣ同士は、同じカテゴリー同士で読み替える必要があり、ここに示した例では「ラン長が同じである」という、それぞれが同じカテゴリーとして示されるＡ、Ｂ、及びＣの中の同じ記号同士での読み替えがなされる。例えば、Ａ２とＡ３とは読み替えが可能であるが、Ａ２とＢ２との読み替えはできない。
【０１６３】
以上の様にして、入れ替えアドレスがＡ１〜Ａ３８、Ｂ１〜Ｂ５、Ｃ１〜Ｃ２のそれぞれのグループ内で読み替えを行うことにより、標準ＶＬＣテーブルを基にした特別ＶＬＣテーブルの作成が可能である。
【０１６４】
そして、通常の画像を符号化するときに多く生じるラン長とレベル値の組み合わせによるＶＬＣコードのなかで、レベル値が大きく違うもの同士で入れ替える場合は、所定の度合いで劣化した半開示画像が復号化されて得られる。即ち、ここで呼ぶ半開示画像は、画像信号をアナログ記録したときに歪を伴って再生されるような劣化して表示される画像を指している。
【０１６５】
例えば、Ａ１とＡ４、Ａ２とＡ３のそれぞれを読み替える場合、適度に劣化した半開示画像が得られる。また、Ｂ１とＢ５、Ｂ２とＢ４、Ｃ１とＣ２の読み替えによっても同様である。さらに、それらのような入れ替えに係る組み合わせを３２から６４種類の読み替え規則として作成し、その識別信号を、読替え規則として使用することにより所望の半開示状態の画質で復号化されるようにすることも可能である。
【０１６６】
以上、入れ替えアドレスを基にＶＬＣコードの入れ替えを行う方法について述べた。そして、上述のラン長が同じ値のもの同士であるＶＬＣコードの事象はＭＰＥＧの規格に設定されたもの同士で定めている。従って、特別ＶＬＣコードを搭載する特別復号器は、従来の標準復号器との間で互換性が確保された動作が行われる。
【０１６７】
そして、ＶＬＣコードの入れ替えは同一ラン長に対してレベル値の異なるレベル値のコードに入れ替えを行うため、特別ＶＬＣテーブルを用いて符号化した符号化データを標準ＶＬＣテーブルのみしか搭載しない標準復号器により復号したときには、画像信号の高周波信号レベルの低下、もしくは向上、低周波信号レベルの低下、もしくは向上などによる解像度の変えられた画像が再生されることになる。
【０１６８】
次に、そのような画像解像度の変化について述べる。
図１７に、符号化器で圧縮符号化した符号化データを復号化器で復号して得られる画像信号の質について、従来の標準ＶＬＣテーブルを用いた従来器と、特別ＶＬＣテーブル及び標準ＶＬＣテーブルの両者を搭載する特別器との間での符号化及び復号化の関係を示す。
【０１６９】
同図において、各々の４つの組合わせによる再生画像の品質を示しており、○印は高品質な画像が再生され、また△印は多少劣化した画像として再生されることを示している。
【０１７０】
即ち、特別器で符号化して、従来器で復号化したときにのみ画質が低下した画像信号が出力されており、特別器で符号化して特別器で復号化したときには、高品質な画像が再生され、またそれ以外の従来型の符号化器との互換性も確保されていることが示されている。
【０１７１】
そのようにして、互換性の確保される範囲内で再生される画質に差を与えることができるため、画像信号の著作権を保有する者の側の意志により、従来型の復号化器と特別型の復号器に対して異なる画質による画像データの提供が可能となる。そして、そのための画像信号符号化装置における符号化選択信号の発生、符号化制御信号の符号化データへの埋め込み、画像信号復号化装置における符号化選択信号の取得、及び符号化データの復号は、コンピュータによる信号の演算処理により、及びコンピュータによる回路部の制御によりそれらの動作がなされる。
【０１７２】
次に、それらの信号処理を、コンピュータをプログラムにより実行させて行う方法について述べる。
図１８に、画像信号符号化に係り実行されるコンピュータプログラムの流れをフローチャートにより示す。
【０１７３】
同図において、Ｓ１１のステップで従来型の復号化器と特別型の復号化器に対して異なる画質による画像データの再生がなされるような画像信号の特別処理を行うか否かがチェックされ、特別処理が行なわれる場合にはＳ１２においてコンピュータより符号化制御信号が発生される。
【０１７４】
その発生された符号化制御信号はＶＬＣテーブル選択器に供給され、Ｓ１４においてＶＬＣテーブル選択器は特別ＶＬＣテーブルを取得する。そして、Ｓ１５で取得した特別ＶＬＣテーブルをＭＰＥＧエンコーダのＶＬＣ器にロードし、Ｓ１６で符号化制御信号を画像信号復号化装置に伝送すための伝送用符号化制御信号が生成される。
【０１７５】
その伝送用符号化制御信号は、画像信号データに電子透かし情報として埋め込む方法、所定のユーザデータ記述領域に記述する方法、量子化値電子透かし情報として埋め込む方法、ないしは動ベクトル電子透かし情報として埋め込む方法により生成される。
【０１７６】
そして、その生成された伝送用符号化制御信号は符号化された画像データと共に伝送される。また、その画像データの符号化を行うためのＶＬＣテーブルが特別ＶＬＣテーブルとされたＭＰＥＧエンコーダにより、Ｓ１７において供給される画像信号がＤＣＴ変換されて量子化数データが得られる。次に、その得られた量子化数データは特別ＶＬＣテーブルが用いられて可変長符号化がなされて符号化データとして生成される。
【０１７７】
そのような伝送用符号化信号の生成と画像データの符号化とは、符号化に係る画像データの供給が終了されるまで、Ｓ１６及びＳ１７の動作が繰り返して実行される。
【０１７８】
そのようにして符号化されて得られた符号化データは画像信号復号化装置により復号化がなされる。次に、画像信号復号化装置を動作させるコンピュータプログラムについて述べる。
【０１７９】
図１９に、画像信号復号化に係り実行されるコンピュータプログラムの流れをフローチャートにより示す。
同図において、Ｓ２１で供給される符号化データに符号化制御信号の情報が伝送されているか否かがチェックされ、符号化制御信号が付されて伝送されているときにはＳ２２により符号化データに埋め込まれて伝送される符号化制御信号は復号化されるようにして読み出される。
【０１８０】
その読み出された制御信号はＶＬＣテーブル選択器に供給されて、Ｓ２３において特別ＶＬＣテーブルが取得され、取得された特別ＶＬＣテーブルはＳ２４でＭＰＥＧデコーダのＶＬＣ復号器にロードされる。
【０１８１】
そして、ＭＰＥＧデコーダではロードされたＶＬＣテーブルを基に可変長復号化などがなされ、供給される符号化データを復号した画像データが得られる。また、その得られた画像データは画像信号復号化装置より出力信号として供給されるが、そのＳ２５とＳ２６の動作は供給される符号化信号の供給が終了するまで実行される。
【０１８２】
以上詳述した様にして、画像信号の符号化側で、標準ＶＬＣテーブルを有する復号化装置と、特別ＶＬＣテーブルを有する復号化装置側とで異なる画質による再生映像を供給しようとするときは、その特別ＶＬＣテーブルの使用に係る情報を画像信号データに電子透かし情報として埋め込む、所定のユーザデータ記述領域に記述する、量子化値電子透かし情報として埋め込む、ないしは動ベクトル電子透かし情報として埋め込むなどの方法により行うことができる。
【０１８３】
以上、第１〜第４の実施例による画像信号符号化装置及び画像信号復号化装置の構成と、動作について述べた。
次に、それらの画像信号符号化装置及び画像信号復号化装置を伝送装置及び受信装置に応用する場合の例について述べる。
【０１８４】
＜第５実施例＞
図２０は、第５の実施例による画像信号符号化伝送（送信）装置の構成であり、以下図と共に説明する。
【０１８５】
同図に示す画像信号符号化送信装置１０ｄは、前述の図１に示した第１の実施例による画像信号符号化装置の構成に比し、伝送路パケット符号器１７及び伝送路インタフェース１８がＭＰＥＧエンコーダ１２の出力の後に配置されている点で異なっている。そして、同一機能を有するブロックには同一の符号を付してある。
【０１８６】
次に、そのように構成される画像信号符号化送信装置１０ｄの動作について、第１の実施例と異なる点について述べる。
即ち、ＶＬＣテーブル切り換え用信号である符号化選択信号が電子透かし情報として埋め込まれ、ＭＰＥＧエンコーダ１２により圧縮符号化されて得られる圧縮符号化信号は伝送路パケット符号化器１７に供給される。
【０１８７】
そこでは、その圧縮符号化信号を、例えばＭＰＥＧシステムで規定されるようなビットストリームをオーディオ、ビデオなどの情報ごとにパケット化して伝送路に供給するための多重化処理がなされる。その多重化処理のなされた符号化パケットデータは伝送路インタフェース１８を介して、画像信号符号化送信装置１０ｄから通信ネットワークに出力される。そして、伝送された多重化信号は画像信号復号化受信装置により受信される。
【０１８８】
図２１に、第５の実施例による画像信号復号化受信装置の構成を示し、以下図と共に説明する。
同図に示す画像信号復号化受信装置２０ｄは、前述の図２に示した第１の実施例による画像信号復号化装置に比し、入力端子とＭＰＥＧデコーダ２２の間に伝送路パケット復号化器２７が配置されている点で異なっている。そして、同一機能を有するブロックには同一の符号を付してある。
【０１８９】
次に、そのように構成される画像信号復号化受信装置２０ｄの動作について、第１の実施例と異なる点について述べる。
即ち、通信ネットワークより伝送路インタフェース２８を介して受信されるパケット化された圧縮符号化信号（符号化パケットデータ）は伝送路パケット復号化器２７に供給される。
【０１９０】
そこでは、上記の伝送路パケット符号化器１７によりパケット化がなされて伝送されたパケット化と相補的な処理がなされ、圧縮符号化信号が得られる。その圧縮符号化信号はＭＰＥＧデコーダ２２に供給され、前述と同様にして復号処理がなされる。そして、その復号化されて得られた画像信号は出力画像として出力される。
【０１９１】
以上、第５の実施例による画像信号符号化送信装置及び画像信号復号化受信装置の構成と、その動作について述べた。そして、それらの動作はコンピュータプログラムにより制御して実行するようにしても良い。
【０１９２】
図２２に、第５の実施例による画像信号符号化送信に係り実行されるコンピュータプログラムの流れをフローチャートにより示す。
同図において、前述の図１８に示したフローチャートと同一の動作を行う部分には同一の符号を付してある。次に、第４の実施例で述べたのと異なる動作部分について述べる。
【０１９３】
即ち、Ｓ１７の画像データの符号化の次の動作が、Ｓ３１による符号化データのパケット化に係る処理動作であり、その次にＳ３２によりパケット化処理が終了したかをチェックする動作がなされる点で異なっている。
【０１９４】
そして、そのＳ３１における符号化データのパケット化は、前述の図２０における伝送路パケット符号化器１７でなされる、例えばオーディオビデオ多重化ビットストリームの生成動作である。そして、生成されたビットストリームは通信ネットワークに供給されて伝送される。また、必要に応じて伝送路で伝送するための、その伝送路において規定される伝送条件に従う、伝送路特有のパケット化処理もなされる。
【０１９５】
そして、生成された伝送用符号化信号の生成と画像データの符号化は、Ｓ３２において符号化された画像データのパケット化が終了するまでＳ１６、Ｓ１７、及びＳ３１の動作が繰り返して実行される。
【０１９６】
そのようにして符号化及びパケット化がなされて得られた符号化パケットデータは、画像信号符号化送信装置１０ｄより通信ネットワークに送出される。そして、そのデータは画像信号復号化受信装置２０ｄにより受信されて復号化される。
次に、第５の実施例として示した画像信号の受信及び復号化の動作について述べる。
【０１９７】
図２３に、第５の実施例による画像信号復号化受信に係り実行されるコンピュータプログラムの動作をフローチャートにより示す。
同図において、前述の図１９に示したフローチャートと同一の動作を行う部分には同一の符号を付してある。次に、動作の異なる部分について述べる。
【０１９８】
即ち、Ｓ２４のＶＬＣ器へのロードの次の動作は、Ｓ４１による復号化データのパケット復号化の動作であり、その復号化されて得られるデータがＳ２５の符号化データの復号化に渡される点で異なっている。
【０１９９】
即ち、そのＳ４１における復号化データのパケット復号化は、前述の図２１における伝送路パケット復号化器２７でなされる動作であり、そこでは多重化されて伝送されたビットストリームには前述の図２０における伝送路パケット符号化器１７と相補的な信号処理動作がなされる。
【０２００】
そのようにして、パケット復号化された信号はＳ２５の符号化データの復号化に渡されて次の処理がなされる。そして、それらの信号処理はＳ２７の画像復号化を終了したかで、Ｙｅｓとして判定されるまでＳ４１、Ｓ２５、Ｓ２６、及びＳ２７の動作が繰り返して実行される。
以上、第５の実施例による画像信号符号化送信装置及び画像信号復号化受信装置のコンピュータプログラムにより制御されて、実行される動作について述べた。
【０２０１】
以上詳述した様に、符号化送信装置側で特別ＶＬＣテーブルを用いて符号化した画像信号の復号化を、標準ＶＬＣテーブルのみを有する復号化受信装置と、標準ＶＬＣテーブル及び特別ＶＬＣテーブルを有し、切り替えて用いる復号化受信装置とを、用いて構成することにより、異なる所望の画質により再生できる復号化受信装置として実現することができる。
【０２０２】
そして、その特別ＶＬＣテーブルの使用に係る情報を画像信号データに電子透かし情報として埋め込む、所定のユーザデータ記述領域に記述する、量子化値電子透かし情報として埋め込む、ないしは動ベクトル電子透かし情報として埋め込むなどの方法により伝送する。
【０２０３】
また、そのように伝送された圧縮符号化信号の復号化は、符号化信号を伝送するための規格であるＭＰＥＧにより規定されるシンタックスから、伝送されたＶＬＣテーブル制御信号を検出し、その検出されたＶＬＣテーブル制御信号を基に符号化に用いられたＶＬＣテーブルを検出する。そして、その検出されたテーブルを用いて復号化することにより、所望の劣化度を有する画像信号が得られるようにする。
【０２０４】
また、その切り替えて用いられるＶＬＣテーブルのＶＬＣコードは、例えば国際標準であり一般的に用いられるＭＰＥＧ規格で規定されるＶＬＣコード体系に存在するコードを用いて構成するようにし、特別ＶＬＣテーブルを用いて符号化した信号と標準ＶＬＣテーブルを用いて符号化した信号との間での信号の交換性を所定の範囲内に保つようにする。それにより、広い市場で普及のなされるＭＰＥＧ規格に準拠した装置との間での信号の交換性を確保して構成することを可能とするものである。
【０２０５】
さらにまた、特別ＶＬＣコードの使用に係る情報は、例えばＭＰＥＧで規定されたユーザーデータ、画像に混入された電子透かしデータ、量子化値を用いて混入された電子透かしデータ、及び動きベクトル値を用いるなどにより埋め込まれた電子透かしデータのうち、少なくともいずれか１つを、又必要に応じて複数を用いて伝送するようにしているため、所望の符号化対象のコンテンツに対して複数のセキュリティレベルを設定して行う画像信号の符号化方法を実現できている。
【０２０６】
以上、符号化方式として動画信号の符号化を、標準ＶＬＣテーブルの代りに特別ＶＬＣテーブルを用いて行うＭＰＥＧ２ビデオの圧縮符号化方式を例として述べた。
次に、同様な標準ＶＬＣテーブル及び特別ＶＬＣテーブルを用いて行う音響信号の圧縮符号化、及び符号化されて供給される符号化データの復号化について述べる。
【０２０７】
最初に、代表的な音響信号の圧縮符号化方式であるＭＰＥＧ−２ ＡＡＣ（Advanced Audio Coding）方式におけるオーディオ信号の符号化、及び復号化について述べる。
【０２０８】
＜第６実施例＞
図２４に、第６の実施例によるオーディオ信号符号化装置（以下、単に符号化装置と記すこともある。）の構成を示し、以下図と共に説明する。
【０２０９】
同図に示すオーディオ信号符号化装置４３０は、ＭＰＥＧ−２ ＡＡＣエンコーダ４３１、ハフマンコードブック選択器４３２、スケールファクタ用標準ハフマンコードブック４３３、スケールファクタ用特別ハフマンコードブック４３４、及びＣＰＵ４３５より構成される。そして、ＭＰＥＧ−２ ＡＡＣエンコーダ４３１にはハフマンコードブックを使って可変長符号化を行う可変長符号化器４３６が含まれている。
【０２１０】
そして、ＭＰＥＧ−２ ＡＡＣエンコーダ４３１は従来と同様に構成されるが、可変長符号化器４３６には従来から用いられている標準ＶＬＣテーブルの外に、特別ＶＬＣテーブルを用いて可変長符号化を行うための制御信号が入力されている点で異なっている。
なお、ここで、ハフマンコード符号化はＶＬＣ符号化に含まれる符号化方式であり、ハフマンコードブックはそのために用いられる符号化テーブルである。従って、ハフマンコードブックの概念は広義のＶＬＣテーブルに含まれることになる。
【０２１１】
次に、その様に構成されるオーディオ信号符号化装置４３０の動作について述べる。
まず、符号化対象のオーディオ信号がＭＰＥＧ−２ ＡＡＣエンコーダ４３１に入力されると共に、外部切換信号がＣＰＵ４３５に入力される。そのＣＰＵ４３５では、供給される外部切換信号を基にハフマンコードブックを切り換えるための符号化選択信号を発生する。
【０２１２】
その符号化選択信号は、ＣＰＵ４３５において供給される外部切換信号を初期値として、例えば擬似乱数を用いるなどにより、外部切換信号を何らかの暗号処理を施された暗号として発生される。そして、その発生された外部切換信号を解読することによってハフマンコードブック切り換え用信号である符号化選択信号が出力される。
【０２１３】
そして、ＣＰＵ４３５からハフマンコードブック切り換え用信号である符号化選択信号がハフマンコードブック選択器４３２に供給される。そのＣＰＵ４３５から供給された符号化選択信号は、例えば「０」の場合にはスケールファクタ用標準ハフマンコードブックを選択して符号化し、又「１」のときにはスケールファクタ用特別ハフマンコードブックを選択して符号化するように設定される。
【０２１４】
即ち、ハフマンコードブック選択器４３２ではスケールファクタ用標準ハフマンコードブック４３３、及びスケールファクタ用特別ハフマンコードブック４３４から供給されるハフマンコードブックのうち、符号化選択信号により選択される方のハフマンコードブックが可変長符号化器４３６に供給される。
【０２１５】
そして、ＭＰＥＧ−２ ＡＡＣエンコーダ４３１では、供給されるオーディオ信号は可変長符号化器４３６に一時記憶されたハフマンコードブックを基にした可変長符号化が行われる。
次に、スケールファクタ用のハフマンコードブックについて説明する。
【０２１６】
図２５に、スケールファクタバンド（Ｓｆｂ）におけるスケールファクタを求める場合の例を示す。
同図において、上側に、０から（Ｎ−１）までのＮ個のスケールファクタバンドにおけるスケールファクタを示す。下側にはそれらのスケールファクタバンドに対するインデックス値を示している。
【０２１７】
即ち、供給されるオーディオ信号は、ＦＦＴにより聴覚心理分析した結果、及びＭＤＣＴ（Modified Discrete Cosine Transform）変換して求められた係数値データを基にスケールファクタが算出される。そして、そのスケールファクタの差分値が求められる。即ち、ｋ番目のＳｆｂから（ｋ−１）番目のＳｆｂが減算され、差分値を求められる。次に、そのオフセット値に６０を加算した値を用いて、スケールファクタ用のハフマンコードブックに対応する値（以後インデックスと呼ぶ）が読み出されるようにして可変長符号化がなされる。
【０２１８】
そして、スケールファクタ用のハフマンコードブックは、インデックスが６０の場合スケールファクタの差分値が０であることを示し、差分値の絶対値が大きくなるにつれて発生頻度が低くなることを利用して作成されている。
【０２１９】
図２６に、ＭＰＥＧ−２ ＡＡＣ符号化方式で用いられるスケールファクタ用のハフマンコードブックの一部を表により示す。
そして、この表に示されるスケールファクタ用のハフマンコードブックをスケールファクタ用標準ハフマンコードブック４３３として用いる。また、スケールファクタ用特別ハフマンコードブック４３４は、スケールファクタ用標準ハフマンコードブック４３３のインデックスを入れ替えて作成する。
【０２２０】
図２７に、インデックスの入れ替え方法を例示する。
同図において、左側の表は標準ハフマンコードブックの一部と、その入れ替え方法を示す。そして、右側の表は入れ替えて作成した特別ハフマンコードブックの一部である。
【０２２１】
即ち、その入れ替えは、同表においてインデックス６０より大きなインデックスと、それより小さなインデックスとにおいて、コードワードの長さが同じ箇所同士で行う。例えば、コードワードの長さが６であるインデックス５６，５５とインデックス６４，６５のそれぞれを入れ替えたものを特別ハフマンコードブックとする。
【０２２２】
図２８に、上記のハフマンコードブックを用いたスケールファクタの可変長符号化の例を示す。
同図において、▲１▼ｓｆｂ０からｓｆｂ４のスケールファクタをそれぞれ１０，１５，１９，１４，１０とする。そして、▲２▼全体の量子化ステップを３０とするとき、可変長符号化を行う際に隣接するｓｆｂとの間の差分値−２０、５、４、−５、−４を得る。
【０２２３】
次に、▲３▼オフセット値６０を加算処理し、各ｓｆｂは４０，６５，６４，５５，５６のインデックス値として計算される。なおここで、先頭のｓｆｂ０に対しては一つ前のｓｆｂが存在しないため、全体の量子化ステップ値３０に対する差分計算を行っている。
【０２２４】
そして、前述の図２６に示す標準ハフマンコードブックを用いてコードワードを得るときにはｆｆ９、３ｂ、３９、３ａ、３８が得られる。しかし、ここで用いるハフマンコードブックはコードワードの入れ替えられた特別ハフマンコードブックであるため、▲４▼に示すコードワードｆｆ９、３ａ、３８、３ｂ、３９が得られる。そして、それらの得られたデータが用いられてビットストリームが生成される。
【０２２５】
次に、その生成されて伝送されたビットストリームを復号化する。そして、通常の復号化器ではＭＰＥＧ−２ ＡＡＣ符号化方式の標準ハフマンコードブックしか有していないときには、可変長復号化して、▲５▼各ｓｆｂのインデックスは４０，５５，５６，６５，６４として得られる。
【０２２６】
次に、▲６▼それらのデータよりオフセット値６０が減算され、▲７▼スケールファクタは１０，５，１，６，１０として求められる。この値は、元のスケールファクタと異なった値である。
【０２２７】
そのようにして、符号化と異なるスケールファクタを使用して符号化ビットストリームの復号を行う場合は異なったオーディオ信号が再生される。従って、この手法を用いて半開示のオーディオ信号を生成するためのスクランブル処理が可能となる。
【０２２８】
次に、そのようにして符号化されて生成されたビットストリームの復号化について述べる。
図２９に、第６の実施例によるオーディオ信号復号化装置（以下、単に復号化装置と記すこともある。）の構成を示し、以下図と共に説明する。
【０２２９】
同図に示すオーディオ信号復号化装置４４０は、ＭＰＥＧ−２ ＡＡＣデコーダ４４１、ハフマンコードブック選択器４４２、スケールファクタ用標準ハフマンコードブック４４３、スケールファクタ用特別ハフマンコードブック４４４、及びＣＰＵ４４５より構成される。そして、ＭＰＥＧ−２ ＡＡＣデコーダ４４１にはハフマンコードブックを用いて可変長復号化を行う可変長復号化器４４６が含まれている。
【０２３０】
ＭＰＥＧ−２ ＡＡＣデコーダ４４１は従来と同様に構成されるが、可変長復号化器４４６には従来の標準ハフマンコードブックの外に、特別ハフマンコードブックが用いられて可変長復号化がなされる点で異なっている。
【０２３１】
次に、その様に構成されるオーディオ信号復号化装置４４０の動作について述べる。
まず、オーディオ信号符号化装置４３０から出力される外部切換信号がＣＰＵ４４５に供給される。
【０２３２】
そこでは、オーディオ信号符号化装置４３０内のＣＰＵ４３５と同等の処理がなされる。即ち、ハフマンコードブック切り換え用信号である符号化選択信号が発生され、その信号はハフマンコードブック選択器４４２に供給される。
【０２３３】
次に、オーディオ信号符号化装置４３０で圧縮符号化のなされたビットストリームはＭＰＥＧ−２ ＡＡＣデコーダ４４１に供給される。ここでは、ＭＰＥＧ−２ ＡＡＣ方式により圧縮符号化された信号は可変長復号化器４４６に一時記憶されるハフマンコードブックの値が用いられて復号化される。
【０２３４】
ハフマンコードブック選択器４４２では、供給された符号化選択信号、即ちＣＰＵ４４５より供給された符号化選択信号に基づいて、スケールファクタ用標準ハフマンコードブック４４３、又はスケールファクタ用特別ハフマンコードブック４４４に格納される方のハフマンコードブックの値が選択されて可変長復号化器４４６に供給される。そして、そのハフマンコードブックの値は可変長復号化器４４６に一時記憶される。
【０２３５】
ＭＰＥＧ−２ ＡＡＣデコーダ４４１では、そのようにして一時記憶されたハフマンコードブックが用いられて、供給されるビットストリームの復号化がされる。そして、その復号化はＭＰＥＧ−２ ＡＡＣエンコーダ４３１の可変長符号化器４３６に一時記憶されるハフマンコードブックと同一のハフマンコードブックが用いられて復号化されるため、忠実度の高い復号化されたオーディオ信号が得られる。
【０２３６】
しかし、オーディオ信号復号化装置にスケールファクタ用特別ハフマンコードブックを有していない場合は、通常のＭＰＥＧ−２ ＡＡＣデコーダに搭載されるスケールファクタ用標準ハフマンコードブックが用いられてビットストリームの復号化が行われるため、復号化されたオーディオ信号にはそれぞれのハフマンコードブックの差に基づく歪成分が含まれたオーディオ信号として復号化されることになる。
【０２３７】
以上、標準ハフマンコードブック及び特別ハフマンコードブックを用いてスケールファクタの可変長符号化を行う第６の実施例によるオーディオ信号符号化装置、及びオーディオ信号復号化装置の構成とそれらの動作について述べた。
【０２３８】
＜第７実施例＞
次に、標準ハフマンコードブック及び特別ハフマンコードブックをスペクトル信号の可変長符号化に用いる第７の実施例によるオーディオ信号符号化装置及びオーディオ信号復号化装置の構成と動作について述べる。
図３０に、第７の実施例によるオーディオ信号符号化装置の構成を示し、以下図と共に説明する。
【０２３９】
同図に示すオーディオ信号符号化装置４５０は、ＭＰＥＧ−２ ＡＡＣエンコーダ４５１、ハフマンコードブック選択器４５２、スペクトル用標準ハフマンコードブック４５３、スペクトル用特別ハフマンコードブック４５４、及びＣＰＵ４５５より構成される。そして、ＭＰＥＧ−２ ＡＡＣエンコーダ４５１にはハフマンコードブックを用いて可変長符号化を行う可変長符号化器４５６が含まれている。
【０２４０】
そして、そのように構成されるオーディオ信号符号化装置４５０は、前述の図２４に示した第６の実施例によるオーディオ信号符号化装置に比し、スケールファクタ用ハフマンコードブックは標準のものが使用されているが、ＭＤＣＴされて得られるオーディオ信号の可変長符号化にはスペクトル用標準ハフマンコードブック、及びスペクトル用特別ハフマンコードブックが用いられている点で異なっている。
【０２４１】
次に、その様に構成されるオーディオ信号符号化装置４５０の動作について述べる。
まず、ＭＰＥＧ−２ ＡＡＣエンコーダ４５１に符号化対象のオーディオ信号が供給され、同時にＣＰＵ４５５に外部切換信号が入力される。その一方で、外部切換信号はオーディオ信号符号化装置４５０と相補的に復号化動作を行うオーディオ信号復号化装置４６０（後述）へ供給される。
【０２４２】
ＣＰＵ４５５には外部切換信号が供給され、その信号を基にハフマンコードブック切り換え用信号である符号化選択信号が発生される。例えば、ＣＰＵ４５５が外部切換信号を初期値として擬似乱数を発生する、又は外部切換信号が何らかの暗号処理を施された暗号として供給されるときには、その外部切換信号を解読することによってハフマンコードブック切り換え用信号である符号化選択信号が得られる。
【０２４３】
そのようにして、ＣＰＵ４５５からは、ハフマンコードブック切り換え用信号である符号化選択信号が、ハフマンコードブック選択器４５２に供給される。そして、ＣＰＵ４５５から供給される符号化選択信号は、例えば「０」のときにはスペクトル用標準ハフマンコードブックを選択して符号化し、又「１」のときにはスペクトル用特別ハフマンコードブックを選択して符号化するように設定される。
【０２４４】
次に、ハフマンコードブック選択器４５２ではスペクトル用標準ハフマンコードブック４５３、及びスペクトル用特別ハフマンコードブック４５４から供給されるハフマンコードブックのうち、符号化選択信号により選択される方のハフマンコードブックが可変長符号化器４５６に供給される。
【０２４５】
ＭＰＥＧ−２ ＡＡＣエンコーダ４５１では、可変長符号化器４５６に一時記憶されたハフマンコードブックを基にし、ＭＤＣＴされたオーディオ入力信号のスペクトル信号に対する可変長符号化が行われる。
ここで、そのスペクトル用のハフマンコードブックについて述べる。
【０２４６】
スペクトルの量子化値を可変長符号化する際には、ｓｆｂ内の２本または４本ずつまとめて計算されたスペクトルの量子化値を基に、インデックスからスペクトル用のハフマンコードブックに対応するコードワードを読み出す。そして、スペクトル用のハフマンコードブックは１１種類存在し、その中から符号化されて生成され符号全体での符号量が最小となる組み合わせが選択される。
【０２４７】
図３１に、スペクトル用標準ハフマンコードブックの一部をテーブルにより示す。
同図に示すスペクトル用標準ハフマンコードブックは、ＭＰＥＧ−２ ＡＡＣ符号化方式に用いられるコードブックの一部であり、ここではそのコードブックをスペクトル用標準ハフマンコードブック４５３として用いる。そして、特別ハフマンコードブック４５４はスペクトル用標準ハフマンコードブック４５３のインデックスを入れ替えたものを用いる。
【０２４８】
図３２に、標準ハフマンコードブックのコードワードを入れ替えて特別ハフマンコードブックを作成する例を示す。
ここに示したスペクトル用のハフマンコードブックは、ＡＡＣ規格に定められる第２番目のものの一部である。
【０２４９】
そのコードブックは、インデックス４０を挟んでコードワードの長さが同じであるものが複数存在している。従って、例えばインデックス３６から３９と、インデックス４４から４１のそれぞれを入れ替えたものを新たなハフマンコードブックとして作成し、それを特別ハフマンコードブックとして用いる。
【０２５０】
図３３に、上記のハフマンコードブックを使ったスペクトル用量子化値の可変長符号化の一例を示す。
図中の４本の量子化値のそれぞれは０，０，−１，１となっている。次に、その場合のインデックスへの変換について述べる。
【０２５１】
即ち、ハフマンコードブック２番を使う場合の、スペクトラム４本Ｑ０〜Ｑ３に対するインデックス（ＩＤＸ）への変換式として次の（１）式が用いられる。
ＩＤＸ＝２７×Ｑ０＋９×Ｑ１＋３×Ｑ２＋Ｑ３＋４０ ・・・・ （１）
このＱ０〜Ｑ３のそれぞれに、上記の０，０，−１，１を代入する。
【０２５２】
図中に（ａ）として示すスペクトラムのインデックス値は、
ＩＤＸ＝２７×０＋９×０＋３×（−１）＋１＋４０＝３８
となり、その値を基に入れ替えを行ったハフマンコードブック２番に該当するコードワードを読み出すことになる。
【０２５３】
即ち、インデックス値が３８である特別ハフマンコードブックでの値は１ｄであり、その値が読み出される。そして、読み出された値を基にしてオーディオ信号を符号化したビットストリームが生成され、オーディオ信号符号化装置４５０から出力される。
【０２５４】
次に、そのビットストリームはオーディオ信号復号化装置に入力されて復号化される。
図３４に、第７の実施例によるオーディオ信号復号化装置の構成を示し、以下図と共に説明する。
【０２５５】
同図に示すオーディオ信号復号化装置４６０は、ＭＰＥＧ−２ ＡＡＣデコーダ４６１、ハフマンコードブック選択器４６２、スペクトル用標準ハフマンコードブック４６３、スペクトル用特別ハフマンコードブック４６４、及びＣＰＵ４６５により構成される。そして、ＭＰＥＧ−２ ＡＡＣデコーダ４６１にはハフマンコードブックを用いて可変長復号化を行うための可変長復号化器４６６が含まれている。
【０２５６】
そして、そのように構成されるオーディオ信号復号化装置４６０は、前述の図２９に示した第６の実施例によるオーディオ信号復号化装置に比し、スケールファクタ用ハフマンコードブックは標準のものが使用されるものの、スペクトラム用の可変長復号化には標準ハフマンコードブック、及び特別ハフマンコードブックが用いられている点で異なっている。
【０２５７】
次に、その様に構成されるオーディオ信号復号化装置４６０の動作について述べる。
まず、オーディオ信号符号化装置４５０で圧縮符号化のなされたビットストリームはＭＰＥＧ−２ ＡＡＣデコーダ４６１に供給される。
【０２５８】
そして、オーディオ信号符号化装置４５０から伝送される外部切換信号はＣＰＵ４６５に供給される。そのＣＰＵ４６５では、オーディオ信号符号化装置４５０におけるＣＰＵ４５５と同様にして供給される信号の処理を行う。次に、ハフマンコードブック切り換え用信号である符号化選択信号が発生され、その信号はハフマンコードブック選択器４６２に供給される。
【０２５９】
そのハフマンコードブック選択器４６２では、供給された符号化選択信号、即ちＣＰＵ４６５より供給された符号化選択信号に基づいて、スペクトル用標準ハフマンコードブック４６３、及びスペクトル用特別ハフマンコードブック４６４のいずれか一方に格納される方のハフマンコードブックの値が選択されて可変長復号化器４６６に供給される。そのハフマンコードブックの値は可変長復号化器４６６に一時記憶される。
【０２６０】
そのようにして可変長復号化器４６６に一時記憶されたハフマンコードブックが用いられて、ＭＰＥＧ−２ ＡＡＣデコーダ４６１では供給されるビットストリームの復号化がなされる。
【０２６１】
そのようになされる復号化は、ＭＰＥＧ−２ ＡＡＣエンコーダ４５１の可変長符号化器４５６に一時記憶されるハフマンコードブックと同一のハフマンコードブックが用いられて復号化されるため、品質の高い復号化されたオーディオ信号が得られるようになされている。
【０２６２】
しかし、オーディオ信号復号化装置がスペクトル用特別ハフマンコードブック情報を有していない場合は、通常のＭＰＥＧ−２ ＡＡＣデコーダに搭載される標準ハフマンコードブックが用いられてビットストリームの復号化がなされるため、復号化されたオーディオ信号にはそれぞれのハフマンコードブックの差に応じた歪成分が含まれるオーディオ信号として復号されることになる。
【０２６３】
例えば、上記の４本の量子化値のそれぞれ０，０，−１，１、に対するインデックス値は３８として計算された。それを特別ハフマンコードブックにより可変長符号化して標準ハフマンコードブックを用いて可変長復号化すると、インデックス値４２が得られる。
【０２６４】
前述の図３３における（ｂ）にその復号化について示している。ここで、インデックス値４２はＱ０＝０、Ｑ１＝０、Ｑ２＝１、及びＱ３＝−１として計算される。即ち、４本の量子化値はそれぞれ０，０，１，−１として求められるため、元のスペクトルの量子化と異なる値が得られる。
【０２６５】
そして、そのようにして得られた量子化値を逆量子化、及びＩＭＤＣＴ（Inverse Modified Discrete Cosine transform）してオーディオ信号を復号すると、元の信号を再生出来ない。即ち、そのようにして再生されたオーディオ信号は擬似的なオーディオスクランブルが施された信号として再生されることになる。
【０２６６】
以上、標準ハフマンコードブック及び特別ハフマンコードブックを用い、ＭＤＣＴして得られるオーディオ信号のスペクトルの可変長符号化を行う第７の実施例によるオーディオ信号符号化装置及びオーディオ信号復号化装置の構成と動作について述べた。
【０２６７】
そして、この実施例ではスペクトル用のハフマンコードブック２番を用いる場合を例として説明した。さらに、スペクトル用のハフマンコードブックは１１種類があるので、それぞれに特別ハフマンコードブックを作成して可変長符号化を行う場合、又はそれらの中の一部のハフマンコードブックに対してのみ特別ハフマンコードブックを用いて符号化するようにして行う場合があり、それらのいずれによっても良い。
【０２６８】
また、ハフマンコードブックの１から１０番までは１と２、３と４、５と６、７と８、９と１０とが互いに組になって作成されており、それらの組の間では同じコードワードの数を有している。従って、お互いに同じインデックスへの変換式を用いていることにより、ハフマンコードブック１番の特別ハフマンコードブックを２番とするように、組になる互いを標準、及び特別のハフマンコードブックとして用いるようにして符号化することができ、そのような方法によっても実現しても良い。
【０２６９】
以上、外部切り替え信号により標準及び特別のハフマンコードブックを切り替えて符号化する装置の構成と、その動作について述べた。そして、本実施例のオーディオ信号符号化装置からオーディオ信号復号化装置に伝送される外部切換信号に対し、上記のオーディオ信号に対するスクランブルをユーザが自由に操作できないようにして行うことも必要とされる。即ち、スクランブルを確実に実行するためには、オーディオ信号符号化装置により生成された外部切り替え信号に対して暗号化を施す必要がある。
【０２７０】
そして、オーディオ信号符号化装置により生成された暗号化信号は、オーディオ信号復号化装置内のＣＰＵにより解読して、得るようにし、その得られた外部切り替え信号を用いて可変長復号化するようにする。
【０２７１】
また、オーディオ信号符号化装置内でＭＰＥＧ−２ ＡＡＣビットストリームの中に電子透かし情報として外部切換信号を埋め込み、オーディオ信号復号化装置に供給されるＭＰＥＧ−２ ＡＡＣビットストリームから電子透かし情報を抜き出し、その情報を基にして、ハフマンコードブック切り換え用信号を発生する方法もある。
【０２７２】
さらに、ビットストリームと別に外部切換信号を送信しない方法として、前述の画像信号符号化及び復号化装置に用いている電子透かしの手法を用い、例えばスケールファクタ又はスペクトルの値を偶数値に丸める、奇数値に丸めるなどにより透かしデータを埋め込んで伝送する方法によっても良い。
【０２７３】
その方法は、例えば、電子透かし手法を用いて、外部切換信号に順ずる信号として符号化選択信号を所定の間隔毎の最初の位置にある音声信号に埋め込むようにして、ＭＰＥＧ２ ＡＡＣエンコーダにより圧縮符号化されたＭＰＥＧ−２ ＡＡＣビットストリームが生成する方法である。
【０２７４】
そして、その方法により符号化された信号の復号化は、電子透かし情報として埋め込まれた符号化選択信号を検出し、その検出された符号化選択信号から適切なハフマンコードブックに選択するハフマンコードブック切り換え用信号を得るようにすれば良い。
【０２７５】
以上、電子透かしの手法を用いることにより暗号化された符号化選択信号として伝送する方法を述べた。電子透かしによらない方法として、例えばＭＰＥＧ−２ ＡＡＣ符号化方式で規定されているｄａｔａ＿ｓｔｒｅａｍ＿ｅｌｅｍｅｎｔの中に、外部切換信号に基づくデータを暗号化することにより記述して伝送する方法もある。
【０２７６】
そして、オーディオ信号復号化装置の側においてｄａｔａ＿ｓｔｒｅａｍ＿ｅｌｅｍｅｎｔを復号化して、復号情報を得、その得られた情報を基にしてハフマンコードブック切り換え用信号を発生する方法である。
【０２７７】
また、その方法による場合では、ｄａｔａ＿ｓｔｒｅａｍ＿ｅｌｅｍｅｎｔに記載する外部切換信号に係るデータは、符号化側と復号化側とで整合性が取れていればよく、符号化側と復号化側とで適当な暗号化方式を設定するようにして送信及び受信を行うようにすれば良い。
【０２７８】
以上、画像信号、及びオーディオ信号のそれぞれについて、直交変換を行なって得られる係数値信号を可変長符号化して伝送する際に、標準可変長テーブル、及び特別可変長テーブルを用いることにより、多少の歪を伴った画像信号、及びオーディオ信号としての再生が可能とされる、可変長データ符号化方法、及びその復号化方法について述べた。そして、その歪の付加は画像信号、又はオーディオ信号のいずれか一方に、又は両者に対し、標準又は特別可変長テーブルを用いることにより個別に設定することが出来る。
【０２７９】
つぎに、そのような可変長データ符号化方法、及びその復号化方法を用いて、放送、通信、乃至は情報記録媒体で使用可能なビジネスモデルの好適な実施例について、画像を符号化する場合を主として述べる。
【０２８０】
＜第８実施例＞
図３５に、放送または通信に用いられる半開示のための可変長データ符号化方法を搭載した、第８の実施例による可変長符号化データ送信装置（以下、単に送信装置と記すこともある。）の構成を示し、図を参照して説明する。
【０２８１】
同図に示す可変長符号化データ送信装置５１０は、画像データ変換器５１１、暗号化器５１２、暗号化方法設定器５１３、暗号化鍵設定器５１４、ＣＰＵ５１５、ＭＰＥＧエンコーダ５１６、ＶＬＣテーブル選択器５１７、標準ＶＬＣテーブル５１８、特別ＶＬＣテーブル５１９、伝送路パケット符号化器５２１、及び暗号化情報送信器５２２より構成される。そして、ＭＰＥＧエンコーダ５１６にはＶＬＣ器５３１が含まれている。
【０２８２】
次に、その様に構成される可変長符号化データ送信装置５１０の動作について述べる。
まず、入力画像信号は画像データ変換器５１１に供給され、そこで画像信号には前述の方法により識別信号が電子透かし情報として埋め込まれる。
【０２８３】
その電子透かし情報が埋め込まれた画像信号は、ＭＰＥＧエンコーダ５１６に供給され、そこではＶＬＣ器５３１に一時記憶されたＶＬＣテーブルが用いられて可変長符号化がなされるなどにより圧縮符号化信号が生成される。
【０２８４】
次に、その圧縮符号化信号は伝送路パケット符号化器５２１でＭＰＥＧシステム規格に従って、図示しないオーディオ信号、その他の補助信号などとの多重化がなされる。そのようにして、パケット化がなされた信号は伝送用信号として可変長符号化データ送信装置５１０から出力される。
【０２８５】
このときＣＰＵ５１５では、ＶＬＣテーブル選択器５１７に供給される符号化選択信号を基にして、ＶＬＣテーブル選択器５１７で標準ＶＬＣテーブルまたは特別ＶＬＣテーブルのどちらが選択されるかを識別するための識別信号と、その識別信号に係る暗号化方法、及びその暗号化を解読するための暗号化鍵に関する暗号化情報とが生成される。
【０２８６】
そしてＶＬＣテーブル選択器５１７では、ＣＰＵ５１５より供給される符号化選択信号に基づき、標準ＶＬＣテーブルまたは特別ＶＬＣテーブルのどちらか一方が選択され、その選択された方のＶＬＣテーブルはＭＰＥＧエンコーダ５１６のＶＬＣ器５３１に供給される。
【０２８７】
また暗号化器５１２では、ＣＰＵ５１５を介して供給される、ＶＬＣテーブル選択器５１７により選択された方のＶＬＣテーブルに係る識別情報と、暗号化方法設定器５１３により設定された暗号化方法及び暗号化鍵設定器５１４により設定された暗号化鍵に係る情報とが、暗号化され、それらの暗号化情報は画像データ変換器５１１に供給される。
【０２８８】
さらに、ＣＰＵ５１５では暗号化情報として暗号化を行ったことを示す情報と、暗号化方法設定器が設定した暗号化方法に関する情報と、暗号化鍵設定器が設定した暗号化鍵に関する情報とが暗号化情報送信器５２２に供給され、そこから暗号化情報信号として出力される。
【０２８９】
そのようにして、ＭＰＥＧエンコーダ５１６には、暗号化された識別信号が電子透かしにより埋め込まれた画像信号として供給される。そして、その画像信号は、埋め込まれた識別信号に対応する符号化選択信号により指定された方のＶＬＣテーブルが用いられて圧縮符号化がなされる。
【０２９０】
例えば、ＣＰＵ５１５からＶＬＣテーブル選択器５１７に供給される符号化選択信号が「０」のときには、ＶＬＣテーブル選択器５１７より標準ＶＬＣテーブルが選択して得られ、その標準ＶＬＣテーブルはＭＰＥＧエンコーダ５１６のＶＬＣ器５３１に供給され、そこに一時記憶される。
【０２９１】
このときＣＰＵ５１５からは、標準ＶＬＣテーブルを選択したこと示す６４ビットのビット列「０１０１・・・０１０１」が識別情報として暗号化器５１２に供給される。そして暗号化器５１２では、暗号化方法設定器５１３で設定されたＤＥＳ（Data Encryption Standard：国際デファクト標準データ暗号規格）暗号と、暗号化鍵設定器５１４で設定されたＤＥＳ暗号の暗号化鍵６４ビット（そのうち８ビットはパリティビット）が用いられて、識別情報が暗号化される。
【０２９２】
次に、暗号化された識別情報は入力画像信号に電子透かし情報として埋め込まれてＭＰＥＧエンコーダ５１６に供給される。そこでは、供給された信号はＶＬＣ器５３１に一時記憶された標準ＶＬＣテーブルが用いられて、圧縮符号化が行われる。
【０２９３】
また、符号化選択信号が「１」のときには、ＶＬＣテーブル選択器５１７より特別ＶＬＣテーブルが得られ、そのテーブルはＭＰＥＧエンコーダ５１６のＶＬＣ器５３１に供給され、そこに一時記憶される。このとき、ＣＰＵ５１５では、特別ＶＬＣテーブルを選択したことを示す６４ビットのビット列「１０１０・・・１０１０」が識別情報として暗号化器５１２に供給される。
【０２９４】
そして、暗号化器５１２では、暗号化方法設定器５１３で設定されたＤＥＳ暗号と、暗号化鍵設定器５１４で設定された６４ビットのＤＥＳ暗号化鍵が用いられて、識別情報が暗号化される。また、暗号化して得られた識別情報は入力画像に電子透かし情報として埋め込まれ、ＶＬＣ器５３１に一時記憶された特別ＶＬＣテーブルが用いられて符号化が行われる。
【０２９５】
このとき、暗号化情報は識別情報を暗号化しないときを「０」とし、暗号化したときを「１」とする。そして、暗号化方式を例えば４つの方式の中から選択できるときには、ＤＥＳ暗号は「００」とし、また他の３つの暗号をそれぞれ「０１」、「１０」、「１１」とする。さらに、暗号化鍵についても予め設定された鍵であるKey A、Key B、Key C、及びKey Dなどの、それぞれが６４ビットである暗号化鍵を定めて用いるようにする。
【０２９６】
そして、Key Aは「００」、Key Bは「０１」、Key Cは「１０」、またKey Dは「１１」のように割り振るとする。それにより、識別情報をＤＥＳ暗号で、Key Cを用いて暗号化した場合の暗号化情報は「1 ００ １０」という５ビットのビット列で表される。
【０２９７】
以上、第８の実施例による可変長符号化データ送信装置の構成とその動作について述べた。
なおここで、暗号化情報として、暗号化モードに関する情報、暗号化鍵の鍵長さに関する情報などを含んで暗号化し、伝送するようにしても良い。
【０２９８】
次に、このようにして生成され送信された符号化データを受信し復号化する、可変長符号化データ受信装置（以下、単に受信装置と記すこともある。）について述べる。
図３６に、第８の実施例による可変長符号化データ受信装置の構成を示し、同図を参照して説明する。
【０２９９】
同図に示す可変長符号化データ受信装置５５０は、伝送路パケット復号化器５５１、暗号化情報受信器５５２、ＭＰＥＧデコーダ５６１、ＶＬＣテーブル選択器５６２、標準ＶＬＣテーブル５６３、特別ＶＬＣテーブル５６４、ＣＰＵ５６５、電子透かし検出器５６６、復号化器５６７、復号化方法選択器５６８、及び復号化鍵選択器５６９より構成される。そして、ＭＰＥＧデコーダ５６１にはＶＬＣ復号器５７１が含まれている。
【０３００】
次に、この様に構成される可変長符号化データ受信装置５５０の動作について述べる。
まず、多重化されて構成されるパケット符号化データは、伝送路パケット復号化器５５１により伝送路パケット化符号化器５２１と相補的な動作によりパケット復号化され、復号化されて得られる圧縮符号化された画像データはＭＰＥＧデコーダ５６１に供給される。
【０３０１】
そこでは、ＭＰＥＧ方式により圧縮符号化された信号はＶＬＣ復号器５７１に一時記憶されいるＶＬＣテーブルの値が用いられ、ＭＰＥＧエンコーダ５１６によりなされたと相補的な方法により復号化される。そして、復号化されて得られる画像信号は電子透かし検出器５６６に供給される。
【０３０２】
その電子透かし検出器５６６では、前述の図３５の画像データ変換器５１１により電子透かし情報として埋め込まれ、暗号化された識別信号が電子透かし検出器５６６により検出され、復号化器５６７に供給される。
【０３０３】
そしてＣＰＵ５６５では、暗号化情報受信器５５２で受信した暗号化情報に基づき、検出された電子透かし情報が暗号化されていると判断した場合には、暗号化方法に関する情報は復号化方法選択器５６８に、暗号化鍵に関する情報は復号化鍵選択器５６９に、それぞれ供給される。
【０３０４】
復号化方法選択器５６８では、暗号化方法に関する情報を基にした復号化方法が選択され、また復号化鍵選択器５６９では、暗号化鍵に関する情報を基に暗号化鍵が選択される。それらの選択された復号化方法及び復号化鍵情報が用いられて、復号化器５６７では暗号化された識別情報が復号化され、復号化されて得られる信号はＣＰＵ５６５に供給される。ＣＰＵ５６５では、復号化された識別情報に対応する符号化選択信号が生成され、その信号はＶＬＣテーブル選択器５６２に供給される。
【０３０５】
そのＶＬＣテーブル選択器５６２では、供給された符号化選択信号に基づいて、標準ＶＬＣテーブルまたは特別ＶＬＣテーブルのいずれか一方のＶＬＣテーブルが選択されてＶＬＣ復号器５７１に供給され、そのＶＬＣテーブルはＶＬＣ復号器５７１に一時記憶される。
【０３０６】
例えば、暗号化情報が「1 ００ １０」である５ビットのビット列として得られるときには、可変長符号化データ受信装置５５０では、まず電子透かし検出器５６６にて６４ビットのビット列「ｂ₆₃ｂ₆₂ｂ₆₁・・・ｂ₁ｂ₀」が検出され、その検出されたビット列の信号は復号化器５６７に供給される。
【０３０７】
次にＣＰＵ５６５では、暗号化情報受信器５５２で受信して得らえた５ビットの暗号化情報「1 ００ １０」の最上位ビット「１」により、識別情報が暗号化されていると判断する。そして、暗号化情報の下位４ビット「００ １０」より、復号化方法選択器ではＤＥＳ暗号を、また復号化鍵選択器５６９ではKey Cが、それぞれ選択され、復号化器５６７に供給される。
【０３０８】
また、復号化器５６７では、ＤＥＳ暗号で鍵Key Cが用いられて６４ビットのビット列「ｂ₆₃ｂ₆₂ｂ₆₁・・・ｂ₁ｂ₀」が復号化され、「０１０１・・・０１０１」または「１０１０・・・１０１０」のデータが得られる。
【０３０９】
ＣＰＵ５６５では、復号結果「０１０１・・・０１０１」に対して「０」が、「１０１０・・・１０１０」に対して「１」が、それぞれ符号化選択信号として生成され、その生成された信号はＶＬＣテーブル選択器５６２に供給される。そのＶＬＣテーブル選択器からは、符号化選択信号が「０」のときは標準ＶＬＣテーブルが、「１」のときは特別ＶＬＣテーブルが、ＶＬＣ復号器５７１に供給される。
【０３１０】
そのようにして、ＶＬＣ復号器５７１に一時記憶されたＶＬＣテーブルが用いられて、ＭＰＥＧデコーダ５６１では供給される符号化データの復号化がなされる。そして、その復号化は前述の図３５におけるＭＰＥＧエンコーダ５１６のＶＬＣ器５３１に一時記憶されたＶＬＣテーブルと同一のＶＬＣテーブルが用いられて復号化されるため、劣化のない画像信号が復号化される。
【０３１１】
以上、第８の実施例における可変長符号化データ送信装置５１０と、可変長符号化データ受信装置５５０とにより、暗号化した識別信号を画像データに電子透かしとして埋め込んで伝送し、その伝送された信号を受信する方法について述べた。
【０３１２】
以上、ここでは、画像信号に暗号化した識別信号を埋め込む方法について述べた。そして、識別信号の埋め込みは画像信号に限らなく、前述の方法を用いてオーディオ信号に電子透かしデータとして埋め込む方法によっても良い。更には、画像データと音声データのそれぞれに独立した識別データとして埋め込み、伝送する方法もある。
【０３１３】
次に、第８の実施例による可変長符号化データ送信装置５１０により伝送された信号を、課金処理して受信する場合の可変長符号化データ受信装置について述べる。
【０３１４】
＜第９実施例＞
図３７に、第９の実施例による可変長符号化データ受信装置の構成を示し、同図を参照して説明する。
同図に示す可変長符号化データ受信装置５５０ａは、前述の可変長符号化データ受信装置５５０に比し、ＩＣカードリーダ／ライタ５７２が多く配置された構成とされる点で異なっている。
【０３１５】
そして、前述の図３６と同じ機能を有する部分には同一の符号を付してある。また、そのＩＣカードリーダ／ライタ５７２はＣＰＵ５６５に接続されており、さらにそこにはＩＣカード６０１が挿入されている。
【０３１６】
次に、その様に構成される可変長符号化データ受信装置５５０ａにつき、前述の可変長符号化データ受信装置５５０と異なってなされる動作について述べる。まず、可変長符号化データ送信装置５１０の画像データ変換器５１１により電子透かし情報として埋め込まれた、暗号化された識別信号は電子透かし検出器５６６により検出され、復号化器５６７に供給される。
【０３１７】
そして、ＣＰＵ５６５により、暗号化情報受信器５５２で受信した暗号化情報に基づいて、検出された電子透かし情報が暗号化されていると判断されたときに、暗号化方法に関する情報は復号化方法選択器５６８に、暗号化鍵に関する情報は復号化鍵選択器５６９に、それぞれ供給される。
【０３１８】
このとき、ＣＰＵ５６５では、ＩＣカードリーダ／ライタ５７２を介してＩＣカードに記録される金額情報、及び再生時の課金情報をもとに、復号化を行うか否かが定められる。そして、その結果を基に復号化器５６７より得られる識別情報に対応する符号化選択信号がＶＬＣテーブル選択器５６２に供給される、又は識別情報に対応しない符号化選択信号がＶＬＣテーブル選択器５６２に供給される。
【０３１９】
例えば、ＩＣカードはプリペイド式で、予め６０００円分の金額情報が記録されているとする。そして、伝送される情報の復号化時には例えば１分１円の割で課金されるとするとき、ＣＰＵ５６５により復号化器５６７が暗号化情報の復号化処理を１分行う毎に、ＩＣカード内の金額情報が1円づつ減額される。
【０３２０】
そして、ＩＣカード６０１の金額情報が０円になった時点で、ＣＰＵ５６５からは復号化器５６７により暗号の復号化をして得られる識別情報に対応する符号化選択信号が「０」のときには「１」が、「１」のときには「０」が、ＶＬＣテーブル選択器５６２に供給される。
【０３２１】
そのＶＬＣテーブル選択器５６２では、その供給された符号化選択信号に基づき、標準ＶＬＣテーブルまたは特別ＶＬＣテーブルが選択され、その選択された方のテーブルがＶＬＣ復号器５７１に供給される。そのようにして、ＩＣカード内の金額情報が０円になると、それ以降、ＶＬＣ復号器５７１にはエンコード時と異なるＶＬＣテーブルが供給され、高品質の画像が再生されなくなる。
【０３２２】
また、ＩＣカード６０１に記録される情報としては、金額情報のほかに、ユーザを識別するための情報が記録され、ＣＰＵ５６５により、ある特定のユーザに対してのみ、正しい符号化選択信号がＶＬＣテーブル選択器に供給されるようになされる。
【０３２３】
さらに、ＩＣカード６０１に使用者の好む様々な再生条件に関する情報が記録されることにより、ＣＰＵ５６５からはＩＣカード６０１からの再生条件を満たすときにのみ、正しい符号化選択信号がＶＬＣテーブル選択器に供給されるようにしても良い。
【０３２４】
あるいは、ＩＣカード６０１に暗号化した識別情報の復号化に必要な復号化鍵のもとになる情報（シード）や、暗号化アルゴリズムに関する情報を記録しておくことで、そのＩＣカード６０１を利用したときにのみ、識別情報が正しく復号化され、ＣＰＵ５６５から正しい符号化選択信号が供給されるようにしても良い。
【０３２５】
さらにまた、ＩＣカード６０１の他に、モデムを利用してインターネット経由により、又は可変長符号化データ受信装置５５０ａの操作用リモコンボタンを利用するユーザ自身の操作入力により、可変長符号化データ受信装置５５０ａの外部から、金額情報、ユーザ情報、または再生条件情報を取得するようにし、それらの条件の基で正しい符号化選択信号がＶＬＣテーブル選択器５６２に供給されるようにしても良い。
【０３２６】
以上、第９の実施例における可変長符号化データ受信装置５５０ａによれば、所定の条件を満たすときのみ、ＭＰＥＧデコーダ５６１内のＶＬＣ復号器５７１に、エンコード時と同じＶＬＣテーブルを供給するようにし、符号化された画像データのデコードを行うようにするため、受信装置からは品質の高い画像信号が得られることを述べた。
【０３２７】
そして、受信装置に、画像電子透かし情報を検出する機能がない場合、透かし情報を復号化するための機能がない場合、または特別ＶＬＣテーブルを有していない場合には、標準ＶＬＣテーブルが用いられて符号化データの復号化が行われる。従って、そのときの復号化された画像信号にはそれぞれのＶＬＣテーブルの差に基づく歪成分が含まれた画像信号として復号されることとなる。
【０３２８】
また、電子透かし情報を読み出し、適切な方法で復号化し、及び所定のＶＬＣテーブルにより符号データを復号化するための機能を有している場合であっても、課金等の設定された条件を満たさない場合には、エンコード時と異なるＶＬＣテーブルが供給されるなどにより、その復号化された画像信号は、ＶＬＣテーブルの差に基づく歪成分が含まれるようになされる。
【０３２９】
そのようにして、コンテンツの著作権を有する著作権者が、保有するコンテンツを契約関係にある特別の受信装置、特定の条件を満たす受信装置と契約関係にない一般の受信装置、または特定の条件を満たさない受信装置に対してそれぞれ異なる品質の画像信号を供給しようとするときに、特別の受信装置には画像電子透かし検出器、識別情報復号化器、及び特別ＶＬＣテーブルを搭載し、デコードに適したＶＬＣテーブルをデコーダに供給できる制御機器を有することによリ、一般者と特別者に対して異なる品質の画像信号を供給することができるようになされるものである。
【０３３０】
以上、第９の実施例による可変長符号化データ受信装置の構成とその動作について述べた。
＜第１０実施例＞
次に、第１０の実施例による可変長符号化データ送信装置及び可変長符号化データ受信装置について述べる。
【０３３１】
図３８に、第１０の実施例による可変長符号化データ送信装置の構成を示し、同図を参照して説明する。
同図に示す可変長符号化データ送信装置５１０ｂは、前述の図３５に示した第８の実施例による可変長符号化データ送信装置５１０に比し、ＶＬＣテーブル選択器５１７、標準ＶＬＣテーブル５１８、及び特別ＶＬＣテーブル５１９の代りにＶＬＣテーブル生成器５２３が配されている点で異なっている。
【０３３２】
そして、同一の機能を有する構成には同一の符号を付してある。
次に、この様に構成される可変長符号化データ送信装置５１０ｂの動作について述べる。
【０３３３】
まず、入力画像信号は画像データ変換器５１１に供給され、暗号化された識別信号が電子透かし情報として埋め込まれてＭＰＥＧエンコーダ５１６に供給される。そして、ＶＬＣ器５３１に一時記憶されたＶＬＣテーブルを基にした圧縮符号化が行われ、伝送路パケット符号化器５２１で、伝送路特有のパケット化がなされて出力される。
【０３３４】
そして、ＶＬＣテーブル生成器５２３では、ＭＰＥＧエンコーダ５１６のＶＬＣ器５３１に供給されるＶＬＣテーブルが生成される。その生成されたＶＬＣテーブルは、暗号化方法設定器５１４で設定された暗号化方法及び暗号化鍵設定器５１３で設定された暗号化鍵が使用されて、暗号化器５１２で暗号化される。暗号化されたコードテーブルは画像データ変換器５１１に供給される。
【０３３５】
また、ＣＰＵ５１５からは、暗号化情報として暗号化を行ったことを示す情報と、暗号化方法設定器５１３が設定した暗号化方法に関する情報と、暗号化鍵設定器５１４が設定した暗号化鍵に関する情報とが、暗号化情報送信器５２２に供給される。そして、そこから暗号化情報信号として出力される。
【０３３６】
そのとき、例えば暗号化情報として、ＶＬＣテーブルを暗号化しないときを「０」とし、また暗号化したときを「１」とする。そして、暗号化方式を４つ選択できる場合は、ＤＥＳ暗号は「００」と、他の３つの暗号をそれぞれ「０１」、「１０」、「１１」とし、それらの暗号に対する６４ビットの暗号化鍵Key A、Key B、Key C、Key Dを予め設定する。
【０３３７】
そして、Key Aは「００」、Key Bは「０１」、Key Cは「１０」、及びKey Dは「１１」とするとき、ＶＬＣテーブル情報をＤＥＳ暗号で、Key Cを用いて暗号化する場合の暗号化情報は「１ ００ １０」の５ビットのビット列で表現される。
【０３３８】
そのようにして、ＭＰＥＧエンコーダ５１６には、暗号化されたＶＬＣテーブルに係る情報が電子透かし法により埋め込まれた画像信号として供給される。そして、その画像信号は埋め込まれたＶＬＣテーブルが用いられて圧縮符号化が行われる。
【０３３９】
次に、そのようにして生成され、送信される符号化データを受信して復号化する、可変長符号化データ受信装置について述べる。
図３９に第１０の実施例における可変長符号化データ受信装置５５０ｂの構成を示し、図を参照して説明する。
【０３４０】
同図に示す可変長符号化データ受信装置５５０ｂは、前述の図３６に示した第８の実施例による可変長符号化データ受信装置５５０に比し、ＶＬＣテーブル選択器５６２、標準ＶＬＣテーブル５６３、及び特別ＶＬＣテーブル５６４が配置されていない点で異なっている。
【０３４１】
また、ＶＬＣ復号器５７１の代りにＶＬＣ生成復号器５７１ａが配置されている。なお、同一の機能ブロックについては同一の符号を付してある。
次に、可変長符号化データ受信装置５５０ｂの動作について、第８の実施例と異なる動作を主に説明する。
【０３４２】
まず、電子透かし検出器５６６で検出された電子透かし情報は復号化器５６７に供給される。そして、ＣＰＵ５６５からは、暗号化情報受信器５５２で受信した暗号化情報に基づき、検出された電子透かし情報が暗号化されているとして判断した場合は、暗号化方法に関する情報は復号化方法選択器５６８に、暗号化鍵に関する情報は復号化鍵選択器５６９に、それぞれ供給される。
【０３４３】
復号化方法選択器５６８では、暗号化方法に関する情報より所定の復号化方法が選択され、復号化鍵選択器５６９では、暗号化鍵に関する情報より所定の暗号化鍵が選択される。それらの選択された復号化方法と復号化鍵情報はＣＰＵ５６５を介してＶＬＣ生成復号器５７１ａに供給される。
【０３４４】
そして、ＶＬＣ生成復号器５７１ａでは供給された情報を基に、ＶＬＣテーブル生成器５２３で生成されたと同一のＶＬＣテーブルが生成される。そして、ＭＰＥＧデコーダ５６１ではＶＬＣ生成復号器５７１ａで生成されたＶＬＣテーブルが用いられて符号化データの復号化が行われる。
【０３４５】
以上のようにして、第１０の実施例による可変長符号化データ送信装置５１０ｂと可変長符号化データ受信装置５５０ｂとでは、暗号化されたＶＬＣテーブルに係る情報が画像データに電子透かしとして埋め込まれることにより伝送、及び受信がなされる。
【０３４６】
次に、第１０の実施例による可変長符号化データ送信装置５１０ｂにより伝送される信号を受信する、他の可変長符号化データ受信装置について述べる。
＜第１１実施例＞
図４０に、第１１の実施例による可変長符号化データ受信装置の構成を示し、図を参照しその動作について述べる。
【０３４７】
同図に示す可変長符号化データ受信装置５５０ｃは、前述の図３６に示した可変長符号化データ受信装置５５０に比し、ＶＬＣテーブル選択器５６２、及び特別ＶＬＣテーブル５６４が配置されていない。
【０３４８】
そして、ＶＬＣ復号器５７１の代りにＶＬＣ生成復号器５７１ａが配されている。また、ＩＣカードリーダ／ライタ５７２が配置され、そこにはＩＣカード６０１が挿入された構成とされる点で異なっている。そして、前述の図３６と同じ機能を有する部分については同一の符号を付してある。
【０３４９】
次に、その様に構成される可変長符号化データ受信装置５５０ｃについて、前述の第８の実施例と異なる動作を主に述べる。
まず、電子透かし検出器５６６では、埋め込まれた電子透かし情報が検出され、復号化器５６７に供給される。ＣＰＵ５６５では、検出された電子透かし情報が暗号化されているきには、暗号化方法に関する情報は復号化方法選択器５６８に、そして暗号化鍵に関する情報は復号化鍵選択器５６９にそれぞれが供給される。
【０３５０】
そのとき、ＣＰＵ５６５ではＩＣカードリーダ／ライタ５７２を介してＩＣカードの金額情報及び再生条件に関する情報を得、その得られた情報をもとに復号化を行うか否かが定められ、復号を行うときには暗号を復号化して得られるＶＬＣテーブルはＶＬＣ復号器５７１に供給される。
【０３５１】
そのときのＩＣプリペイドカードを含む再生動作は、前記の第９の実施例と同様になされる。そして、ＣＰＵ５６５には標準ＶＬＣテーブル５６３が接続されているため、通常の再生時には標準ＶＬＣテーブル５６３に記憶されるテーブルがＶＬＣ生成復号器５７１ａに供給され、圧縮符号化のなされた画像データの復号が行われる。
【０３５２】
そして、特別ＶＬＣテーブルを用いて行う復号が許可されるときには、ＶＬＣ生成復号器５７１ａでは、入力されるＶＬＣテーブル情報が基にされて特別ＶＬＣテーブルが作成され、それにより品質劣化のない画像の復号化がなされる。
【０３５３】
以上、第１１の実施例における可変長符号化データ送信装置及び可変長符号化データ受信装置の構成と動作について述べた。
次に、可変長符号化データ記録装置で生成する信号を記録媒体に記録し、それを再生する可変長符号化データ再生装置の構成と動作について述べる。
【０３５４】
＜第１２実施例＞
図４１に、第１２の実施例による可変長符号化データ記録装置の構成を示し、図面を参照して説明する。
【０３５５】
同図に示す可変長符号化データ記録装置５１０ｄは、前述の図３５に示した第８の実施例による可変長符号化データ送信装置に比し、伝送路パケット符号化器５２１及び暗号化情報送信器５２２の代りに変調器５８１、及び記録器５８２が配置されて構成される点で異なっている。また、可変長符号化データ記録装置５１０ｄには記録媒体６１０が挿入されている。
【０３５６】
そして、同一の機能部分については同一の符号を付してある。
次に、その様に構成される可変長符号化データ記録装置（以下、単に記録装置と記すこともある。）の動作について、前述の第８の実施例と異なる部分を主に述べる。
【０３５７】
まず、入力画像信号は画像データ変換器５１１に入力され、暗号化された識別信号が電子透かし情報として埋め込まれる。次に、電子透かし情報が埋め込まれた画像信号はＭＰＥＧエンコーダ５１６に供給され、ＶＬＣ器５３１に一時記憶されたＶＬＣテーブルをもとにした圧縮符号化が行われる。符号化された画像データ及びＣＰＵ５１５から出力される暗号化情報は変調器５８１に入力される。
【０３５８】
そこでは、画像データ及び暗号化情報を記録媒体６１０に記録するためのディジタル変調が行われる。また、必要に応じて誤り信号訂正用のエラー訂正用信号が付加される。そして、ディジタル変調された信号は記録器５８２に供給され、そこでは例えばレーザ光線の光強度変調することにより記録媒体６１０に記録するための信号が発生され、その信号は例えばＤＶＤなどの記録媒体６１０に照射され、記録される。
【０３５９】
そのようにして、記録媒体６１０には、ＶＬＣテーブル選択器５１７で標準ＶＬＣテーブル５１８または特別ＶＬＣテーブル５１９のいずれが選択されるかを識別するための識別信号が暗号化された暗号化方法と、暗号化鍵に関する暗号化情報と、圧縮符号化された画像データとが記録される。
【０３６０】
なお、このときの暗号化情報は、変調した画像信号の符号化データと併せて、時分割多重して記録しても良く、また記録媒体上の異なる領域にそれらの信号を記録しても良く、更にはそれぞれを異なる複数の記録媒体に記録するようにしても良い。
【０３６１】
次に、そのようにして記録された記録媒体の再生及び復号化を行う可変長符号化データ再生装置について述べる。
図４２に、第１２の実施例による可変長符号化データ再生装置の構成を示し、図面を参照して説明する。
【０３６２】
同図に示す可変長符号化データ再生装置５５０ｄは、前述の図３６に示した第８の実施例による可変長符号化データ受信装置に比し、伝送路パケット復号化器５５１及び暗号化情報受信器５５２の代りに再生器５９１及び復調器５９２が配置された構成とされる点で異なっている。また、可変長符号化データ再生装置５５０ｄには記録媒体６１０が挿入されている。
【０３６３】
そして、同一の機能部分については同一の符号を付してある。
次に、その様に構成される可変長符号化データ再生装置（以下、単に再生装置と記すこともある）の動作について、第８の実施例と異なる部分を主に述べる。
【０３６４】
まず、記録装置５１０ｄにより記録された記録媒体６１０は再生装置５６０ｄの図示しない装填部に装填される。その記録媒体６１０は再生器５９１により、例えばレーザ光が照射されて上記の記録された信号が読み出される。
【０３６５】
その読み出して得られる信号は復調器５９２に供給され、そこでは上述の変調器５８１と相補的に信号処理がなされ、圧縮符号化された画像データ及び暗号化情報が復調されて得られる。
【０３６６】
次に、暗号化情報はＣＰＵ５６５に供給されると共に、圧縮符号化された画像データはＭＰＥＧデコーダ５６１に供給される。
以下、前述の図３７に示した第９実施例による可変長符号化データ受信装置と同様な動作がなされる。
【０３６７】
以上、第１２の実施例による記録装置及び再生装置の構成と、それらの動作について述べた。次に再生装置の他の実施例について述べる。
＜第１３実施例＞
図４３に、第１２の実施例による記録装置と組み合わせて用いられる第１３の実施例による再生装置の構成を示す。
【０３６８】
同図に示す可変長符号化データ受信装置５５０ｅは、前記の図４２に示した第１０の実施例による受信装置５５０ｂに比して、ＩＣカードリーダ／ライタ５７２及びそれに挿入されるＩＣカード６０１が配置されている点で異なっている。また、同一の機能ブロックには同一の符号を付してある。
【０３６９】
次に、その様に構成される再生装置５５０ｅの動作について、再生装置５５０ｄの動作と異なる部分を主に述べる。
即ち、再生装置５５０ｅは、前述の図４０に示した第１１の実施例で述べたＩＣカードリーダ／ライタ５７２及びそれに挿入されるＩＣカード６０１により実現される機能が付加されている。
【０３７０】
従って、ＩＣカード６０１に所定の課金可能な金額が蓄積されており、且つ所定の再生条件が満たされるときに、ＭＰＥＧデコーダ５６１内のＶＬＣ復号器５７１に、記録装置５１０ｄのＭＰＥＧエンコーダ５１６によるエンコード時と同一のＶＬＣテーブルが供給される。それを用いて、入力される符号化された画像データの復号化が行われるため、そのときには品質の高い画像信号が得られるようになされる。
【０３７１】
そして、画像データなどのコンテンツの著作権を有する著作権者が、保有するコンテンツを契約関係にある特別の再生装置または特定の条件を満たす再生装置と、契約関係にない一般の再生装置、及び課金情報が不足するなど特定の条件を満たさない再生装置とに対して、異なる品質の画像信号を供給可能とするものである。
【０３７２】
また、特別の再生装置には画像電子透かし検出器、識別情報復号化器、及び特別ＶＬＣテーブルを搭載し、デコードに適したＶＬＣテーブルをデコーダに供給できる制御機器を保有させるようにすることによリ、一般者と特別者に対して同一の記録媒体でありながら異なる品質の画像信号が再生される記録媒体を供給することができる。
【０３７３】
以上、第１３の実施例による可変長符号化データ受信装置５５０ｅの構成と動作について述べた。
次に、ＶＬＣテーブル情報を用いてＭＰＥＧエンコーダ及びＭＰＥＧデコーダのＶＬＣテーブルを切り替える記録装置及び再生装置について述べる。
【０３７４】
＜第１４実施例＞
図４４に、第１４の実施例による可変長符号化データ記録装置の構成を示し、図と共に説明する。
同図に示す可変長符号化データ記録装置５１０ｆは、前述の図３８に示した第１０の実施例による送信装置５１０ｂに比し、伝送路パケット符号化器５２１及び暗号化情報送信器５２２の代りに変調器５８１及び記録器５８２が配置されて構成される点で異なっている。また、可変長符号化データ記録装置５１０ｆには記録媒体６１０が挿入されている。
【０３７５】
そして、同一の機能部分については同一の符号を付してある。
次に、その様に構成される可変長符号化データ記録装置５１０ｆの動作について、第１０の実施例と異なる部分を主に述べる。
【０３７６】
まず、入力画像信号は画像データ変換器５１１に入力され、暗号化された識別信号が電子透かし情報として埋め込まれる。そして、電子透かし情報が埋め込まれた画像信号は、ＭＰＥＧエンコーダ５１６に供給され、ＶＬＣ器５３１に一時記憶されたＶＬＣテーブルをもとに圧縮符号化が行われる。また、符号化された画像データ及びＣＰＵ５１５から出力される暗号化情報は変調器５８１に入力される。
【０３７７】
そして、変調器５８１に入力された画像データ及び暗号化情報は、前述の図４１に示す第１２の実施例と同様にして記録媒体６１０に記録されるなど、前述と同様な動作が行われる。
【０３７８】
次に、そのようにして記録された記録媒体の再生及び復号化を行う可変長符号化データ再生装置について述べる。
図４５に、第１４の実施例による可変長符号化データ再生装置の構成を示し、図面を参照して説明する。
【０３７９】
同図に示す可変長符号化データ再生装置５５０ｆは、前述の図３９に示した第１０の実施例による可変長符号化データ受信装置５５０ｂに比し、伝送路パケット復号化器５５１及び暗号化情報受信器５５２の代りに再生器５９１及び復調器５９２が配置された構成とされる点で異なっている。また、可変長符号化データ再生装置５５０ｆには記録媒体６１０が挿入されている。
【０３８０】
そして、同一の機能部分については同一の符号を付してある。
次に、その様に構成される可変長符号化データ再生装置の動作について、第１０の実施例と異なる部分を主に述べる。
【０３８１】
まず、記録装置５１０ｆにより記録された記録媒体６１０は再生装置５５０ｆの図示しない装填部に装填される。その記録媒体６１０は再生器５９１及び復調器５９２により再生され、圧縮符号化された画像データ及び暗号化情報が得られる。
【０３８２】
次に、暗号化情報はＣＰＵ５６５に供給されると共に、圧縮符号化された画像データはＭＰＥＧデコーダ５６１に供給される。
以下、前述の図３９に示した第１０実施例による可変長符号化データ受信装置５５０ｂと同様な動作がなされる。
【０３８３】
以上、第１４の実施例による記録装置及び再生装置の構成と、それらの動作について述べた。次に再生装置の他の実施例について述べる。
＜第１５実施例＞
図４６に、第１４の実施例による記録装置と組み合わせて用いられる第１５の実施例による再生装置の構成を示す。
【０３８４】
同図に示す可変長符号化データ再生装置５５０ｇは、前記の図４５に示した第１４の実施例による受信装置５５０ｆに比し、ＩＣカードリーダ／ライタ５７２及びそれに挿入されるＩＣカード６０１が配置され、またＶＬＣ復号器５７１に代えてＶＬＣ再生復号化器５７１ａを配置している点で異なっている。また、同一の機能ブロックには同一の符号を付してある。
【０３８５】
次に、この様に構成される再生装置５５０ｇの動作について、再生装置５５０ｆの動作と異なる部分を主に述べる。
即ち、再生装置５５０ｇには、前述の図４３に示した第１３の実施例で述べたＩＣカードリーダ／ライタ５７２及びそれに挿入されるＩＣカード６０１により実現される機能が付加されている。
【０３８６】
従って、ＩＣカード６０１に所定の課金可能な金額が記録されており、且つ所定の再生条件が満たされるときには、ＣＰＵ５６５からＶＬＣテーブル情報がＶＬＣ再生復号器５７１ａに供給される。
【０３８７】
そして、特別ＶＬＣテーブルを用いて行う復号が許可されるときには、ＶＬＣ生成復号器５７１ａで、特別ＶＬＣテーブルが作成され、ＭＰＥＧデコーダ５６１では品質劣化のない画像の復号化が行われる
【０３８８】
以上、第１５の実施例における受信装置の構成とその動作について述べた。
そのようにして、コンテンツの著作権を有する著作権者により契約関係にある再生装置と契約関係にない再生装置に対し、異なる品質の画像信号を供給することができる。
【０３８９】
そして、著作権者は同一の記録媒体に記録したコンテンツを供給するだけで、そのコンテンツの再生は一般者と特別者に対して異なる品質の画像信号として再生させることのできる記録媒体として供給することが可能となる。
【０３９０】
以上、第１〜第１５の実施例により、ＭＰＥＧにより行われる、画像信号及び音響信号を直交変換して係数値信号を得、その得られた係数値信号をランレングス符号化して行う符号化方式において、コンテンツの情報を高品質に再生する復号装置と、歪を伴って再生される半開示のコンテンツを再生する復号装置の構成と動作について述べた。
【０３９１】
そして、そのような品質の異なるコンテンツ再生するためには、上記の直交変換して得られる係数値信号に対するランレングス符号化を行う同様の符号化方式に対して応用が可能である。
【０３９２】
即ち、コンテンツ信号を情報のエネルギーが所定の情報に集中するように変換し、変換して得られる数値情報のエネルギーが集中していない個所の情報をランレングス符号化するようにして圧縮符号化を行う方式である限り、「０」以外の数に係るラン長を符号化する方法によっても構わない。
【０３９３】
さらに、可変長符号のコードテーブルのうち、同じ符号カテゴリーのコード同士を入れ替える規則として、画像の場合にはＡＣ成分のラン長やレベル、音声においてはスケールファクタやスペクトルを含む情報として説明したが、画像や音声の品質を変化させるパラメータやシンタックスであれば、コード情報の入れ替えにより生成するランレングステーブルが符号化時に扱う情報の種類は何であっても構わない。
【０３９４】
即ち、画像の場合にはＡＣ成分のラン長やレベル、音声においてはスケールファクタやスペクトルを含む情報を固定長符号化する場合であっても、コンテンツの著作権を有する著作権者が、保有するコンテンツを契約関係にある特別の再生装置または特定の条件を満たす再生装置と、契約関係にない一般の再生装置または特定の条件を満たさない再生装置に対して、異なる品質の画像信号を供給することができる。
【０３９５】
さらに、コードテーブルを２つないしは複数を有し、それらのうちの１つを選択して可変長符号化を行う方法について述べた。そして、コードテーブルを選択して用いる外に、１つのコードテーブルのみを有し、そのテーブルの記述内容の一部を入れ替えるようにして上記の動作を行わせることができる。
【０３９６】
そして、そのコードテーブルの入れ替えを識別するための符号化選択信号は、その入れ替えルールを特定するための、例えばアルゴリズムナンバーのような番号情報を伝送するだけでも実施が可能である。従って、テーブルの切り替えにより実現する方法は、上記動作を実現するために複数ある実現手段のひとつである。
【０３９７】
さらに、前述のランレングス符号化は、例えばハフマン符号のように、数値情報の発生確立に応じ、発生確立の少ない事象を冗長度を削減した方法により記述するに際し、数値情報の個数を正確に計数し、その個数情報の後に記述される数値としては正しい値と近似した値とを選択出来るようにして符号化を行う限り、どのような符号化の方法であっても構わない。
【０３９８】
さらにまた、本実施例では可変長符号化に応用する例を中心に説明したが、可変長符号化の代りに固定長符号化を用いる符号化に対しても同様に応用できる。即ち、固定長符号化の場合には符号化効率の改善は少ないものの、異なる複数の品質のコンテンツを提供するための手法として前述の手法を応用することができる。
【０３９９】
そして、そのときには、著作権者により特別であるとして指定される再生装置には、画像電子透かし検出器、識別情報復号化器、及び特別なルールによって上記固定長符号化されたパラメータやシンタックスを変換させるアルゴリズムを持つ機能を搭載させることになる。
【０４００】
そして、特別に符号化された信号をデコードするためのパラメータやシンタックスに係る情報をその特別デコーダに供給する制御機能を保有させることによリ、一般者と特別者に対して同一の符号化データでありながら異なる品質の画像信号、及びオーディオ信号が再生される、画像、オーディオ信号のサービスを行うことが可能となる。
【０４０１】
以上のようにして、固定長符号化に応用する場合、及び可変長符号化に応用する場合の両者に対してコンテンツの開示、及びコンテンツの半開示を行う。即ち、例えばＭＰＥＧ標準規格に準拠する画像信号、オーディオ信号の復号器においても、ＶＬＣエラーなどによる不条理な誤りが生じて復号が破綻されることがなく、一般の再生器では画像信号及びオーディオ信号に半開示的な表示、発音効果を有する暗号化伝送を可能とする。
【０４０２】
そして、少なくとも画像又は音声を含むコンテンツの著作権を有する著作権者が保有するコンテンツを、契約関係にある特別の再生装置または特定の条件を満たす再生装置と、契約関係にない一般の再生装置または特定の条件を満たしていない再生装置に対して、異なる品質のコンテンツを供給できる。
【０４０３】
さらに、特別の再生装置には画像電子透かし検出器、識別情報復号化器、及び特別ＶＬＣテーブルを搭載し、デコードに適したＶＬＣテーブルをデコーダに供給できる制御機器を保有させるようにすることによリ、一般者と特別者に対して同一の符号化データでありながら異なる品質のコンテンツを再生するコンテンツ提供サービスを実現することができる。
【０４０４】
即ち、それらの装置、方法、及びコンピュータ制御用プログラムを用いて、半開示状態でコンテンツを配信、伝送すると共に、ユーザーに購入意欲を向上させる宣伝効果を促し、購入した場合には、特別なＶＬＣテーブルの識別可能な再生手法を提供し、そこでは高品質なコンテンツを再生することの出来るビジネスモデルを実現できる。
【０４０５】
そして、そのようなコンテンツの半開示再生が可能である記録媒体は、ＤＶＤの記録媒体を主に述べた。そして、その記録媒体はコンテンツ情報を記録可能な媒体である限りＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、そしてＤＶＤ−Ｒに限ることなく、更には光磁気ディスク、磁気ディスク、及び磁気テープなどのディジタル記録媒体に応用が可能である。
【０４０６】
また、コンテンツ信号の符号化方式は、コンテンツ信号を直交変換して得られる変換データを量子化して係数値データを得、その得られた係数値データを所定の順に配列して時系列データを得る場合について述べた。そして、その符号化方式は例えばＭＰＥＧ方式のようにコンテンツを直交変換して係数値データを得る他、フラクタル符号化方式のように直交変換以外の技術を含む変換方式の場合であっても実施例で述べたのと同様の機能を実現することができる。
【０４０７】
即ち、コンテンツ信号の符号化が、例えばウエーブレット変換のように１枚の画像を小ブロックに分割せずに符号化を行う場合では、ブロック分割してＤＣＴ変換を行う直交変換を用いる方法に比し、ブロック分割部分がブロック歪として生じないという利点がある。
【０４０８】
そして、そのウエーブレット変換は、画像信号を周波数的に分割し、分割されたそれぞれの周波数帯域部分を異なったサンプリング周波数により標本化して符号化するサブバンド符号化と、上記の直交変換とを組み合わせた符号化方式である。
【０４０９】
他の符号化方式として、画像を小さなブロックに分割し、それぞれの分割されたブロックを１本づつのベクトル値により符号化するベクトル量子化の方法もある。
【０４１０】
そして、画像データが上記のいずれの方法により変換されて時系列データが得られ、その時系列データは可変長符号化を行うことにより情報量を圧縮した圧縮符号化信号として生成できる場合では、どのような方法により画像データが時系列データに変換されても構わない。
【０４１１】
即ち、画像信号、及び音響信号などのコンテンツコンテンツ信号が有する情報を、所定の方法により変換し、変換されたコンテンツのエネルギー（エントロピー）が所定の領域に集中されるときには、エネルギーが集中して表現される時系列データを、そのデータの数値の個数と、その次に続く数値のレベルにより記述する可変長符号化が可能である。
【０４１２】
そして、いずれの符号化方式による場合であっても、前述の複数の可変長符号化テーブルを用いてコンテンツをアナログ民生機器で記録再生して得られるような、半開示のコンテンツ信号として表現する、又は高い忠実度で表現するようなコンテンツの符号化、及び復号化の手法を実現することができるものである。
【０４１３】
【発明の効果】
圧縮符号化時に用いた符号化テーブルが可変長符号化テーブルであるか又は交換可変長符号化テーブルであるかを指定する符号化選択信号を検出し、その符号化選択信号によって指定される符号化テーブルを用いて圧縮符号化信号の復号化を行うようにした本発明の可変長符号化データ復号化方法及び可変長符号化データ復号化装置によれば、セキュリティレベルを確保した圧縮符号化信号に対して高品質なコンテンツ信号の復号化を確実に行うことができる。
【０４１４】
圧縮符号化時に用いる符号化テーブルが可変長符号化テーブルであるか又は交換可変長符号化テーブルであるかを指定する符号化選択信号を検出し、その符号化選択信号が交換可変長符号化テーブルを指定する場合に、復号化に使用する符号化テーブルを可変長符号化テーブル又は交換可変長符号化テーブルのうちから選択するようにした本発明の可変長符号化データ復号化方法及び可変長符号化データ復号化装置は以下の効果を有する。
１） 符号化選択信号により指定された交換可変長符号化テーブルを用いて可変長復号化を行う場合は高品質なコンテンツの再生を行う効果を有する。
２） 符号化選択信号により指定された交換可変長符号化テーブルを用いずに可変長符号化テーブルを用いて可変長復号化を行う場合は、強制的に再生品質を低下させたコンテンツの再生を行わせる効果を有する（歪成分を含むコンテンツの再生を行わせる効果を有する）。
従って、この可変長符号化データ復号化方法及び可変長符号化データ復号化装置によれば、セキュリティレベルを確保したコンテンツの復号化が確実に行える。
【０４１５】
さらに、本発明の各可変長符号化データ復号化方法及び各可変長符号化データ復号化装置では、所望の符号化対象のコンテンツに対して所定のセキュリティレベルを確保したコンテンツの復号化を行わせるための上記の交換可変長符号化テーブルを用いる可変長符号化が、符号化効率の劣化を防いでなされると共に、復号化時の不条理な動作による誤り信号の発生を防いでなされる一方、可変長符号化テーブルは標準的に用いられる符号化テーブルであるため、市場での整合性が良い各可変長符号化データ復号化方法及び各可変長符号化データ復号化装置の構成を提供できる効果を併せて有している。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図２】本発明の第１の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図３】本発明の第２の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図４】本発明の第２の実施例に係る、シーケンスヘッダのシンタックスを示したものである。
【図５】本発明の第２の実施例に係る、ＧＯＰレイヤのシンタックスを示したものである。
【図６】本発明の第２の実施例に係る、ピクチャレイヤのシンタックスを示したものである。
【図７】本発明の第２の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図８】本発明の第３の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図９】本発明の第３の実施例に係る、マクロブロック量子化値への電子透かしについて示した図である。
【図１０】本発明の第３の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図１１】本発明の第４の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図１２】本発明の第４の実施例に係る、マクロブロック動ベクトル値への電子透かしについて示した図である。
【図１３】本発明の第４の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図１４】ＭＰＥＧ符号化方式で用いられている可変長符号化テーブルを示したものである。
【図１５】本発明の第４の実施例に係る、符号化に用いる可変長符号化テーブルの前半部を示したものである。
【図１６】本発明の第４の実施例に係る、符号化に用いる可変長符号化テーブルの後半部を示したものである。
【図１７】本発明の第４の実施例に係る、従来と、本発明の符号化器及び復号化器の組合わせによる画質の関係を示した図である。
【図１８】本発明の第４の実施例に係る、画像符号化の動作をフローチャートにより示したものである。
【図１９】本発明の第４の実施例に係る、画像復号化の動作をフローチャートにより示したものである。
【図２０】本発明の第５の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図２１】本発明の第５の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図２２】本発明の第５の実施例に係る、画像符号化の動作をフローチャートにより示したものである。
【図２３】本発明の第５の実施例に係る、画像復号化の動作をフローチャートにより示したものである。
【図２４】本発明の第６の実施例に係る、オーディオ信号符号化装置の構成を示すブロック図である。
【図２５】本発明の第６の実施例に係る、スケールファクタバンドとスケールファクタの関係を示す図である。
【図２６】ＭＰＥＧ ＡＡＣ符号化方式で用いられるハフマンコードブックの一部を示したものである。
【図２７】本発明の第６の実施例に係る、ハフマンコードブックのインデックスの入れ替え方法を示す図である。
【図２８】本発明の第６の実施例に係る、スケールファクタの可変長符号化、復号化の例を示す図である。
【図２９】本発明の第６の実施例に係る、オーディオ信号復号化装置の構成を示すブロック図である。
【図３０】本発明の第７の実施例に係る、オーディオ信号符号化装置の構成を示すブロック図である。
【図３１】ＭＰＥＧ ＡＡＣ符号化方式で用いられるスペクトル用ハフマンコードブックの一部を示したものである。
【図３２】本発明の第７の実施例に係る、スペクトル用ハフマンコードブックのコードワードの入れ替えを示した図である。
【図３３】本発明の第７の実施例に係る、コードワードの入れ替えを説明するための図である。
【図３４】本発明の第７の実施例に係る、オーディオ信号復号化装置の構成を示すブロック図である。
【図３５】本発明の第８の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図３６】本発明の第８の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図３７】本発明の第９の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図３８】本発明の第１０の実施例に係る、画像信号符号化装置の構成を示すブロック図である。
【図３９】本発明の第１０の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図４０】本発明の第１１の実施例に係る、画像信号復号化装置の構成を示すブロック図である。
【図４１】本発明の第１２の実施例に係る、画像信号記録装置の構成を示すブロック図である。
【図４２】本発明の第１２の実施例に係る、画像信号再生装置の構成を示すブロック図である。
【図４３】本発明の第１３の実施例に係る、画像信号再生装置の構成を示すブロック図である。
【図４４】本発明の第１４の実施例に係る、画像信号記録装置の構成を示すブロック図である。
【図４５】本発明の第１４の実施例に係る、画像信号再生装置の構成を示すブロック図である。
【図４６】本発明の第１５の実施例に係る、画像信号再生装置の構成を示すブロック図である。
【図４７】従来のＭＰＥＧ符号化器の構成を示したブロック図である。
【図４８】従来のＭＰＥＧ復号化器の構成を示したブロック図である。
【図４９】従来のＭＰＥＧ ＡＡＣ方式符号化器の構成を示したブロック図である。
【図５０】従来のＭＰＥＧ ＡＡＣ方式で用いられるハフマンコードブックの表を示したものである。
【図５１】従来のＭＰＥＧ ＡＡＣ方式復号化器の構成を示したブロック図である。
【符号の説明】
１０、１０ａ、１０ｂ、１０ｃ 画像信号符号化装置
１０ｄ 画像信号符号化送信装置
１１ 画像データ変換器
１２、１２ａ、１２ｂ、１２ｃ ＭＰＥＧエンコーダ
１３ ＶＬＣテーブル選択器
１４ 標準ＶＬＣテーブル
１５ 特別ＶＬＣテーブル
１６、１６ａ、１６ｂ、１６ｃ ＣＰＵ
１７ 伝送路パケット符号化器
１８ 伝送路インタフェース
２０、２０ａ、２０ｂ、２０ｃ 画像信号復号化装置
２０ｄ 画像信号復号化受信装置
２２、２２ａ、２２ｂ、２２ｃ ＭＰＥＧデコーダ
２３ ＶＬＣテーブル選択器
２４ 標準ＶＬＣテーブル
２５ 特別ＶＬＣテーブル
２６ 画像電子透かし検出器
２７ 伝送路パケット復号化器
２８ 伝送路インタフェース
５０ ＭＰＥＧ符号化器
５１ 入力端子
５２ 加算器
５３ ＤＣＴ器
５４ 量子化器
５５ ＶＬＣ器
５６ バッファ
５７ 変換符号量制御器
６１ 逆量子化器
６２ 逆ＤＣＴ器
６３ 加算器
６４ 画像メモリ
６５ 動き補償予測器
７０ ＭＰＥＧ復号化器
７１ 符号化データ入力端子
７２ バッファ
７３ ＶＬＤ器
７４ 逆量子化器
７５ 逆ＤＣＴ器
７６ 加算器
７７ 画像メモリ
７８ 動き補償予測器
１２１ ＶＬＣ器
１２２ ユーザデータ記述器
１２３ 量子化値電子透かし情報記述器
１２４ 動ベクトル電子透かし情報記述器
２２１ ＶＬＣ復号器
２２２ ユーザデータ復号器
２２３ 量子化値電子透かし情報検出器
２２４ 動ベクトル電子透かし情報検出器
４００ オーディオ信号符号化装置
４０１ 聴覚心理分析器
４０２ ＭＤＣＴ器
４０３ スケールファクタ算出器
４０４ 量子化器
４０５ コードブック選択器
４０６ 可変長符号化器
４０７ 最小符号量検出器
４０８ 符号量判定器
４０９ ビットストリーム生成器
４２０ オーディオ信号復号化装置
４２１ ビットストリーム解析器
４２２ 可変長復号化器
４２３ 逆量子化器
４２４ ＩＭＤＣＴ器
４３０ オーディオ信号符号化装置
４３１ ＭＰＥＧ−２ ＡＡＣエンコーダ
４３２ ハフマンコードブック選択器
４３３ 標準ハフマンコードブック
４３４ 特別ハフマンコードブック
４３５ ＣＰＵ
４３６ 可変長符号化器
４４０ オーディオ信号復号化装置
４４１ ＭＰＥＧ−２ ＡＡＣデコーダ
４４２ ハフマンコードブック選択器
４４３ スケールファクタ用標準ハフマンコードブック
４４４ スケールファクタ用特別ハフマンコードブック
４４５ ＣＰＵ
４４６ 可変長復号化器
４５０、４６０ オーディオ信号復号化装置
４５１、４６１ ＭＰＥＧ−２ ＡＡＣデコーダ
４５２、４６２ ハフマンコードブック選択器
４５３、４６３ スペクトル用標準ハフマンコードブック
４５４、４６４ スペクトル用特別ハフマンコードブック
４５５、４６５ ＣＰＵ
４５６ 可変長復号化器
５１０、５１０ｂ 可変長符号化データ送信装置
５１０ｄ、５１０ｆ 可変長符号化データ記録装置
５１１ 画像データ変換器
５１２ 暗号化器
５１３ 暗号化方法設定器
５１４ 暗号化鍵設定器
５１５ ＣＰＵ
５１６ ＭＰＥＧエンコーダ
５１７ ＶＬＣテーブル選択器
５１８ 標準ＶＬＣテーブル
５１９ 特別ＶＬＣテーブル
５２１ 伝送路パケット符号化器
５２２ 暗号化情報送信器
５２３ ＶＬＣテーブル生成器
５３１ ＶＬＣ器
５５０、５５０ａ、５５０ｂ、５５０ｃ 可変長符号化データ受信装置
５５０ｄ、５５０ｅ、５５０ｆ、５５０ｇ 可変長符号化データ再生装置
５５１ 伝送路パケット復号化器
５５２ 暗号化情報受信器
５６１ ＭＰＥＧデコーダ
５６２ ＶＬＣテーブル選択器
５６３ 標準ＶＬＣテーブル
５６４ 特別ＶＬＣテーブル
５６５ ＣＰＵ
５６６ 電子透かし検出器
５６７ 復号化器
５６８ 復号化方法選択器
５６９ 復号化鍵選択器
５７１ ＶＬＣ復号器
５７１ａ ＶＬＣ生成復号器
５７２ ＩＣカードリーダ／ライタ
５８１ 変調器
５８２ 記録器
５９１ 再生器
５９２ 復調器
６０１ ＩＣカード
６１０ 記録媒体

Claims (4)

1. 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化方法であり、
   前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化方法であって、
   前記符号化選択信号を検出する第１のステップと、
   検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号を可変長復号化して前記時系列データを得る第２のステップと、
   その第２のステップで得られた時系列データを復号化して前記コンテンツ信号を得る第３のステップと、
   を有することを特徴とする可変長符号化データ復号化方法。
2. 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化方法であり、
   前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化方法であって、
   前記符号化選択信号を検出する第１のステップと、
   検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うか、又は検出された前記符号化選択信号により前記交換可変長符号化テーブルの使用が指定された場合にそのテーブルの使用を無視し、前記可変長符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うかを選択する第２のステップと、
   第２のステップでの選択結果に応じた符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行い時系列データを得る第３のステップと、
   その第３のステップで得られた時系列データを復号化してコンテンツ信号を得る第４のステップと、
   を有することを特徴とする可変長符号化データ復号化方法。
3. 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化装置であり、
   前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化装置であって、
   前記符号化選択信号を検出する符号化選択信号検出手段と、
   検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号を可変長復号化して前記時系列データを得る可変長復号化手段と、
   その可変長復号化手段により得られた時系列データを復号化して前記コンテンツ信号を得るコンテンツ信号復号化手段と、
   を具備して構成することを特徴とする可変長符号化データ復号化装置。
4. 画像信号及び音響信号のうち、少なくとも一方の信号を含んで構成されるコンテンツ信号に対して、所定の方法によるデータ変換、量子化、及び配列を行って得られる時系列データを可変長符号化して生成される圧縮符号化信号を、可変長復号化して前記時系列データを得、その得られた時系列データを復号化して前記コンテンツ信号を得る可変長符号化データ復号化装置であり、
   前記圧縮符号化信号は、前記時系列データの複数個数のデータ値に対して所定のコードワードを割り付けるようにして記述する可変長符号化テーブルと、その可変長符号化テーブルに記述されるコードワードのうち、前記時系列データの個数が同一であり、且つお互いに異なるコードワード同士を交換して記述する交換可変長符号化テーブルとの２つの符号化テーブルのうちの、どちらの符号化テーブルを用いて前記可変長符号化を行うかを指定する符号化選択信号により指定される方の符号化テーブルを用いて、前記時系列データの可変長符号化を行って生成される圧縮符号化信号であり、その圧縮符号化信号及び前記符号化選択信号を用いて前記復号化を行う可変長符号化データ復号化装置であって、
   前記符号化選択信号を検出する符号化選択信号検出手段と、
   検出された前記符号化選択信号を基に前記指定された方の符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うか、又は検出された前記符号化選択信号により前記交換可変長符号化テーブルの使用が指定された場合にそのテーブルの使用を無視し、前記可変長符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行うかを選択する可変長符号化テーブル選択手段と、
   可変長符号化テーブル選択手段での選択結果に応じた符号化テーブルを用いて前記圧縮符号化信号の可変長復号化を行い時系列データを得る可変長復号化手段と、
   その可変長復号化手段により得られた時系列データを復号化してコンテンツ信号を得るコンテンツ信号復号化手段と、
   を具備して構成することを特徴とする可変長符号化データ復号化装置。

Images