JP4018305B2 - 画像処理方法及びその装置と記憶媒体 - Google Patents
画像処理方法及びその装置と記憶媒体 Download PDFInfo
- Publication number
- JP4018305B2 JP4018305B2 JP2000000517A JP2000000517A JP4018305B2 JP 4018305 B2 JP4018305 B2 JP 4018305B2 JP 2000000517 A JP2000000517 A JP 2000000517A JP 2000000517 A JP2000000517 A JP 2000000517A JP 4018305 B2 JP4018305 B2 JP 4018305B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- decoding
- authentication data
- data input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の著作権等の知的財産の保護を行うために符号化された画像の復号化を行う画像処理方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がし易いため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式はフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
更に、コンピュータ・放送・通信など多くの分野で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ−４の国際標準化作業が進められている。
【０００４】
このようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心してコンテンツを提供することができない、という問題が生じている。
【０００５】
このためＭＰＥＧ−４ではＩＰＭＰ(Intellectual Property Management and Protect)の技術が導入され、著作権を保護するために画像の再生を中断したり再開したりする機能が検討されている。この方式は著作権を保護する必要のあるフレームは再生しないことにより著作権保護を実現している。
【０００６】
一方で、画像にスクランブルを施すことで、視聴者に対しある程度の概略を認識できる程度までの情報を提供する方式及びサービスが開始されている。具体的には、画像信号の内の任意の走査線や画素を置換することにより実現している。また出力される再生画像を再生装置で変換する方法もある。
【０００７】
【発明が解決しようとする課題】
よって、以下のような問題が発生する。
【０００８】
従来のＩＰＭＰ技術では、著作権を保護したい画像に対して、復号を停止したり、画像の再生を止めてしまうため、視聴者に対して全く情報を提供できない。このことは、その画像を視聴する権利を持たない視聴者（非契約者）に対して、全くコンテンツ（例えば画像）の情報が提供できないことを意味する。本来、コンテンツ提供者側は、より多くの視聴者にコンテンツを広めて、より多くの契約者を得たいというビジネス上の目的があり、その目的のためには、視聴する権利を持たない視聴者に対しても、そのコンテンツの情報をある程度は分かるように提供したいという要望がある。
【０００９】
また前述の一連の画像符号化方式において、従来のスクランブルをこのビットストリーム全体にかけた場合、スクランブルを解除できない復号器を持つ視聴者、或は視聴する権利を持たない視聴者は正常な復号ができないため全く映像を認識することができないことになる。
【００１０】
更に、一連の画像符号化方式は、画像の空間及び時間方向の相関を利用して高い符号化効率を実現しているが、符号化時の入力画像信号に従来のスクランブルを施すと、画像の空間及び時間方向の相関が無くなり符号化効率を著しく低下させてしまう。
【００１１】
更に、ビットストリームの一部に対してスクランブルをかけたとしても、フレーム間予測符号化を用いた動画像符号化方式の再生画像では、あるフレームの歪みは次のフレームへ伝搬し次第に蓄積することになる。このため、歪みは定常的に発生しないことになり、復号側で再生画像を観た場合、スクランブルのための歪みか、或は別の誤動作による歪みかの判別がしにくくなる。
【００１２】
また、近年画像符号化・復号装置の処理は複雑化しており、ソフトウエアによる符号化・復号を想定する場合もでてきた。このような場合、画像符号化・復号処理以外でスクランブル処理の負荷が大きいと、装置全体としての性能が低下するという問題がある。
【００１４】
本発明は上記従来例に鑑みてなされたもので、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる符号化された画像信号を再生できる画像処理方法及びその装置と記憶媒体を提供することにある。
【００１５】
本発明の目的は、正規の視聴権利を有するか否かの認証結果とスクランブルの有無の組合せにより、大まかな画像内容が把握できる程度に、符号化された画像信号を復号して再生できる画像処理方法及びその装置と記憶媒体を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得手段と、符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化手段と、前記判定手段による判定結果が一致である場合は、前記第一の符号化パラメータに従って復号化された画像を選択し、前記判定手段による判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合は、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、を有することを特徴とする。
【００１７】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、前記符号化された画像信号の符号を反転する反転手段と、前記符号化された画像信号もしくは前記反転手段によって符号が反転された前記画像信号のいずれかを復号化する復号化手段と、前記判定手段による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転手段によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、を有することを特徴とする。
【００１８】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得工程と、符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化工程と、前記判定工程による判定結果が一致である場合には、前記第一の符号化パラメータ（ＱＰ）に従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合には、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、を有することを特徴とする。
【００１９】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、前記符号化された画像信号の符号を反転する反転工程と、前記符号化された画像信号もしくは前記反転工程で符号が反転された前記画像信号のいずれかを復号化する復号化工程と、前記判定工程による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転工程によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２２】
［実施の形態１］
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図であり、図２は、図１の符号化装置で符号化された符号を復号する画像復号装置の構成を示すブロック図である。本実施の形態１では、ＪＰＥＧ符号化方式において量子化パラメータにスクランブルをかけた場合について説明する。尚、ＪＰＥＧ符号化方式の詳細についてはＩＴＵ Ｔ．８１を参照されたい。
【００２３】
図１において、１００はフレームメモリで、１フレーム分の入力画像信号を格納し、符号化単位であるマクロブロック（輝度は１６×１６画素、色差Ｃｂ、Ｃｒはともに８×８画素であり、輝度は４ブロック、色差は各１ブロックとなる。これは色信号構成４２０の場合であり、その他の色信号構成でもかまわない）として出力する。１０１はＤＣＴ（離散コサイン変換）器で、８×８画素単位の２次元の離散コサイン変換（ＤＣＴ：Discrete Cosign Transform）を行い、入力されたマクロブロックをブロック毎に順次変換してＤＣＴ係数を出力する。
【００２４】
ＱＰ[ｊ][ｉ]（ｊ＝０〜１、ｉ＝０〜６３）は量子化マトリクスで、本実施の形態では、予め定められたｊ＝０の場合の輝度信号用と、ｊ＝１の場合の色差信号用の２種類のマトリクスを指す。このマトリクスは８×８画素の２次元で構成されており、各値は８ビットで合計１２８(=64x2)個となる。
【００２５】
１０５はレート制御器で、レート制御情報を入力し、後述する量子化器１０２及びＬＵＴ１０６へ量子化マトリクスＱＰ[ｊ][ｉ]を出力する。量子化器１０２は、レート制御器１０５より量子化マトリクスＱＰ[ｊ][ｉ]を受け取り、量子化代表値を出力する。１０３は可変長符号化器で、量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。１０６はルックアップテーブル（ＬＵＴ）で、量子化器１０２で使用した量子化マトリクスＱＰ[ｊ][ｉ]をスクランブルをかけた値ＱＰ'[ｊ][ｉ]へ変換する。但し、スクランブルの対象はｉ＝３〜６３とする。
【００２６】
ここでＬＵＴ１０６は、次式に従って変換する。前述のようにＪＰＥＧ符号化方式における量子化マトリクスＱＰ[ｊ][ｉ]は、８ビットの値が６４個ジグザグスキャンの順序で連続した輝度信号用マトリクスと色差信号用マトリクスである。本実施の形態におけるスクランブルの対象は、この量子化マトリクスの各値８ビットに対し行い、従って各ＱＰ'[ｊ][ｉ]は８ビットである。
【００２７】
ＱＰ'[ｊ][ｉ]＝ＱＰ[ｊ][ｉ] ＸＯＲ ０ＦＦＨ
ここで、ＸＯＲは排他的論理和を示し、Ｈは１６進数を示している。但し、ｉ＝３〜６３，ｊ＝０又は１である。
【００２８】
尚、本実施の形態の場合、復号側でも同じ変換式となる。
【００２９】
１０７はセレクタで、外部から入力されるスクランブルON／OFFフラグによりＱＰ[ｊ][ｉ]とＱＰ'[ｊ][ｉ]のいずれかを選択し、量子化マトリクスの符号化データＱＰＣ[ｊ][ｉ]として出力する。ここでは、スクランブルオンの場合には、ＱＰＣ[ｊ][ｉ]＝ＱＰ'[ｊ][ｉ]となり、スクランブルオフの場合はＱＰＣ[ｊ][ｉ]＝ＱＰ[ｊ][ｉ]となる。
【００３０】
１０８はＩＰ符号化器で、画像データの著作権ＩＰ(Intellectual Property)を保護するための情報を符号化し、ＩＰ符号化データを出力する。本実施の形態１では、このＩＰはパスワードとする。１０４は多重化器で、可変長符号化器１０３からのハフマンコードと、セレクタ１０７からのＱＰＣ[ｊ][ｉ]、更にコメントデータとして外部から入力されるスクランブルON／OFFフラグ、及びＩＰ符号化器１０８から出力されるＩＰ符号化データを、ＪＰＥＧ符号化方式の書式に従って多重化してビットストリームとして出力する。
【００３１】
次に、図１の画像符号化装置における動作を説明する。
【００３２】
入力画像信号は一旦フレームメモリ１００に格納され、符号化単位であるマクロブロックとして出力される。ＤＣＴ器１０１では、その入力されるマクロブロックをブロック毎にＤＣＴ係数へ変換する。量子化器１０２は、レート制御器１０５からの制御情報として量子化マトリクスＱＰ[ｊ][ｉ]を受け取り、ＤＣＴ器１０１から入力したＤＣＴ係数を所望の量子化代表値として出力する。可変長符号化器１０３は、量子化器１０２から出力される量子化代表値をハフマン符号化してハフマンコードを出力する。一方、ＬＵＴ１０６は、量子化マトリクスＱＰ[ｊ][ｉ]をＱＰ'[ｊ][ｉ]へ変換する。
【００３３】
次に、スクランブルオンの場合について説明する。
【００３４】
スクランブルオンの場合、セレクタ１０７は、入力ｂのＬＵＴ１０６からのＱＰ'[ｊ][ｉ]を選択し、ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）として出力する。またＩＰ符号化器１０８は、外部から入力したＩＰを符号化してＩＰ符号化データを出力する。多重化器１０４は、可変長符号化器１０３からのハフマンコードと、セレクタ１０７からの量子化マトリクスＱＰＣ[ｊ][ｉ]、更には、コメントデータとしてスクランブルON／OFFフラグ（＝オン）、及びＩＰ符号化器１０８からのＩＰ符号化データをＪＰＥＧ符号化方式の書式に従って多重化して出力する。
【００３５】
次に、スクランブルオフの場合について説明する。
【００３６】
スクランブルオフの場合、セレクタ１０７は、入力ａの量子化マトリクスＱＰ[ｊ][ｉ]を選択しＱＰＣ[ｊ][ｉ]（ＱＰ[ｊ][ｉ]）として出力する。ＩＰ符号化器１０８は、外部から入力したＩＰを符号化しＩＰ符号化データを出力する。多重化器１０４は、可変長符号化器１０３からのハフマンコードと、量子化マトリクスＱＰＣ[ｊ][ｉ]、更にコメントデータとしてスクランブルON／OFFフラグ（＝オフ）、及びＩＰ符号化器１０８からのＩＰ符号化データをＪＰＥＧ符号化方式の書式に従って多重化して出力する。
【００３７】
図４は、本実施の形態に係るビットストリームの概要構成について説明する図である。
【００３８】
ＪＰＥＧ符号化方式では、符号量の制御は量子化マトリクスで行うため、スクランブルの対象はマトリクス全体となる。マトリクスは輝度用と色差用との２種類があるが、同じ構成のため図４では一方を省略して示す。ＩＰ符号化器１０８で生成するコメントデータは、１６ビットのコメントデータスタートコードに始まり、１ビットのスクランブルON／OFFフラグ、次に４バイトのＩＰ符号化データという構成をとる。例えば、スクランブルオン時に外部から入力したパスワードがテキストコード“ＡＢＣＤ”の場合、スクランブルON／OFFフラグ＝１、ＩＰ符号化コード＝４１Ｈ，４２Ｈ，４３Ｈ，４４Ｈ（Ｈは１６進数を表す）となる。
【００３９】
図５は、本発明の実施の形態１に係る画像符号化装置における符号化処理を示すフローチャートである。
【００４０】
まずステップＳ１で、画像信号を入力し、ステップＳ２で、ＤＣＴ器１０１により、入力された画像信号に対してＤＣＴを実行し、そのＤＣＴ係数を量子化マトリクスＱＰを用いて量子化器１０２で量子化する。そしてステップＳ３で、その量子化された量子化代表値を可変長符号化器１０３によりハフマン符号に変換する。ステップＳ４では、スクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ５に進み、入力されたＩＰを符号化したＩＰ符号化データ、量子化マトリクスとしてＱＰ’、スクランブル・オンフラグ及びハフマンコードを多重化し、ステップＳ６でビットストリームとして出力する。
【００４１】
一方、ステップＳ４で、スクランブルON/OFFフラグがオフであればステップＳ７に進み、入力されたＩＰを符号化したＩＰ符号化データ、量子化マトリクスとしてＱＰ、スクランブル・オフフラグ及びハフマンコードを多重化し、ステップＳ６でビットストリームとして出力する。
【００４２】
次に、図２に示す画像復号装置について説明する。
【００４３】
図２において、２００は分配器で、入力ビットストリームをハフマンコードとＱＰＣ[ｊ][ｉ]、スクランブルON／OFFフラグ、及びＩＰ符号化データに分配して、それぞれを対応する箇所に出力する。２０１は可変長復号器で、分配器２００から出力されるハフマンコードを入力し、量子化代表値へ変換する。２０２は逆量子化器で、可変長復号器２０１から出力される量子化代表値をＤＣＴ係数として出力する。２０３は逆ＤＣＴ器で、逆量子化器２０２から出力されるＤＣＴ係数を画像データへ変換する。２０８はＩＰ復号器で、分配器２００から出力されるＩＰ符号化データをＩＰへ復号する。２０９はＩＰ認証器で、ＩＰ復号器２０８で復号されたＩＰと、外部から入力した認証用ＩＰとの認証を行う。２１０はセキュリティ制御器で、分配器２００から入力されるスクランブルON／OFFフラグ、ＩＰ認証器２０９からの認証結果に基づいて切替信号２２１，２２２を出力し、後述するセレクタ２０４及びセレクタ２０７における入力信号の選択処理を制御する。セレクタ２０４は、セキュリティ制御器２１０から出力される切替信号２２１により、逆ＤＣＴ器２０３からの画像データか、黒画像データのいずれかを選択する。２０５はフレームメモリで、マクロブロック単位の画像データを再生画像信号として出力する。２０６はＬＵＴで、ＱＰＣ[ｊ][ｉ]（＝ＱＰ’）を量子化マトリクスＱＰ[ｊ][ｉ]へ変換する。セレクタ２０７は、セキュリティ制御器２１０からの切替信号２２２に応じてＱＰ[ｊ][ｉ]又はＱＰ'[ｊ][ｉ]を出力する。但し、ＱＰＣ[ｊ][ｉ]は、ＱＰの場合もあり得る（スクランブルオフの場合）ため、その際ＬＵＴ２０６は変換処理を行わず、セレクタ２０７は入力ａを選択する。
【００４４】
次に、ＬＵＴ２０６における変換式を説明する、この変換式は前述のように図１のＬＵＴ１０６と同じである。
【００４５】
ＱＰ'[ｊ][ｉ]＝ＱＰ[ｊ][ｉ] ＸＯＲ ＦＦＨ
ここで、ＸＯＲは排他的論理和を示している。
【００４６】
次に、図２における画像復号装置の動作について説明する。
【００４７】
本実施の形態１では、分配器２００において入力ビットストリームをハフマンコードとＱＰＣ[ｊ][ｉ]、スクランブルON／OFFフラグ、及びＩＰ符号化データへ分配する。ハフマンコードは可変長復号器２０１により、量子化代表値へ復号される。
【００４８】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について説明する。
【００４９】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）は、図１のＬＵＴ１０６と逆変換特性を持つＬＵＴ２０６により変換されてＱＰ[ｊ][ｉ]が出力される。これによりセレクタ２０７は、入力ａにＱＰ'[ｊ][ｉ]を入力し、入力ｂにＱＰ[ｊ][ｉ]を入力する。ここではセキュリティ制御器２１０における認証結果がＯＫのため、セレクタ２０７は入力ｂのＱＰ[ｊ][ｉ]を選択して逆量子化器２０２に出力する。こうして逆量子化器２０２は、図１の符号化装置の量子化器１０１で使用されたのと同じ量子化マトリクスＱＰ[ｊ][ｉ]により逆量子化を行ってＤＣＴ係数を出力する。逆ＤＣＴ器２０３は、逆量子化器２０２から出力されるＤＣＴ係数を入力し逆ＤＣＴを行って画像データを出力する。この際、セレクタ２０４は、入力ａを選択してフレームメモリ２０５に出力する。その結果、この復号化装置は正常な画像を再生することができる。
【００５０】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【００５１】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）は、図１のＬＵＴ１０６の逆変換特性を持つＬＵＴ２０６により変換されてＱＰ[ｊ][ｉ]を出力する。これによりセレクタ２０７は、入力ａにＱＰ'[ｊ][ｉ]、入力ｂにＱＰ[ｊ][ｉ]をそれぞれ入力する。そしてセキュリティ制御器２１０における認証結果がＮＯのため、切替信号２２２によりセレクタ２０７は入力ａのＱＰ'[ｊ][ｉ]を選択する。これにより逆量子化器２０２は、図１の符号化装置の量子化器１０１で使用されたのとは異なる量子化マトリクスＱＰ'[ｊ][ｉ]により逆量子化を行ってＤＣＴ係数を逆ＤＣＴ器２０３に出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し逆ＤＣＴを実行して画像データを出力する。セレクタ２０４では、切替信号２２１に従って入力ａを選択してフレームメモリ２０５へ出力する。その結果、スクランブルによる歪みのある画像が再生される。
【００５２】
次に、スクランブルオフで、且つＩＰ認証結果がＯＫの場合について記述する。
【００５３】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ[ｊ][ｉ]）はセレクタ２０７の入力ａに入力される。ここではセキュリティ制御器２１０における認証結果がＯＫのため、セレクタ２０７は切替信号２２１に従って入力ａを選択してＱＰ[ｊ][ｉ]を逆量子化器２０２に出力する。逆量子化器２０２は、このＱＰ[ｊ][ｉ]により逆量子化を行い、ＤＣＴ係数を逆ＤＣＴ器２０３に出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し逆ＤＣＴを実行して画像データを出力する。またセレクタ２０４では、認証結果がＯＫを示す切替信号２２１に応じて、入力ａを選択してフレームメモリ２０５へ出力する。その結果、正常な画像が再生される。
【００５４】
次に、スクランブルオフで、且つＩＰ認証結果がＮＯの場合について記述する。
【００５５】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ[ｊ][ｉ]）は、セレクタ２０７の入力ａに入力されており、セキュリティ制御器２１０では認証結果がＮＯのため、セレクタ２０７、逆量子化器２０２、逆ＤＣＴ器２０３は意味を持たず、切替信号２２１に応じて、セレクタ２０４で入力ｂの黒画像を選択してフレームメモリ２０５へ出力することになる。その結果、黒画像が再生される。
【００５６】
この図２の復号化装置における復号化処理の流れを図６のフローチャートを参照して説明する。
【００５７】
まずステップＳ１１で、可変長復号器２０１によりハフマンコードを復号し、ステップＳ１２で、この符号化された画像信号がスクランブルオンで符号化されているかどうかをみる。そうであればステップＳ１３に進み、ＩＰ認証がＯＫかどうかを調べ、そうであればステップＳ１４に進み、逆量子化器２０２において、受信した量子化マトリクスＱＰ’をＬＵＴ２０６で変換した量子化マトリクスＱＰを使用して逆量子化する。そしてステップＳ１５で、この逆量子化したＤＣＴ係数を逆ＤＣＴにより元の画像信号に戻し（この場合は正常な画像信号が再生される）、ステップＳ１６で、フレームメモリ２０５に記憶する。
【００５８】
又ステップＳ１３で、ＩＰ認証がＯＫでない時はステップＳ１７に進み、逆量子化器２０２において、受信した量子化マトリクスＱＰ’を使用して逆量子化してステップＳ１５に進む。この場合は、符号化に使用したのとは異なる量子化マトリクスＱＰ’により逆量子化されるため、スクランブルによる歪みのある画像が再生されることになる。
【００５９】
又ステップＳ１２で、スクランブルがオフの場合はステップＳ１８に進み、ＩＰ認証がＯＫかどうかを調べ、そうであればステップＳ１９に進み、受信した量子化マトリクスＱＰを用いて逆量子化を行う。そしてステップＳ１５に進み、逆ＤＣを実行して、正常な画像信号に復号してフレームメモリ２０５に格納する。またステップＳ１８で、ＩＰ認証がＯＫでない時はステップＳ２０に進み、セレクタ２０７により黒画像信号を選択してステップＳ１６に進み、フレームメモリ２０５にその黒画像信号を格納する。
【００６０】
図３は、前述の実施の形態１に係る画像復号化装置における画像の復号化結果を説明する図で、セキュリティ制御器２１０におけるＩＰ認証器２０９の認証結果、セレクタ２０４及びセレクタ２０７における選択される入力、及び再生画像との関係が示されている。
【００６１】
ここではスクランブルON／OFFフラグとＩＰ認証結果との組み合わせにより４種類の状態を持ち、セレクタ２０４，２０７それぞれの選択結果から、結果として、３種類（正常、歪みあり、黒画像）の再生画像の状態を生成することが可能である。
【００６２】
［実施の形態１の変形例］
前述のＬＵＴ１０６，２０６は、入出力の対応が１対１であれば良く、本実施の形態１の変換式の代わりにテーブルを用意して実現してもかまわない。
【００６３】
また本実施の形態１ではＪＰＥＧ符号化方式について述べたが、動画像符号化として知られるMotion JPEGへの対応も可能である。
【００６４】
また本実施の形態１の各機能をソフトウエアにより実現してもかまわない。
【００６５】
また本実施の形態１では、ＩＰをパスワードとしたが、著作権を保護するための情報であればその他のものでもかまわない。またＩＰを４バイトと固定しているが他のビット長でもかまわない。また復号化装置が復号不可能を示す静止画像の種類を黒画像としているが、これは他の画像でもかまわない。
【００６６】
また量子化マトリクスＱＰ[ｊ][ｉ]におけるスクランブル対象をｉ＝３〜６３としたが、他の範囲でもかまわない。この範囲を設定することでスクランブルの歪み量を調整することができる。
【００６７】
以上説明したように本実施の形態１によれば、スクランブルをビットストリーム全体ではなく、限定された量子化マトリクスＱＰ[ｊ][ｉ]に対して行うことにより、装置の処理の負荷は少なくて済む。
【００６８】
またＱＰ［ｊ］[ｉ]は量子化のための制御データであり、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。本実施の形態１の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、結果としてスクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【００６９】
またパスワードはコメントデータとして多重化する際、前述のＱＰ[ｊ][ｉ]で用いたＬＵＴのような変換機能を含むことも可能である。この変換機能を多段で組み込むことにより、よりセキュリティ性を高くすることが期待できる。
【００７０】
［実施の形態２］
図７は本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図で、図８はこれに対応する動画像復号化装置の構成を示すブロック図である。本実施の形態２では、ＭＰＥＧ−４符号化方式において、ＶＯＰ(Video Object Plane)毎に存在する固定長５ビットの量子化化パラメータに対してスクランブルをかけた場合について説明する。尚、ＭＰＥＧ−４符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００７１】
尚、図７に示す構成要素のうち、前述の実施の形態１と同様の構成要素については同一番号を付し、その詳細な説明は省略する。更に局部復号をするために次の構成要素を配置する。
【００７２】
図７において、３００は逆量子化器で、量子化器１０２の出力に対し逆量子化を行う。３０１は逆ＤＣＴ器で、逆量子化器３００の出力に対して逆ＤＣＴを行う。３０２はフレームメモリで、逆ＤＣＴ器３０１の局部復号出力を格納する。逆量子化器３００、逆ＤＣＴ器３０１及びフレームメモリ３０２は、フレーム間予測符号化のために使用される部分である。３０３はルックアップテーブル（ＬＵＴ）で、量子化器１０２で使用した量子化パラメータＱＰに対しスクランブルを施したＱＰ’へ変換する。３０４は減算器で、フレームメモリ３０２から出力された予測データをフレームメモリ１００からの出力から減算する。３０５は加算器で、フレームメモリ３０２から出力された予測データを逆ＤＣＴ器３０１の出力に加算する。
【００７３】
ここで、このＬＵＴ３０３は次式に従って変換を行う。
【００７４】
このスクランブルの対象は、この５ビットに対して行い、従ってＱＰ，ＱＰ’とも５ビットである。
【００７５】
ＱＰ’＝ ＦＦＨ ＸＯＲ ＱＰ
ここでＸＯＲは排他的論理和を示す。
【００７６】
尚、本実施の形態２の場合、図８の復号化装置でも同様の変換式となる。
【００７７】
以上のように構成された画像符号化装置における動作を次に説明する。
【００７８】
この実施の形態２に係る画像符号化装置は、前述の実施の形態１の画像符号化装置をＭＰＥＧ−４に従う動画像符号化装置としたものであり、逆量子化器３００、逆ＤＣＴ器３０１、フレームメモリ３０２、及びＬＵＴ１０６の内容が異なるので、それらの周辺についてのみ説明する。
【００７９】
本実施の形態２では、入力画像信号はＤＣＴ器１０１、量子化器１０２を経て量子化代表値として出力され、可変長符号化器１０３で符号化されて多重化器１０４に出力される。この量子化代表値はまた逆量子化器３００を経て逆ＤＣＴ器３０１により局部的に復号された画像信号としてフレームメモリ３０２へ格納される。またＬＵＴ３０３は、レート制御器１０５からの量子化パラメータＱＰをＱＰ’へ変換する。
【００８０】
図９は、本実施の形態２におけるビットストリームの概要構成について示す図である。
【００８１】
ＭＰＥＧ−４符号化方式では、符号量の制御はＶＯＰ(Video Object Plane)層の５ビットの量子化パラメータvop_quantで行うため、スクランブルの対象はこのvop_quantとなる。ＩＰ符号化器１０８で生成するユーザデータは、３２ビットのユーザデータスタートコードに始まり、１ビットのスクランブルON／OFFフラグ、次に４バイトのＩＰデータという構成をとる。例えばスクランブルオン時にＩＰデータがテキストコード“ＡＢＣＤ”の場合、スクランブルON／OFFフラグ＝１、ＩＰ＝４１Ｈ，４２Ｈ，４３Ｈ，４４Ｈ（Ｈは１６進数を表す）となる。また、vop_quantはＶＯＰ単位に存在するため、いわゆるフレーム毎にスクランブルの制御が可能である。
【００８２】
図８は、本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図で、図８における構成要素のうち、前述の実施の形態１（図２）と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【００８３】
５００は可変長復号器で、分配器２００からの出力を可変長復号する。５０１は逆量子化器で、量子化パラメータの符号化データＱＰＣ[ｊ][ｉ]により可変長復号器５００の出力に対して逆量子化を行う。５０２は逆ＤＣＴ器で、逆量子化５０１の出力に対して逆ＤＣＴを施す。５０３はセレクタで、セキュリティ制御器５０４からの切替信号２３１に従って、２系統ある可変長復号器、逆量子化器、逆ＤＣＴ器の組の一方か、又は黒画像から１つを選択する。セキュリティ制御器５０４は、分配器２００からのスクランブルON／OFFフラグ、ＩＰ認証器２０９からの認証結果に基づいて、切替信号２３１，２３２を出力してセレクタ２０７及びセレクタ５０３を制御する。５０５はＬＵＴで、ＱＰＣ（＝ＱＰ’）をＱＰに変換する。５０６はフレームメモリで、フレーム間予測符号化された符号化データの差分データを発生するために使用される。５０７，５０８は加算器で、差分データを逆ＤＣＴ器２０３、５０２の出力に対して加算する。
【００８４】
図８において、前述の実施の形態１と異なる点は、可変長復号器、逆量子化器、逆ＤＣＴ器を２系統持つことである。可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２の経路は、スクランブルを解除せずにＱＰを使用する経路であり、一方、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路はスクランブルを解除したＱＰを使用する経路である。
【００８５】
次に図８における画像復号化装置の動作について説明する。
【００８６】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について記述する。
【００８７】
この場合、図７のセレクタ１０７はＬＵＴ３０３の出力（ＱＰ’）を選択して出力する。そして逆変換特性を持つＬＵＴ５０５は、ＱＰＣ（＝ＱＰ’）を変換してＱＰを出力する。この場合、セレクタ２０７は入力ａにＱＰ’を、入力ｂにＱＰを入力することになる。そしてセキュリティ制御器５０４では認証結果がＯＫであるため、切替信号２３２により、セレクタ２０７により入力ｂのＱＰを選択させる。これにより逆量子化器２０２は、符号化装置で使用されたのと同じ量子化マトリクスＱＰを使用して逆量子化を行ってＤＣＴ係数を出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して画像データを出力する。この際、セレクタ５０３は、セキュリティ制御器５０４からの切替信号２３１により入力ｃを選択して出力する。その結果、正常な画像が再生される。
【００８８】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【００８９】
この場合、図７の符号化装置の出力は前述の場合と同様であるが、スクランブルオンのため、セキュリティ制御器５０４からの切替信号２３２により、セレクタ２０７は入力ｂのＱＰを選択する。こうして逆量子化器２０２は、符号化で使用された量子化マトリクスＱＰを用いて逆量子化を行ってＤＣＴ係数を出力する。そして逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して正常に復号された画像データを出力する。
【００９０】
また、分配器２００から出力された画像データは、可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２により復号化されている。逆量子化器５０１では、符号化で使用されたのとは異なる量子化マトリクスＱＰ’を用いて逆量子化を行っているので、逆ＤＣＴ器５０２より出力される画像データにより、スクランブルによる歪みのある画像が再生される。
【００９１】
セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により入力ｂを選択して出力するように設定されている。従って、スクランブルによる歪みのある画像が再生されることになる。
【００９２】
次にスクランブルオフ、且つＩＰ認証結果がＯＫの場合について記述する。
【００９３】
セキュリティ制御器５０４からは認証結果がＯＫのため、切替信号２３２によりセレクタ２０７は入力ａ（ＱＰ）を選択して逆量子化器２０２に出力する。この逆量子化器２０２は、符号化の際の量子化マトリクスと同じＱＰにより逆量子化を行ってＤＣＴ係数を出力し、このＤＣＴ係数は逆ＤＣＴ器２０３で変換されて、正常な画像信号が出力される。この際、セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により、入力ｂもしくは入力ｃを選択して出力するように設定されている。その結果、正常な画像が再生されることになる。
【００９４】
次に、スクランブルオフで、且つＩＰ認証結果がＮＯの場合について説明する。
【００９５】
セキュリティ制御器５０４では認証結果がＮＯのため、セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により入力ａの黒画像を選択して出力することになる。その結果、黒画像が再生される。
【００９６】
図１０は、この実施の形態２に係る画像復号化装置におけるセキュリティ制御器５０４、セレクタ２０７、セレクタ５０３の選択状態、及び再生画像との関係を説明する図である。
【００９７】
尚、この実施の形態２に係る符号化処理及び復号化処理のフローチャートは、前述の実施の形態１と実質的に同様であるので、それらの説明を省略する。
【００９８】
このように本実施の形態２によれば、スクランブルON／OFFフラグとＩＰ認証結果により、セレクタ２０７、セレクタ５０３を制御し、その結果、３種類の再生画像の状態を生成することが可能である。
【００９９】
［実施の形態２の変形例］
ＬＵＴ３０３，５０５では、入出力の対応が１対１であれば良く、本実施の形態２の変換式の代わりにテーブルを用いて実現してもかまわない。また本実施の形態２の各機能をソフトウエアにより実現してもかまわない。
【０１００】
以上説明したように本実施の形態２によれば、スクランブルをビットストリーム全体ではなく、限定されたＱＰに対して行うことにより、装置の処理の負荷は少なくて済む。
【０１０１】
またＱＰは量子化の制御データであり、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。
【０１０２】
本実施の形態２の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、その結果、スクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【０１０３】
またパスワードはユーザデータとして多重する際、前述のＱＰで用いたＬＵＴのような変換機能を含むことも可能である。このような変換機能を多段で組み込むことでより、よりセキュリティ性が高くなることが期待できる。
【０１０４】
またこれらの２系統に対し局部復号画像を格納するフレームメモリ５０６を可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３用として備えることにより、フレームメモリ２０５には正常な復号画像が格納されるため、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路から生成されるスクランブルによる歪みがフレーム毎に蓄積するのを防止することができる。
【０１０５】
［実施の形態３］
図１１は、本発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図、図１２はこれに対応する動画像復号装置の構成を示すブロック図である。本実施の形態３では、ＭＰＥＧ−４符号化方式において、ＤＣＴ係数の符号化データであるハフマンコードの符号ビットを反転することでスクランブルをかける場合について説明する。
【０１０６】
まず図１１に示す動画像符号化装置について説明する。この図１１における構成要素のうち、前述の実施の形態１，２と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【０１０７】
６００は符号反転器で、可変長符号化器１０３からのハフマンコードを入力して符号反転する。ＭＰＥＧ−４におけるハフマンコードの符号ビットは、ビット列末尾の１ビットであり、正の場合は“０”、負の場合は“１”である。よって、この符号ビットを反転することが符号反転器６００の処理となる。尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、反転するハフマンコードは、ｉ＝３〜６３とする。
【０１０８】
６０１はセレクタで、外部から入力するスクランブルON／OFFフラグに応じて、可変長符号化器１０３からの出力と、符号反転器６００の出力のいずれか一方を選択して多重化器６０２に出力している。多重化器６０２は、セレクタ６０１から出力されたハフマンコード、外部から入力されるスクランブルON／OFFフラグ、及びＩＰ符号化器１０８から出力されるＩＰ符号化データをユーザデータとして多重化してビットストリームとして出力する。
【０１０９】
このような画像符号化装置における画像符号化装置の動作を次に説明する。
【０１１０】
この図に示した実施の形態３の画像符号化装置は、前述の実施の形態２の動画像符号化装置でのスクランブルの対象ＱＰをハフマンコードの符号ビットへ置き換えたものであるので、可変長符号化以降の周辺動作について説明する。
【０１１１】
本実施の形態３では、可変長符号化器１０３から出力されたハフマンコードに対し、同時に符号反転器６００により、その符号ビットが反転されたハフマンコードを生成する。この可変長符号化器１０３の出力と符号反転器６００の出力のいずれかが、スクランブルON／OFFフラグに応じて、セレクタ６０１で選択され、多重化器６０２へ入力される。
【０１１２】
次に図１２に示す画像復号装置について説明する。
【０１１３】
図１２は、本発明の実施の形態３に係る動画像復号装置の構成を示すブロック図である。この装置は図８と同様に、可変長復号器、逆量子化器、逆ＤＣＴ器からなる組を２系統持つ。また図１２における前述の実施の形態１及び２と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【０１１４】
７００は分配器で、入力したビットストリームからＤＣＴ係数を符号化したハフマンコード、ユーザデータとして多重化されたスクランブルON／OFFフラグ、及びＩＰ符号化コードを分配する。７０１はセレクタで、後述するセキュリティ制御器５０４からの切替信号２４２により、分配器７００の出力もしくは符号反転器６００の出力のいずれかを選択する。入力ビットストリームは分配器７００によりハフマンコード、スクランブルON／OFFフラグ、及びＩＰ符号化コードに分配される。符号反転器６００は、ハフマンコードを入力して符号反転したハフマンコードを出力する。以降では正常なハフマンコードを正常符号、符号反転したハフマンコードを反転符号と称す。
【０１１５】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について記述する。
【０１１６】
セレクタ７０１は入力ａに反転符号、入力ｂに正常符号を入力する。そしてセキュリティ制御器５０４では認証結果がＯＫであるため、切替信号２４２によりセレクタ７０１により、入力ｂの正常符号を選択させる。こうして正常なハフマンコードは可変長復号器２０１で復号され、逆量子化器２０２で逆量子化されてＤＣＴ係数を出力する。そして逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して正常な画像データを出力する。この際、セレクタ５０３は、セキュリティ制御器５０４からの切替信号２４１により入力ｃを選択するように指示されているので、正常な画像信号が再生されることになる。
【０１１７】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【０１１８】
この場合、スクランブルオンのため、セキュリティ制御器５０４からの切替信号２４２により、セレクタ７０１はｂの符号が元に戻された正常なコードを選択する。可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３は符号反転したコードを入力し、正常に復号された画像データを出力する。
【０１１９】
また分配器７００から出力された画像データは、可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２により復号化されている。ここでは、反転（スクランブル）された符号化データにより復号化を行っているので、逆ＤＣＴ器５０２より出力される画像データにより、スクランブルによる歪みのある画像が再生される。
【０１２０】
セレクタ５０３はセキュリティ制御器５０４からの切替信号２４１により、入力ｂを選択して出力するように設定されている。従って、スクランブルによる歪みのある画像が再生されることになる。
【０１２１】
次に、スクランブルオフで、且つＩＰ認証結果がＯＫの場合について記述する。
【０１２２】
この場合はセキュリティ制御器５０４で認証結果がＯＫであるため、切替信号２４２により、セレクタ７０１は入力ａを選択して正常符号を可変長復号器２０１により復号する。こうして復号されたデータは逆量子化器２０２により逆量子化されてＤＣＴ係数が出力される。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し正常な画像データを出力する。この際、セレクタ５０３はセキュリティ制御器５０４からの切替信号２４１により、入力ｂもしくはｃを選択して出力する様に設定されている。その結果、正常な画像を再生することになる。
【０１２３】
次にスクランブルオフ、且つＩＰ認証結果がＮＯの場合について記述する。
【０１２４】
この場合、セキュリティ制御器２１０では認証結果がＮＯのため、切替信号２４１により、セレクタ５０３は入力ａの黒画像を選択して出力することになる。その結果、この場合には黒画像が再生される。
【０１２５】
図１３は本発明の実施の形態３に係る画像符号化装置におけるハフマン符号化した符号の処理方法を説明するフローチャートで、図１１のセレクタ６０１の処理に相当している。
【０１２６】
ここではまずステップＳ３１でスクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ３２に進み、ハフマン符号の符号ビットを反転して出力する。
【０１２７】
図１４は、この実施の形態３に係る画像復号化装置における処理を示すフローチャートである。
【０１２８】
まずステップＳ４１で、入力ビットストリームに含まれるスクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ４２に進み、ＩＰ認証がＯＫかどうかをみる。ＩＰ認証がＯＫであればステップＳ４３に進み、符号反転器６００により符号反転されたコードを入力し、ステップＳ４４で、そのコードを可変長復号器２０１、逆量子化器２０２及び逆ＤＣＴ器２０３により復号する。これにより正常な画像が再生される。
【０１２９】
又ステップＳ４２でＩＰ認証がＯＫでないときは直接ステップＳ４４に進み、符号ビットが反転されたハフマン符号を基に復号処理を行って、スクランブル歪みのある画像を再生する。
【０１３０】
またステップＳ４１で、スクランブルON/OFFフラグがオフであればステップＳ４５に進み、ＩＰ認証がＯＫかどうかをみる。ＩＰ認証がＯＫであればステップＳ４４に進み、元々符号反転されていないハフマンコードを入力し、ステップＳ４４で、そのコードを可変長復号器２０１、逆量子化器２０２及び逆ＤＣＴ器２０３により復号する。これにより正常な画像が再生される。
【０１３１】
又ステップＳ４５でＩＰ認証がＯＫでないときはステップＳ４６に進み、セレクタ５０３の入力ａを選択し、黒画像を再生する。
【０１３２】
［実施の形態３のその他の構成］
本実施の形態３の各機能をソフトウエアにより実現してもかまわない。
【０１３３】
またハフマンコードのスクランブル対象を前述のようにｉ＝３〜６３としたが、他の範囲でもかまわない。この範囲を設定することでスクランブルの歪みを調整することができる。
【０１３４】
以上のように本実施の形態３によれば、スクランブルをビットストリーム全体ではなくハフマンコードの符号ビットに対して行うことで、装置の処理の負荷は少なくて済む。
【０１３５】
またハフマンコードは、ブロック毎に符号反転されるため、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。
【０１３６】
また本実施の形態３の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、その結果、スクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【０１３７】
またこれらの２つの系統に対し局部復号画像を格納するフレームメモリ２０５を可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３用として持つことで、フレームメモリ２０５には正常な復号画像が格納されるため、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路から生成されるスクランブルによる歪みがフレーム毎に蓄積していくことを防止することができる。
【０１３８】
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４０】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４１】
以上説明したように本実施の形態によれば、ビットストリームの一部の限定された制御データに対してスクランブルを行うため、符号化データ全体を対象とするよりもその処理の負荷は少なくて済む。また復号画像は完全に停止することなく再生を続けることになり、その歪みはブロック内に閉じたものとなるため、スクランブルを解除できない視聴者は画像の概観を認識するという状態を作ることが可能となる。
【０１４２】
また本実施の形態によれば、ストリーム内にＩＰ符号化データ、及び著作権を保護するフレームのフラグを設けることにより、所望の画像の一部に対してコンテンツ提供者の著作権を守ることが可能となる。
【０１４３】
更にビットストリーム内のスクランブルON／OFFフラグ及びＩＰの組み合わせにより、正常再生画像、及びスクランブルによる歪みのある画像を再生することが可能となる。
【０１４４】
【発明の効果】
以上説明したように本発明によれば、正規の視聴権利を有するか否かの認証結果とスクランブルの有無との組合せにより、おおよその概観を認識できる程度の画像を含めた３種類の画像（正常、スクランブル画像、復号不可能を示す静止画像）を再生できるという効果がある。
【０１４５】
また本発明によれば、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる符号化された画像信号を再生できるという効果がある。
【０１４６】
また本発明によれば、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる程度に、符号化された画像信号を復号して再生できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。
【図３】本実施の形態１に係るセキュリティ制御器の入出力と再生画像の関係を示す図である。
【図４】本実施の形態１に係るビットストリームの構成を説明するための図である。
【図５】本実施の形態１に係る画像符号化装置における符号化処理を示すフローチャートである。
【図６】本実施の形態１に係る画像復号化装置における復号化処理を示すフローチャートである。
【図７】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図８】本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。
【図９】本発明の実施の形態２に係るビットストリームの構成を説明するための図である。
【図１０】本実施の形態２に係るセキュリティ制御器の入出力と再生画像の関係を示す図である。
【図１１】本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。
【図１２】本発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。
【図１３】本実施の形態３に係る画像符号化装置における処理を示すフローチャートである。
【図１４】本実施の形態３に係る画像復号化装置における復号化処理を示すフローチャートである。
【発明の属する技術分野】
本発明は、画像の著作権等の知的財産の保護を行うために符号化された画像の復号化を行う画像処理方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がし易いため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式はフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
更に、コンピュータ・放送・通信など多くの分野で利用できる、汎用的な次世代マルチメディア符号化規格としてＭＰＥＧ−４の国際標準化作業が進められている。
【０００４】
このようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心してコンテンツを提供することができない、という問題が生じている。
【０００５】
このためＭＰＥＧ−４ではＩＰＭＰ(Intellectual Property Management and Protect)の技術が導入され、著作権を保護するために画像の再生を中断したり再開したりする機能が検討されている。この方式は著作権を保護する必要のあるフレームは再生しないことにより著作権保護を実現している。
【０００６】
一方で、画像にスクランブルを施すことで、視聴者に対しある程度の概略を認識できる程度までの情報を提供する方式及びサービスが開始されている。具体的には、画像信号の内の任意の走査線や画素を置換することにより実現している。また出力される再生画像を再生装置で変換する方法もある。
【０００７】
【発明が解決しようとする課題】
よって、以下のような問題が発生する。
【０００８】
従来のＩＰＭＰ技術では、著作権を保護したい画像に対して、復号を停止したり、画像の再生を止めてしまうため、視聴者に対して全く情報を提供できない。このことは、その画像を視聴する権利を持たない視聴者（非契約者）に対して、全くコンテンツ（例えば画像）の情報が提供できないことを意味する。本来、コンテンツ提供者側は、より多くの視聴者にコンテンツを広めて、より多くの契約者を得たいというビジネス上の目的があり、その目的のためには、視聴する権利を持たない視聴者に対しても、そのコンテンツの情報をある程度は分かるように提供したいという要望がある。
【０００９】
また前述の一連の画像符号化方式において、従来のスクランブルをこのビットストリーム全体にかけた場合、スクランブルを解除できない復号器を持つ視聴者、或は視聴する権利を持たない視聴者は正常な復号ができないため全く映像を認識することができないことになる。
【００１０】
更に、一連の画像符号化方式は、画像の空間及び時間方向の相関を利用して高い符号化効率を実現しているが、符号化時の入力画像信号に従来のスクランブルを施すと、画像の空間及び時間方向の相関が無くなり符号化効率を著しく低下させてしまう。
【００１１】
更に、ビットストリームの一部に対してスクランブルをかけたとしても、フレーム間予測符号化を用いた動画像符号化方式の再生画像では、あるフレームの歪みは次のフレームへ伝搬し次第に蓄積することになる。このため、歪みは定常的に発生しないことになり、復号側で再生画像を観た場合、スクランブルのための歪みか、或は別の誤動作による歪みかの判別がしにくくなる。
【００１２】
また、近年画像符号化・復号装置の処理は複雑化しており、ソフトウエアによる符号化・復号を想定する場合もでてきた。このような場合、画像符号化・復号処理以外でスクランブル処理の負荷が大きいと、装置全体としての性能が低下するという問題がある。
【００１４】
本発明は上記従来例に鑑みてなされたもので、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる符号化された画像信号を再生できる画像処理方法及びその装置と記憶媒体を提供することにある。
【００１５】
本発明の目的は、正規の視聴権利を有するか否かの認証結果とスクランブルの有無の組合せにより、大まかな画像内容が把握できる程度に、符号化された画像信号を復号して再生できる画像処理方法及びその装置と記憶媒体を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得手段と、符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化手段と、前記判定手段による判定結果が一致である場合は、前記第一の符号化パラメータに従って復号化された画像を選択し、前記判定手段による判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合は、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、を有することを特徴とする。
【００１７】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、前記符号化された画像信号の符号を反転する反転手段と、前記符号化された画像信号もしくは前記反転手段によって符号が反転された前記画像信号のいずれかを復号化する復号化手段と、前記判定手段による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転手段によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、を有することを特徴とする。
【００１８】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得工程と、符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化工程と、前記判定工程による判定結果が一致である場合には、前記第一の符号化パラメータ（ＱＰ）に従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合には、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、を有することを特徴とする。
【００１９】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、前記符号化された画像信号の符号を反転する反転工程と、前記符号化された画像信号もしくは前記反転工程で符号が反転された前記画像信号のいずれかを復号化する復号化工程と、前記判定工程による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転工程によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２２】
［実施の形態１］
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図であり、図２は、図１の符号化装置で符号化された符号を復号する画像復号装置の構成を示すブロック図である。本実施の形態１では、ＪＰＥＧ符号化方式において量子化パラメータにスクランブルをかけた場合について説明する。尚、ＪＰＥＧ符号化方式の詳細についてはＩＴＵ Ｔ．８１を参照されたい。
【００２３】
図１において、１００はフレームメモリで、１フレーム分の入力画像信号を格納し、符号化単位であるマクロブロック（輝度は１６×１６画素、色差Ｃｂ、Ｃｒはともに８×８画素であり、輝度は４ブロック、色差は各１ブロックとなる。これは色信号構成４２０の場合であり、その他の色信号構成でもかまわない）として出力する。１０１はＤＣＴ（離散コサイン変換）器で、８×８画素単位の２次元の離散コサイン変換（ＤＣＴ：Discrete Cosign Transform）を行い、入力されたマクロブロックをブロック毎に順次変換してＤＣＴ係数を出力する。
【００２４】
ＱＰ[ｊ][ｉ]（ｊ＝０〜１、ｉ＝０〜６３）は量子化マトリクスで、本実施の形態では、予め定められたｊ＝０の場合の輝度信号用と、ｊ＝１の場合の色差信号用の２種類のマトリクスを指す。このマトリクスは８×８画素の２次元で構成されており、各値は８ビットで合計１２８(=64x2)個となる。
【００２５】
１０５はレート制御器で、レート制御情報を入力し、後述する量子化器１０２及びＬＵＴ１０６へ量子化マトリクスＱＰ[ｊ][ｉ]を出力する。量子化器１０２は、レート制御器１０５より量子化マトリクスＱＰ[ｊ][ｉ]を受け取り、量子化代表値を出力する。１０３は可変長符号化器で、量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。１０６はルックアップテーブル（ＬＵＴ）で、量子化器１０２で使用した量子化マトリクスＱＰ[ｊ][ｉ]をスクランブルをかけた値ＱＰ'[ｊ][ｉ]へ変換する。但し、スクランブルの対象はｉ＝３〜６３とする。
【００２６】
ここでＬＵＴ１０６は、次式に従って変換する。前述のようにＪＰＥＧ符号化方式における量子化マトリクスＱＰ[ｊ][ｉ]は、８ビットの値が６４個ジグザグスキャンの順序で連続した輝度信号用マトリクスと色差信号用マトリクスである。本実施の形態におけるスクランブルの対象は、この量子化マトリクスの各値８ビットに対し行い、従って各ＱＰ'[ｊ][ｉ]は８ビットである。
【００２７】
ＱＰ'[ｊ][ｉ]＝ＱＰ[ｊ][ｉ] ＸＯＲ ０ＦＦＨ
ここで、ＸＯＲは排他的論理和を示し、Ｈは１６進数を示している。但し、ｉ＝３〜６３，ｊ＝０又は１である。
【００２８】
尚、本実施の形態の場合、復号側でも同じ変換式となる。
【００２９】
１０７はセレクタで、外部から入力されるスクランブルON／OFFフラグによりＱＰ[ｊ][ｉ]とＱＰ'[ｊ][ｉ]のいずれかを選択し、量子化マトリクスの符号化データＱＰＣ[ｊ][ｉ]として出力する。ここでは、スクランブルオンの場合には、ＱＰＣ[ｊ][ｉ]＝ＱＰ'[ｊ][ｉ]となり、スクランブルオフの場合はＱＰＣ[ｊ][ｉ]＝ＱＰ[ｊ][ｉ]となる。
【００３０】
１０８はＩＰ符号化器で、画像データの著作権ＩＰ(Intellectual Property)を保護するための情報を符号化し、ＩＰ符号化データを出力する。本実施の形態１では、このＩＰはパスワードとする。１０４は多重化器で、可変長符号化器１０３からのハフマンコードと、セレクタ１０７からのＱＰＣ[ｊ][ｉ]、更にコメントデータとして外部から入力されるスクランブルON／OFFフラグ、及びＩＰ符号化器１０８から出力されるＩＰ符号化データを、ＪＰＥＧ符号化方式の書式に従って多重化してビットストリームとして出力する。
【００３１】
次に、図１の画像符号化装置における動作を説明する。
【００３２】
入力画像信号は一旦フレームメモリ１００に格納され、符号化単位であるマクロブロックとして出力される。ＤＣＴ器１０１では、その入力されるマクロブロックをブロック毎にＤＣＴ係数へ変換する。量子化器１０２は、レート制御器１０５からの制御情報として量子化マトリクスＱＰ[ｊ][ｉ]を受け取り、ＤＣＴ器１０１から入力したＤＣＴ係数を所望の量子化代表値として出力する。可変長符号化器１０３は、量子化器１０２から出力される量子化代表値をハフマン符号化してハフマンコードを出力する。一方、ＬＵＴ１０６は、量子化マトリクスＱＰ[ｊ][ｉ]をＱＰ'[ｊ][ｉ]へ変換する。
【００３３】
次に、スクランブルオンの場合について説明する。
【００３４】
スクランブルオンの場合、セレクタ１０７は、入力ｂのＬＵＴ１０６からのＱＰ'[ｊ][ｉ]を選択し、ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）として出力する。またＩＰ符号化器１０８は、外部から入力したＩＰを符号化してＩＰ符号化データを出力する。多重化器１０４は、可変長符号化器１０３からのハフマンコードと、セレクタ１０７からの量子化マトリクスＱＰＣ[ｊ][ｉ]、更には、コメントデータとしてスクランブルON／OFFフラグ（＝オン）、及びＩＰ符号化器１０８からのＩＰ符号化データをＪＰＥＧ符号化方式の書式に従って多重化して出力する。
【００３５】
次に、スクランブルオフの場合について説明する。
【００３６】
スクランブルオフの場合、セレクタ１０７は、入力ａの量子化マトリクスＱＰ[ｊ][ｉ]を選択しＱＰＣ[ｊ][ｉ]（ＱＰ[ｊ][ｉ]）として出力する。ＩＰ符号化器１０８は、外部から入力したＩＰを符号化しＩＰ符号化データを出力する。多重化器１０４は、可変長符号化器１０３からのハフマンコードと、量子化マトリクスＱＰＣ[ｊ][ｉ]、更にコメントデータとしてスクランブルON／OFFフラグ（＝オフ）、及びＩＰ符号化器１０８からのＩＰ符号化データをＪＰＥＧ符号化方式の書式に従って多重化して出力する。
【００３７】
図４は、本実施の形態に係るビットストリームの概要構成について説明する図である。
【００３８】
ＪＰＥＧ符号化方式では、符号量の制御は量子化マトリクスで行うため、スクランブルの対象はマトリクス全体となる。マトリクスは輝度用と色差用との２種類があるが、同じ構成のため図４では一方を省略して示す。ＩＰ符号化器１０８で生成するコメントデータは、１６ビットのコメントデータスタートコードに始まり、１ビットのスクランブルON／OFFフラグ、次に４バイトのＩＰ符号化データという構成をとる。例えば、スクランブルオン時に外部から入力したパスワードがテキストコード“ＡＢＣＤ”の場合、スクランブルON／OFFフラグ＝１、ＩＰ符号化コード＝４１Ｈ，４２Ｈ，４３Ｈ，４４Ｈ（Ｈは１６進数を表す）となる。
【００３９】
図５は、本発明の実施の形態１に係る画像符号化装置における符号化処理を示すフローチャートである。
【００４０】
まずステップＳ１で、画像信号を入力し、ステップＳ２で、ＤＣＴ器１０１により、入力された画像信号に対してＤＣＴを実行し、そのＤＣＴ係数を量子化マトリクスＱＰを用いて量子化器１０２で量子化する。そしてステップＳ３で、その量子化された量子化代表値を可変長符号化器１０３によりハフマン符号に変換する。ステップＳ４では、スクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ５に進み、入力されたＩＰを符号化したＩＰ符号化データ、量子化マトリクスとしてＱＰ’、スクランブル・オンフラグ及びハフマンコードを多重化し、ステップＳ６でビットストリームとして出力する。
【００４１】
一方、ステップＳ４で、スクランブルON/OFFフラグがオフであればステップＳ７に進み、入力されたＩＰを符号化したＩＰ符号化データ、量子化マトリクスとしてＱＰ、スクランブル・オフフラグ及びハフマンコードを多重化し、ステップＳ６でビットストリームとして出力する。
【００４２】
次に、図２に示す画像復号装置について説明する。
【００４３】
図２において、２００は分配器で、入力ビットストリームをハフマンコードとＱＰＣ[ｊ][ｉ]、スクランブルON／OFFフラグ、及びＩＰ符号化データに分配して、それぞれを対応する箇所に出力する。２０１は可変長復号器で、分配器２００から出力されるハフマンコードを入力し、量子化代表値へ変換する。２０２は逆量子化器で、可変長復号器２０１から出力される量子化代表値をＤＣＴ係数として出力する。２０３は逆ＤＣＴ器で、逆量子化器２０２から出力されるＤＣＴ係数を画像データへ変換する。２０８はＩＰ復号器で、分配器２００から出力されるＩＰ符号化データをＩＰへ復号する。２０９はＩＰ認証器で、ＩＰ復号器２０８で復号されたＩＰと、外部から入力した認証用ＩＰとの認証を行う。２１０はセキュリティ制御器で、分配器２００から入力されるスクランブルON／OFFフラグ、ＩＰ認証器２０９からの認証結果に基づいて切替信号２２１，２２２を出力し、後述するセレクタ２０４及びセレクタ２０７における入力信号の選択処理を制御する。セレクタ２０４は、セキュリティ制御器２１０から出力される切替信号２２１により、逆ＤＣＴ器２０３からの画像データか、黒画像データのいずれかを選択する。２０５はフレームメモリで、マクロブロック単位の画像データを再生画像信号として出力する。２０６はＬＵＴで、ＱＰＣ[ｊ][ｉ]（＝ＱＰ’）を量子化マトリクスＱＰ[ｊ][ｉ]へ変換する。セレクタ２０７は、セキュリティ制御器２１０からの切替信号２２２に応じてＱＰ[ｊ][ｉ]又はＱＰ'[ｊ][ｉ]を出力する。但し、ＱＰＣ[ｊ][ｉ]は、ＱＰの場合もあり得る（スクランブルオフの場合）ため、その際ＬＵＴ２０６は変換処理を行わず、セレクタ２０７は入力ａを選択する。
【００４４】
次に、ＬＵＴ２０６における変換式を説明する、この変換式は前述のように図１のＬＵＴ１０６と同じである。
【００４５】
ＱＰ'[ｊ][ｉ]＝ＱＰ[ｊ][ｉ] ＸＯＲ ＦＦＨ
ここで、ＸＯＲは排他的論理和を示している。
【００４６】
次に、図２における画像復号装置の動作について説明する。
【００４７】
本実施の形態１では、分配器２００において入力ビットストリームをハフマンコードとＱＰＣ[ｊ][ｉ]、スクランブルON／OFFフラグ、及びＩＰ符号化データへ分配する。ハフマンコードは可変長復号器２０１により、量子化代表値へ復号される。
【００４８】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について説明する。
【００４９】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）は、図１のＬＵＴ１０６と逆変換特性を持つＬＵＴ２０６により変換されてＱＰ[ｊ][ｉ]が出力される。これによりセレクタ２０７は、入力ａにＱＰ'[ｊ][ｉ]を入力し、入力ｂにＱＰ[ｊ][ｉ]を入力する。ここではセキュリティ制御器２１０における認証結果がＯＫのため、セレクタ２０７は入力ｂのＱＰ[ｊ][ｉ]を選択して逆量子化器２０２に出力する。こうして逆量子化器２０２は、図１の符号化装置の量子化器１０１で使用されたのと同じ量子化マトリクスＱＰ[ｊ][ｉ]により逆量子化を行ってＤＣＴ係数を出力する。逆ＤＣＴ器２０３は、逆量子化器２０２から出力されるＤＣＴ係数を入力し逆ＤＣＴを行って画像データを出力する。この際、セレクタ２０４は、入力ａを選択してフレームメモリ２０５に出力する。その結果、この復号化装置は正常な画像を再生することができる。
【００５０】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【００５１】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ'[ｊ][ｉ]）は、図１のＬＵＴ１０６の逆変換特性を持つＬＵＴ２０６により変換されてＱＰ[ｊ][ｉ]を出力する。これによりセレクタ２０７は、入力ａにＱＰ'[ｊ][ｉ]、入力ｂにＱＰ[ｊ][ｉ]をそれぞれ入力する。そしてセキュリティ制御器２１０における認証結果がＮＯのため、切替信号２２２によりセレクタ２０７は入力ａのＱＰ'[ｊ][ｉ]を選択する。これにより逆量子化器２０２は、図１の符号化装置の量子化器１０１で使用されたのとは異なる量子化マトリクスＱＰ'[ｊ][ｉ]により逆量子化を行ってＤＣＴ係数を逆ＤＣＴ器２０３に出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し逆ＤＣＴを実行して画像データを出力する。セレクタ２０４では、切替信号２２１に従って入力ａを選択してフレームメモリ２０５へ出力する。その結果、スクランブルによる歪みのある画像が再生される。
【００５２】
次に、スクランブルオフで、且つＩＰ認証結果がＯＫの場合について記述する。
【００５３】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ[ｊ][ｉ]）はセレクタ２０７の入力ａに入力される。ここではセキュリティ制御器２１０における認証結果がＯＫのため、セレクタ２０７は切替信号２２１に従って入力ａを選択してＱＰ[ｊ][ｉ]を逆量子化器２０２に出力する。逆量子化器２０２は、このＱＰ[ｊ][ｉ]により逆量子化を行い、ＤＣＴ係数を逆ＤＣＴ器２０３に出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し逆ＤＣＴを実行して画像データを出力する。またセレクタ２０４では、認証結果がＯＫを示す切替信号２２１に応じて、入力ａを選択してフレームメモリ２０５へ出力する。その結果、正常な画像が再生される。
【００５４】
次に、スクランブルオフで、且つＩＰ認証結果がＮＯの場合について記述する。
【００５５】
ＱＰＣ[ｊ][ｉ]（＝ＱＰ[ｊ][ｉ]）は、セレクタ２０７の入力ａに入力されており、セキュリティ制御器２１０では認証結果がＮＯのため、セレクタ２０７、逆量子化器２０２、逆ＤＣＴ器２０３は意味を持たず、切替信号２２１に応じて、セレクタ２０４で入力ｂの黒画像を選択してフレームメモリ２０５へ出力することになる。その結果、黒画像が再生される。
【００５６】
この図２の復号化装置における復号化処理の流れを図６のフローチャートを参照して説明する。
【００５７】
まずステップＳ１１で、可変長復号器２０１によりハフマンコードを復号し、ステップＳ１２で、この符号化された画像信号がスクランブルオンで符号化されているかどうかをみる。そうであればステップＳ１３に進み、ＩＰ認証がＯＫかどうかを調べ、そうであればステップＳ１４に進み、逆量子化器２０２において、受信した量子化マトリクスＱＰ’をＬＵＴ２０６で変換した量子化マトリクスＱＰを使用して逆量子化する。そしてステップＳ１５で、この逆量子化したＤＣＴ係数を逆ＤＣＴにより元の画像信号に戻し（この場合は正常な画像信号が再生される）、ステップＳ１６で、フレームメモリ２０５に記憶する。
【００５８】
又ステップＳ１３で、ＩＰ認証がＯＫでない時はステップＳ１７に進み、逆量子化器２０２において、受信した量子化マトリクスＱＰ’を使用して逆量子化してステップＳ１５に進む。この場合は、符号化に使用したのとは異なる量子化マトリクスＱＰ’により逆量子化されるため、スクランブルによる歪みのある画像が再生されることになる。
【００５９】
又ステップＳ１２で、スクランブルがオフの場合はステップＳ１８に進み、ＩＰ認証がＯＫかどうかを調べ、そうであればステップＳ１９に進み、受信した量子化マトリクスＱＰを用いて逆量子化を行う。そしてステップＳ１５に進み、逆ＤＣを実行して、正常な画像信号に復号してフレームメモリ２０５に格納する。またステップＳ１８で、ＩＰ認証がＯＫでない時はステップＳ２０に進み、セレクタ２０７により黒画像信号を選択してステップＳ１６に進み、フレームメモリ２０５にその黒画像信号を格納する。
【００６０】
図３は、前述の実施の形態１に係る画像復号化装置における画像の復号化結果を説明する図で、セキュリティ制御器２１０におけるＩＰ認証器２０９の認証結果、セレクタ２０４及びセレクタ２０７における選択される入力、及び再生画像との関係が示されている。
【００６１】
ここではスクランブルON／OFFフラグとＩＰ認証結果との組み合わせにより４種類の状態を持ち、セレクタ２０４，２０７それぞれの選択結果から、結果として、３種類（正常、歪みあり、黒画像）の再生画像の状態を生成することが可能である。
【００６２】
［実施の形態１の変形例］
前述のＬＵＴ１０６，２０６は、入出力の対応が１対１であれば良く、本実施の形態１の変換式の代わりにテーブルを用意して実現してもかまわない。
【００６３】
また本実施の形態１ではＪＰＥＧ符号化方式について述べたが、動画像符号化として知られるMotion JPEGへの対応も可能である。
【００６４】
また本実施の形態１の各機能をソフトウエアにより実現してもかまわない。
【００６５】
また本実施の形態１では、ＩＰをパスワードとしたが、著作権を保護するための情報であればその他のものでもかまわない。またＩＰを４バイトと固定しているが他のビット長でもかまわない。また復号化装置が復号不可能を示す静止画像の種類を黒画像としているが、これは他の画像でもかまわない。
【００６６】
また量子化マトリクスＱＰ[ｊ][ｉ]におけるスクランブル対象をｉ＝３〜６３としたが、他の範囲でもかまわない。この範囲を設定することでスクランブルの歪み量を調整することができる。
【００６７】
以上説明したように本実施の形態１によれば、スクランブルをビットストリーム全体ではなく、限定された量子化マトリクスＱＰ[ｊ][ｉ]に対して行うことにより、装置の処理の負荷は少なくて済む。
【００６８】
またＱＰ［ｊ］[ｉ]は量子化のための制御データであり、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。本実施の形態１の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、結果としてスクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【００６９】
またパスワードはコメントデータとして多重化する際、前述のＱＰ[ｊ][ｉ]で用いたＬＵＴのような変換機能を含むことも可能である。この変換機能を多段で組み込むことにより、よりセキュリティ性を高くすることが期待できる。
【００７０】
［実施の形態２］
図７は本発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図で、図８はこれに対応する動画像復号化装置の構成を示すブロック図である。本実施の形態２では、ＭＰＥＧ−４符号化方式において、ＶＯＰ(Video Object Plane)毎に存在する固定長５ビットの量子化化パラメータに対してスクランブルをかけた場合について説明する。尚、ＭＰＥＧ−４符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００７１】
尚、図７に示す構成要素のうち、前述の実施の形態１と同様の構成要素については同一番号を付し、その詳細な説明は省略する。更に局部復号をするために次の構成要素を配置する。
【００７２】
図７において、３００は逆量子化器で、量子化器１０２の出力に対し逆量子化を行う。３０１は逆ＤＣＴ器で、逆量子化器３００の出力に対して逆ＤＣＴを行う。３０２はフレームメモリで、逆ＤＣＴ器３０１の局部復号出力を格納する。逆量子化器３００、逆ＤＣＴ器３０１及びフレームメモリ３０２は、フレーム間予測符号化のために使用される部分である。３０３はルックアップテーブル（ＬＵＴ）で、量子化器１０２で使用した量子化パラメータＱＰに対しスクランブルを施したＱＰ’へ変換する。３０４は減算器で、フレームメモリ３０２から出力された予測データをフレームメモリ１００からの出力から減算する。３０５は加算器で、フレームメモリ３０２から出力された予測データを逆ＤＣＴ器３０１の出力に加算する。
【００７３】
ここで、このＬＵＴ３０３は次式に従って変換を行う。
【００７４】
このスクランブルの対象は、この５ビットに対して行い、従ってＱＰ，ＱＰ’とも５ビットである。
【００７５】
ＱＰ’＝ ＦＦＨ ＸＯＲ ＱＰ
ここでＸＯＲは排他的論理和を示す。
【００７６】
尚、本実施の形態２の場合、図８の復号化装置でも同様の変換式となる。
【００７７】
以上のように構成された画像符号化装置における動作を次に説明する。
【００７８】
この実施の形態２に係る画像符号化装置は、前述の実施の形態１の画像符号化装置をＭＰＥＧ−４に従う動画像符号化装置としたものであり、逆量子化器３００、逆ＤＣＴ器３０１、フレームメモリ３０２、及びＬＵＴ１０６の内容が異なるので、それらの周辺についてのみ説明する。
【００７９】
本実施の形態２では、入力画像信号はＤＣＴ器１０１、量子化器１０２を経て量子化代表値として出力され、可変長符号化器１０３で符号化されて多重化器１０４に出力される。この量子化代表値はまた逆量子化器３００を経て逆ＤＣＴ器３０１により局部的に復号された画像信号としてフレームメモリ３０２へ格納される。またＬＵＴ３０３は、レート制御器１０５からの量子化パラメータＱＰをＱＰ’へ変換する。
【００８０】
図９は、本実施の形態２におけるビットストリームの概要構成について示す図である。
【００８１】
ＭＰＥＧ−４符号化方式では、符号量の制御はＶＯＰ(Video Object Plane)層の５ビットの量子化パラメータvop_quantで行うため、スクランブルの対象はこのvop_quantとなる。ＩＰ符号化器１０８で生成するユーザデータは、３２ビットのユーザデータスタートコードに始まり、１ビットのスクランブルON／OFFフラグ、次に４バイトのＩＰデータという構成をとる。例えばスクランブルオン時にＩＰデータがテキストコード“ＡＢＣＤ”の場合、スクランブルON／OFFフラグ＝１、ＩＰ＝４１Ｈ，４２Ｈ，４３Ｈ，４４Ｈ（Ｈは１６進数を表す）となる。また、vop_quantはＶＯＰ単位に存在するため、いわゆるフレーム毎にスクランブルの制御が可能である。
【００８２】
図８は、本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図で、図８における構成要素のうち、前述の実施の形態１（図２）と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【００８３】
５００は可変長復号器で、分配器２００からの出力を可変長復号する。５０１は逆量子化器で、量子化パラメータの符号化データＱＰＣ[ｊ][ｉ]により可変長復号器５００の出力に対して逆量子化を行う。５０２は逆ＤＣＴ器で、逆量子化５０１の出力に対して逆ＤＣＴを施す。５０３はセレクタで、セキュリティ制御器５０４からの切替信号２３１に従って、２系統ある可変長復号器、逆量子化器、逆ＤＣＴ器の組の一方か、又は黒画像から１つを選択する。セキュリティ制御器５０４は、分配器２００からのスクランブルON／OFFフラグ、ＩＰ認証器２０９からの認証結果に基づいて、切替信号２３１，２３２を出力してセレクタ２０７及びセレクタ５０３を制御する。５０５はＬＵＴで、ＱＰＣ（＝ＱＰ’）をＱＰに変換する。５０６はフレームメモリで、フレーム間予測符号化された符号化データの差分データを発生するために使用される。５０７，５０８は加算器で、差分データを逆ＤＣＴ器２０３、５０２の出力に対して加算する。
【００８４】
図８において、前述の実施の形態１と異なる点は、可変長復号器、逆量子化器、逆ＤＣＴ器を２系統持つことである。可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２の経路は、スクランブルを解除せずにＱＰを使用する経路であり、一方、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路はスクランブルを解除したＱＰを使用する経路である。
【００８５】
次に図８における画像復号化装置の動作について説明する。
【００８６】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について記述する。
【００８７】
この場合、図７のセレクタ１０７はＬＵＴ３０３の出力（ＱＰ’）を選択して出力する。そして逆変換特性を持つＬＵＴ５０５は、ＱＰＣ（＝ＱＰ’）を変換してＱＰを出力する。この場合、セレクタ２０７は入力ａにＱＰ’を、入力ｂにＱＰを入力することになる。そしてセキュリティ制御器５０４では認証結果がＯＫであるため、切替信号２３２により、セレクタ２０７により入力ｂのＱＰを選択させる。これにより逆量子化器２０２は、符号化装置で使用されたのと同じ量子化マトリクスＱＰを使用して逆量子化を行ってＤＣＴ係数を出力する。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して画像データを出力する。この際、セレクタ５０３は、セキュリティ制御器５０４からの切替信号２３１により入力ｃを選択して出力する。その結果、正常な画像が再生される。
【００８８】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【００８９】
この場合、図７の符号化装置の出力は前述の場合と同様であるが、スクランブルオンのため、セキュリティ制御器５０４からの切替信号２３２により、セレクタ２０７は入力ｂのＱＰを選択する。こうして逆量子化器２０２は、符号化で使用された量子化マトリクスＱＰを用いて逆量子化を行ってＤＣＴ係数を出力する。そして逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して正常に復号された画像データを出力する。
【００９０】
また、分配器２００から出力された画像データは、可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２により復号化されている。逆量子化器５０１では、符号化で使用されたのとは異なる量子化マトリクスＱＰ’を用いて逆量子化を行っているので、逆ＤＣＴ器５０２より出力される画像データにより、スクランブルによる歪みのある画像が再生される。
【００９１】
セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により入力ｂを選択して出力するように設定されている。従って、スクランブルによる歪みのある画像が再生されることになる。
【００９２】
次にスクランブルオフ、且つＩＰ認証結果がＯＫの場合について記述する。
【００９３】
セキュリティ制御器５０４からは認証結果がＯＫのため、切替信号２３２によりセレクタ２０７は入力ａ（ＱＰ）を選択して逆量子化器２０２に出力する。この逆量子化器２０２は、符号化の際の量子化マトリクスと同じＱＰにより逆量子化を行ってＤＣＴ係数を出力し、このＤＣＴ係数は逆ＤＣＴ器２０３で変換されて、正常な画像信号が出力される。この際、セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により、入力ｂもしくは入力ｃを選択して出力するように設定されている。その結果、正常な画像が再生されることになる。
【００９４】
次に、スクランブルオフで、且つＩＰ認証結果がＮＯの場合について説明する。
【００９５】
セキュリティ制御器５０４では認証結果がＮＯのため、セレクタ５０３はセキュリティ制御器５０４からの切替信号２３１により入力ａの黒画像を選択して出力することになる。その結果、黒画像が再生される。
【００９６】
図１０は、この実施の形態２に係る画像復号化装置におけるセキュリティ制御器５０４、セレクタ２０７、セレクタ５０３の選択状態、及び再生画像との関係を説明する図である。
【００９７】
尚、この実施の形態２に係る符号化処理及び復号化処理のフローチャートは、前述の実施の形態１と実質的に同様であるので、それらの説明を省略する。
【００９８】
このように本実施の形態２によれば、スクランブルON／OFFフラグとＩＰ認証結果により、セレクタ２０７、セレクタ５０３を制御し、その結果、３種類の再生画像の状態を生成することが可能である。
【００９９】
［実施の形態２の変形例］
ＬＵＴ３０３，５０５では、入出力の対応が１対１であれば良く、本実施の形態２の変換式の代わりにテーブルを用いて実現してもかまわない。また本実施の形態２の各機能をソフトウエアにより実現してもかまわない。
【０１００】
以上説明したように本実施の形態２によれば、スクランブルをビットストリーム全体ではなく、限定されたＱＰに対して行うことにより、装置の処理の負荷は少なくて済む。
【０１０１】
またＱＰは量子化の制御データであり、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。
【０１０２】
本実施の形態２の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、その結果、スクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【０１０３】
またパスワードはユーザデータとして多重する際、前述のＱＰで用いたＬＵＴのような変換機能を含むことも可能である。このような変換機能を多段で組み込むことでより、よりセキュリティ性が高くなることが期待できる。
【０１０４】
またこれらの２系統に対し局部復号画像を格納するフレームメモリ５０６を可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３用として備えることにより、フレームメモリ２０５には正常な復号画像が格納されるため、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路から生成されるスクランブルによる歪みがフレーム毎に蓄積するのを防止することができる。
【０１０５】
［実施の形態３］
図１１は、本発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図、図１２はこれに対応する動画像復号装置の構成を示すブロック図である。本実施の形態３では、ＭＰＥＧ−４符号化方式において、ＤＣＴ係数の符号化データであるハフマンコードの符号ビットを反転することでスクランブルをかける場合について説明する。
【０１０６】
まず図１１に示す動画像符号化装置について説明する。この図１１における構成要素のうち、前述の実施の形態１，２と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【０１０７】
６００は符号反転器で、可変長符号化器１０３からのハフマンコードを入力して符号反転する。ＭＰＥＧ−４におけるハフマンコードの符号ビットは、ビット列末尾の１ビットであり、正の場合は“０”、負の場合は“１”である。よって、この符号ビットを反転することが符号反転器６００の処理となる。尚、ＤＣＴ係数のブロック内をジグザグスキャン順序で連続した列をＤＣＴ[ｉ]（ｉ＝０〜６３）とした場合、反転するハフマンコードは、ｉ＝３〜６３とする。
【０１０８】
６０１はセレクタで、外部から入力するスクランブルON／OFFフラグに応じて、可変長符号化器１０３からの出力と、符号反転器６００の出力のいずれか一方を選択して多重化器６０２に出力している。多重化器６０２は、セレクタ６０１から出力されたハフマンコード、外部から入力されるスクランブルON／OFFフラグ、及びＩＰ符号化器１０８から出力されるＩＰ符号化データをユーザデータとして多重化してビットストリームとして出力する。
【０１０９】
このような画像符号化装置における画像符号化装置の動作を次に説明する。
【０１１０】
この図に示した実施の形態３の画像符号化装置は、前述の実施の形態２の動画像符号化装置でのスクランブルの対象ＱＰをハフマンコードの符号ビットへ置き換えたものであるので、可変長符号化以降の周辺動作について説明する。
【０１１１】
本実施の形態３では、可変長符号化器１０３から出力されたハフマンコードに対し、同時に符号反転器６００により、その符号ビットが反転されたハフマンコードを生成する。この可変長符号化器１０３の出力と符号反転器６００の出力のいずれかが、スクランブルON／OFFフラグに応じて、セレクタ６０１で選択され、多重化器６０２へ入力される。
【０１１２】
次に図１２に示す画像復号装置について説明する。
【０１１３】
図１２は、本発明の実施の形態３に係る動画像復号装置の構成を示すブロック図である。この装置は図８と同様に、可変長復号器、逆量子化器、逆ＤＣＴ器からなる組を２系統持つ。また図１２における前述の実施の形態１及び２と同様の構成要素については同一番号を付して、その詳細な説明は省略する。
【０１１４】
７００は分配器で、入力したビットストリームからＤＣＴ係数を符号化したハフマンコード、ユーザデータとして多重化されたスクランブルON／OFFフラグ、及びＩＰ符号化コードを分配する。７０１はセレクタで、後述するセキュリティ制御器５０４からの切替信号２４２により、分配器７００の出力もしくは符号反転器６００の出力のいずれかを選択する。入力ビットストリームは分配器７００によりハフマンコード、スクランブルON／OFFフラグ、及びＩＰ符号化コードに分配される。符号反転器６００は、ハフマンコードを入力して符号反転したハフマンコードを出力する。以降では正常なハフマンコードを正常符号、符号反転したハフマンコードを反転符号と称す。
【０１１５】
まずスクランブルオン、且つＩＰ認証結果がＯＫの場合について記述する。
【０１１６】
セレクタ７０１は入力ａに反転符号、入力ｂに正常符号を入力する。そしてセキュリティ制御器５０４では認証結果がＯＫであるため、切替信号２４２によりセレクタ７０１により、入力ｂの正常符号を選択させる。こうして正常なハフマンコードは可変長復号器２０１で復号され、逆量子化器２０２で逆量子化されてＤＣＴ係数を出力する。そして逆ＤＣＴ器２０３は、このＤＣＴ係数を入力して正常な画像データを出力する。この際、セレクタ５０３は、セキュリティ制御器５０４からの切替信号２４１により入力ｃを選択するように指示されているので、正常な画像信号が再生されることになる。
【０１１７】
次にスクランブルオン、且つＩＰ認証結果がＮＯの場合について記述する。
【０１１８】
この場合、スクランブルオンのため、セキュリティ制御器５０４からの切替信号２４２により、セレクタ７０１はｂの符号が元に戻された正常なコードを選択する。可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３は符号反転したコードを入力し、正常に復号された画像データを出力する。
【０１１９】
また分配器７００から出力された画像データは、可変長復号器５００、逆量子化器５０１、逆ＤＣＴ器５０２により復号化されている。ここでは、反転（スクランブル）された符号化データにより復号化を行っているので、逆ＤＣＴ器５０２より出力される画像データにより、スクランブルによる歪みのある画像が再生される。
【０１２０】
セレクタ５０３はセキュリティ制御器５０４からの切替信号２４１により、入力ｂを選択して出力するように設定されている。従って、スクランブルによる歪みのある画像が再生されることになる。
【０１２１】
次に、スクランブルオフで、且つＩＰ認証結果がＯＫの場合について記述する。
【０１２２】
この場合はセキュリティ制御器５０４で認証結果がＯＫであるため、切替信号２４２により、セレクタ７０１は入力ａを選択して正常符号を可変長復号器２０１により復号する。こうして復号されたデータは逆量子化器２０２により逆量子化されてＤＣＴ係数が出力される。逆ＤＣＴ器２０３は、このＤＣＴ係数を入力し正常な画像データを出力する。この際、セレクタ５０３はセキュリティ制御器５０４からの切替信号２４１により、入力ｂもしくはｃを選択して出力する様に設定されている。その結果、正常な画像を再生することになる。
【０１２３】
次にスクランブルオフ、且つＩＰ認証結果がＮＯの場合について記述する。
【０１２４】
この場合、セキュリティ制御器２１０では認証結果がＮＯのため、切替信号２４１により、セレクタ５０３は入力ａの黒画像を選択して出力することになる。その結果、この場合には黒画像が再生される。
【０１２５】
図１３は本発明の実施の形態３に係る画像符号化装置におけるハフマン符号化した符号の処理方法を説明するフローチャートで、図１１のセレクタ６０１の処理に相当している。
【０１２６】
ここではまずステップＳ３１でスクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ３２に進み、ハフマン符号の符号ビットを反転して出力する。
【０１２７】
図１４は、この実施の形態３に係る画像復号化装置における処理を示すフローチャートである。
【０１２８】
まずステップＳ４１で、入力ビットストリームに含まれるスクランブルON/OFFフラグがオンかどうかを調べ、オンであればステップＳ４２に進み、ＩＰ認証がＯＫかどうかをみる。ＩＰ認証がＯＫであればステップＳ４３に進み、符号反転器６００により符号反転されたコードを入力し、ステップＳ４４で、そのコードを可変長復号器２０１、逆量子化器２０２及び逆ＤＣＴ器２０３により復号する。これにより正常な画像が再生される。
【０１２９】
又ステップＳ４２でＩＰ認証がＯＫでないときは直接ステップＳ４４に進み、符号ビットが反転されたハフマン符号を基に復号処理を行って、スクランブル歪みのある画像を再生する。
【０１３０】
またステップＳ４１で、スクランブルON/OFFフラグがオフであればステップＳ４５に進み、ＩＰ認証がＯＫかどうかをみる。ＩＰ認証がＯＫであればステップＳ４４に進み、元々符号反転されていないハフマンコードを入力し、ステップＳ４４で、そのコードを可変長復号器２０１、逆量子化器２０２及び逆ＤＣＴ器２０３により復号する。これにより正常な画像が再生される。
【０１３１】
又ステップＳ４５でＩＰ認証がＯＫでないときはステップＳ４６に進み、セレクタ５０３の入力ａを選択し、黒画像を再生する。
【０１３２】
［実施の形態３のその他の構成］
本実施の形態３の各機能をソフトウエアにより実現してもかまわない。
【０１３３】
またハフマンコードのスクランブル対象を前述のようにｉ＝３〜６３としたが、他の範囲でもかまわない。この範囲を設定することでスクランブルの歪みを調整することができる。
【０１３４】
以上のように本実施の形態３によれば、スクランブルをビットストリーム全体ではなくハフマンコードの符号ビットに対して行うことで、装置の処理の負荷は少なくて済む。
【０１３５】
またハフマンコードは、ブロック毎に符号反転されるため、スクランブルのかかったビットストリームを直接復号すると歪みはブロック内に閉じたものとなる。
【０１３６】
また本実施の形態３の場合、正常な画像よりもブロック歪みやモスキート歪みと言われる量子化歪みを多く発生した画像を再生することになり、その結果、スクランブルを解除できない視聴者は、画像の概観を認識するに留まることになる。
【０１３７】
またこれらの２つの系統に対し局部復号画像を格納するフレームメモリ２０５を可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３用として持つことで、フレームメモリ２０５には正常な復号画像が格納されるため、可変長復号器２０１、逆量子化器２０２、逆ＤＣＴ器２０３の経路から生成されるスクランブルによる歪みがフレーム毎に蓄積していくことを防止することができる。
【０１３８】
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４０】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４１】
以上説明したように本実施の形態によれば、ビットストリームの一部の限定された制御データに対してスクランブルを行うため、符号化データ全体を対象とするよりもその処理の負荷は少なくて済む。また復号画像は完全に停止することなく再生を続けることになり、その歪みはブロック内に閉じたものとなるため、スクランブルを解除できない視聴者は画像の概観を認識するという状態を作ることが可能となる。
【０１４２】
また本実施の形態によれば、ストリーム内にＩＰ符号化データ、及び著作権を保護するフレームのフラグを設けることにより、所望の画像の一部に対してコンテンツ提供者の著作権を守ることが可能となる。
【０１４３】
更にビットストリーム内のスクランブルON／OFFフラグ及びＩＰの組み合わせにより、正常再生画像、及びスクランブルによる歪みのある画像を再生することが可能となる。
【０１４４】
【発明の効果】
以上説明したように本発明によれば、正規の視聴権利を有するか否かの認証結果とスクランブルの有無との組合せにより、おおよその概観を認識できる程度の画像を含めた３種類の画像（正常、スクランブル画像、復号不可能を示す静止画像）を再生できるという効果がある。
【０１４５】
また本発明によれば、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる符号化された画像信号を再生できるという効果がある。
【０１４６】
また本発明によれば、正規の視聴権利を有さない視聴者の装置においても、大まかな画像内容が把握できる程度に、符号化された画像信号を復号して再生できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。
【図３】本実施の形態１に係るセキュリティ制御器の入出力と再生画像の関係を示す図である。
【図４】本実施の形態１に係るビットストリームの構成を説明するための図である。
【図５】本実施の形態１に係る画像符号化装置における符号化処理を示すフローチャートである。
【図６】本実施の形態１に係る画像復号化装置における復号化処理を示すフローチャートである。
【図７】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図８】本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。
【図９】本発明の実施の形態２に係るビットストリームの構成を説明するための図である。
【図１０】本実施の形態２に係るセキュリティ制御器の入出力と再生画像の関係を示す図である。
【図１１】本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。
【図１２】本発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。
【図１３】本実施の形態３に係る画像符号化装置における処理を示すフローチャートである。
【図１４】本実施の形態３に係る画像復号化装置における復号化処理を示すフローチャートである。
Claims (9)
- 符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、
前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、
符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得手段と、
符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化手段と、
前記判定手段による判定結果が一致である場合は、前記第一の符号化パラメータに従って復号化された画像を選択し、前記判定手段による判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合は、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、
を有することを特徴とする画像処理装置。 - 更に、前記第二の符号化パラメータを変換し、前記第一の符号化パラメータを生成する変換手段を備えることを特徴とする請求項１に記載の画像処理装置。
- 前記第一の符号化パラメータは、前記第二の符号化パラメータを排他的論理和演算することにより変換されることを特徴とする請求項２に記載の画像処理装置。
- 前記復号化手段は、
前記符号化された画像信号を可変長復号化する可変長復号化手段と、
前記可変長復号化手段により復号されたデータを前記パラメータ変換手段から出力される前記符号化パラメータに従って逆量子化する逆量子化手段と、
前記逆量子化手段により逆量子化された結果を逆ＤＣＴする逆ＤＣＴ手段と、を有することを特徴とする請求項１に記載の画像処理装置。 - スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理装置であって、
認証データを入力する認証データ入力手段と、
前記認証データ入力手段により入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定手段と、
前記符号化された画像信号の符号を反転する反転手段と、
前記符号化された画像信号もしくは前記反転手段によって符号が反転された前記画像信号のいずれかを復号化する復号化手段と、
前記判定手段による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転手段によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択手段と、
を有することを特徴とする画像処理装置。 - 前記復号化手段は、
前記符号化された画像信号を可変長復号化する可変長復号化手段と、
前記可変長復号化手段により復号されたデータを逆量子化する逆量子化手段と、
前記逆量子化手段により逆量子化された結果を逆ＤＣＴする逆ＤＣＴ手段と、を有することを特徴とする請求項５に記載の画像処理装置。 - 符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、
前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、
符号化された画像信号を正常に復号するための第一の符号化パラメータ、または前記符号化された画像信号を画質が劣化した画像として復号するための第二の符号化パラメータを取得する取得工程と、
符号化された画像信号を前記第一の符号化パラメータもしくは第二の符号化パラメータのいずれかに従ってブロック単位で復号化する復号化工程と、
前記判定工程による判定結果が一致である場合には、前記第一の符号化パラメータ（ＱＰ）に従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブル処理が掛かっている場合には、前記第二の符号化パラメータに従って復号化された画像を選択し、前記判定結果が不一致でありかつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、
を有することを特徴とする画像処理方法。 - スクランブルの有無に応じて反転された符号を含む符号化された画像信号を復号する画像処理方法であって、
認証データを入力する認証データ入力工程と、
前記認証データ入力工程で入力された前記認証データと、前記画像信号とともに入力される認証データとの整合を判定する判定工程と、
前記符号化された画像信号の符号を反転する反転工程と、
前記符号化された画像信号もしくは前記反転工程で符号が反転された前記画像信号のいずれかを復号化する復号化工程と、
前記判定工程による判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっている場合には、前記反転工程によって符号が反転された前記画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブル処理が掛かっている場合、もしくは、前記判定結果が一致で、かつ前記画像信号にスクランブル処理が掛かっていない場合には、前記符号化された画像信号を復号化した画像を選択し、前記判定結果が不一致で、かつ前記画像信号にスクランブルが掛かっていない場合には、復号不可能を示す静止画像を選択する選択工程と、
を有することを特徴とする画像処理方法。 - 請求項７又は８に記載の画像処理方法を、コンピュータに実行させる制御プログラムを記憶した、コンピュータにより読取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000517A JP4018305B2 (ja) | 2000-01-05 | 2000-01-05 | 画像処理方法及びその装置と記憶媒体 |
| US09/750,164 US6810131B2 (en) | 2000-01-05 | 2000-12-29 | Information processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000517A JP4018305B2 (ja) | 2000-01-05 | 2000-01-05 | 画像処理方法及びその装置と記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001197453A JP2001197453A (ja) | 2001-07-19 |
| JP4018305B2 true JP4018305B2 (ja) | 2007-12-05 |
Family
ID=18529860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000000517A Expired - Fee Related JP4018305B2 (ja) | 2000-01-05 | 2000-01-05 | 画像処理方法及びその装置と記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4018305B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164303B (zh) * | 2010-02-24 | 2016-06-22 | 中兴通讯股份有限公司 | 视频版权保护方法、系统及视频发布方实体 |
| CN113673446A (zh) * | 2021-08-24 | 2021-11-19 | 京东鲲鹏(江苏)科技有限公司 | 图像识别方法、装置、电子设备和计算机可读介质 |
-
2000
- 2000-01-05 JP JP2000000517A patent/JP4018305B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001197453A (ja) | 2001-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6810131B2 (en) | Information processing method and apparatus | |
| EP0928110B1 (en) | Image signal processing for electronic watermarking | |
| JP3083507B2 (ja) | Ｍｐｅｇ２動画像符号化／復号化システム | |
| US8094814B2 (en) | Method and apparatus for using counter-mode encryption to protect image data in frame buffer of a video compression system | |
| US7295673B2 (en) | Method and system for securing compressed digital video | |
| EP0926897B1 (en) | Video signal processing for electronic watermarking | |
| US6725372B1 (en) | Digital watermarking | |
| US8238435B2 (en) | Modifying bitstreams | |
| US20050185795A1 (en) | Apparatus and/or method for adaptively encoding and/or decoding scalable-encoded bitstream, and recording medium including computer readable code implementing the same | |
| JP4018335B2 (ja) | 画像復号装置及び画像復号方法 | |
| JPH08163533A (ja) | 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置 | |
| US20120230388A1 (en) | Method and system for protecting image data in frame buffers of video compression systems | |
| US20040223612A1 (en) | Motion picture data processing device, method, and program | |
| JP3976942B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| KR20060101092A (ko) | 이동통신단말기의 동영상데이터 보안방법 | |
| JP2005535242A (ja) | Ｍｐｅｇ−４タイプの音響映像マルチメディアコンテンツのスクランブル装置 | |
| JP4018305B2 (ja) | 画像処理方法及びその装置と記憶媒体 | |
| JP2001223981A (ja) | デジタルコンテンツのコピー制御方法及び装置 | |
| KR100247249B1 (ko) | 동화상 데이타 복제 방지장치 | |
| JPH06311043A (ja) | ディジタル動画像の無断複製の際における画質劣化の方法とその装置 | |
| JP2000083254A (ja) | 動画像符号化方法および動画像復号方法 | |
| CN117119226A (zh) | 一种高效的h264视频流实时加密方法 | |
| JP2006287502A (ja) | スクランブル映像配信システム | |
| JP2009296327A (ja) | スクランブル処理装置、デスクランブル処理装置、画像符号化装置、画像復号装置、スクランブル処理、デスクランブル処理の方法およびプログラム | |
| JP2001309330A (ja) | 画像復号装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070910 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |