JP4742614B2 - データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム - Google Patents

データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4742614B2
JP4742614B2 JP2005049955A JP2005049955A JP4742614B2 JP 4742614 B2 JP4742614 B2 JP 4742614B2 JP 2005049955 A JP2005049955 A JP 2005049955A JP 2005049955 A JP2005049955 A JP 2005049955A JP 4742614 B2 JP4742614 B2 JP 4742614B2
Authority
JP
Japan
Prior art keywords
data
vector
component
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005049955A
Other languages
English (en)
Other versions
JP2006238070A5 (ja
JP2006238070A (ja
Inventor
智宏 安岡
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005049955A priority Critical patent/JP4742614B2/ja
Priority to US11/362,557 priority patent/US7925019B2/en
Publication of JP2006238070A publication Critical patent/JP2006238070A/ja
Publication of JP2006238070A5 publication Critical patent/JP2006238070A5/ja
Application granted granted Critical
Publication of JP4742614B2 publication Critical patent/JP4742614B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00572Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which change the format of the recording medium
    • G11B20/00579Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which change the format of the recording medium said format change concerning the data encoding, e.g., modulation schemes violating run-length constraints, causing excessive DC content, or involving uncommon codewords or sync patterns
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00731Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a digital rights management system for enforcing a usage restriction
    • G11B20/00818Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a digital rights management system for enforcing a usage restriction wherein the usage restriction limits the signal quality, e.g. by low-pass filtering of audio signals or by reducing the resolution of video signals
    • G11B20/00826Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a digital rights management system for enforcing a usage restriction wherein the usage restriction limits the signal quality, e.g. by low-pass filtering of audio signals or by reducing the resolution of video signals wherein a spoiler signal is added to degrade the signal quality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関し、特に、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、2回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止することができるようにした、データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関する。
図1は、従来の画像表示システムの構成例を示している。この画像表示システムは、再生装置1と表示装置2とから構成されている。
再生装置1は、復号部11とD/A変換部12とから構成されている。復号部11は、図示せぬ光ディスク等の記録媒体から再生された符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号Vdg0をD/A変換部12に供給する。D/A変換部12は、このデジタル画像信号Vdg0をD/A(Digital-to-Analog)変換し、その結果得られるアナログ画像信号Vanを外部に出力する。即ち、アナログ画像信号Vanは、再生装置1から出力されて表示装置2に供給される。
表示装置2は、例えばCRT(Cathode-Ray Tube)ディスプレイやLCD(Liquid Crystal Display)等で構成され、再生装置1から供給されたアナログ画像信号Vanに対応する画像を表示する。
また、従来、図1に示されるような、A/D変換部21、符号化部22、および記録部23から構成される符号化装置3が存在する。この符号化装置3と、再生装置1から出力されたアナログ画像信号Vanとを利用することで、不正コピーが行われるおそれがある。
即ち、再生装置1から出力されたアナログ画像信号Vanが符号化装置3に入力されてしまうと、A/D変換部21は、そのアナログ画像信号VanをA/D(Analog-to-Digital)変換し、その結果得られるデジタル画像信号Vdg’を符号化部22に供給する。符号化部22は、そのデジタル画像信号Vdg’を符号化し、その結果得られる符号化デジタル画像信号Vcd’を記録部23に供給する。記録部23は、その符号化デジタル画像信号Vcd’を、図示せぬ光ディスク等の記録媒体に記録する。このようにして、不正コピーが行われてしまう。
そこで、特許文献1には、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされているアナログ画像信号Vanをスクランブル処理して出力するか、或いはその出力を禁止する、といった手法が開示されている。
また、特許文献2には、再生側と記録側とのうちのいずれか一方もしくは両方の圧縮復号部に雑音情報発生部を設け、1回の処理では画像再生時に識別できない程度の雑音情報をデジタル画像信号に埋め込むことにより、コピー自体は可能とするが、複数回コピーを繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限する、といった手法が開示されている。
しかしながら、特許文献1の手法では、上述したように、再生装置1から出力されたアナログ画像信号Vanをスクランブル処理して出力するか或いはその出力を禁止するので、不正コピーの防止自体は図れるが、一方、表示装置2に正常な画像が表示されなくなるという問題点を有している。
また、特許文献2の手法では、再生側または記録側に、雑音情報発生部とこれを埋め込むための回路を搭載することが必須となり、回路規模が増大してしまうという問題点を有している。
即ち、特許文献1や特許文献2等の手法では、アナログ画像信号Vanを利用した不正コピーの防止自体は図られるが、その副作用として、表示装置2に適切な画像が表示されなくなったり、回路規模の増大を招いたりといった不都合が発生してしまう、という問題点が存在する。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている(例えば、特許文献3参照)。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている(例えば、特許文献3参照)。
即ち、特許文献3の手法とは、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレに着目し、そのデジタル画像信号に対して位相ズレに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止する、という手法である。
特開2001−245270号公報 特開平10−289522号公報 特開2004−289685号公報
このように、特許文献3の手法を適用することで、不正コピーを防止することが可能になった。しかしながら、デジタルコンテンツの流通が一般的になっている近年においては、特許文献3の他にも、不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、2回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止するようにするものであって、特許文献3の手法とは異なる手法を提案するものである。
本発明の第1の側面のデータ変換装置は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの、所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割手段と、前記分割手段により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化手段と、分析対象の前記ブロックについて前記ベクトル化手段により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析手段と、前記分析手段により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換手段とを備え、前記ベクトル化手段が前記第3のベクトル生成手法により第1のベクトルを生成した場合、前記変換手段は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化することを特徴とする。
データに対してアナログ歪みを生じさせるアナログ歪み生成手段をさらに設け、前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記分割手段に入力されるようにすることができる。
N個の前記コンポーネントデータは、対応する画素についての赤の輝度レベルを示す第1の画素データと、対応する前記画素についての緑の輝度レベルを示す第2の画素データと、対応する前記画素についての青の輝度レベルを示す第3の画素データとを含むようにすることができる。
本発明の第1の側面のデータ変換方法は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換装置のデータ変換方法であって、前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップとを含み、前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化することを特徴とする。
本発明の第1の側面の記録媒体は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換処理を制御するコンピュータに、前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップとを含み、前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第1の側面のプログラムは、1画素につき複数のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換処理を制御するコンピュータに、前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップとを含み、前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する処理を実行させるためのプログラムである。
本発明の第1の側面においては、入力データのうちの所定の1つのアクセスユニットが処理対象に設定され、処理対象のアクセスユニットが1以上のブロックに分割され、分割された1以上のブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象のブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値をブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルが生成される第1のベクトル生成手法、ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルが生成される第2のベクトル生成手法、または、画素のN個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルが画素毎に生成される第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象のブロックについて生成された第1のベクトルを対象とする主成分分析を行うことで、分析対象のブロックの各画素のコンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された基底を利用して、第1の座標系で表現される分析対象のブロックの第1のベクトルが、基底を軸とする第2の座標系で表現される第2のベクトルに変換され、第2のベクトルからなるデータ群を所定の単位毎に符号化される。第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象のブロックについての、N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の第1のベクトルは、生成された基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている。
本発明の第2の側面のデータ逆変換装置は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離手段と、前記分離手段により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換手段とを備え、前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されていることを特徴とする。
前記元データはアナログ歪みが生じているものにすることができる。
N個の前記コンポーネントデータは、対応する画素についての赤の輝度レベルを示す第1の画素データと、対応する前記画素についての緑の輝度レベルを示す第2の画素データと、対応する前記画素についての青の輝度レベルを示す第3の画素データとを含むようにすることができる。
本発明の第2の側面のデータ逆変換方法は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置のデータ逆変換方法であって、前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップとを含を含み、前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されていることを特徴とする。
本発明の第2の側面の記録媒体は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップとを含み、前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第2の側面のプログラムは、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップとを含み、前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている処理を実行させるためのプログラムである。
本発明の第2の側面においては、入力データから、1以上の符号化データのそれぞれと、それぞれに対応付けられた基底のそれぞれとに分離され、入力データから分離された1以上の符号化データのそれぞれが処理対象に1つずつ順次設定され、処理対象の符号化データが復号され、その結果得られるデータ群を構成する第2のベクトルのそれぞれが、処理対象の符号化データに対応付けられた基底を利用して、第1のベクトルのそれぞれに逆変換される。第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象のブロックについての、N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の第1のベクトルは、生成された基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている。
本発明の第3の側面の情報処理システムは、画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、前記変換部は、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの、所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割手段と、前記分割手段により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化手段と、分析対象の前記ブロックについて前記ベクトル化手段により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析手段と、前記分析手段により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換手段とを有し、前記ベクトル化手段が前記第3のベクトル生成手法により第1のベクトルを生成した場合、前記変換手段は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化することを特徴とする。
本発明の第3の側面においては、入力データのうちの所定の1つのアクセスユニットが処理対象に設定され、処理対象のアクセスユニットが1以上のブロックに分割され、分割された1以上のブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象のブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値をブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルが生成される第1のベクトル生成手法、ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルが生成される第2のベクトル生成手法、または、画素のN個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルが画素毎に生成される第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象のブロックについて生成された第1のベクトルを対象とする主成分分析を行うことで、分析対象のブロックの各画素のコンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された基底を利用して、第1の座標系で表現される分析対象のブロックの第1のベクトルが、基底を軸とする第2の座標系で表現される第2のベクトルに変換され、第2のベクトルからなるデータ群を所定の単位毎に符号化される。第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象のブロックについての、N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の第1のベクトルは、生成された基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている。
本発明の第4の側面の情報処理システムは、画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、前記変換部、または、前記変換部以外の装置により、1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として前記逆変換部に入力され、前記逆変換部は、前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離手段と、前記分離手段により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換手段とを有し、前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されていることを特徴とする。
本発明の第4の側面においては、入力データから、1以上の符号化データのそれぞれと、それぞれに対応付けられた基底のそれぞれとに分離され、入力データから分離された1以上の符号化データのそれぞれが処理対象に1つずつ順次設定され、処理対象の符号化データが復号され、その結果得られるデータ群を構成する第2のベクトルのそれぞれが、処理対象の符号化データに対応付けられた基底を利用して、第1のベクトルのそれぞれに逆変換される。第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象のブロックについての、N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の第1のベクトルは、生成された基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている。
以上のごとく、本発明によれば、画像データの符号化や復号を行うことができる。特に、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、2回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止するようにすることができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
本発明の第1の側面のデータ変換装置は、
1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの、所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割手段(例えば、図3の処理領域分割部82)と、
前記分割手段により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化手段(例えば、図3のベクトル化部83)と、
分析対象の前記ブロックについて前記ベクトル化手段により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析手段(例えば、図3の直交変換基底生成部84)と、
前記分析手段により生成された前記基底を利用して、第1の座標系(例えば、図9の左側の軸r,g,bを有する座標系)で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系(例えば、図9の右側の第1主成分s,第2主成分t,第3主成分uの軸を有する座標系)で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換手段(例えば、図3の直交変換符号化部85)と
を備え、
前記ベクトル化手段が前記第3のベクトル生成手法により第1のベクトルを生成した場合、
前記変換手段は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
ことを特徴とする。
データに対してアナログ歪みを生じさせるアナログ歪み生成手段(例えば、図26のアナログ歪み生成部451)をさらに備え、
前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記分割手段に入力される。
N個の前記コンポーネントデータは、対応する画素についての赤の輝度レベルを示す第1の画素データ(例えば、図8のR画素値Xkr)と、対応する前記画素についての緑の輝度レベルを示す第2の画素データ(例えば、図8のG画素値Xkg)と、対応する前記画素についての青の輝度レベルを示す第3の画素データ(例えば、図8のb画素値Xkb)とを含む。
本発明の第2の側面のデータ逆変換装置は、
1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータ(例えば、図3の符号化部52により出力され、図14の入力部101に入力される符号化デジタル画像信号Vcd)が、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、
前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離手段(例えば、図14のデータ分解部104)と、
前記分離手段により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換手段(例えば、図14の逆直交変換復号部103)と
を備え、
前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
ことを特徴とする。
次に、図面を参照して、本発明の実施の形態について説明する。
図2は、本発明が適用される画像処理システムの構成例を示している。
なお、図2の画像処理システムにおいて、図1の従来の画像表示システムと対応する部分には同一の符号を付してあり、その説明は適宜省略する。ただし、再生装置1から出力されるアナログ画像信号の符号は、図1ではVanとされているが、図2ではVan1とされている。後述するD/A変換部55から出力されるアナログ画像信号Van2と区別するためである。
図2の例では、画像処理システムは、再生装置1、表示装置2、および記録再生装置31から構成されている。即ち、図1の従来の画像表示システムに対して記録再生装置31を付加したシステムが、本発明が適用される画像処理システムの一実施の形態である。
なお、再生装置1から出力されるアナログ画像信号Van1は、アナログ歪みを伴う信号である。ここでいうアナログ歪みとは、信号がD/A変換されるときにその信号に生じる歪み、即ち、その信号に乗るノイズをいう。従って、このアナログ歪みには、例えば、再生装置1のD/A変換部12により信号がD/A変換されるときにその信号に生じる歪み、具体的には例えば、その信号から高周波成分が除去されることでその信号に生じる歪みや、その信号の位相がずれることでその信号に生じる歪み等が含まれる。なお、このアナログ歪みによる画像の劣化を評価する方法として、S/N(Signal-to-Noise)評価や、視覚評価(視覚的劣化の評価)等がある。また、このアナログ歪みは、自然に生じるものでも良いし、意図的に生じさせるようにしても良い(後述する図26のアナログ歪み生成部451参照)。
図2の例では、記録再生装置31は、符号化装置41と復号装置42とから構成されている。即ち、符号化装置41が、本発明が適用されるデータ変換装置である符号化装置の一実施の形態であり、復号装置42が、本発明が適用されるデータ逆変換装置である復号装置の一実施の形態である。なお、図2の例では、1台の符号化装置41と1台の復号装置42とから1台の記録再生装置31が構成されているが、符号化装置41と復号装置42とを分離して画像処理システムを構成することも容易にできる。
図2の例では、符号化装置41は、A/D変換部51、符号化部52、および記録部53から構成されている。
A/D変換部51は、再生装置1から出力されたアナログ画像信号Van1をA/D変換し、その結果得られるデジタル画像信号Vdg1を符号化部52に供給する。符号化部52は、そのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcdを記録部53に供給する。記録部53は、その符号化デジタル画像信号Vcdを、図示せぬ光ディスク等の記録媒体に記録する。
また、図2の例では、復号部54は、復号部54、D/A変換部55、および表示部56から構成されている。
復号部54は、符号化装置41の符号化部52から出力された符号化デジタル画像信号Vcdを復号し、その結果得られるデジタル画像信号Vdg2をD/A変換部55に供給する。D/A変換部55は、このデジタル画像信号Vdg2をD/A変換し、その結果得られるアナログ画像信号Van2を表示部56に供給する。表示部56は、例えばCRTディスプレイやLCD等で構成され、D/A変換部55から供給されたアナログ画像信号Van2に対応する画像を表示する。
ここで注目すべき点は、図2の符号化装置41の符号化部52から出力される符号化デジタル画像信号Vcdが復号部54により再度復号された際に得られるデジタル画像信号Vdg2は、従来の図1の符号化装置3の符号化部22から出力される符号化デジタル画像信号Vcd’が再度復号された際に得られるデジタル画像信号とは異なり、再生装置1の復号部11から出力されるデジタル画像信号Vdg0に比較して大幅に劣化しているという点である。換言すると、復号部54により再度復号された際に得られるデジタル画像信号Vdg2が、再生装置1の復号部11から出力されるデジタル画像信号Vdg0に比較して大幅に劣化するような符号化処理を、符号化部52が実行する点である。
この点により、記録部53で記録媒体に記録された符号化デジタル画像信号Vcdが再生されて得られる画像は、再生装置1から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置2に表示される画像に比べて、その画質が大幅に劣化することになる。さらに、符号化装置41または同様の符号化装置による符号化と、復号装置42または同様の復号装置による復号が繰り返される度に、劣化の度合いは益々大きくなっていく。従って、図2の符号化装置41では、良好な画質を維持したままでのコピーは不可能となる。即ち、不正コピーの防止が図られる。
また、図2の画像処理システムにおいては、上述したように、良好な画質を維持したままでのコピーを不可能とする処理が記録再生装置31側で実行されるため、再生装置1から表示装置2に供給されるアナログ画像信号Van1には何等加工が施されず、その結果、表示装置2に表示される画像の画質を落とすことはない。即ち、図2の画像処理システムは、上述した特許文献1の発明が有する課題を解決することができる。
さらにまた、図2の画像処理システムでは、同図の構成から明らかなように、再生側と記録側との何れにも、雑音情報発生部やこれを埋め込むための回路等の特別な回路を搭載する必要がなく、回路規模も増大することはない。即ち、図2の画像処理システムは、上述した特許文献2の発明が有する課題を解決することができる。
換言すると、従来の課題を解決するためには、上述したように、復号部54により再度復号された際に得られるデジタル画像信号Vdg2が、再生装置1の復号部11から出力されるデジタル画像信号Vdg0に比較して大幅に劣化するような符号化処理を、符号化部52が実行すればよい。即ち、符号化部52は、このような符号化処理を実行できれば足り、その形態は特に限定されず、様々な実施の形態を取ることができる。また、符号化部52の様々な実施の形態に応じて、復号部54も様々な実施の形態を取ることができる。
そこで、以下、図3乃至図21を参照して、主成分分析を伴う符号化処理を実行する符号化部52と、それに対応する復号処理を実行する復号部54とのそれぞれの一実施の形態を説明する。なお、主成分分析については後述する。
図3は、主成分分析を伴う符号化処理を実行する符号化部52の構成例を示している。図3の例では、符号化部52は、入力部81乃至出力部87から構成されている。
入力部81は、図2のA/D変換部51からのデジタル画像信号Vdg1を入力して、処理領域分割部82に供給する。
処理領域分割部82は、入力部81から供給されたデジタル画像信号Vdg1を、幾つかのブロックに分割し、ベクトル化部83に供給する。なお、以下、処理領域分割部82により分割されるブロックを、処理領域と称する。
なお、処理領域(ブロック)の大きさは、特に限定されないのは言うまでもない。このことは、後述する他のブロック(小ブロック等)においても同様とされる。
ベクトル化部83は、処理領域分割部82から供給される各処理領域のそれぞれについて、処理対象の処理領域からN次元で表される処理データをM個抽出し、抽出されたM個の処理データのそれぞれをベクトル化し、その結果得られるM個のN次元のベクトル(以下、処理ベクトルと称する)を、直交変換基底生成部84と直交変換符号化部85とに供給する。
直交変換基底生成部84は、処理領域毎に、ベクトル化部83から供給されたM個のN次元の処理ベクトルに対して主成分分析を施すことで、N個のN次元の正規直交基底を生成し、N個のN次元の正規直交基底の各成分値、即ち、N×N個の各成分値(以下、係数と称する)をデジタル信号Vcdpに含めて、直交変換符号化部85と重畳部86とに供給する。
詳細には例えば、直交変換基底生成部84は、次のような処理を実行することができる。
即ち、直交変換基底生成部84は、処理領域毎に、ベクトル化部83から供給されたM個のN次元の処理ベクトルのそれぞれを列成分として有する行列D、即ち、N行M列の行列Dを生成する。そして、直交変換基底生成部84は、この行列Dに対して特異値分解を施すことで、行列Dを次の式(1)を満たす成分行列U,Σ,Vのそれぞれに分解する。なお、式(1)において、成分行列UはN行N列の左特異行列を、成分行列VはM行M列の右特異行列を、成分行列ΣはN行M列の特異行列を、それぞれ示している。また、V~は成分行列Vの転置行列を示している。
D = UΣV~ ・・・(1)
ここで、行列Dのランクをr(rは、N以下の整数値)とすると、成分行列Uの最初のr個の列成分(左特異ベクトル)のそれぞれが正規直交基底となり、左から順に重要な基底となる。なお、以下、成分行列Uの最初のr個の列成分(左特異ベクトル)、即ち、r個の正規直交基底ベクトルのうちの左からf番目(fは、1乃至rのうちの何れかの整数値)のものを、第f主成分と適宜称する。また、ここでは、説明の簡略上、行列DのランクをNとする。即ち、ここでは、N個の主成分が得られるとする。
そこで、直交変換基底生成部84は、式(1)の成分行列Uを構成するN×N個の成分値を、即ち、N×N個の係数を、デジタル信号Vcdpに含めて直交変換符号化部85と重畳部86に供給する。
直交変換符号化部85は、処理領域毎に、元のN次元の第1の座標系から、N個の主成分を軸とする第2の座標系に変換する軸変換処理を、ベクトル化部83から供給されたM個のN次元の処理ベクトルのそれぞれに対して施す。詳細には例えば、直交変換符号化部85は、次の式(2)を演算する。
Va = U~ Vb ・・・(2)
なお、式(2)において、Vbは、N行1列の行列(列ベクトル)であり、ベクトル化部83から供給されたM個のN次元の処理ベクトル、即ち、第1の座標系で表現される処理ベクトルのうちの所定の1つを示している。Vaは、N行1列の行列(列ベクトル)であり、第2の座標系で表現され直された処理ベクトルを示している。また、U~は、式(1)の成分行列Uの転置行列、即ち、直交変換基底生成部84からデジタル信号Vcdpに含められて供給されるN×N個の各係数を各成分値とする行列Uの転置行列を示している。
即ち、直交変換符号化部85は、処理領域毎に、ベクトル化部83から供給されたM個の処理ベクトルVbのそれぞれを、M個の処理ベクトルVaのそれぞれに変換する。
そして、直交変換符号化部85は、1つの処理領域についての変換後のM個の処理ベクトルVaを1単位として、所定の符号化方式に従った符号化処理を実行し、その処理結果をデジタル信号Vcdqに含めて重畳部86に供給する。
なお、ここでいう「所定の符号化方式」とは、特定の1つの符号化方式を指すのではなく、単に、様々な符号化方式のうちの直交変換符号化部85に採用されている符号化方式を指す。即ち、直交変換符号化部85は、様々な符号化方式を採用することができる。
例えば、直交変換符号化部85は、変換後のM個の処理ベクトルVaのそれぞれについて、f(fは、上述したように1乃至Nのうちの何れかの整数値)行目の成分値をそれぞれ抽出し、抽出されたM個の成分値のそれぞれを画素値として所定の順番に配置させることで、1つのデジタル画像信号(ブロック)を生成することができる。処理ベクトルVaの成分値のうちのf行目の成分値(列ベクトルの場合、上からf番目の成分値)とは、第f主成分の軸の座標値(以下、第f主成分値と称する)を示している。従って、このブロックは、とある1つの処理領域についての、変換後のM個の処理ベクトルVaのそれぞれの第f主成分値を各画素値とするデジタル画像信号となる。そこで、以下、このようなブロックを第f主成分ブロックと称する。
結局、直交変換符号化部85は、1つの処理領域に対して、N個の第1主成分ブロック乃至第N主成分ブロックを生成できることになる。
そこで、この場合、直交変換符号化部85は、第1主成分ブロック乃至第N主成分ブロックのそれぞれについて、処理対象の主成分ブロックを構成する各画素値(対応する各主成分値)を量子化することができる。この場合、例えば次のような量子化の手法を採用することができる。即ち、1つの主成分ブロックを構成する各画素値に対して除算される値として、第1主成分ブロック乃至第N主成分ブロックの全てについて同一の値を使用する、といった量子化の手法を採用することができる。或いは、高次の主成分ブロック(第f主成分の番号fが若い主成分ブロック)を構成する各画素値に対して除算される値として、低次の主成分ブロックで利用される値よりも大きな値を使用する、といった量子化の手法を採用することもできる。
そして、直交変換符号化部85は、第1主成分ブロック乃至第N主成分ブロックのそれぞれについて、量子化後の各値に対して例えばハフマン符号などの符号割当処理を施し、それらの処理結果をデジタル信号Vcdqに含めて重畳部86に供給することができる。
或いは例えば、直交変換符号化部85は、第1主成分ブロック乃至第N主成分ブロックのそれぞれに対して、ADRC(Adaptive Dynamic Range Coding)方式の符号化処理を施し、その処理結果をデジタル信号Vcdqに含めて重畳部86に供給することもできる。なお、ADRC方式については、図12を参照して後述する。
なお、以上のような直交変換符号化部85により実行される一連の処理を、直交変換符号化処理と称する。また、1つの処理領域に対して直交変換符号化処理が施される場合、上述したように、その処理領域について直交変換基底生成部84により生成されたN個の正規直交基底、即ち、N個の第1主成分乃至第N主成分が利用される。以下、このような1つの処理領域についてのN個の第1主成分乃至第N主成分をまとめて、直交変換の基底と称する。
このようにして、直交変換符号化部85による直交変換符号化処理の結果であるデジタル信号Vcdqは、重畳部86に供給される。そこで、重畳部86は、直交変換符号化部85から供給されたデジタル信号Vcdqに対して、直交変換基底生成部84から供給されたデジタル信号Vcdp(処理領域毎の直交変換の基底を示す係数群)を重畳し、その結果得られるデジタル信号を符号化デジタル画像信号Vcdとして出力部87に供給する。
出力部87は、この符号化デジタル画像信号Vcdを、図2の記録部53や復号部54に出力する。
以下、図4乃至図12を参照して、図3の例の符号化部52のうちの処理領域分割部82乃至直交変換符号化部85についてさらに説明する。
図4は、処理領域分割部82の処理結果の一例を示している。即ち、本実施の形態では、処理領域分割部82においては、デジタル画像信号Vdg1のうちの1つの有効画面の画像信号が、例えば図4に示されるように、水平方向に16画素分で垂直方向に16画素分の大きさの処理領域BLに分割される。なお、ここでも、水平方向にh画素分で垂直方向にv画素分の大きさを、(h×v)画素の大きさと称する。即ち、図4の例では、処理領域BLは、(16×16)画素の大きさとされている。また、図4において、○(丸印)は、デジタル画像信号Vdg1のうちの1つの有効画面の画像信号を構成する画素データを示している。なお、この○(丸印)のことは、後述する図5と図6においても同様とされている。
図5乃至図8は、ベクトル化部83が図4の処理領域BLを用いて処理ベクトルVb(上述した式(2)参照)を生成する場合における、そのベクトル生成手法の3つの例を説明する図である。
はじめに、これらの3つのベクトル生成手法のうちの1つ目の手法(以下、第1のベクトル生成手法と称する)について説明する。
第1のベクトル生成手法において、はじめに、ベクトル化部83は、1つの処理領域BLをさらにM個のブロック(以下、このようなブロックを小ブロックと称する)に分割する。次に、ベクトル化部83は、分割されたM個の小ブロックのそれぞれについて、処理対象の小ブロックを構成するN個の画素データの各画素値をN個の成分のうちの所定の1つに代入することで、処理ベクトルVbを生成する。なお、各画素値のそれぞれの代入先となる成分は、特に限定されず任意でよい。
具体的には例えば本実施の形態では、図4に示される(16×16)画素の大きさの処理領域BLが処理領域分割部82からベクトル化部83に供給される。そこで、第1のベクトル生成手法がベクトル化部83に適用されている場合には、ベクトル化部83は、例えば、図5に示されるように、(16×16)画素の大きさの処理領域BLを、(4×4)画素の大きさの16個の小ブロックBSに分割する。即ち、この場合、N=M=16になる。
次に、ベクトル化部83は、例えば図6に示されるように、処理対象の小ブロックBSを構成する16個の画素データの各画素値を、左上からクラスター順に抽出し、抽出された順番で上から順に配置させることで、16次元の処理ベクトルVb(列ベクトル)を生成する。
なお、以下、図6の記載にあわせて、小ブロックBSを構成する各画素データのうちの、左上からクラスター順でk番目(kは、1乃至Nのうちの何れかの値。図6の例では、N=16)の画素データの値をXkと記述する。また、ここでも、画素データとその値とを区別する必要がない場合、それらをまとめて画素値と称する。即ち、例えば図6の例の小ブロックBSは画素値X1乃至画素値X16から構成されている、と表現する。この場合、次の式(3)で示されるような16次元の処理ベクトルVb(16行1列の行列Vb)がベクトル化部83により生成され、直交変換基底生成部84と直行変換符号化部85とに供給されることになる。
Figure 0004742614
・・・(3)
即ち、1つの処理領域BLについて、式(3)で示される16次元の処理ベクトルVbが16個だけベクトル化部83により生成され、直交変換基底生成部84と直行変換符号化部85とに供給されることになる。
この場合、直交変換基底生成部84は、上述した式(1)に従って、16行16列の成分行列Uを生成する。式では示さないが、この成分行列Uを構成する16個の列成分のそれぞれが、第1主成分乃至第16主成分のそれぞれを示す。即ち、この成分行列Uが、1つの処理領域BLについての直交変換の基底を示す行列となる。
そこで、直交変換符号化部85は、1つの処理領域BLについて、式(3)で示される(各画素値を軸とする第1の座標系で表現される)16個の処理ベクトルVbのそれぞれを、上述した式(2)に従って、第1主成分乃至第16主成分を軸とする第2の座標系で表現される処理ベクトルVaに変換する。即ち、第f主成分値をXf’と記述すると、式(3)で示される16個の16次元の処理ベクトルVbのそれぞれは、次の式(4)で示される16個の16次元の処理ベクトルVaに変換される。
Figure 0004742614
・・・(4)
この場合、直交変換符号化部85は、例えば、式(4)で示される変換後の16個の処理ベクトルVaのf行目の成分値Xf’のそれぞれ、即ち、第f主成分値Xf’のそれぞれを抽出し、抽出された16個の第f主成分値Xf’のそれぞれを各画素値として、図5の小ブロックBSの配置順で並べることで、(4×4)画素の大きさの第f主成分ブロックを生成する。即ち、例えば、直交変換符号化部85は、(4×4)画素の大きさの第1主成分ブロック乃至第16主成分ブロックを生成する。そして、例えば、直交変換符号化部85は、第1主成分ブロック乃至第16主成分ブロックのそれぞれに対して、適当な符号化方式に従う符号化処理を個別に施し、それぞれの処理結果をデジタル信号Vcdqに含めて重畳部86に供給する。
以上、3つのベクトル生成手法のうちの第1のベクトル生成手法について説明した。次に、3つのベクトル生成手法のうちの2つ目の生成手法(以下、第2のベクトル生成手法と称する)について説明する。
上述したように、第1のベクトル生成手法は、1つの画素について1種類の画素データ(画素値)のみを使用する手法である。これに対して、第2のベクトル生成手法は、1つの画素について複数種類の画素データ(画素値)を使用する手法である。
具体的には例えば、カラー画像に対応するデジタル画像信号は、赤(Red)の輝度レベルを示す信号(以下、R信号と称する)、緑(Green)の輝度レベルを示す信号(以下、G信号と称する)、および、青(以下、Blue)の輝度レベルを示す信号(以下、B信号と称する)からなるコンポーネント信号である場合がある。即ち、このデジタル画像信号を構成する1つの画素についての画素データは、その画素についての赤の輝度値(以下、R画素値と称する)を示す画素データ、その画素についての緑の輝度値(以下、G画素値と称する)を示す画素データ、および、その画素についての青の輝度値(以下、B画素値と称する)を示す画素データから構成される場合がある。
このような場合に、次のような第2のベクトル生成手法を適用することができる。
即ち、第2のベクトル生成手法において、はじめに、ベクトル化部83は、1つの処理領域BLをさらにM個の小ブロックに分割する。ここで注意すべき点は、第1のベクトル生成手法で抽出された1つの小ブロックを構成する各画素データは、1つの画素値を示すデータであった(そのようにみなした)のに対して、第2のベクトル生成手法で抽出された1つの小ブロックを構成する各画素データは、R画素値、G画素値、およびB画素値を示すデータからなる点である。
換言すると、第1のベクトル生成手法では、例えば図6に示される1つの小ブロックBSが得られるところ、第2のベクトル生成手法では、図7に示される3つの小ブロックBSR,BSG,BSBがそれぞれ得られるとも言える。別言すると、カラー画像の小ブロックBSは、3つの小ブロックBSR,BSG,BSBから構成されているとも言える。
なお、図7において、小ブロックBSRは、R画素値を示す画素データだけで構成される(4×4)画素の大きさの小ブロックである。小ブロックBSGは、G画素値を示す画素データだけで構成される(4×4)画素の大きさの小ブロックである。小ブロックBSBは、B画素値を示す画素データだけで構成される(4×4)画素の大きさの小ブロックである。即ち、図7において、小ブロックBSRにおける○(丸印)は、R画素値を示す画素データを示し、小ブロックBSGにおける○(丸印)は、G画素値を示す画素データを示し、かつ、小ブロックBSBにおける○(丸印)は、B画素値を示す画素データを示している。
また、以下、図7の記載にあわせて、小ブロックBSRを構成する各R画素データのうちの、左上からクラスター順でk番目のR画素値をXkrと記述し、小ブロックBSGを構成する各G画素データのうちの、左上からクラスター順でk番目のG画素値をXkgと記述し、かつ、小ブロックBSBを構成する各B画素データのうちの、左上からクラスター順でk番目のB画素値をXkbと記述する。また、ここでも、画素データとその画素値とを区別する必要がない場合、それらをまとめて単に画素値と称する。即ち、例えば図7の例では、小ブロックBSRはR画素値X1r乃至R画素値X16rから構成され、小ブロックBSGはG画素値X1g乃至G画素値X16gから構成され、小ブロックBSBはB画素値X1b乃至B画素値X16bから構成されている、と表現されることになる。
なお、以上の図7のことは、後述する図8についても同様とされている。
この場合、第2のベクトル生成手法では、ベクトル化部83は、例えば図7に示されるように、小ブロックBSR,BSG,BSBの単位を1つの処理対象として、処理対象の小ブロックBSRを構成する16個のR画素値X1r乃至R画素値X16rをその順番(左上からクラスター順)に抽出する。次に、ベクトル化部83は、処理対象の小ブロックBSGを構成する16個のG画素値X1g乃至G画素値X16gをその順番(左上からクラスター順)に抽出する。その次に、ベクトル化部83は、処理対象の小ブロックBSBを構成する16個のB画素値X1b乃至B画素値X16bをその順番(左上からクラスター順)に抽出する。そして、ベクトル化部83は、16個のR画素値X1r乃至R画素値X16r、16個のG画素値X1g乃至G画素値X16g、および、16個のB画素値X1b乃至B画素値X16bを、その順番(抽出された順番)で上から順に配置させることで、48次元の処理ベクトルVb(列ベクトル)を生成する。
即ち、次の式(5)で示されるような48次元の処理ベクトルVb(48行1列の行列Vb)がベクトル化部83により生成され、直交変換基底生成部84と直行変換符号化部85とに供給されることになる。
Figure 0004742614
・・・(5)
即ち、図5に示される1つの処理領域BLについて、式(5)で示される48次元の処理ベクトルVbが16個だけベクトル化部83により生成され、直交変換基底生成部84と直行変換符号化部85とに供給されることになる。
この場合、直交変換基底生成部84は、上述した式(1)に従って、48行48列の成分行列Uを生成する。式では示さないが、この成分行列Uを構成する48個の列成分のそれぞれが、第1主成分乃至第48主成分のそれぞれを示す。即ち、この成分行列Uが、1つの処理領域BLについての直交変換の基底を示す行列となる。
そこで、直交変換符号化部85は、1つの処理領域BLについて、式(5)で示される(各R画素値,各G画素値、各B画素値を軸とする第1の座標系で表現される)16個の処理ベクトルVbのそれぞれを、上述した式(2)に従って、第1主成分乃至第48主成分を軸とする第2の座標系で表現される処理ベクトルVaに変換する。即ち、ここでも、第f主成分値をXf’と記述すると、式(5)で示される16個の48次元の処理ベクトルVbのそれぞれは、次の式(6)で示される16個の48次元の処理ベクトルVaのそれぞれに変換される。
Figure 0004742614
・・・(6)
この場合、直交変換符号化部85は、例えば、式(6)で示される変換後の16個の処理ベクトルVaのf行目の成分値Xf’のそれぞれ、即ち、第f主成分値Xf’のそれぞれを抽出し、抽出された16個の第f主成分値Xf’のそれぞれを各画素値として、図5の小ブロックBSの配置順で並べることで、(4×4)画素の大きさの第f主成分ブロックを生成する。即ち、例えば、直交変換符号化部85は、(4×4)画素の大きさの第1主成分ブロック乃至第48主成分ブロックを生成する。そして、例えば、直交変換符号化部85は、第1主成分ブロック乃至第48主成分ブロックのそれぞれに対して、適当な符号化方式に従う符号化処理を個別に施し、それぞれの処理結果をデジタル信号Vcdqに含めて重畳部86に供給する。
以上、3つのベクトル生成手法のうちの第1のベクトル生成手法と第2のベクトル生成手法について説明した。次に、3つのベクトル生成手法のうちの3つ目の生成手法(以下、第3のベクトル生成手法と称する)について説明する。
第3のベクトル生成手法とは、1つの画素について複数種類の画素データ(画素値)を使用する手法であって、画素毎に、複数種類の画素値のそれぞれを成分値とする処理ベクトルVbを生成する手法である。
例えば、画素毎に、R画素値、G画素値、およびB画素値のそれぞれをその順番で上から順に配置させることで、処理ベクトルVb(列ベクトル)を生成する手法が、第3のベクトル生成手法の一例である。換言すると、第3のベクトル生成手法とは、結局、1つの画素分の大きさの小ブロックに対して適用された第2のベクトル生成手法であるともいえる。
具体的には例えば、上述した図4の(48×48)画素の処理領域BLが、図3の処理領域分割部82からベクトル化部83に供給されてきたとする。この場合、この処理領域BLは、図8に示されるような、3つの大ブロックBLR,BLG,BLBから構成されているとも言える。
なお、図8において、大ブロックBLRは、R画素値だけで構成される(48×48)画素の大きさのブロックである。大ブロックBLGは、G画素値だけで構成される(48×48)画素の大きさのブロックである。大ブロックBLBは、B画素値だけで構成される(48×48)画素の大きさの大ブロックである。即ち、図8の例では、大ブロックBLRはR画素値X1r乃至R画素値X48rから構成され、大ブロックBLGはG画素値X1g乃至G画素値X48gから構成され、大ブロックBLBはB画素値X1b乃至B画素値X48bから構成されている。
この場合、第3のベクトル生成手法では、例えば、ベクトル化部83は、(48×48)画素の大きさの処理領域BLR,BLG,BLBのそれぞれから、左上からクラスター順でk番目のR画素値Xkr、G画素値Xkg、および、B画素値Xkbのそれぞれをその順番で順次抽出し、その順番(抽出された順番)で上から順に配置させることで、次の式(7)で示されるような3次元の処理ベクトルVb(列ベクトル)を生成する。
Figure 0004742614
・・・(7)
即ち、図5に示される1つの処理領域BL(図8に示される大ブロックBLR,BLG,BLBからなる1つのブロック群)について、式(7)で示される3次元の処理ベクトルVbが、48個だけ(処理領域BL内の画素数分だけ)ベクトル化部83により生成され、直交変換基底生成部84と直行変換符号化部85とに供給されることになる。
この場合、直交変換基底生成部84は、上述した式(1)に従って、3行3列の成分行列Uを生成する。即ち、次の式(8)で示される成分行列Uが生成される。
Figure 0004742614
・・・(8)
式(8)で示される成分行列Uを構成する3個の列成分のそれぞれが、第1主成分乃至第3主成分のそれぞれを示す。即ち、第1主成分をsと記述し、第2主成分をtと記述し、かつ、第3主成分をuと記述すると、第1主成分乃至第3主成分のそれぞれは、次の式(9)乃至式(11)のそれぞれのように示される。
Figure 0004742614
・・・(9)
Figure 0004742614
・・・(10)
Figure 0004742614
・・・(11)
そこで、直交変換符号化部85は、1つの処理領域BLを構成する48個の各画素のそれぞれを処理対象として注目すべき注目画素として順次設定し、式(8)で示される(R画素値,G画素値,B画素値を軸とする第1の座標系で表される)注目画素についての処理ベクトルVbのそれぞれを、上述した式(2)に従って、第1主成分乃至第3主成分の軸を有する第2の座標系で表現される注目画素についての処理ベクトルVaに変換する。その際、式(2)における成分行列Uの転置行列U~は、次の式(12)で示される通りになる。
Figure 0004742614
(12)
具体的には例えば、処理領域BLの左上からクラスター順でk番目の画素が注目画素とされた場合、注目画素についての、第1主成分値をXksと記述し、第2主成分値をXktと記述し、かつ、第3主成分値をXkuと記述すると、上述した式(7)で示される注目画素についての処理ベクトルVbは、次の式(13)で示される注目画素についての処理ベクトルVaに変換される。
Figure 0004742614
(13)
即ち、上述した式(7)で示される処理ベクトルVbとは、図9の左側に示される第1の座標系で表現されるベクトルである。なお、図9の左側に示される第1の座標系において、軸rはr画素値の軸を示しており、軸gはg画素値の軸を表しており、かつ、軸bはb画素値の軸を表している。これに対して、式(13)で示される変換後の処理ベクトルVaとは、図9の右側に示される第2の座標系で表現されるベクトルである。なお、図9の右側に示される第2の座標系において、第1主成分sの軸は、上述した式(9)に示されるベクトルを基底とする軸であり、第2主成分tの軸は、上述した式(10)に示されるベクトルを基底とする軸であり、かつ、第3主成分uの軸は、上述した式(11)に示されるベクトルを基底とする軸である。
換言すると、処理領域BLの左上からクラスター順でk番目の画素が注目画素とされた場合、上述した式(7)で示される処理ベクトルVbとは、注目画素の色についての表現形態のひとつであって、図9の左側に示される第1の座標系で定義される空間上の点として表現される表現形態である、といえる。これに対して、式(13)で示される変換後の処理ベクトルVaとは、注目画素の色についての表現形態の別のひとつであって、図9の右側に示される第2の座標系で定義される別の空間上の点として表現され直された表現形態である、といえる。
ここで、主成分分析について、上述した各式を用いた説明とは別の視点から説明し直すと次の通りになる。即ち、N次元空間にM個の点が分布している場合、これらのM個の点を最も効率的に記述できる直交した軸を生成する手法が、主成分分析であると言える。「これらのM個の点を最も効率的に記述できる直交した軸」が、上述した各主成分の軸である。
このような視点に立つと、主成分分析は、次の第1の工程乃至第4の工程によっても実現可能である。
即ち、第1の工程とは、N次元空間に分布しているM個の点の位置ベクトルの平均を取り、M個の点のそれぞれについて、その平均との差分ベクトルを算出する工程をいう。
第2の工程とは、差分ベクトルとの内積の自乗の総和を最大にするベクトルを求める工程をいう。この第2の工程により求められたベクトルは、N次元空間に分布しているM個の点の散らばり具合を最もよく表すベクトルである。即ち、この第2の工程により求められたベクトルが、上述した第1主成分である。
第3の工程とは、第1主成分に直交するベクトルの中で、差分ベクトルの内積の自乗の総和を最大にするベクトルを、それを第2主成分として求める工程をいう。
第4の工程とは、第3の工程と同様の処理を繰り返すことで、第3主成分乃至第N主成分のそれぞれを求める工程をいう。
従って、例えば、上述した図4の1つの「処理領域BLにおける48個の画素の色の集団を表現する色空間」として、図9の左側に示される第1の座標系で定義される色空間(以下、RGB空間と称する)が存在すると捉えたとする。この場合、そのRGB空間に分布する48個の画素の色のそれぞれを示す48個の点(上述した式(7)で示される処理ベクトルVb)に対して主成分分析が施されることで、「処理領域BLにおける48個の画素の色の集団を表現する色空間」のうちの最適な空間(以下、最適色空間と称する)として、図9の右側に示される第2の座標系で定義される色空間が求まることになる。そして、RGB空間に分布していた48個の画素の色のそれぞれを示す48個の点(式(7)で示される処理ベクトルVb)が、この最適色空間内に分布され直された結果得られる48個の点が、上述した式(13)で示される変換後の処理ベクトルVaで表されることになる。
なお、このような視点に立つと、第1のベクトル生成手法により生成される上述した式(3)で示される処理ベクトルVbとは、次のようなベクトルを指す。即ち、図5の1つの「処理領域BL内の16個の小ブロックBSを表現する空間」として、1つの小ブロックBSを構成する画素値X1乃至画素値X16のそれぞれを軸とする第1の空間(以下、小ブロック空間と称する)が存在すると捉えたとする。この場合、その小ブロック空間に分布する16個の点が、式(3)で示される処理ベクトルVbで表されることになる。従って、小ブロック空間に分布する16個の点に対して主成分分析が施されることで、「処理領域BL内の16個の小ブロックBSを表現する空間」のうちの最適な空間(以下、最適小ブロック空間と称する)として、上述した第1主成分乃至第16主成分を軸とする第2の座標系で定義される空間が求まることになる。そして、小ブロック空間に分布していた16個の点(式(3)で示される処理ベクトルVb)が、この最適小ブロック空間内に分布され直された結果得られる16個の点が、上述した式(4)で示される変換後の処理ベクトルVaで表されることになる。
以上説明したように、直交変換符号化部85は、1つの処理領域BLについて、上述した式(13)で示される変換後の48個の処理ベクトルVa、即ち、「処理領域BLにおける48個の画素の色の集団を表現する色空間」で表現され直された48個の処理ベクトルVaを生成する。
この場合、直行変換符号化部85は、例えば、図10に示される第1主成分ブロックBLs、第2主成分ブロックBLt、および、第3主成分ブロックBLuを生成する。
即ち、直交変換符号化部85は、これらの48個の処理ベクトルVbの1行目の成分値Xksのそれぞれ、即ち、第1主成分値Xksのそれぞれを抽出し、抽出された48個の第1主成分値Xksを、図4の1つの処理領域BLの画素位置と対応する位置(左上からラスター順にk番目の位置)で並べることで、(16×16)画素の大きさの第1主成分ブロックBLsを生成する。
同様に、直交変換符号化部85は、これらの48個の処理ベクトルVbの2行目の成分値Xktのそれぞれ、即ち、第2主成分値Xktのそれぞれを抽出し、抽出された48個の第2主成分値Xktを、処理領域BLの画素位置と対応する位置(左上からラスター順にk番目の位置)で並べることで、(16×16)画素の大きさの第2主成分ブロックBLtを生成する。
また、直交変換符号化部85は、これらの48個の処理ベクトルVbの3行目の成分値Xkuのそれぞれ、即ち、第3主成分値Xkuのそれぞれを抽出し、抽出された48個の第3主成分値Xkuを、処理領域BLの画素位置と対応する位置(左上からラスター順にk番目の位置)で並べることで、(16×16)画素の大きさの第3主成分ブロックBLuを生成する。
そして、例えば、直交変換符号化部85は、第1主成分ブロックBLs、第2主成分ブロックBLt、および第3主成分ブロックBLuのそれぞれに対して、適当な符号化方式に従う符号化処理を個別に施し、それぞれの処理結果をデジタル信号Vcdqに含めて重畳部86に供給する。即ち、以下、第1主成分ブロックBLsに対する符号化処理の結果を第1主成分符号と称し、第2主成分ブロックBLtに対する符号化処理の結果を第2主成分符号と称し、かつ、第3主成分ブロックBLuに対する符号化処理の結果を第3主成分符号と称するとすると、図11に示されるようなデジタル信号Vcdq(1つの処理領域BL分)が直交変換符号化部85により生成されて、重畳部86に供給されることになる。
なお、上述したように、直交変換符号化部85が実行する符号化処理の符号化方式は、この場合も特に限定されず、例えばADRC方式を採用することもできる。そこで、以下、図12を参照して、ADRC方式の概略について説明する。
図12の左側の図は、所定のブロックについての画素値(信号レベル)の分布を示している。この図において、図中左から右に向かう方向の軸は、水平方向の軸とされており、図中左斜め手前から右斜め奥に向かう方向の軸は、垂直方向の軸とされており、かつ、図中下から上に向かう方向の軸は画素値の軸とされている。
また、図12の右側の図は、左側の図に示されるブロックに含まれる各画素値を、水平方向または垂直方向にラスター順に並べたグラフを示す図である。このグラフにおいて、図中左から右に向かう方向の軸は、水平方向または垂直方向の軸とされており、図中下から上に向かう方向の軸は画素値の軸とされている。また、この図において、○(丸印)は1つの画素を示している。即ち、図12の例では、このブロックは、水平方向または垂直方向に8画素分の画素データ(画素値)が並んで構成されている。
この場合、水平方向または垂直方向に連続して並ぶ8個の画素の画素値のうちの、最大値がMAXと記述され、最小値がMINと記述されるとすると、図12に示されるように、DR=MAX-MIN+1がダイナミックレンジとして定義され、各画素値を、元の量子化ビット数(例えば、8ビット)よりも少ないビット数(図12の例では1ビット)に再量子化する、といった符号化方式がADRC方式である。
具体的には例えば、図12の例のような1ビットに再量子化するADRC方式では、各画素の画素値が、1つの閾値(図12の例では、ダイナミックレンジDRの2等分線に対応する値)と比較され、閾値以上の場合「1」のコードが割り当てられ、閾値未満の場合「0」のコードが割り当てられる。
具体的には例えば、図12の右側の図では、図中左から8番目までの画素のうちの、図中左から1番目乃至4番目の画素の画素値は閾値以上である一方、図中左から5番目乃至8番目の画素の画素値は閾値未満である。従って、このような場合、図12に示されるように、図中左から8番目までの8個の画素の各画素値のそれぞれは、1,1,1,1,0,0,0,0に置き換えられる。同様に、図中左から9番目乃至16番目までの画素のうちの、図中左から9番目乃至12番目の画素の画素値は閾値未満である一方、図中左から13番目乃至16番目の画素の画素値は閾値以上である。従って、このような場合、図12に示されるように、図中左から9番目乃至16番目までの8個の画素の各画素値のそれぞれは、0,0,0,0,1,1,1,1に置き換えられる。
ここで、注目すべき点は、ADRC方式は、そのダイナミックレンジDRに適応した可変長の符号を出力できるという性質、即ち、ダイナミックレンジDRの大きさに応じて量子化ビット数を選択できるという性質を有している点である。ダイナミックレンジDRが小さいほど少ないビット数で再量子化することで、量子化ひずみの増大を抑えつつ、画素値の冗長度のみを除去して、更にデータ量を少なくすることができるようにするためである。
そこで、直交変換符号化部85は、上述した図10や図11に示されるような、第1主成分ブロックBLs、第2主成分ブロックBLt、および第3主成分ブロックBLuのそれぞれに対して、ADRC方式の符号化処理を個別に施す場合、ADRC方式の上述した性質を利用することで、第1主成分ブロックBLs、第2主成分ブロックBLt、および第3主成分ブロックBLuのそれぞれの量子化ビット数を変えることができる。即ち、主成分分析では、第1主成分にパワーが一番集中し、次に第2主成分にパワーが集中し、第3成分にパワーが一番集中しないという性質が存在することから、ダイナミックレンジDRの大きさは、第1主成分ブロックBLs、第2主成分ブロックBLt、および第3主成分ブロックBLuの順に小さくなっていくことがほとんどである。そこで、直交変換符号化部85は、第1主成分ブロックBLsの量子化ビット数を一番大きくし(例えば3ビットにして)、第2主成分ブロックBLtの量子化ビット数を次に大きくし(例えば2ビットにして)、第3主成分ブロックBLuの量子化ビット数を一番小さくする(例えば1ビットにする)ことができる。
なお、直交変換符号化部85が実行する符号化処理の符号化方式は特に限定されないと上述したが、以上説明したように主成分分析では第1主成分にパワーが集中するという性質が存在することから、第1主成分ブロックBLsの情報を残すような符号化方式、具体的には例えば上述したADRC方式を採用すると好適である。
以上、図3の例の符号化部52の構成について説明した。次に、図13のフローチャートを参照して、図3の例の符号化部52の符号化処理例について説明する。
ステップS41において、入力部81は、デジタル画像信号Vdg1を、例えば1フレーム分だけ入力する。1フレーム分のデジタル画像信号Vdg1が、入力部81から処理領域分割部82に供給されると、処理はステップS42に進む。
ステップS42において、処理領域分割部82は、1フレーム分のデジタル画像信号Vdg1を分割化する。即ち、1フレーム分のデジタル画像信号Vdg1から複数の処理領域が分割される。1フレーム分の複数の処理領域のそれぞれが、処理領域分割部82からベクトル化部83に供給されると、処理はステップS43に進む。
ステップS43において、ベクトル化部83は、ステップS42の処理で1フレーム分の画像信号Vdg1からら分割された各処理領域のそれぞれについて、処理対象の処理領域からN次元で表される処理データをM個抽出し、抽出されたM個の処理データのそれぞれをベクトル化する。ステップS43の処理の結果、1つの処理領域につきM個の処理ベクトルVb(上述した式(2)参照)が得られ、直交変換基底生成部84と直交変換符号化部85とにそれぞれ供給されると、処理はステップS44に進む。
ステップS44において、直交変換基底生成部84は、ステップS42の処理で1フレーム分の画像信号Vdg1から分割された各処理領域のそれぞれについて、処理対象の処理領域についての直交変換の基底、即ち、第1主成分乃至第N主成分を適応的に生成する。ステップS44の処理の結果、処理領域毎の直交変換の基底が得られ、それぞれデジタル信号Vcdpに含められて、直交変換符号化部85と重畳部86とに供給されると、即ち、1フレーム分のデジタル信号Vcdpが直交変換符号化部85と重畳部86とに供給されると、処理はステップS45に進む。
ステップS45において、直交変換符号化部85は、ステップS42の処理で1フレーム分の画像信号Vdg1から分割された各処理領域のそれぞれについて、処理対象の処理領域の直交変換の基底を用いて、処理対象の処理領域についてのM個のN次元の処理ベクトルVbに対して直交変換符号化処理を施す。
ステップS45の処理で、1フレーム分の直交変換符号化処理の結果が得られると、その結果がデジタル信号Vcdqに含められて、直交変換符号化部85から重畳部86に供給される。これにより、処理はステップS46に進む。
ステップS46において、重畳部86は、ステップS45の処理結果として直交変換符号化部85から出力された1フレーム分のデジタル信号Vcdqに対して、ステップS44の処理結果として直交変換基底生成部84から出力された1フレーム分のデジタル信号Vcdpを重畳することで、符号化デジタル画像信号Vcdを生成する。
この符号化デジタル画像信号Vcdが重畳部86から出力部87に提供されると、処理はステップS47に進む。ステップS47において、出力部87は、この符号化デジタル画像信号Vcdを外部に出力する。
ステップS48において、符号化部52は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップS48においてNOであると判定されて、処理はステップS41に戻され、それ以降の処理が繰り返される。即ち、次の1フレーム分のデジタル画像信号Vdg1が、ステップS41の処理で入力され、ステップS42乃至S46の処理で上述した符号化処理が施され、その結果、次の1フレーム分の符号化デジタル画像信号Vcdが得られ、この符号化デジタル画像信号VcdがステップS47の処理で出力される。
このようなステップS41乃至S48のループ処理が全フレームに対して施され、最後のフレーム分の符号化デジタル画像信号Vcdが出力されると、次のステップS48においてYESであると判定されて、図13の例の符号化処理は終了となる。
以上、図13を参照して、図3の例の符号化部52の符号化処理の例について説明した。
次に、図14乃至図17を参照して、図3の例の符号化部52に対応する復号部54の一実施の形態について説明する。
図14は、図3の例の符号化部52に対応する復号部54の構成例を示している。図14の例では、復号部54は、入力部101乃至出力部105から構成されている。
入力部101は、図3の例の符号化部52から出力された符号化デジタル画像信号Vcdを入力して、データ分解部102に供給する。
データ分解部102は、この符号化デジタル画像信号Vcdを、図3の直交変換基底生成部84の出力であるデジタル信号Vcdpと、図3の直交変換符号化部85の出力であるデジタル信号Vcdqとに分解し、デジタル信号Vcdpとデジタル信号Vcdqとを逆直交変換復号部103に供給する。
逆直交変換復号部103は、デジタル信号Vcdqに対して、図3の直交変換符号化部85で採用されている符号化方式に対応する復号方式の復号処理(逆量子化処理等)を施す。この復号処理により、処理領域毎に、例えば上述した第1主成分ブロック乃至第N主成分ブロックが得られることになる。具体的には例えば、図11のデジタル信号Vcdqがデータ分解部102から供給されてきた場合、逆直交変換復号部103は、図15に示されるように、第1主成分符号から第1主成分ブロックBLsを、第2主成分符号から第2主成分ブロックBLtを、および、第3主成分符号から第3主成分ブロックBLuを、それぞれ生成(復元)する。
次に、逆直交変換復号部103は、処理領域毎に、M個の画素分の大きさをそれぞれ有する1主成分ブロック乃至第N主成分ブロックから、上述した式(2)で示される処理ベクトルVa、即ち、第1主成分乃至第N主成分を軸とする上述した第2の座標系で定義される空間で表現される処理ベクトルVaを、M個生成(復元)する。
次に、逆直交変換復号部103は、処理領域毎に、第2の座標系から、元のN次元の第1の座標系(各画素値等を軸とする上述した第1の座標系)に逆変換する逆軸変換処理を、M個の処理ベクトルVaのそれぞれに対して施す。詳細には例えば、逆直交変換復号部103は、次の式(14)を演算することで、処理領域毎に、M個の処理ベクトルVaのそれぞれから、M個の処理ベクトルVbのそれぞれを生成(復元)する。
Vb = (U~)-1 Va ・・・(14)
なお、式(14)において、(U~)-1は、上述した式(1)の成分行列Uの転置行列U~の逆行列を示している。この成分行列Uは、データ分解部102から供給されるデジタル信号Vcdpに含まれるN×N個の各係数を各成分値とする行列である。即ち、逆直交変換復号部103は、データ分解部102から供給されたデジタル信号Vcdpを利用することで、行列(U~)-1を生成することができる。
そして、逆直交変換復号部103は、処理領域毎に、M個の処理ベクトルVbのそれぞれを、ブロック分解部104に提供する。
なお、以下、逆直交変換復号部103の上述した一連の処理を、逆直交変換復号処理と称する。
ブロック分解部104は、逆直交変換復号部103から供給された処理領域毎のM個の処理ベクトルVbのそれぞれから、各処理領域を生成し(復元し)、各処理領域を分割前の位置に配置し、その結果得られる1フレーム分のデジタル画像信号を、1フレーム分の符号化デジタル画像信号Vcdの復号信号である1フレーム分のデジタル画像信号Vdg2として、出力部105に供給する。
具体的には例えば、逆直交変換復号部103の逆直交変換復号処理中に、上述した図15に示される第1主成分ブロックBLs、第2主成分ブロックBLt、および、第3主成分ブロックBLuが生成(復元)された場合には、図16に示されるように、上述した図8と同様の大ブロックBLR(R画素値から構成されるブロックBLR)、大ブロックBLG(G画素値から構成されるブロックBLG)、および、大ブロックBLB(B画素値から構成されるブロックBLB)からなる処理領域BLが、ブロック分解部104により複数個生成(復元)される。そして、ブロック分解部104により、複数の処理領域BLが分割前の位置、即ち、図4に示される位置に配置され、その結果得られる1フレーム分のデジタル画像信号Vdg2が、ブロック分解部104から出力部105に供給される。
出力部105は、このデジタル画像信号Vdg2を図2のD/A変換部55に出力する。
以上、図14の例の復号部54の構成について説明した。次に、図17のフローチャートを参照して、図14の例の復号部54の復号処理例について説明する。
ステップS61において、入力部101は、符号化デジタル画像信号Vcdを、例えば1フレーム分だけ入力する。1フレーム分の符号化デジタル画像信号Vcdが、入力部101からデータ分解部102に供給されると、処理はステップS62に進む。
ステップS62において、データ分解部102は、1フレーム分の符号化デジタル画像信号Vcdを、1フレーム分のデジタル信号Vcdpと1フレーム分のデジタル信号Vcdqとに分解する。1フレーム分のデジタル信号Vcdqと1フレーム分のデジタル信号Vcdpとが逆直交変換復号部103に供給されると、処理はステップS63に進む。
ステップS63において、逆直交変換復号部103は、1フレーム分のデジタル信号Vcdpを利用して、1フレーム分のデジタル信号Vcdqに対して逆直交変換復号処理を施す。ステップS63の処理結果がブロック分解部104に供給されると、処理はステップS64に進む。
ステップS64において、ブロック分解部104は、上述したように、ステップS63の逆直交変換復号処理の結果を利用して、1フレーム分のデジタル画像信号Vdg2を生成する。このデジタル画像信号Vdg2が、ブロック分解部104から出力部105に供給されると、処理はステップS65に進む。
ステップS65において、出力部105は、1フレーム分のデジタル画像信号Vdg2を外部に出力する。
ステップS66において、復号部54は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップS66においてNOであると判定されて、処理はステップS61に戻され、それ以降の処理が繰り返される。即ち、次の1フレーム分の符号化デジタル画像信号Vcdが、ステップS61の処理で入力され、ステップS62乃至S64の処理で上述した復号処理が施され、その結果、次の1フレーム分のデジタル画像信号Vdg2が得られ、このデジタル画像信号Vdg2がステップS65の処理で出力される。
このようなステップS61乃至S66のループ処理が全フレームに対して施され、最後のフレーム分のデジタル画像信号Vdg2が出力されると、次のステップS66においてYESであると判定されて、図17の例の復号処理は終了となる。
以上、図17を参照して、図14の例の復号部54の復号処理の例について説明した。
以上説明したように、図2の再生装置1から出力されるアナログ歪みを伴うアナログ画像信号Van1は、A/D変換部51に供給されてA/D変換され、その結果、デジタル画像信号Vdg1として、図3の例の符号化部52に供給される。
すると、図3の例の符号化部52は、デジタル画像信号Vdg1を複数の処理領域に分割する。次に、図3の例の符号化部52は、複数の処理領域のそれぞれについて、処理対象の処理領域からM個のN次元の処理ベクトルVb(上述した式(2)参照)を生成する。次に、図3の例の符号化部52は、複数の処理領域のそれぞれについて、処理対象の処理領域についてのM個の処理ベクトルVbを利用して、処理対象の処理領域についての適応的な直交変換の基底を生成する。次に、図3の例の符号化部52は、複数の処理領域のそれぞれについて、処理対象の処理領域についての直交変換の基底を利用して、処理対象の処理領域に対して直交変換符号化処理を個別に施す。そして、図3の例の符号化部52は、直交変換符号化処理の結果を示すデジタル信号Vcdqと、対応する直交変換の基底を示すデジタル信号Vcdqとからなるデジタル信号を、符号化デジタル画像信号Vcdとして出力する。
図3の例の符号化部52から出力された符号化デジタル画像信号Vcdは、図2の記録部53に供給される。記録部53は、この符号化デジタル画像信号Vcdを光ディスク等の記録媒体に記録する。このようにして、記録部53において、アナログ画像信号Van1に基づくコピーが行われる。
再生装置1から出力されたアナログ画像信号Van1が1回目の符号化と復号とを経た信号である場合、記録部53により記録媒体に記録された符号化デジタル画像信号Vcdが、図14の例の復号部54を有する別の装置(図示せず)により復号された結果得られるデジタル画像信号は、2回目の符号化と復号を経た信号となる。この場合、2回目の符号化と復号を経たデジタル画像信号は、再生装置1の復号部11から出力されたデジタル画像信号Vdg0に比べて、大きく劣化したものとなる。
なぜならば、アナログ画像信号Van1は、上述したようにアナログ歪みを伴うものであるからである。
即ち、例えばアナログ画像信号Van1が、上述した信号の位相ずれにより生じるアナログ歪みを伴う場合、A/D変換部51がそのアナログ画像信号Van1をデジタル信号に変換する際に生じるサンプリング位相の揺らぎのために、図3の例の符号化部52によりデジタル画像信号Vdg1から分割された複数の処理領域の各位置が、1回目の符号化と復号における位置に対してずれる。
そのため、図3の例の符号化部52において、複数の処理領域のそれぞれについて、
1回目の符号化で使用された直交変換の基底とは異なる直交変換の基底(各主成分)が生成され、かつ、そのうちの処理対象の処理領域についての直交変換基底を利用して、処理対象の処理領域についての処理ベクトルVbに対して直交変換符号化処理が施されるため、1回目の符号化において発生した量子化歪みとは異なる新たな量子化歪みがさらに発生し、結果として大きな歪となる。
以上のことから、図3の例の符号化部52から出力されて、図2の記録部53により記録媒体に記録されたた符号化デジタル画像信号Vcdが再生され、その結果得られる画像は、再生装置1から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置2に表示される画像に比べて、大幅に劣化した画質になる。
具体的には例えば、上述した第3のベクトル化手法が適用された符号化方式、即ち、各画素の色(R画素値、G画素値、およびB画素値)に対して主成分分析が施される符号化方式が利用された場合の具体例(実画像)が図18と図19とに示されている。図18は、1回目の符号化と復号を経て得られた実画像、即ち、再生装置1から実際に出力されたアナログ画像信号Van1に対応する実画像の例を示している。これに対して、図19は、2回目の符号化と復号を経て得られた実画像、即ち、図3の例の符号化部52から実際に出力されて、図2の記録部53により記録媒体に実際に記録されたた符号化デジタル画像信号Vcdが実際に再生され、その結果得られた実画像の例を示している。
ただし、図18と図19とに示される画像は、とある画像全体のうちの一部分が拡大表示された画像であって、実際にはカラーであった画像が白黒変換された結果を示している。また、図18と図19において、各画像内の左方に示される各グラフは、それらの右方に示される矢印の方向に沿って連続して並ぶ各画素のR画素値、G画素値、および、B画素値を示している。即ち、各グラフにおいて、横軸は矢印方向の画素位置を示しており、縦軸は画素値(輝度レベル)を示しており、また、波形RはR画素値の波形を、波形GはG画素値の波形を、波形BはB画素値の波形を、それぞれ示している。特に、図18においては、画素gbについてのR画素値、G画素値、およびB画素値のそれぞれが、Xbr,Xbg,Xbbのそれぞれとして示されている。また、図19においては、図18の画素gbと同一位置の画素gaについてのR画素値、G画素値、およびB画素値のそれぞれが、Xar,Xag,Xabのそれぞれとして示されている。
図18と図19とを比較するに、図18に示される画像のうちの画素gb周辺の何も無かった部分が、2回目の符号化と復号を経ることによって、図19に示される画像のうちの画素ga周辺に示されるように、色のずれたブロック歪みが発生した部分になってしまうことがわかる。
また、例えば、上述した第3のベクトル化手法が適用された符号化方式、即ち、各画素の色(R画素値、G画素値、およびB画素値)に対して主成分分析が施される符号化方式が利用された場合における具体例(模式図)が図20と図21に示されている。図20は、1回目の符号化と復号を経て得られる画像、即ち、再生装置1から出力されるアナログ画像信号Van1に対応する画像を示す模式図である。図21は、2回目の符号化と復号を経て得られる画像、即ち、図3の例の符号化部52から出力されて、図2の記録部53により記録媒体に記録されたた符号化デジタル画像信号Vcdが再生され、その結果得られる画像を示す模式図である。
ただし、図20と図21とに示される画像も、とある画像全体のうちの一部分が拡大表示された画像であって、カラー画像が白黒変換された結果を示している。また、図20においては、1回目の符号化で利用された処理領域BL1が、点線の四角形で示されている。これに対して、図21においては、2回目の符号化で利用された処理領域BL2が、点線の四角形で示されている。
図20と図21とを比較するに、図20に示される画像からは、それぞれの処理領域BL1が最適化されて符号化されたことがわかる。これに対して、図21に示される画像からは、アナログの位相ずれにより、2回目の符号化では、1回目の符号化で最適化されたブロック(処理領域BL1に対応するブロック)が混在したものが処理領域BL2として利用され、その結果、ブロック状の色ずれが発生し、視覚的に厳しい画像になっていることがわかる。
さらに、再生装置1から出力されるアナログ画像信号Van1が2回目以降の符号化と復号とを経た信号である場合、図3の例の符号化部52で符号化されて、さらに復号されて得られるデジタル画像信号は、3回目以降の符号化と復号とを経たものとなり、より一層劣化したものとなる。
従って、3回目以降の符号化と復号とを経た符号化デジタル画像信号が記録部53により記録媒体に記録され、その後、その符号化デジタル画像信号が再生された場合、その結果得られる画像は、再生装置1から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置2に表示される画像に比べて、さらに一段と大幅に劣化した画質になる。よって、この符号化装置41では、良好な画質を維持したままでのコピーは不可能となる。即ち、不正コピーの防止が図られる。
同様の理由で、図14の例の復号部54を有する復号装置42においても、その表示部56に表示される画像、即ち、D/A変換部55から出力されるアナログ信号Van2に対応する画像は、再生装置1から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置2に表示される画像に比べて、大幅に劣化した画質になる。さらに、この画質の劣化の度合いは、符号化と復号とを繰り返す度に大きくなっていく。
また、図3の例の符号化部52と図14の例の復号部54とを含む図2の画像処理システムにおいては、良好な画質を維持したままでのコピーを不可能とする処理が、図3の例の符号化部52と図14の例の復号部54とを含む記録再生装置31側で実行されるため、再生装置1から表示装置2に供給されるアナログ画像信号Van1には何等加工が施されず、その結果、表示装置2に表示される画像の画質を落とすことはない。即ち、図3の例の符号化部52と図14の例の復号部54とを含む図2の画像処理システムは、上述した特許文献1の発明が有する課題を解決することができる。
さらにまた、図3の例の符号化部52と図14の例の復号部54とを含む図2の画像処理システムでは、同図の構成から明らかなように、再生側と記録側との何れにも、雑音情報発生部やこれを埋め込むための回路等の特別な回路を搭載する必要がなく、回路規模も増大することはない。即ち、図3の例の符号化部52と図14の例の復号部54とを含む図2の画像処理システムは、上述した特許文献2の発明が有する課題を解決することができる。
なお、アナログ信号Van1にアナログ歪みがない場合には、2回目以降の符号化においても、直前の回と同位置の処理領域が利用され、その結果、直前の回の符号化で生成された直交変換の基底(主成分)が、2回目以降においてもほぼ同様なものになるため、2回目以降の符号化における量子化歪みは極めて少なく、通常の品質での再生が可能となる。
以上、図3乃至図21を参照して、本発明が適用される図2の符号化部52と復号部54とのそれぞれの一実施の形態を説明した。
ただし、上述したように、本発明が適用される図2の符号化部52は、上述した図13の例に限定されず、様々な形態を取ることが可能である。同様に、本発明が適用される図2の復号部54は、上述した図14の例に限定されず、様々な形態を取ることが可能である。
換言すると、本発明が適用される図2の符号化部52は、例えば図22の機能的構成を有していれば足り、図22の機能的構成を実現するための実施の形態は特に限定されない。即ち、その様々な実施の形態のうちのひとつが、上述した図3のそれぞれの例の符号化部52である。このように、図22は、本発明が適用される図2の符号化部52のより一般的な機能的構成例(図3の例の上位概念の構成例)を示している。また、図23のフローチャートは、図22の機能的構成を有する符号化部52が実行する符号化処理の一例を示している。
同様に、本発明が適用される図2の復号部54は、図24の機能的構成を有していれば足り、図24の機能的構成を実現するための実施の形態は特に限定されない。即ち、その様々な実施の形態のうちのひとつが、上述した図14の例の復号部54である。このように、図24は、本発明が適用される図2の復号部54のより一般的な機能的構成例(図14の例の上位概念の構成例)を示している。また、図24のフローチャートは、図23の機能的構成を有する復号部54が実行する復号処理の一例を示している。
以下、図22乃至図24を参照して、本発明が適用される図2の符号化部52と復号部54とについてさらに説明する。
図22の例では、符号化部52は、設定部401、分析部402、変換部403、および、重畳部404から構成されている。
設定部401は、入力データであるデジタル画像信号Vdg1から、N次元で表される処理データを設定し、M個の処理データを分析単位として設定し、入力データをその分析単位で区分することで、M個の処理データからなるデータ群を1以上生成する。そして、設定部401は、1以上のデータ群を、分析部402と変換部403とに供給する。
なお、設定部401において、後述する変換情報を図24の例の復調部54側で生成するために必要な情報(以下、変換情報生成用情報と称する)が、生成または使用された場合、必要に応じて、その変換情報生成用情報はデジタル信号Vbとして重畳部404に供給される。さらにまた、設定部401において、復号処理に利用されるその他の情報を図24の例の復調部54側で生成するために必要な情報(以下、復号情報生成用情報と称する)が、生成または使用された場合、必要に応じて、その復号情報生成用情報はデジタル信号Vbとして重畳部404に供給される。
例えば、図3の例の符号化部52では、設定部401は、処理領域分割部82とベクトル化部83とから構成されている。即ち、図3の例の符号化部52では、ベクトル化部83により生成されるN次元の処理ベクトルが、処理データとして採用されている。そして、1つの処理領域から生成されたM個の処理ベクトルが、分析単位として採用されている。換言すると、処理領域分割部82によりデジタル画像信号Vdg1から分割された処理領域が分析単位として採用されていると捉えることもできる。
図22の分析部402は、設定部401から供給される1以上のデータ群のそれぞれを順次処理対象に設定し、処理対象のデータ群を分析することで、処理対象のデータ群の表現形式を変換するための変換情報を処理対象毎に個別に生成し、変換部403に供給する。
なお、変換情報自身、または、それに対応する変換情報生成用情報は、必要に応じて、デジタル信号Vbとして、分析部402から重畳部404に供給される。さらにまた、復号情報生成用情報が、分析部402により生成または利用された場合、必要に応じて、デジタル信号Vbとして、分析部402から重畳部404に供給される。
例えば、図3の例の符号化部52では、分析部402は、直交変換基底生成部84から構成されている。即ち、図3の例の符号化部52では、直交変換基底生成部84により生成される処理領域毎の直交変換の基底(第1乃至第N主成分)が、変換情報として採用されている。なお、図3の例の符号化部52では、直交変換基底生成部84から出力されたデジタル信号Vcdpが、変換情報自身である図22のデジタル信号Vbのひとつとして採用されている。
図22の変換部403は、設定部401から供給される1以上のデータ群のそれぞれについて、分析部402から供給された変換情報のうちの処理対象のデータ群についての変換情報を利用して、処理対象のデータ群を構成するM個の処理データのそれぞれの表現形式を変換する。そして、変換部403は、それぞれ表現形式が変換された1以上のデータ群を、デジタル信号Vaとして重畳部404に供給する。
このように、変換情報とは、処理データの表現形式のうちの、変換部403による変換前の第1の表現形式と、変換部403による変換後の第2の表現形式との間の関係を示すまたは規定する情報である、といえる。
なお、ここで言う表現形式の変換とは、上述した軸変換等による表現形式の変換の他、所定の符号化方式による符号化(量子化等)を含めてもよいし、含めなくてもよい。前者の場合、符号化部52は、データの表現形式を変換するデータ変換装置またはその一部であると言える。また、後者の場合、変換部403は、それぞれ表現形式が変換された1以上のデータ群を符号化し、その結果得られる信号をデジタル信号Vaとして重畳部404に供給することになる。
例えば、図3の例の符号化部52では、変換部403は直交変換符号化部85から構成されている。即ち、図3の例の符号化部52では、直交変換符号化部85から出力されたデジタル信号Vcdqが、図22のデジタル信号Vaとして採用されている。
重畳部404は、変換部403から供給されたデジタル信号Vaに対して、設定部401と分析部402とのうちの少なくとも一方から供給されたデジタル信号Vb(変換情報、変換情報生成用情報、および復号情報生成用情報のうちの少なくとも1つ)を重畳し、その結果得られるデジタル信号を符号化デジタル画像信号Vcdとして、図2の記録部53や復号部54に出力する。
例えば、図3の例の符号化部52では、重畳部404は重畳部86から構成されている。
以上、図22を参照して、図2の符号化部52の機能的構成について説明した。
次に、図23のフローチャートを参照して、図22の機能的構成を有する符号化部52の符号化処理例について説明する。
ステップS201において、設定部401は、デジタル画像信号Vdg1を、例えば1フレーム分だけ入力する。
ステップS202において、設定部401は、1フレーム分のデジタル画像信号Vdg1から、処理データと分析単位との設定を行う。そして、1フレーム分の複数の処理データが分析単位で区分され、その結果得られるM個の処理データからなる1以上のデータ群、即ち、1フレーム分の1以上のデータ群が、設定部401から分析部402と変換部403とに供給されると、処理はステップS203に進む。
ステップS203において、分析部402は、分析単位毎に変換情報を1フレーム分だけ生成する。即ち、分析部402は、1フレーム分の1以上のデータ群のそれぞれについての変換情報を生成する。1フレーム分の分析単位毎の変換情報が、分析部402から変換部403に供給されると、処理はステップS204に進む。
ステップS204において、変換部403は、1フレーム分の分析単位毎の変換情報を利用して、1フレーム分の画像信号Vdg1の表現形式を分析単位毎に変換する。即ち、変換部403は、1フレーム分の1以上のデータ群のそれぞれについて、処理対象のデータ群についての変換情報を利用して、処理対象のデータ群の表現形式を変換する。このステップS204の処理の結果として1フレーム分のデジタル信号Vaが得られ、このデジタル信号Vaが変換部403から重畳部404に供給されると、処理はステップS205に進む。
ステップS205において、重畳部404は、変換部403から供給された1フレーム分のデジタル信号Vaに対して、設定部401と分析部402とのうちの少なくとも一方から供給されたデジタル信号Vbを重畳することで、符号化デジタル画像信号Vcdを生成する。
ステップS206において、重畳部404は、この符号化デジタル画像信号Vcdを外部に出力する。
ステップS207において、符号化部52は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップS207においてNOであると判定されて、処理はステップS201に戻され、それ以降の処理が繰り返される。即ち、次の1フレーム分のデジタル画像信号Vdg1が、ステップS201の処理で入力され、ステップS202乃至S205の処理で上述した符号化処理が施され、その結果、次の1フレーム分の符号化デジタル画像信号Vcdが得られ、この符号化デジタル画像信号VcdがステップS206の処理で出力される。
このようなステップS201乃至S207のループ処理が全フレームに対して施され、最後のフレーム分の符号化デジタル画像信号Vcdが出力されると、次のステップS207においてYESであると判定されて、図23の例の符号化処理は終了となる。
以上、図23を参照して、図22の機能的構成を有する符号化部52の符号化処理の例について説明した。
次に、図24と図25を参照して、図22の機能的構成を有する符号化部52に対応する復号部54の機能的構成例について説明する。
図24の例では、復号部54は、データ分解部411乃至復号画像生成部414から構成されている。ただし、後述するように、分析部412は、必要に応じて省略可能である。
データ分解部411には、図22の機能的構成を有する符号化部52から出力された符号化デジタル画像信号Vcdが供給される。
データ分解部411は、この符号化デジタル画像信号Vcdを、図22の変換部403の出力であるデジタル信号Vaと、図22の設定部401と分析部402とのうちの少なくとも一方の出力であるデジタル信号Vbとに分解する。
上述したように、デジタル信号Vbには、変換情報自身およびそれに対応する変換情報生成用情報、並びに復号情報生成用情報のうちの少なくとも1つが含まれている。そこで、データ分解部411は、デジタル信号Vbに変換情報が含まれている場合、その変換情報を逆変換部413に供給する。これに対して、データ分解部411は、デジタル信号Vbに変換情報生成用情報が含まれている場合、その変換情報生成用情報を分析部412に供給する。また、データ分解部411は、デジタル信号Vbに復号情報生成用情報が含まれている場合、その復号情報生成用情報を、分析部412乃至復号画像生成部414のうちの少なくとも1つに供給する。
例えば、図14の例の復号部54では、データ分解部411はデータ分解部102から構成されている。
分析部412は、変換情報生成用情報であるデジタル信号Vbがデータ分解部411から供給された場合、その変換情報生成用情報を利用することで、分析単位毎の変換情報(図22の分析部402の出力に対応する各変換情報)をそれぞれ生成し、逆変換部413に供給する。即ち、分析部412は、1以上のデータ群のそれぞれについての変換情報を生成し、逆変換部413に供給する。
なお、図14の例の復号部54では、デジタル信号Vbに変換情報生成用情報が含まれていないので、即ち、デジタル信号Vbには変換情報そのものであるデジタル信号Vcdpが含まれているので、分析部412は省略されている。
逆変換部413は、データ分解部411からデジタル信号Vbとして供給された分析単位毎の変換情報、または、分析部412から供給された分析単位毎の変換情報を利用して、データ分解部411から供給されたデジタル信号Vaの表現形式を元に戻す。即ち、逆変換部413は、表現形式が変換された分析単位毎の処理データ(1以上のデータ群)のそれぞれについて、処理対象のデータ群についての変換情報を利用して、表現形式が変換された処理対象のデータ群の表現形式を元に戻す。そして、逆変換部413は、表現形式が元に戻された分析単位毎の処理データ(1以上のデータ群)を、復号画像生成部414に供給する。
なお、ここで言う表現形式を元に戻すとは、上述した逆軸変換等により表現形式を元に戻す他、図22の変換部403に採用されている符号化方式に対応する復号方式の復号(逆量子化等)も含めてもよいし、含めなくてもよい。前者の場合、復号部54は、データの表現形式を逆変換するデータ逆変換装置またはその一部分である、といえる。また、後者の場合、逆変換部413は、、データ分解部411から供給されたデジタル信号Vaを復号し、その結果得られる信号の表現形式を元に戻すことになる。
例えば、図14の例の復号部54では、逆変換部413は逆直交変換復号部103から構成されている。
復号画像生成部414は、逆変換部413により表現形式が元に戻された分析単位毎の処理データ(1以上のデータ群)を利用して、データ分解部411に入力された符号化デジタル画像信号Vcdの復号信号であるデジタル画像信号Vdg2を生成し、図2のD/A変換部55等に供給する。
例えば、図14の例の復号部54では、復号画像生成部414はブロック分解部104から構成されている。
なお、以上説明した分析部412乃至復号画像生成部414は、復号情報生成用情報であるデジタル信号Vbが供給された場合、必要に応じて、その復号情報生成用情報を利用して上述した各種処理を実行する。
以上、図24の機能的構成を有する復号部54の構成について説明した。次に、図25のフローチャートを参照して、図24の機能的構成を有する復号部54の復号処理例について説明する。
ステップS221において、データ分解部411は、符号化デジタル画像信号Vcdを、例えば1フレーム分だけ入力する。
ステップS222において、データ分解部411は、1フレーム分の符号化デジタル画像信号Vcdを、1フレーム分のデジタル信号Vaと1フレーム分のデジタル信号Vbとに分解する。
ステップS223において、データ分解部411は、変換情報が分解されたか否かを判定する。
ステップS222の処理で符号化デジタル画像信号Vcdから分解されたデジタル信号Vbに、1フレーム分の分析単位毎の変換情報が含まれている場合、ステップS223において変換情報が分解されたと判定されて、ステップS224の処理は実行されずに処理はステップS225に進む。その際、1フレーム分の分析単位毎の変換情報であるデジタル信号Vbは、データ分解部411から逆変換部413に提供される。
これに対して、ステップS222の処理で符号化デジタル画像信号Vcdから分解されたデジタル信号Vbに、変換情報が含まれておれず、1フレーム分の分析単位毎の変換情報生成用情報が含まれている場合、ステップS223において変換情報が分解されていないと判定されて、1フレーム分の分析単位毎の変換情報生成用情報であるデジタル信号Vbは、データ分解部411から分析部412に提供される。これにより、処理はステップS224に進む。
ステップS224において、分析部412は、1フレーム分の分析単位毎の変換情報生成用情報のそれぞれを利用して、1フレーム分の分析単位毎の変換情報を生成する。1フレーム分の分析単位毎の変換情報が、分析部412から逆変換部413に提供されると、処理はステップS225に進む。
ステップ225において、逆変換部413は、データ分解部411または分析部412から提供された1フレーム分の分析単位毎の変換情報を利用して、1フレーム分の符号化デジタル画像信号Vcdの表現形式を分析単位毎に元に戻す。即ち、ステップS225の処理とは、図23のステップS204の変換処理の逆処理(逆変換処理)であるとも言える。
符号化デジタル画像信号Vcdの表現形式が分析単位毎に元に戻されるとは、上述したように、表現形式が元に戻された分析単位毎の処理データ(1以上のデータ群)が得られることを言う。従って、ステップS225の処理の結果、表現形式が元に戻された分析単位毎の処理データ(1以上のデータ群)が、逆変換部413から復号画像生成部414に提供される。これにより、処理はステップS226に進む。
ステップS226において、復号画像生成部414は、表現形式が元に戻された分析単位毎の処理データ(1以上のデータ群)から、ステップS221の処理で入力された1フレーム分の符号化デジタル画像信号Vcdの復号信号である1フレーム分のデジタル画像信号Vdg2を生成する。
ステップS227において、復号画像生成部414は、この1フレーム分のデジタル画像信号Vdg2を出力する。
ステップS228において、復号部54は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップS228においてNOであると判定されて、処理はステップS221に戻され、それ以降の処理が繰り返される。即ち、次の1フレーム分の符号化デジタル画像信号Vcdが、ステップS221の処理で入力され、ステップS222乃至S226の処理で上述した復号処理が施され、その結果、次の1フレーム分のデジタル画像信号Vdg2が得られ、このデジタル画像信号Vdg2がステップS227の処理で出力される。
このようなステップS221乃至S228のループ処理が全フレームに対して施され、最後のフレーム分のデジタル画像信号Vdg2が出力されると、次のステップS228においてYESであると判定されて、図25の例の復号処理は終了となる。
以上、図25を参照して、図24の機能的構成を有する復号部54の復号処理の例について説明した。
即ち、以上、図3乃至図25を参照して、図2の符号化部52とそれに対応する復号部54との詳細について説明した。
ところで、本発明が適用される画像処理システムは、図2の例に限定されず、様々な実施の形態を取ることができる。即ち、本発明が適用される画像処理システムは、例えば、上述した図22の機能的構成を有する符号化部52と、上述した図24の機能的構成を有する復号部54とを含む構成であれば、その構成は特に限定されない。具体的には例えば、本発明が適用される画像処理システムは、図26に示されるように構成することもできる。
即ち、図26は、本発明が適用される画像処理システムの構成例を示している。
なお、図26の例の画像処理システムにおいて、図2の例の画像処理システムと対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図26と図2とを比較するに、図26の例の符号化装置41は、図2の例の符号化装置41に対して、アナログ歪み生成部451がさらに含むように構成されている。
アナログ歪み生成部451は、その名称の通り、再生装置1から出力されたアナログ画像信号Van1に対してアナログ歪みを積極的に生じさせる(アナログノイズを強制的に付加する)。そして、アナログ歪み生成部451は、アナログノイズが強制的に付加されたアナログ画像信号Van1をA/D変換部51に供給する。
なお、アナログ歪み生成部451の配置位置は、図58の例に限定されず、任意の位置でよい。例えば、復号装置42のD/A変換部55の後段や、再生装置1のD/A変換部12の後段に、アナログ歪み生成部451を配置させてもよい。
図26の例の画像処理システムにおけるその他の構成は、図2の例の画像処理システムにおける対応する構成と基本的に同様である。従って、図26の例の画像処理システムの動作は、アナログ歪み生成部451によりアナログ歪みがアナログ画像信号Van1に対して強制的に付加されることを除いて、図2の例の画像処理システムの動作と基本的に同様である。従って、その説明については省略する。
ところで、上述した一連の処理(或いはそのうちの一部分の処理)は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
この場合、図2または図26の画像処理システムのうちの、符号化装置41や復号装置42の全体若しくはその一部分(例えば、符号化部52や復号部54等)は、例えば、図27に示される構成のコンピュータで構成することができる。
図27において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記録されているプログラム、または記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース505も接続されている。
入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、ディスプレイなどよりなる出力部507、ハードディスクなどより構成される記憶部508、および、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
入出力インタフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体511が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図27に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)511により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や、記憶部508に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
また、符号化または復号の対象は、上述した例では画像信号とされたが、特に画像信号に限定されず、その他の任意の信号であってもよい。
さらにまた、上述した各種画像処理の単位は、上述した例ではフレームとされたが、基本的にアクセスユニットであればよい。ここで言うアクセスユニットとは、フレームのような画像全体若しくはそれを構成する画像データのみならず、画像の一部分(例えばフィールド)若しくは画像データといった画像の単位を言う。
従来の画像表示システムの構成例を示すブロック図である。 本発明が適用される画像処理システムの構成例を示すブロック図である。 図2の画像処理システムのうちの符号化部52の構成例を示すブロック図である。 図3の処理領域分割部82の処理例を説明する図である。 図3のベクトル化部83の処理例を説明する図である。 図3のベクトル化部83の処理例を説明する図である。 図3のベクトル化部83の処理例を説明する図である。 図3のベクトル化部83の処理例を説明する図である。 図3の直交変換基底生成部84と直交変換符号化部85との処理例を説明する図である。 図3の直交変換基底生成部84と直交変換符号化部85との処理例を説明する図である。 図3の直交変換基底生成部84と直交変換符号化部85との処理例を説明する図である。 図3の直交変換符号化部85に適用可能な符号化方式の一例であるADRC方式の説明をする図である。 図3の例の符号化部52の符号化処理例を説明するフローチャートである。 図2の画像処理システムのうちの、図3の例の符号化部52に対応する復号部54の構成例を示すブロック図である。 図14の逆直交変換復号部103の処理例を説明する図である。 図14のブロック分解部104の処理例を説明する図である。 図14の例の復号部54の復号処理例を説明するフローチャートである。 1回目の符号化と復号を経て得られた実画像、即ち、再生装置1から実際に出力されたアナログ画像信号Van1に対応する実画像の例を示す図である。 2回目の符号化と復号を経て得られた実画像、即ち、図3の例の符号化部52から実際に出力されて、図2の記録部53により記録媒体に実際に記録されたた符号化デジタル画像信号Vcdが実際に再生され、その結果得られた実画像の例を示す図である。 1回目の符号化と復号を経て得られる画像、即ち、再生装置1から出力されるアナログ画像信号Van1に対応する画像を示す模式図である。 2回目の符号化と復号を経て得られる画像、即ち、図3の例の符号化部52から出力されて、図2の記録部53により記録媒体に記録されたた符号化デジタル画像信号Vcdが再生され、その結果得られる画像を示す模式図である。る。 図2の画像処理システムのうちの符号化部52の機能的構成例を示す機能ブロック図である。 図22の機能的構成の符号化部52の符号化処理例を説明するフローチャートである。 図2の画像処理システムのうちの、図22の機能的構成の符号化部52に対応する復号部54の機能的構成例を示す機能ブロック図である。 図24の機能的構成の復号部54の復号処理例を説明するフローチャートである。 本発明が適用される画像処理システムの図2とは異なる構成例を示すブロック図である。 本発明が適用される符号化装置または復号装置の少なくとも一部分のハードウエア構成の一例を示すブロック図である。
符号の説明
1 再生装置, 2 表示部, 11 復号部, 12 D/A変換部, 31 記録再生装置, 41 符号化装置, 42 復号装置, 51 A/D変換部, 52 符号化部, 53 記録部, 54 復号部, 55 D/A変換部, 56 表示部, 81 入力部, 82 処理領域分割部,83 ベクトル化部, 84 直交変換基底生成部, 85 直交変換符号化部, 86 重畳部, 87 出力部, 101 入力部, 102 データ分解部, 103 逆直交変換復号部, 104 ブロック分解部, 105 出力部, 401 設定部401 分析部, 403 変換部, 404 重畳部, 411 データ分解部, 412 分析部, 413 逆変換部, 414 復号画像生成部, 451 アナログ歪み生成部, 501 CPU, 502 ROM, 503 RAM, 508 記憶部, 511 リムーバブル記録媒体

Claims (14)

  1. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの、所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割手段と、
    前記分割手段により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化手段と、
    分析対象の前記ブロックについて前記ベクトル化手段により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析手段と、
    前記分析手段により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換手段と
    を備え、
    前記ベクトル化手段が前記第3のベクトル生成手法により第1のベクトルを生成した場合、
    前記変換手段は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
    ことを特徴とするデータ変換装置。
  2. データに対してアナログ歪みを生じさせるアナログ歪み生成手段をさらに備え、
    前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記分割手段に入力される
    ことを特徴とする請求項1に記載のデータ変換装置。
  3. N個の前記コンポーネントデータは、対応する画素についての赤の輝度レベルを示す第1の画素データと、対応する前記画素についての緑の輝度レベルを示す第2の画素データと、対応する前記画素についての青の輝度レベルを示す第3の画素データとを含む
    ことを特徴とする請求項1に記載のデータ変換装置。
  4. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換装置のデータ変換方法であって、
    前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、
    前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、
    分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、
    前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップと
    を含み、
    前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、
    前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
    ことを特徴とするデータ変換方法。
  5. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換処理を制御するコンピュータに、
    前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、
    前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、
    分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、
    前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップと
    を含み、
    前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、
    前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 1画素につき複数のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換処理を制御するコンピュータに、
    前記入力データのうちの所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割ステップと、
    前記分割ステップの処理により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化ステップと、
    分析対象の前記ブロックについて前記ベクトル化ステップの処理により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析ステップと、
    前記分析ステップの処理により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換ステップと
    を含み、
    前記ベクトル化ステップにおいて、前記第3のベクトル生成手法により第1のベクトルが生成された場合、
    前記変換ステップの処理は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
    処理を実行させるためのプログラム。
  7. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
    分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
    分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
    生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
    1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、
    前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離手段と、
    前記分離手段により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換手段と
    を備え、
    前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
    ことを特徴とするデータ逆変換装置。
  8. 前記元データにはアナログ歪みが生じている
    ことを特徴とする請求項に記載のデータ逆変換装置。
  9. N個の前記コンポーネントデータは、対応する画素についての赤の輝度レベルを示す第1の画素データと、対応する前記画素についての緑の輝度レベルを示す第2の画素データと、対応する前記画素についての青の輝度レベルを示す第3の画素データとを含む
    ことを特徴とする請求項に記載のデータ逆変換装置。
  10. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
    分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
    分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
    生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
    1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置のデータ逆変換方法であって、
    前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップと
    を含み、
    前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
    ことを特徴とするデータ逆変換方法。
  11. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
    分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
    分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
    生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
    1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、
    前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップと
    を含み、
    前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
    分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
    分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
    生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
    1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、
    前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換ステップと
    を含み、
    前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
    処理を実行させるためのプログラム。
  13. 画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、
    前記変換部は、
    1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上のアクセスユニットから構成される入力データのうちの、所定の1つのアクセスユニットを処理対象に設定し、処理対象の前記アクセスユニットを1以上のブロックに分割する分割手段と、
    前記分割手段により分割された1以上の前記ブロックのそれぞれを分析対象に1つずつ順次設定し、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルを生成するベクトル化手段と、
    分析対象の前記ブロックについて前記ベクトル化手段により生成された前記第1のベクトルを対象とする主成分分析を行うことで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底を分析対象毎に個別に生成する分析手段と、
    前記分析手段により生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルを、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換し、前記第2のベクトルからなるデータ群を所定の単位毎に符号化する変換手段と
    を有し、
    前記ベクトル化手段が前記第3のベクトル生成手法により第1のベクトルを生成した場合、
    前記変換手段は、分析対象の前記ブロックについて、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルを、前記分析手段により生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換し、M個の前記第2のベクトルからなるデータ群を、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により、主成分毎に符号化する
    ことを特徴とする情報処理システム。
  14. 画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、
    前記変換部、または、前記変換部以外の装置により、
    1画素につきN個(Nは2以上の整数値)のコンポーネントデータを有する1以上の第1のアクセスユニットから構成される元データのうちの、所定の1つの第1のアクセスユニットが処理対象に設定され、処理対象の前記第1のアクセスユニットが1以上のブロックに分割され、
    分割された1以上の前記ブロックのそれぞれが分析対象に1つずつ順次設定され、分析対象の前記ブロックに対応するM個(Mは1以上の整数値)の画素毎に、N種類のコンポーネントデータのうちの所定の1種類のコンポーネントデータの値を前記ブロックのM個の画素全てについて順に配列させたものを各成分値として有するM次元の第1ベクトルを生成する第1のベクトル生成手法、前記ブロックのM個の画素全てのN個のコンポーネントデータの値をコンポーネントデータの種類ごとに順に配列させたものを各成分値として有するM×N次元の第1ベクトルを生成する第2のベクトル生成手法、または、画素の前記N個のコンポーネントデータの値を各成分値として有するN次元の第1のベクトルを画素毎に生成する第3のベクトル生成手法のいずれか1つのベクトル生成手法により、第1のベクトルが生成され、
    分析対象の前記ブロックについて前記第1のベクトルを対象とする主成分分析が行われることで、分析対象の前記ブロックの各画素の前記コンポーネントデータの表現形式を変換するための基底が分析対象毎に個別に生成され、
    生成された前記基底を利用して、第1の座標系で表現される分析対象の前記ブロックの前記第1のベクトルが、前記基底を軸とする第2の座標系で表現される第2のベクトルに変換され、さらに前記第2のベクトルからなるデータ群が所定の単位毎に符号化され、その結果、1以上の前記ブロックのそれぞれに対応する1以上の符号化データのそれぞれが得られ、
    1以上の前記符号化データのそれぞれに対して、それぞれの生成に利用された前記基底が対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として前記逆変換部に入力され、
    前記逆変換部は、
    前記入力データから、1以上の前記符号化データのそれぞれと、それぞれに対応付けられた前記基底のそれぞれとを分離する分離手段と、
    前記分離手段により前記入力データから分離された1以上の前記符号化データのそれぞれを処理対象に1つずつ順次設定し、処理対象の前記符号化データを復号し、その結果得られる前記データ群を構成する前記第2のベクトルのそれぞれを、処理対象の前記符号化データに対応付けられた前記基底を利用して、前記第1のベクトルのそれぞれに逆変換する逆変換手段と
    を有し、
    前記第3のベクトル生成手法により第1のベクトルが生成されていた場合、分析対象の前記ブロックについての、前記N個のコンポーネントデータのそれぞれを軸とする第1の座標系で表現されるM個の前記第1のベクトルは、生成された前記基底を軸とする第2の座標系で表現されるM個の第2のベクトルに変換され、M個の前記第2のベクトルからなるデータ群が、第1主成分の量子化ビット数がその他の主成分と比べて一番大きくなるように各主成分の量子化ビット数が設定されたADRC方式により主成分毎に符号化されている
    ことを特徴とする情報処理システム。
JP2005049955A 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム Expired - Fee Related JP4742614B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005049955A JP4742614B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
US11/362,557 US7925019B2 (en) 2005-02-25 2006-02-24 Method and apparatus for converting data, method and apparatus for inverse converting data, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005049955A JP4742614B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2006238070A JP2006238070A (ja) 2006-09-07
JP2006238070A5 JP2006238070A5 (ja) 2007-10-11
JP4742614B2 true JP4742614B2 (ja) 2011-08-10

Family

ID=37045235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005049955A Expired - Fee Related JP4742614B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US7925019B2 (ja)
JP (1) JP4742614B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742614B2 (ja) * 2005-02-25 2011-08-10 ソニー株式会社 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
US20080126464A1 (en) * 2006-06-30 2008-05-29 Shahin Movafagh Mowzoon Least square clustering and folded dimension visualization
CN100581101C (zh) 2007-11-19 2010-01-13 西安西电捷通无线网络通信有限公司 一种基于分组密码算法的加密处理设备
JP5455229B2 (ja) * 2010-04-26 2014-03-26 株式会社Kddi研究所 画像符号化装置及び画像復号装置
US9225991B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US9225988B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1330129A3 (en) * 1991-04-10 2006-03-15 Mitsubishi Denki Kabushiki Kaisha Encoder and Decoder
US5351083A (en) * 1991-10-17 1994-09-27 Sony Corporation Picture encoding and/or decoding system
JPH0723232A (ja) * 1993-06-24 1995-01-24 Fujitsu Ltd カラー画像符号化方式
JPH07154605A (ja) * 1993-11-25 1995-06-16 Oki Electric Ind Co Ltd カラー画像処理方法
JPH10271505A (ja) * 1997-03-25 1998-10-09 Oki Electric Ind Co Ltd 信号処理装置、符号化回路および復号回路
JPH10289522A (ja) 1997-04-11 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> ディジタルビデオ装置
JP2001245270A (ja) 2000-02-29 2001-09-07 Sony Corp 信号伝送装置および信号伝送方法
JP3977087B2 (ja) * 2001-02-13 2007-09-19 キヤノン株式会社 画像符号化装置、方法及びプログラム
JP3772846B2 (ja) * 2003-03-24 2006-05-10 ソニー株式会社 データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
KR101029396B1 (ko) 2003-03-24 2011-04-14 소니 주식회사 데이터 부호화 장치, 데이터 부호화 방법, 데이터 복호화 장치, 및 데이터 복호화 방법
JP4742614B2 (ja) * 2005-02-25 2011-08-10 ソニー株式会社 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US20060235915A1 (en) 2006-10-19
US7925019B2 (en) 2011-04-12
JP2006238070A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
US7957471B2 (en) Encoding apparatus and method, decoding apparatus and method, image processing system and method, and recording medium
US7283678B2 (en) Data processing apparatus and method and recording medium
JP4742614B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
US7412104B2 (en) Optimized lossless data compression methods
JP4835949B2 (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
EP3489901A1 (en) Signal encoding
JP4238516B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
KR100823498B1 (ko) 이미지 압축을 위한 방법
JP4349299B2 (ja) データ変換装置および方法、データ逆変換装置および方法、符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
CN1822676B (zh) 编码设备和方法、解码设备和方法、图像处理系统和方法
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP4561401B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4385969B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4814826B2 (ja) 画像処理装置及び画像処理方法
JP4461382B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4556125B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4697519B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
Akramullah et al. Digital Video Compression Techniques
JPH04372074A (ja) ポストフィルタ
Yang et al. Efficient color image reconstruction by color multiplexing and vector quantization in the wavelet domain
JP2001346209A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
Dutta Color Image Compression Using Wavelets

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees