JP4079620B2 - 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム - Google Patents
電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4079620B2 JP4079620B2 JP2001332439A JP2001332439A JP4079620B2 JP 4079620 B2 JP4079620 B2 JP 4079620B2 JP 2001332439 A JP2001332439 A JP 2001332439A JP 2001332439 A JP2001332439 A JP 2001332439A JP 4079620 B2 JP4079620 B2 JP 4079620B2
- Authority
- JP
- Japan
- Prior art keywords
- digital watermark
- data
- information
- embedding
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画、静止画等の画像データ、あるいは音楽、音声、その他の各種データに著作権情報、編集情報などの付加情報を埋め込みまたは読み取る技術に関する。例えば画像、音声データ中に通常の観察または聴取状態では認識困難な付加情報として電子透かし（ウォーターマーク:Digital Watermarkingまたは、Data Hidingとも呼ばれる）を埋め込む処理を実行する電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
デジタル技術の進歩に伴い、記録、再生処理の繰り返し実行による画質劣化、音質劣化等の発生しないデジタル記録再生装置が普及し、また一方では、様々な画像、音楽等のデジタテルコンテンツがデジタルＶＴＲ、ＤＶＤ，ＣＤなどの媒体またはネットワーク等を通じて配信、流通可能な状態となってきている。
【０００３】
デジタル記録再生では、アナログ記録再生と異なり、記録再生処理を繰り返し実行してもデータの劣化が発生しないため、オリジナルデータと同様の品質が保たれる。このようなデジタル記録再生技術の普及は不正コピーの氾濫を招く結果となり、著作権の保護という観点から大きな問題となっている。
【０００４】
デジタルコンテンツについての不正な複製（コピー）による著作権侵害に対処するため、デジタルコンテンツに複製制御のための複製制御情報を付加し、コンテンツの記録再生時に複製制御情報を読み取り、読み取られた制御情報に従った処理を実行することにより不正な複製を防止する構成が提案されている。
【０００５】
コンテンツ複製制御態様には様々な態様があるが、例えば代表的方式として、ＣＧＭＳ（Ｃｏｐｙ Ｇｅｎｅｒａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ；コピー・ジェネレーション・マネージメント・システム）方式がある。このＣＧＭＳ方式は、アナログ映像信号（ＣＧＭＳ−Ａと呼ばれる）であれば、その輝度信号の垂直ブランキング期間内の特定の１水平区間、例えばＮＴＳＣ信号の場合には、第２０水平区間の有効映像部分に重畳する２０ビットの付加情報のうちの２ビットを複製制御用の情報として重畳し、また、デジタル映像信号（ＣＧＭＳ−Ｄと呼ばれる）であれば、デジタル映像データに挿入付加する付加情報として、複製制御用の２ビットの情報を含めて伝送する方式である。
【０００６】
このＣＧＭＳ方式の場合の２ビットの情報（以下、ＣＧＭＳ情報という）の意味内容は、［００］……複製可能［１０］……１回複製可能（１世代だけ複製可能）
［１１］……複製禁止（絶対複製禁止）
である。
【０００７】
上述のＣＧＭＳ方式は代表的な複製制御方式の１例であり、他にもコンテンツの著作権保護のための方式が様々ある。例えば放送局が行なうデジタル放送などでは、デジタルデータを構成するトランスポートストリーム（ＴＳ）パケットに含まれる番組配列情報（ＳＩ：Service Information）内にデジタル複製制御記述子（Digital Copy Control Descriptor）を格納し、受信機器において受信したデータを記録装置に記録する際に記述子に従った複製世代制御を行なう方式がある。
【０００８】
しかし、上述の制御情報は例えばコンテンツのヘッダ等にビットデータとして付加されるものであり、付加されたデータの改竄の可能性を完全に排除することが困難である。データ改竄の可能性の排除という点で有利な構成が電子透かし（ウォーターマーク）である。電子透かし（ウォーターマーク）は、通常のコンテンツ（画像データまたは音声データ）の再生状態では視覚あるいは知覚困難であり、電子透かしの検出、埋め込みは特定のアルゴリズムの実行、または特定のデバイスによる処理によってのみ可能となる。受信器、記録再生装置等におけるコンテンツ処理時に電子透かし（ウォーターマーク（ＷＭ））を検出して、電子透かしに従った制御を行なうことにより、より信頼度の高い制御が可能となる。
【０００９】
電子透かし（ウォーターマーク（ＷＭ））によってコンテンツに埋め込まれる情報としては、上述の複製制御情報に限らず、コンテンツの著作権情報、コンテンツ加工情報、コンテンツ構成情報、コンテンツ処理情報、コンテンツ編集情報、あるいはコンテンツ再生処理方式等、様々な情報が埋め込み可能である。
【００１０】
電子透かし（ウォーターマーク）のように情報信号に直接重畳するものは、改竄耐性が強いため、セキュアな付加情報として期待されている。しかし、この電子透かし（ウォーターマーク）の技術においては、電子透かし（ウォーターマーク）を埋め込んだ画像の画質が問われることがある。電子透かし（ウォーターマーク）は、埋め込み対象データ（例えば画像）に対して信号処理を加えるため、画質劣化や画像の持つ統計的な性質等に偏りを生じさせ元データを劣化させる恐れがある。このようなコンテンツに対する悪影響のない電子透かしの埋め込み処理構成が求められている。
【００１１】
従来、このような、元データの劣化防止を図る構成として、電子透かし埋め込み対象となる画像等、元データにおける個々のデータ領域において電子透かし（ウォーターマーク）の埋め込みパラメータの設定を行った後に、さらに、画質劣化を考慮して全体のデータ領域における電子透かし重畳量調整パラメータ（グローバルなパラメータ）を再度、設定する制御方法が知られている。
【００１２】
【発明が解決しようとする課題】
電子透かし（ウォーターマーク）の埋め込みの制御方法には、画像の性質を利用して埋め込み量を増大させる処理や、埋め込みレベルを最小限にして、画質を優先した埋め込み処理を実行するものなど、各種の処理方法があるが、電子透かし検出精度の確保と、画質劣化防止の両方を同時に満足させ、電子透かし埋め込み対象となる画像、音声等のすべての情報信号に対して共通な電子透かし埋め込みアルゴリズムは存在し得ない。従って、あるときは、電子透かしの埋め込み処理によって画像、音声等のデータ信号の品質が劣化することがあり、また、あるときは埋め込み処理を行なった電子透かしの検出の信頼性が低下するという問題が発生する。
【００１３】
また、上述のようなグローバルなパラメータを用いた電子透かし重畳量制御方式は、初期の埋めこみパラメータを決める第１のアルゴリズムによって、まず、各データ領域においてほぼ最適な電子透かし埋めこみ量を決定し、その後に、最終的なグローバルパラメータを適用した調整を行なう処理方式である。従って、第１のアルゴリズムにおいて、個々のデータ領域における初期設定した最適パラメータが、画質劣化を考慮したグローバルパラメータの設定により変更を余儀なくされることになる。
【００１４】
このグローバルパラメータの設定処理は、電子透かし（ウォーターマーク）の検出の観点で考えると好ましくない場合がある。すなわち、初期の最適パラメータは検出を確実にするための埋め込みレベルを維持するための最適パラメータとして設定されるが、これが、グローバルなパラメータの設定により変更されると、十分な検出強度が得られない場合が発生するからである。
【００１５】
また、通常付加情報を情報信号に埋め込む手法として知られているスペクトラム拡散では、アナログ信号に対しては、原信号にいかなる微小レベルの情報であっても、重畳することは可能であるが、デジタル信号の場合、原信号の量子化レベル以上への埋め込みは容易であるが、それ以下への埋め込みはできないため、例えば電子透かし埋め込み対象データが８ビットであるとき、電子透かしデータに８ビット以下のレベルがあれば、四捨五入したり、なんらかの乱数に基づいて、目立たないように分散させたりして、埋め込む処理が実行されていた。
【００１６】
しかし、上記のような方法で、電子透かしを埋め込んだ場合は、埋め込み対象データが例えば画像であれば、画像の性質とは全く関連なく埋め込みが実行されるため、重畳された付加情報が、擬似輪郭や、ノイズのように視覚的な妨害となって目立ちやすくなるという問題があった。埋め込みデータが音声である場合にもノイズの発生という問題を奏していた。
【００１７】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、ユーザの選択によって任意に設定可能な電子透かし埋め込みアルゴリズムと、予め設定された電子透かし埋め込みアルゴリズムを複合的に使用して電子透かしの埋めこみを実行して、画像音声データ等の情報信号に埋め込まれた付加情報（電子透かし）による品質の低下を軽減するとともに、その付加情報の検出信頼性を確保することを可能とした電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１８】
本発明の第１の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理装置であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定手段と、
前記第１パラメータ設定手段と前記第２パラメータ設定手段において決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定手段と、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成手段と、
前記電子透かし情報信号生成手段において生成した電子透かし情報に基づいて、前記出力アルゴリズム決定手段において決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御手段と、
前記電子透かしレベル制御手段の出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳手段と、を有することを特徴とする電子透かし埋め込み処理装置にある。
【００１９】
さらに、本発明の第２の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理装置であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定手段と、
前記第１パラメータ設定手段と前記第２パラメータ設定手段において決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムのうちいずれか一方を、前記設定情報に基づき選択し、実行アルゴリズムとして設定する出力アルゴリズム決定手段と、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成手段と、
前記電子透かし情報信号生成手段において生成した電子透かし情報に基づいて、前記出力アルゴリズム決定手段において決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御手段と、
前記電子透かしレベル制御手段の出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳手段とを有することを特徴とする電子透かし埋め込み処理装置にある。
【００２５】
本発明の第３の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理方法であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定ステップと、
前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定ステップと、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成ステップと、
前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御ステップと、
前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳ステップと、
を有することを特徴とする電子透かし埋め込み処理方法にある。
【００２７】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を周波数特性に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、周波数特性に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００２８】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域をエッジ領域の判別に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、エッジ領域に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００２９】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を時系列のデータフレームのフレーム単位での分割を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、データフレームに基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００３０】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を空間位置情報に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、空間位置情報に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００３１】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かし重畳ステップは、電子透かし埋め込み対象データの多階調変換処理を実行するステップを含み、該多階調処理における電子透かし埋め込み対象データの多階調変換処理後のデータに、前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを埋め込む処理を実行することを特徴とする。
【００３２】
本発明の第４の側面は、
電子透かし埋め込み処理を実行するコンピュータ・プログラムであって、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定ステップと、
前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定ステップと、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成ステップと、
前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御ステップと、
前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００３３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法の詳細について説明する。
【００３６】
本発明の電子透かし埋め込み処理装置の構成例を図１に示す。電子透かし（ＷＭ）埋め込み対象データ１１は、電子透かしの埋め込み対象データとしての画像、音声データ、プログラムデータ等であり例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、あるいはスキャナ、デジタルカメラなどの画像取り込み装置から供給された画像など、様々なデータが含まれる。
【００３７】
電子透かし（ＷＭ）情報信号生成部１３は、電子透かしとして埋め込むべき付加情報の符号化処理を実行し、符号化電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１３における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行される。符号化処理は、例えばスペクトラム拡散処理等に基づいて実行される。電子透かし（ＷＭ）情報信号生成部１３における処理の詳細については後述する。
【００３８】
図１に示す本発明の電子透かし埋め込み処理装置は、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。例えば、電子透かし（ＷＭ）埋め込み対象データ（情報信号）が８ビット画素値からなる画像データであった場合に、付加情報に基づく電子透かし（ＷＭ）情報を１０ビットレベルのＬＳＢ（Least Significant Bit）２ビットからなるデータとして構成して電子透かし（ＷＭ）埋め込み対象データに付加する処理を実行する。
【００３９】
電子透かし（ＷＭ）埋め込み対象データ１１は、多階調処理部１２に供給され、多階調処理部１２において、電子透かし（ＷＭ）埋め込み対象データ１１に基づく多階調変換処理が実行される。多階調変換処理とは、例えば、電子透かし（ＷＭ）埋め込み対象データ１１が、各画素値が８ビットデータからなる画像データであるとき、これを例えば１０ビットデータに変換する処理等、すなわち元データより多いビットデータに変換する処理等を示す。
【００４０】
多階調処理部１２において、電子透かし（ＷＭ）埋め込み対象データ１１に対して実行される多階調変換処理の例としては、ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）処理がある。多階調処理部１２において、入力する電子透かし（ＷＭ）埋め込み対象データ１１、例えば画像Ｖｎ（８ビット）にＤＣＴ演算を実行することで取得されるＤＣＴ係数の総演算語長は最大１４ビットとなる。
【００４１】
なお、多階調処理部１２における多階調変換処理としては、ＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理などが適用可能であり、圧縮処理が伴うものであってもよい。また、多階調変換処理は、不可逆変換処理または可逆変換処理であってもよく、電子透かし情報の重畳後に再量子化されたり、また、電子透かし情報の重畳後に復号処理化され、さらに再量子化されることにより、元の情報信号のデータレベル（ビットレベル、量子化レベル）にまで戻されてもよいし、そのままでもよい。
【００４２】
多階調処理部１２において、多階調変換処理の実行された多階調情報信号は、電子透かし埋め込み処理部１４に供給される。電子透かし埋め込み処理部１４は、電子透かし（ＷＭ）情報信号生成部１３から受領する電子透かし情報の埋め込み処理を多階調変換処理によって生成した拡張情報信号部に対して実行する。すなわち、元の電子透かし埋め込み対象データが８ビットであり、１０ビットデータに多階調処理された場合は、１０ビット変換により生成された低位２ビットの拡張情報信号部に対して電子透かしの埋め込み処理が実行される。電子透かしの埋め込み処理が実行されたデータは、データ変換部１５に供給されて電子透かし（ＷＭ）埋め込み対象データ（情報信号）の元のデータレベル（例えばビットレベル、量子化レベル）に変換された後、電子透かし埋め込み済みデータ１６として出力される。
【００４３】
本発明の電子透かし埋め込み処理装置においては、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。
【００４４】
例えば上述したＤＣＴ処理により多階調化されたデータに電子透かしを埋め込む場合、８×８（＝６４）のＤＣＴ係数（ＶＤＣ）上に付加情報（Ｓ）として電子透かしのビット情報を埋め込む場合、元の電子透かし（ＷＭ）埋め込み対象データを画像（Ｖｎ）としたとき、電子透かし埋め込み画像データ（Ｖｎ’）は、Ｖｎ’＝（ＶＤＣ＋Ｓ）／６４となり、６４分の１のレベルでの情報加算が可能となり、元画像の劣化防止が可能となる。
【００４５】
このように、元の電子透かし（ＷＭ）埋め込み対象データよりも小さいレベルでの電子透かしとしての付加情報の重畳が可能となる。また、この場合、多階調変換、符号化処理等の演算処理の過程で、演算語長を元の量子化データ以上（例えば、１０ビット）に保持しておけば、各ピクセルベース換算では８ビット未満の低階調部の画像データが存在することになるので、付加情報の加算後、切り捨てにより元の量子化レベルに戻された場合でも、８ビットレベル未満の付加情報だけが削除されることはない。このように、埋め込む付加情報レベル以下まで、演算語長を確保しておくことにより、非常に微小な単位での埋め込みを実現することができる。
【００４６】
また、電子透かし（ＷＭ）埋め込み対象データである例えば画像と付加情報のレベルの割合に応じて、付加情報を画像の状態に合わせて反映することが可能となり、元情報と親和性の高い部分から、付加情報を次々と埋め込まれることになり、画質の劣化を知覚しにくいような埋め込みが可能となる。多階調処理部では、このように電子透かし（ＷＭ）埋め込み対象データの変換処理を実行して、電子透かし（ＷＭ）埋め込み対象データ（情報信号）の多階調化を行なう。
【００４７】
図２を用いて、低階調部重畳処理の概念について説明する。図２は、電子透かし埋め込み対象データ５１を８ビットの画素値を有するデータとし、多階調処理部５２において、８ビットから１０ビットデータへの変換処理を実行した例である。図２の下段にはビット情報構成を概念的に示してある。多階調処理部５２におけるこのようなデータの多階調変換処理は、例えばＬＰＦによるフィルタ処理あるいはＤＣＴ処理によって実現される。
【００４８】
電子透かし情報信号は、電子透かし情報信号生成部５３において、付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行される。この符号化処理においては、例えばスペクトラム拡散処理を含むことが可能である。このスペクトラム拡散処理を含む符号化処理については後段で説明する。
【００４９】
電子透かし情報信号は、電子透かし情報信号生成部５３において２ビット情報として生成され、電子透かし埋め込み処理部５４において、図２の下段に示すように、電子透かし情報信号生成部５３において生成した２ビット情報を、多階調処理部５２で多階調化して生成した拡張情報信号部である低位２ビットに付加する処理として電子透かし埋め込み処理を実行する。データ変換部５５は、電子透かし埋め込み処理部５４において生成した電子透かし埋め込み済み１０ビットデータを元のデータと同様の８ビットに変換する処理を実行する。この処理は、多階調処理の逆処理、例えばＩＤＣＴ（Inverse Discrete Cosine Transform）処理、逆フィルタリング処理として実行される。このようにして、電子透かし情報が多階調処理された元データの低位ビット上に埋め込まれ、逆変換による再度の階調変換処理の後、電子透かし埋め込みデータとして出力される。
【００５０】
図１に示す電子透かし埋め込み処理装置の詳細構成例を図３に示す。以下、図３を参照して電子透かしパターンの画像への埋め込み処理の概要について説明する。なお、各処理手段における処理の詳細については、後段で説明する。
【００５１】
電子透かし（ＷＭ）埋め込み対象データ１０１は、電子透かしパターンの埋め込み対象データとしての画像、音声データ、プログラムデータ等のデータであり例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、あるいはスキャナ、デジタルカメラなどの画像取り込み装置から供給された画像など、様々なデータが含まれる。
【００５２】
電子透かし（ＷＭ）埋め込み対象データ１０１は、電子透かし埋め込み処理装置の重畳部分選択部１０２に出力される。重畳部分選択部１０２は、入力信号である電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分に分離する処理を実行する。例えば画像データであれば、エッジ部分とそれ以外の部分等の分割、あるいは高周波領域と低周波領域等である。画像データにおけるエッジ部分、あるいは高周波領域とは、画像を構成する画素値の所定領域内での変化率が大きい領域であり、一般にこのような領域では、強いレベルで電子透かしを埋め込んでも目立つことがない。一方、低周波領域は、例えば一様な画素値が広がる画像領域等である。例えば「空」のような一様な明るさ、色によって占められる領域である。このような領域に電子透かしを埋め込む場合は、埋め込み強度（レベル）を高くすると通常の観察状態においても、電子透かし（ＷＭ）が視認され、一般的には、埋め込み強度を低下させて埋め込む処理が実行される。
【００５３】
重畳部分選択部１０２は、このような電子透かし（ＷＭ）埋め込み対象データのデータ解析を実行して、電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分、例えば高周波部分と低周波部分など、複数領域に分離する処理を実行する。重畳部分選択部１０２の具体的処理については、後述する。
【００５４】
重畳部分選択部１０２において複数の部分に分離されたデータは、重畳量決定部１０３に出力される。第１パラメータ設定部１０３は、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを選択する処理を実行する処理部であり、予め設定された情報に基づいて適用パラメータ、すなわち適用電子透かしアルゴリズムを設定する。第１パラメータ設定部１０３は、重畳部分選択部１０２から出力されるデータに応じて予め割り当てられたアルゴリズムを適用するように決定する。例えば、重畳部分選択部１０２から出力されるデータが、エッジ領域データと非エッジ領域データとに分離されている場合には、エッジ領域データにはアルゴリズムＡを適用し、非エッジ領域にはアルゴリズムＢを実行する等の設定情報が、予め第１パラメータ設定部１０３の記憶部に格納されており、設定情報に基づいて適用アルゴリズムを決定する。
【００５５】
また、第２パラメータ設定部１０４は、ユーザ入力部１１１からの入力に基づいて、重畳部分選択部１０２において複数の部分に分離されたデータの各々について適用する電子透かし（ＷＭ）埋め込みアルゴリズムを決定する。複数のアルゴリズムの適用処理については、後段で詳細に説明する。第１パラメータ設定部１０３、および第２パラメータ設定部１０４において決定した複数のアルゴリズムは、例えば加算等の合成処理演算処理を実行する出力アルゴリズム決定手段を介して、電子透かし（ＷＭ）レベル制御部１０６に出力される。
【００５６】
電子透かし（ＷＭ）情報信号生成部１０７は、電子透かしとして埋め込むべき付加情報１１０の符号化処理を実行し、電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１０７における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報１１０に対応する電子透かしを画像に埋め込む際の様々な制御情報、例えば画像分割情報や、ビット配列情報などの制御情報に基づく変調処理、符号化処理として実行される。電子透かし（ＷＭ）情報信号生成部１０７における符号化は、例えばスペクトラム拡散、パッチワーク手法などを含む符号化として実行可能である。これらの処理の詳細については後述する。
【００５７】
電子透かし（ＷＭ）情報信号生成部１０７において生成された電子透かし情報は、電子透かし（ＷＭ）レベル制御部１０６に出力される。電子透かし（ＷＭ）レベル制御部１０６は、電子透かし（ＷＭ）情報信号生成部１０７において生成された電子透かし情報を入力するとともに、重畳量決定部１０３において各データ領域に対応して選択された電子透かし埋め込みアルゴリズムに基づく重畳レベル情報を入力して、各データ領域に対する電子透かし埋め込みレベルの調整を実行し、各データ領域毎に、前述の重畳量決定部１０３において決定したアルゴリズムを適用してレベル調整された電子透かし（ＷＭ）パターンを電子透かし（ＷＭ）重畳部１０８に出力する。
【００５８】
電子透かし（ＷＭ）重畳部１０８は、電子透かし（ＷＭ）埋め込み対象データ１０１を入力するとともに、前述のＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理により多階調変換処理を実行し、データ電子透かし（ＷＭ）レベル制御部１０６からのレベル調整された電子透かし（ＷＭ）パターンを入力して、電子透かし（ＷＭ）埋め込み対象データ１０１に対する電子透かし埋め込み処理を実行して、電子透かし（ＷＭ）埋め込み済みデータ１０９として出力する。
【００５９】
なお、図３に示す構成においては、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを予め設定された設定情報に従って、アルゴリズミカリーに選択する処理を実行する第１パラメータ設定部１０３と、ユーザ入力部１１１からの入力に基づいて、適用するアルゴリズムを決定する第２パラメータ設定部１０３との情報を合成して電子透かし（ＷＭ）レベル制御部１０６に出力する構成例であるが、図４に示すように、アルゴリズム合成処理を実行せず、設定情報に従って、アルゴリズミカリーに選択する処理を実行する第１パラメータ設定部１０３と、ユーザ入力部１１１からの入力に基づいて、適用するアルゴリズムを決定する第２パラメータ設定部１０３とのいずれかの出力を選択するスイッチ１２１を出力アルゴリズム決定手段として設け、いずれか一方のみのアルゴリズムを電子透かし埋め込みアルゴリズムとして選択して適用する構成としてもよい。
【００６０】
以上が、本発明の電子透かし埋め込み処理の概要である。以下、各処理部における処理の詳細について説明する。
【００６１】
［重畳部分選択部における処理］
図３に示す重畳部分選択部１０２における処理の具体例について説明する。重畳部分選択部１０２は、電子透かし（ＷＭ）埋め込み対象データのデータ解析を実行して、電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分に分離する処理を実行する。
【００６２】
先に延べたように、重畳部分選択部１０２は、入力信号である電子透かし（ＷＭ）埋め込み対象データが例えば画像データであれば、エッジ部分とそれ以外の部分等の分割、あるいは高周波領域と低周波領域等の分離を実行する。
【００６３】
図５に周波数に基づくデータ領域分割を実行する構成を持つ重畳部分選択部の構成例を示す。本構成例における重畳部分選択部は、ローパスフィルタ（ＬＰＦ）２０１、バンドパスフィルタ（ＢＰＦ）２０２、およびハイパスフィルタ（ＨＰＦ）２０３を有し、電子透かし（ＷＭ）埋め込み対象データはそれぞれのフィルタに入力される。各フィルタ２０１〜２０３からの出力は所定の周波数領域データを抽出したデータとなり、低周波領域、高周波領域、および中間周波数領域の各データが分離されて出力される。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６４】
図６にエッジ検出に基づくデータ領域分割を実行する構成を持つ重畳部分選択部の構成例を示す。本構成例における重畳部分選択部は、エッジ検出部３０１を有し、電子透かし（ＷＭ）埋め込み対象データはエッジ検出部３０１に入力される。エッジ検出部３０１は周波数検出手段によって構成可能である。エッジ検出部３０１は、入力データのエッジ領域と非エッジ領域とを分離して出力する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６５】
また、電子透かしの埋め込み処理対象となる入力データが動画像の場合には、重畳部分選択部は、時系列に入力される動画像を構成するデータフレームを所定数または所定時間間隔毎に分離する処理を実行することができる。図７にフレーム分割による重畳部分選択処理例を示す。動画像を構成するフレームデータが図７に示すように、フレームｋから順に入力されたと想定すると、重畳部分選択部は、フレームを所定数または所定時間間隔毎に分離し、それぞれ選択データＡ、Ｂ、Ｃ．．．として分離する処理を実行する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６６】
なお、フレーム分割は、フレーム数、時間を基準とする以外に、シーンチェンジ、画像または音声の区切り部分を検出して、区切り部分に基づく分離処理として実行したり、周波数成分の分布、エッジ・ピークの分布、フレーム間、時間差分量に基づいてフレーム分割を実行する等、様々な態様での処理が可能である。
【００６７】
電子透かしの埋め込み処理対象となる入力データが画像データである場合は、図８に示すように、空間位置情報に基づいて空間分割処理を実行することが可能である。図８に示す例は、埋め込み対象データ５０１を４つの領域、領域ａ，ｂ，ｃ，ｄに分割した例を示している。重畳部分選択部は、画像データを空間分割により、複数に分離する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６８】
なお、図８に示す例は、画像データを空間的に均等に分割する処理例を示しているが、例えばフィルターを介した出力レベルの差異に基づく空間的な分割処理行なうなどの構成としてもよい。
【００６９】
重畳部分選択部１０２におけるデータ分割処理は、上記の処理例に限らず、電子透かし（ＷＭ）埋め込み対象データに応じた様々な処理態様が可能である。例えば電子透かし（ＷＭ）埋め込み対象データが画像データであれば、各画素の輝度レベルに応じたデータ分離処理、また、電子透かし（ＷＭ）埋め込み対象データが音声データである場合には、音声レベルに応じてデータを複数の部分に分離する処理などが可能である。
【００７０】
［パラメータ設定部における処理］
重畳部分選択部１０２において複数の部分に分離されたデータは、第１パラメータ設定部１０３に出力される。第１パラメータ設定部１０３は、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを決定する処理を実行する処理部である。この決定処理は、予め設定された情報に基づいて決定する。一方、第２パラメータ設定部１０４では、ユーザ入力部１１１からの入力に基づいて、重畳部分選択部１０２において複数の部分に分離されたデータの各々について適用する電子透かし（ＷＭ）埋め込みアルゴリズムを決定する。
【００７１】
複数のアルゴリズムの例を図９に示す。図９には、３つの電子透かし埋め込みアルゴリズムの例を示してある。電子透かし埋め込み処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等を構成するビット情報の埋め込み処理であり、例えばビット１またはビット０に対応するデータをどのように画像、または音声等のデータに埋め込むかを規定するのが電子透かし埋め込みアルゴリズムである。
【００７２】
図９の各アルゴリズムの各々についての説明の前に、画像データを例とした電子透かしの埋め込み処理、および検出処理例について説明する。電子透かしの埋め込み対象となる元画像をＰ、元画像Ｐに対して埋め込む電子透かしパターンをＬとする。このとき、電子透かしパターンＬは、下式の性質を満たす。
【００７３】
【数１】
【００７４】
例として、元画像Ｐと、電子透かしパターンＬを下式のようにおく。すなわち、
【００７５】
【数２】
【００７６】
ただし、上記式では、簡単のため元画像Ｐの大きさを５×４ピクセルとしている。画像では隣り合うピクセルは一般的に近い値を持つという性質があることから、元画像Ｐの隣り合う各要素を近い値として設定してある。
【００７７】
電子透かしの埋め込み処理は下式に基づいて実行される。
【００７８】
【数３】
Ｍ＝Ｐ＋Ｌ
【００７９】
ここで、Ｍは元画像Ｐに対して電子透かしパターンＬを埋め込んだ画像を示す。Ｍの値は、前記の［数２］に示す例では次のように計算される。
【００８０】
【数４】
【００８１】
電子透かしの検出はこの電子透かしパターンＬを用いる。電子透かしＬの埋め込まれていない元画像Ｐに対する電子透かしの検出を下式のように定義する。
【００８２】
【数５】
ｓ＝Ｐ・Ｌ
【００８３】
と定義する。ここで演算子“・”は行列の内積であり、ｓは元画像Ｐと電子透かしパターンＬとの内積値である。
【００８４】
電子透かしパターンの要素の総和が０であること（［数１］参照のこと）と、画像の隣り合うピクセルは一般に近い値を持つ傾向があることから、内積値ｓは０の近傍値となる。上記［数２］に示した例では、その内積値は以下のようになる。
【００８５】
【数６】
【００８６】
次に、電子透かしの埋め込まれている画像Ｍに対して同様の演算を施す。電子透かしＬの埋め込まれている画像Ｍに対する電子透かしの検出は、上記と同様、下記式に従って内積値ｓ’を求める。
【００８７】
【数７】
【００８８】
元画像Ｐと電子透かしパターンＬとの内積値が０の近傍値になるのに対し、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’は、電子透かしパターンＬ自身の内積値の近傍となる。すなわち、
【００８９】
【数８】
Ｌ・Ｌ
【００９０】
上記式［数８］の近傍の値となる。この内積値Ｌ・Ｌは電子透かしの埋め込み強度の尺度として利用できる。電子透かしパターンを埋め込む際に目標とする内積値Ｌ・Ｌが大きいとき電子透かしの埋め込み強度が「強い」と表現し、内積値Ｌ・Ｌが小さいとき電子透かしの埋め込み強度が「弱い」と表現する。
【００９１】
また、元画像Ｐと電子透かしパターンＬの内積値ｓ、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’の絶対値が大きな値となるとき電子透かしの検出強度が「強い」と表現し、内積値ｓや内積値ｓ’の絶対値が小さな値となるとき電子透かしの検出強度が「弱い」と表現する。
【００９２】
また、電子透かしの検出強度が強いことを画像と電子透かしパターンとの相関が「大きい」又は「高い」、電子透かしの検出強度が弱いことを画像と電子透かしパターンとの相関が「小さい」又は「低い」と表現することもある。
【００９３】
元画像Ｐと電子透かしパターンＬの内積値ｓ、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’を様々な画像において求めると、それらの相対頻度分布は確率密度関数ｆとｆ’によって表され、図１０のようになる。
【００９４】
画像に電子透かしが埋め込まれているかどうかを判断する際は、電子透かしの埋め込まれていない画像Ｐと電子透かしパターンＬとの内積値ｓが０を中心に分布することと、電子透かしが埋め込まれている画像Ｍと電子透かしパターンＬとの内積値ｓ’が電子透かしパターンＬ自身の内積値であるＬ・Ｌを中心に分布することを利用する。電子透かしの有無を確認したい画像と電子透かしパターンＬとの内積値ｓ”を求め、ある閾値（ｔｈ）に対する比較を行ない電子透かしパターンの有無の判別を行なう。具体的には下式が適用可能である。
【００９５】
【数９】
ｓ”＜ｔｈ then no-watermark
ｓ”≧ｔｈ then watermarked
【００９６】
上記式は、電子透かしの有無を確認したい画像と電子透かしパターンＬとの内積値ｓ”が閾値（ｔｈ）より小であるときは電子透かしパターンの埋め込みなし。内積値ｓ”が閾値（ｔｈ）以上であるときは電子透かしパターンの埋め込みありと判定することを示しており、図示すると図１１のようになる。
【００９７】
多ビットの情報を電子透かしにて画像に埋め込む方法は、複数の電子透かしパターンを用いる方法と画像を小領域に分割する方法とこれらの複合方法とに大別される。
【００９８】
複数の電子透かしパターンを用いる方法では、複数の電子透かしパターンのそれぞれに異なる意味を持たせ排他的に画像に埋め込むことによって所望の情報を表現する方法と複数の電子透かしパターンを同時に重ねて画像に埋め込みその組み合わせによって所望の情報を表現する方法、そして、これら２つの方法を複合した方法が考えられる。複数の電子透かしパターンを元画像に埋め込む様子を図１２に示す。
【００９９】
複数の電子透かしパターンのそれぞれに異なる意味を持たせ排他的に画像に埋め込むことによって所望の情報を表現する方法では、画像に埋め込みたい情報のビット数をｂとしたとき、必要となる電子透かしパターンの種類ｎはｎ＝２bとなる。他方、複数の電子透かしパターンを同時に重ねて画像に埋め込みその組み合わせによって所望の情報を表現する方法では、必要となる電子透かしパターンの種類ｎはｎ＝ｂとなる。但し、後者は電子透かしパターンの種類が少なくて済むものの、電子透かしパターンを画像に複数重ねて埋め込むため画像の劣化に対する適切な処置を必要とする場合が多い。最後にこれら２つの方法を複合した方法では、必要となる電子透かしパターンの種類ｎはｂ≦ｎ≦２bとなり、両方法の特徴を併せ持ったものとなる。
【０１００】
画像を小領域に分割する方法は、多ビットの情報を電子透かしにて画像に埋め込むもう１つの方法であり、小領域毎に異なる役割を持たせることで画像の中に複数の電子透かしを同時に存在させようというものである。小領域の配置の仕方は種々提案されている。ここでは図１３のように小領域を格子状に配置した例で説明を行なう。図１３におけるｉ，ｊは負でない整数である。
【０１０１】
画像を小領域に分割する際に分割数が問題になる。画像に埋め込みたい情報がｂビットであるとき、画像をｂ個の小領域に分割する方法がまず考えらるが、様々な画像に対して電子透かしパターンを埋め込む場合、画像の持つ視覚特性を考慮して電子透かしパターンを埋め込むことが多いことからこの方法は問題が発生しやすい。例えば埋め込み画像のエッジ部分に強く、画像の平坦部分に弱く埋め込むなどの処理を加えるとき、あるビットに対応する小領域が偶然にも平坦部分であった場合に、そこの領域に埋め込まれている電子透かしを検出できない恐れがある。たとえ１つの領域でも電子透かし検出に失敗した領域があると、残りの領域に埋め込まれている電子透かしが検出されたとしても、全体の組み合わせとしての意味がなくなるという事態に陥る。画像を小領域に分割するときには、ｂよりも多い小領域に分割する方が、様々な画像に対して安定して電子透かしの検出を行なえるという利点がある。たとえ１小領域で電子透かしパターンの埋め込み強度が非常に弱くなったとしても、同じビット情報を埋め込む残りの小領域で必要な電子透かしパターンの埋め込み量が確保されていれば全体として電子透かしの検出が可能となるのである。
【０１０２】
図１４に埋め込み情報が８ビットであるときの小領域の分割例を示す。同じビットに対応する複数の小領域が画像中に割り当てられている。
【０１０３】
次に、電子透かしパターンが埋め込まれた画像から電子透かしを検出する電子透かし検出処理装置の構成例を図１５に示す。以下、図１５を参照して電子透かし検出処理について説明する。
【０１０４】
画像６０１は、電子透かしパターンの埋め込まれた処理対象データであり、ここでは一例として画像とした例を示す。画像データは、例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、通信媒体を介して供給された画像など、様々な画像が含まれる。
【０１０５】
電子透かしパターン生成部６０３は電子透かしパターン生成キー（key）記憶部６０２の電子透かしパターン生成キー（key）から電子透かしパターンを生成する。電子透かしパターン生成キー（key）は、具体的には電子透かしパターンを画像に埋め込む際の画像分割情報や、ビット配列情報などであり、電子透かしパターンの検出に必要となる情報である。
【０１０６】
検出部６０４では、電子透かしパターン生成部６０３にて生成された電子透かしパターンを用いて、入力画像６０１の電子透かしを検出する。検出処理は、先に説明したように生成された電子透かしパターンを用いて検出対象画像との相関を内積値によって取得し、取得した内積値と閾値（ｔｈ）との比較（数９参照）を実行する。さらに先に図１２〜図１４を用いて説明したような電子透かしによる多ビット情報がある場合は、多ビット情報の取得を行なう。検出部６０４にて検出された情報は検出情報６０５として出力される。
【０１０７】
図９に戻り、本発明の電子透かし埋め込み処理装置における重畳量決定部１０３において適用する電子透かし埋め込みアルゴリズムについて説明する。図９に示した重畳量決定部１０３においては、複数のアルゴリズムとして例えば、下式に従ったアルゴリズムのいずれかが、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して選択される。
【０１０８】
【数１０】
【０１０９】
上記アルゴリズム識別子（１）のアルゴリズムは、一定方向の３つのデータ値（例えば３つの水平画素値）に対して、強度（例えば輝度値変化）を（−１．０，２．０，−１．０）の情報として付加するアルゴリズムである。
【０１１０】
（２）は、上述の説明と同様マトリックス（行列）型の電子透かし埋め込みアルゴリズムであり、1中心データ（例えば画素値）とその回りの７つのデータ（例えば画素値）に対して（２）に示す強度分布を持つデータ量の埋め込みを実行するアルゴリズムである。（３）は、（２）と同様マトリックス（行列）型の電子透かし埋め込みアルゴリズムであるが、1中心データ（例えば画素値）と水平、および垂直方向に隣接するデータ（例えば画素値）に対して（３）に示す強度分布を持つデータ量の埋め込みを実行するアルゴリズムである。
【０１１１】
本発明の電子透かし埋め込み処理装置における第１パラメータ設定部１０３は、予め定められた設定情報に基づいて、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して、上記（１）〜（３）の電子透かし埋め込みアルゴリズムのいずれかを適用アルゴリズムとして設定する。また、第２パラメータ設定部１０４は、ユーザ入力により、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して、上記（１）〜（３）の電子透かし埋め込みアルゴリズムのいずれかを適用アルゴリズムとして設定する。
【０１１２】
図１６にアルゴリズム選択例を示す。図１６の例は、電子透かし埋め込み対象データを２つのデータ領域に分離して、それぞれに対して異なるアルゴリズムを適用する構成とした例であり、２つの選択処理例（組み合わせ例）を示している。
【０１１３】
電子透かし埋め込み対象となるデータは、第1の領域として高周波部(エッジ部)と、第２の領域として低周波部（平坦部）とに分離されている。これらの分離処理は、前述の重畳部分選択部１０２において実行される。
【０１１４】
図１６に示すアルゴリズム決定例は、第１パラメータ設定部１０３は、高周波部(エッジ部)に対してのみ、図９または、上記式［数１０］で説明した（３）のアルゴリズムを適用し、低周波部（平坦部）には、電子透かし埋め込み処理を行なわないという決定を実行し、第２パラメータ設定部１０４におけるユーザ入力に基づくパラメータ決定処理として、高周波部(エッジ部)には適用処理を設定せず、低周波部（平坦部）にのみ上記式［数１０］で説明した（１）のアルゴリズムを適用することを決定した処理例を示している。
【０１１５】
図１６の例は、データ領域を２つに分離し、それぞれに異なるアルゴリズムを適用する例であるが、さらに多くの３以上のデータ領域に分離した場合は、それぞれの領域に対して、それぞれ適用する電子透かし埋め込みアルゴリズムを設定する処理を実行することになる。
【０１１６】
［電子透かし（ＷＭ）情報信号生成部における処理］
次に、図３に示す電子透かし（ＷＭ）情報信号生成部における処理について説明する。電子透かしとして埋め込むべき付加情報１１０の符号化処理を実行し、電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１０７における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報１１０に対応する電子透かしを画像に埋め込む際の様々な制御情報、例えば画像分割情報や、ビット配列情報などの制御情報に基づく変調処理、符号化処理として実行される。電子透かし（ＷＭ）情報信号生成部１０７における符号化は、例えばスペクトラム拡散、パッチワーク手法などを含む符号化として実行可能である。スペクトラム拡散処理について説明する。
【０１１７】
図１７は、電子透かし情報（ＷＭ）信号生成部１０７におけるスペクトラム拡散処理部構成を説明するブロック図である。図１７において、ＰＮａ発生部６５１は、ＰＮ符号列ＰＮａを発生し、そのＰＮ符号列ＰＮａをＳＳ拡散部６５２（ＳＳはスペクトラム拡散の略である。以下、同じ）に供給する。
【０１１８】
また、付加情報発生部６５３は、電子透かし情報として重畳しようとする付加情報を発生し、ＳＳ拡散部６５２に供給する。ＳＳ拡散部６５２は、付加情報とＰＮ符号列ＰＮａとを乗算して、スペクトラム拡散信号を生成する。そして、このスペクトラム拡散信号を電子透かし（ＷＭ）レベル制御部に出力する。
【０１１９】
図１８は、電子透かし情報として重畳する付加情報と、電子透かし埋め込み対象データ（例えば映像信号）との関係をスペクトルで示したものである。付加情報は、これに含まれる情報量は少なく、低ビットレートの信号であり、図１８（ａ）に示されるように狭帯域の信号である。これにスペクトラム拡散を施すと、図１８（ｂ）に示すような広帯域幅の信号となる。このときに、スペクトラム拡散信号レベルは帯域の拡大比に反比例して小さくなる。
【０１２０】
このスペクトラム拡散信号、すなわち、ＳＳ付加情報を電子透かし埋め込み対象データ（例えば映像信号）に重畳させるのであるが、この場合に、図１８（ｃ）に示すように、情報信号としての映像信号のダイナミックレンジより小さいレベルで、ＳＳ付加情報を重畳させるようにする。このように重畳することにより主情報信号の劣化がほとんど生じないようにすることができる。
【０１２１】
一方、ＳＳ付加情報を検出するためには、逆スペクトラム拡散を行う。逆スペクトラム拡散により、図１８（ｄ）に示すように、ＳＳ付加情報が再び狭帯域の信号として復元される。十分な帯域拡散率を与えることにより、逆拡散後の付加情報の検出レベルが情報信号を上回り、検出可能となる。
【０１２２】
このように、電子透かし（ＷＭ）情報信号生成部は、電子透かしとして埋め込むべき付加情報の符号化処理を実行し、符号化電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行され、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。例えば、電子透かし（ＷＭ）埋め込み対象データ（情報信号）が８ビット画素値からなる画像データであった場合に、付加情報に基づく電子透かし（ＷＭ）情報を１０ビットレベルのＬＳＢ（Least Significant Bit）２ビットからなるデータとして構成して電子透かし（ＷＭ）埋め込み対象データに付加する処理を実行する。
【０１２３】
［電子透かし（ＷＭ）レベル制御部、および電子透かし（ＷＭ）重畳部における処理］
図３に示す電子透かし（ＷＭ）レベル制御部１０６は、電子透かし（ＷＭ）情報信号生成部１０７から、複製制御情報、著作権情報、編集情報等を構成するビット情報１１０の変調、符号化処理によって生成した電子透かし情報を入力し、第１パラメータ設定部１０３、および第２パラメータ設定部１０４から、各データ領域に対応して選択された電子透かし埋め込みアルゴリズムに対応する重畳レベル情報を入力して、各データ領域に対する電子透かし埋め込みレベルの調整処理を実行して電子透かしパターンを生成して、電子透かし（ＷＭ）重畳部１０８に出力する。
【０１２４】
電子透かし（ＷＭ）重畳部１０８は、電子透かし（ＷＭ）埋め込み対象データ１０１を入力するとともに、電子透かし（ＷＭ）レベル制御部１０６からのレベル調整された電子透かし（ＷＭ）パターンを入力して、電子透かし（ＷＭ）埋め込み対象データ１０１に対する電子透かし埋め込み処理（重畳処理）を実行して、電子透かし（ＷＭ）埋め込み済みデータ１０９として出力する。
【０１２５】
図１９に電子透かし（ＷＭ）レベル制御部、および電子透かし（ＷＭ）重畳部の構成例を示す。図１９の構成例は、電子透かし（ＷＭ）重畳部にローパスフィルタ（ＬＰＦ）を使用して電子透かし（ＷＭ）埋め込み対象データを高域部と低域部とに分離する構成例である。
【０１２６】
電子透かし（ＷＭ）重畳部７２０のローパスフィルタ（ＬＰＦ）７２１は、電子透かし（ＷＭ）埋め込み対象データの低域部データを出力する。ローパスフィルタ（ＬＰＦ）７２１は、例えば、入力データに対して次に示す演算を実行して低域データを出力する。
Ｖ＝（Ｖｉ−１，ｊ＋Ｖｉ，ｊ＋Ｖｉ＋１，ｊ）／３
上記式において、Ｖｉ−１，Ｖｉ，Ｖｉ＋１は、３つの連続するデータ値（例えば画素値）を示し、入力データが８ビットデータであるとき、移動加算平均演算語長を、例えば１０ビット等、８ビット以上とすることで多階調変換がなされることになる。
【０１２７】
多階調処理データが、先に図２を参照して説明したように、１０ビットデータとして構成されている場合、加算器７２３においては、電子透かし（ＷＭ）レベル制御部７１０から入力する２ビットの電子透かし情報との加算処理が実行される。
【０１２８】
電子透かし（ＷＭ）レベル制御部７１０は、レベル制御部７１１と、リミッタ７１２によって構成され、レベル制御部７１１は、電子透かし（ＷＭ）情報信号生成部(図３，１０７)からの電子透かし情報を受信し、第１、第２パラメータ設定部１０３，１０４から受領する第１、第２パラメータ（アルゴリズム）を合成した電子透かしアルゴリズム情報に従って電子透かし情報パターンを生成する。さらに、リミッタ７１２において、加算する電子透かし（ＷＭ）埋め込み対象データの低位２ビットに相当するデータレベルに変換され、加算器７２３において、電子透かし（ＷＭ）レベル制御部７１０から入力する２ビットの電子透かし情報との加算処理が実行される。すなわち、多階調処理によって生成された電子透かし埋め込み対象データの拡張情報信号部（低位２ビット）に対して電子透かし情報の埋め込みが行われる。加算器７２３の出力は、加算器７２４に入力される。
【０１２９】
減算器７２２は、電子透かし（ＷＭ）埋め込み対象データを入力し、ローパスフィルタ（ＬＰＦ）７２１の出力である低域部データの減算処理により、電子透かし（ＷＭ）埋め込み対象データの高域部データのみを出力し、加算器７２４に入力する。例えば多階調処理データが１０ビットデータであれば、加算器７２４に入力するデータは８ビットの高域部データとなる。加算器７２４では、減算器７２２から入力される８ビットの高域部データと、加算器７２４から入力する電子透かしの重畳された２ビットの低域部データを加算する処理を実行し、１０ビットの多階調電子透かし埋め込みデータを生成する。加算器７２４の生成した多階調電子透かし埋め込みデータは、８ビット量子化部７２５において、１０ビットから８ビットデータへの変換が実行されて出力される。
【０１３０】
図２０の構成例は、電子透かし（ＷＭ）重畳部にＤＣＴを使用して電子透かし（ＷＭ）埋め込み対象データの多階調変換処理を実行する構成例である。
【０１３１】
電子透かし（ＷＭ）重畳部７６０のＤＣＴ部７６１は、電子透かし（ＷＭ）埋め込み対象データをＤＣＴ処理し、多階調処理データを出力する。例えば入力データが８ビットデータであるとき、ＤＣＴ部７６１からの出力データは１０ビットデータとして出力される。
【０１３２】
電子透かし（ＷＭ）レベル制御部７５０は、レベル制御部７５１と、リミッタ７５２によって構成され、レベル制御部７５１は、電子透かし（ＷＭ）情報信号生成部(図３，１０７)からの電子透かし情報を受信し、第１、第２パラメータ設定部１０３，１０４から受領する第１、第２パラメータ（アルゴリズム）を合成した電子透かしアルゴリズム情報に従って電子透かし情報パターンを生成する。さらに、リミッタ７５２において、加算する電子透かし（ＷＭ）埋め込み対象データの低位２ビットに相当するデータレベルに変換され、加算器７６２において、電子透かし（ＷＭ）レベル制御部７５０から入力する低位２ビットの電子透かし情報との加算処理が実行される。すなわち、多階調処理によって生成された電子透かし埋め込み対象データの拡張情報信号部（低位２ビット）に対して電子透かし情報の埋め込みが行われる。加算器７６２は、電子透かしの重畳処理を実行し、１０ビットの多階調電子透かし埋め込みデータを生成する。加算器７６２の生成した多階調電子透かし埋め込みデータは、逆ＤＣＴ部７６３において、１０ビットから８ビットデータへの変換が実行されて出力される。
【０１３３】
なお、前述したように、多階調変換処理としては、ＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理などが適用可能である。
【０１３４】
このように、本発明の電子透かし埋め込み処理装置は、電子透かし埋め込み処理対象となるデータを、多階調処理し、低位ビットに電子透かし情報を埋め込む処理を実行する構成であるので、情報信号の品質の劣化を最小限にできる。従って、画像や音楽などの比較的階調変化の微小な部分（フラットな部分）に電子透かしを埋め込んだ場合でも、知覚されにくい埋め込みが可能となる。
【０１３５】
また、複数の電子透かしアルゴリズムを適用し、一方をユーザ選択によって設定する構成としたことにより、人間の視聴特性も含めて、最適な埋め込みアルゴリズムを選択できるので、画質、音質などに対する付加情報埋め込みによる品質の劣化を最小限にできる上、トータルの品質のコントロールや、検出性能の改善などの品質管理を人間が行うことができ、オーバーオールで最適なシステムを構成することが可能となる。
【０１３６】
また、一つのみのアルゴリズムを適用するだけでは埋め込みが困難な情報信号に対しても、他のアルゴリズムが適用可能であるので、データ特性に応じた適切な埋め込みができ、埋め込み処理対象データ、例えば画像であれば画質を劣化させることなく、また音声データであれば音質を劣化させることなくデータ品質を維持しながら、付加情報の電子透かしとしての埋め込みが可能となる。
【０１３７】
データ全体に一律のグローバルパラメータを付与する構成と異なり、各データ領域に応じたアルゴリズムを任意に設定可能となるため、検出の精度を維持することも可能となり、検出の信頼性、安定性が向上し、画質の改善イコール検出性能のダウンという図式ではないコントロールが可能となり、グローバルなパラメータを使って総合的に調整する方式に比べ、総合性能を確保することができる。
【０１３８】
なお、上述した実施例では、電子透かし埋め込み対象データを画像データを中心に説明したが、電子透かし埋め込み対象データは、映像信号、画像情報、音楽、音声信号、ＭＩＤＩや、その他の情報信号であってもよい。情報信号は、ベースバンド信号でも、圧縮信号であってもよい。また、埋めこみアルゴリズムの選択は、電子透かし埋め込み対象データの領域毎に行ってもよいし、時間軸上、周波数軸上で分割してもよいし、電子透かし埋め込み対象データを分割せずにそのまま電子透かし埋め込み対象データ全体に渡って埋めこみ量を決定させ、その後、ユーザー指示に基づいて、時間軸上だけで、埋めこみアルゴリズムを変更するようにしてもよい。その場合、埋め込みをオンオフさせる構成としてもよい。また、多階調処理を行なってから、埋め込みを行なうように説明したが、これを行なわず元データに直接埋め込み処理を行なってもよいし、元データよりも多階調にならないような符号化を行ない埋め込み処理を実行してもよい。
【０１３９】
電子透かし埋め込み対象データの分割処理は、各種のフィルター処理や、ＤＣＴ,ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣＫ、ＭＰ３、ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなど、各種のフィルター処理、符号化処理、直交変換処理、圧縮処理のいずれかを含む信号変換処理を施した後の空間上、周波数上、時間軸上に変換されたデータ領域に対して実行する構成としてもよい。
【０１４０】
［システム構成］
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータや１チップのマイクロコンピュータ等にインストールされる。図２１は、上述した一連の処理、具体的には、電子透かしの生成、埋め込み、検出の少なくともいずれかの処理を実行する装置のシステム構成例を示している。図２１の構成について説明する。
【０１４１】
ＣＰＵ(Central processing Unit)８０２は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実際に実行する。ＲＯＭ（Read-Only-Memory）８０３は、ＣＰＵ８０２が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）８０４は、ＣＰＵ８０２の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。ＣＰＵ８０２、ＲＯＭ８０３、ＲＡＭ８０４、およびハードディスク８０５はバス８０１によって接続されており、相互にデータ転送が実行可能である。さらに入出力インタフェース８１４に接続された各種入出力装置とのデータ転送が可能となっている。
【０１４２】
キーボード８１２、マウス８１３はＣＰＵ８０２に各種の指令を入力するためにユーザにより操作され、コマンド入力データ入力などの際にユーザによって操作され、キーボードマウスコントローラ８１１介して入力される。
【０１４３】
ドライブ８０９は、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１０の記録再生を実行するドライブであり、各リムーバブル記録媒体８１０からのプログラムまたはデータ再生、リムーバブル記録媒体８１０に対するプログラムまたはデータ格納を実行する。
【０１４４】
ＣＰＵ８０２は、入出力インタフェース８１４を介して、キーボード８１２やマウス８１３等を介して指令が入力されると、入力にしたがって、ＲＯＭ(Read Only Memory)８０３に格納されているプログラムを実行する。
【０１４５】
上述の実施例における電子透かしの埋め込み対象となる画像、音声等のデータ、あるいは検出対象となるデータは、入力部８０７に接続されたカメラ８０７１他の入力機器、例えばスキャナ等のデータ入力装置、あるいはドライブ８０９に接続されたフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１０から入力可能である。なお、本システムは音声データの入力もマイク８０７２を介して可能な構成である。さらに、通信部８０８を介して受信するデータを電子透かしの埋め込み対象とする画像データ、あるいは検出対象となる画像データとして処理することも可能である。
【０１４６】
ＣＰＵ８０２は、ＲＯＭ格納プログラムに限らず、ハードディスク８０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部８０８で受信されてハードディスク８０５にインストールされたプログラム、またはドライブ８０９に装着されたリムーバブル記録媒体８１０から読み出されてハードディスク８０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)８０４にロードして実行することも可能である。
【０１４７】
ここで、本明細書において、プログラムは、１つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４９】
【発明の効果】
以上、説明してきた本発明の構成によれば、以下に説明する様々な効果が得られる。まず、本発明の電子透かし埋め込み処理装置では、複数の電子透かしアルゴリズムを選択的に適用して電子透かしの埋め込みを実行するとともに、アルゴリズムの選択処理をユーザによって実行可能とした。アルゴリズムを選択する第１および第２の設定手段を構成し、これら複数の設定手段の合成情報または選択情報に基づいて電子透かし埋め込みアルゴリズムを決定する。本構成により、人間の視聴特性を考慮した上での最適な埋め込みアルゴリズムの選択が可能となるので、電子透かし埋め込み対象データである画像、音声データの付加情報埋め込みによる品質の劣化が可能となる。
【０１５０】
また、一つのみのアルゴリズムを適用するだけでは埋め込みが困難な情報信号に対しても、他のアルゴリズムが適用可能であるので、データ特性に応じた適切な埋め込みができ、埋め込み処理対象データ、例えば画像であれば画質を劣化させることなく、また音声データであれば音質を劣化させることなくデータ品質を維持しながら、付加情報の電子透かしとしての埋め込みが可能となる。
【０１５１】
データ全体に一律のグローバルパラメータを付与する構成と異なり、各データ領域に応じたアルゴリズムを任意に設定可能となるため、検出の精度を維持することも可能となり、検出の信頼性、安定性が向上し、画質の改善イコール検出性能のダウンという図式ではないコントロールが可能となり、グローバルなパラメータを使って総合的に調整する方式に比べ、総合性能を確保することができる。
【０１５２】
また、本発明の構成によれば、電子透かし埋め込み情報の不正な読み出しや改竄等のアタックに対する強度の向上も可能となる。何故なら、複数の電子透かし埋め込みアルゴリズムを使用することが可能であり、アタック耐性が異なるアルゴリズムを時間軸上、空間上、周波数上で選択して使用して電子透かしの埋め込み処理を実行することにより、一つのアタックを受けても、他方の埋めこみ情報の読み出しや改竄は不可能となり、正当な検出手段による検出を保証できることとなるからであり、本発明の構成によって電子透かしの安定性、ロバスト性の向上が実現される。
【図面の簡単な説明】
【図１】本発明の電子透かし埋め込み処理装置の構成例を示すブロック図である。
【図２】本発明の電子透かし埋め込み処理装置で実行する多階調処理および電子透かし埋め込み処理について説明する図である。
【図３】本発明の電子透かし埋め込み処理装置の詳細構成例を示すブロック図である。
【図４】本発明の電子透かし埋め込み処理装置の詳細構成例を示すブロック図である。
【図５】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図６】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図７】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図８】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図９】本発明の電子透かし埋め込み処理装置の重畳量決定部において選択されるアルゴリズムの例を示す図である。
【図１０】電子透かしパターンの内積値の相対頻度分布を説明する図である。
【図１１】電子透かしの有無の判別基準を説明する図である。
【図１２】複数の電子透かしパターンの画像への埋め込み処理を説明する図である。
【図１３】元画像の小領域への分割を説明する図である。
【図１４】同一情報ビットの複数小領域への割り当てを説明する図である。
【図１５】電子透かしの検出装置の処理について説明する図である。
【図１６】本発明の電子透かし埋め込み処理装置の重畳量決定部において選択されるアルゴリズムの組み合わせ例を示す図である。
【図１７】本発明の電子透かし埋め込み処理装置の電子透かし情報生成部のスペクトラム拡散処理構成を示す図である。
【図１８】本発明の電子透かし埋め込み処理装置の電子透かし情報生成部のスペクトラム拡散処理を説明する図である。
【図１９】本発明の電子透かし埋め込み処理装置の電子透かしレベル制御部、および電子透かし重畳部の構成例を示す図である。
【図２０】本発明の電子透かし埋め込み処理装置の電子透かしレベル制御部、および電子透かし重畳部の構成例を示す図である。
【図２１】電子透かし埋め込み処理を実行するシステム構成例を示す図である。
【符号の説明】
１１ 電子透かし（ＷＭ）埋め込み対象データ
１２ 多階調処理部
１３ 電子透かし埋め込み処理部
１４ 電子透かし情報信号生成部
１５ データ変換部
１６ 電子透かし埋め込み済みデータ
５１ 電子透かし（ＷＭ）埋め込み対象データ
５２ 多階調処理部
５３ 電子透かし情報信号生成部
５４ 電子透かし埋め込み処理部
５５ データ変換部
１０１ 電子透かし（ＷＭ）埋め込み対象データ
１０２ 重畳部分選択部
１０３ 第１パラメータ設定部
１０４ 第２パラメータ設定部
１０６ 電子透かし（ＷＭ）レベル制御部
１０７ 電子透かし（ＷＭ）生成部
１０８ 電子透かし（ＷＭ）重畳部
１０９ 電子透かし（ＷＭ）埋め込み済みデータ
１１０ 付加情報
１１１ ユーザ入力部
１２１ スイッチ
２０１ ローパスフィルタ
２０２ バンドパスフィルタ
２０３ ハイパスフィルタ
３０１ エッジ検出部
５０１ 電子透かし埋め込み対象データ
６０１ 電子透かし検出対象画像
６０２ 電子透かしパターン生成キー記憶部
６０３ 電子透かしパターン生成部
６０４ 検出部
６０５ 検出情報
６５１ ＰＮａ発生部
６５２ スペクトラム拡散部
６５３ 付加情報発生部
７１０ 電子透かしレベル制御部
７１１ レベル制御部
７１２ リミッタ
７２０ 電子透かし重畳部
７２１ ＬＰＦ
７２２ 減算器
７２３，７２４ 加算器
７２５ ８ビット量子化部
７５０ 電子透かしレベル制御部
７５１ レベル制御部
７５２ リミッタ
７６０ 電子透かし重畳部
７６１ ＤＶＴ部
７６２ 加算器
７６３ 逆ＤＣＴ部
８０２ ＣＰＵ
８０３ ＲＯＭ
８０４ ＲＡＭ
８０５ ハードディスク
８０６ 出力部
８０７ 入力部
８０８ 通信部
８０９ ドライブ
８１０ リムーバフル記録媒体
８１１ キーボードマウスコントローラ
８１２ キーボード
８１３ マウス
８０６１ 表示装置
８０６２ スピーカ
８０７１ カメラ
８０７２ マイク
【発明の属する技術分野】
本発明は、動画、静止画等の画像データ、あるいは音楽、音声、その他の各種データに著作権情報、編集情報などの付加情報を埋め込みまたは読み取る技術に関する。例えば画像、音声データ中に通常の観察または聴取状態では認識困難な付加情報として電子透かし（ウォーターマーク:Digital Watermarkingまたは、Data Hidingとも呼ばれる）を埋め込む処理を実行する電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
デジタル技術の進歩に伴い、記録、再生処理の繰り返し実行による画質劣化、音質劣化等の発生しないデジタル記録再生装置が普及し、また一方では、様々な画像、音楽等のデジタテルコンテンツがデジタルＶＴＲ、ＤＶＤ，ＣＤなどの媒体またはネットワーク等を通じて配信、流通可能な状態となってきている。
【０００３】
デジタル記録再生では、アナログ記録再生と異なり、記録再生処理を繰り返し実行してもデータの劣化が発生しないため、オリジナルデータと同様の品質が保たれる。このようなデジタル記録再生技術の普及は不正コピーの氾濫を招く結果となり、著作権の保護という観点から大きな問題となっている。
【０００４】
デジタルコンテンツについての不正な複製（コピー）による著作権侵害に対処するため、デジタルコンテンツに複製制御のための複製制御情報を付加し、コンテンツの記録再生時に複製制御情報を読み取り、読み取られた制御情報に従った処理を実行することにより不正な複製を防止する構成が提案されている。
【０００５】
コンテンツ複製制御態様には様々な態様があるが、例えば代表的方式として、ＣＧＭＳ（Ｃｏｐｙ Ｇｅｎｅｒａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ；コピー・ジェネレーション・マネージメント・システム）方式がある。このＣＧＭＳ方式は、アナログ映像信号（ＣＧＭＳ−Ａと呼ばれる）であれば、その輝度信号の垂直ブランキング期間内の特定の１水平区間、例えばＮＴＳＣ信号の場合には、第２０水平区間の有効映像部分に重畳する２０ビットの付加情報のうちの２ビットを複製制御用の情報として重畳し、また、デジタル映像信号（ＣＧＭＳ−Ｄと呼ばれる）であれば、デジタル映像データに挿入付加する付加情報として、複製制御用の２ビットの情報を含めて伝送する方式である。
【０００６】
このＣＧＭＳ方式の場合の２ビットの情報（以下、ＣＧＭＳ情報という）の意味内容は、［００］……複製可能［１０］……１回複製可能（１世代だけ複製可能）
［１１］……複製禁止（絶対複製禁止）
である。
【０００７】
上述のＣＧＭＳ方式は代表的な複製制御方式の１例であり、他にもコンテンツの著作権保護のための方式が様々ある。例えば放送局が行なうデジタル放送などでは、デジタルデータを構成するトランスポートストリーム（ＴＳ）パケットに含まれる番組配列情報（ＳＩ：Service Information）内にデジタル複製制御記述子（Digital Copy Control Descriptor）を格納し、受信機器において受信したデータを記録装置に記録する際に記述子に従った複製世代制御を行なう方式がある。
【０００８】
しかし、上述の制御情報は例えばコンテンツのヘッダ等にビットデータとして付加されるものであり、付加されたデータの改竄の可能性を完全に排除することが困難である。データ改竄の可能性の排除という点で有利な構成が電子透かし（ウォーターマーク）である。電子透かし（ウォーターマーク）は、通常のコンテンツ（画像データまたは音声データ）の再生状態では視覚あるいは知覚困難であり、電子透かしの検出、埋め込みは特定のアルゴリズムの実行、または特定のデバイスによる処理によってのみ可能となる。受信器、記録再生装置等におけるコンテンツ処理時に電子透かし（ウォーターマーク（ＷＭ））を検出して、電子透かしに従った制御を行なうことにより、より信頼度の高い制御が可能となる。
【０００９】
電子透かし（ウォーターマーク（ＷＭ））によってコンテンツに埋め込まれる情報としては、上述の複製制御情報に限らず、コンテンツの著作権情報、コンテンツ加工情報、コンテンツ構成情報、コンテンツ処理情報、コンテンツ編集情報、あるいはコンテンツ再生処理方式等、様々な情報が埋め込み可能である。
【００１０】
電子透かし（ウォーターマーク）のように情報信号に直接重畳するものは、改竄耐性が強いため、セキュアな付加情報として期待されている。しかし、この電子透かし（ウォーターマーク）の技術においては、電子透かし（ウォーターマーク）を埋め込んだ画像の画質が問われることがある。電子透かし（ウォーターマーク）は、埋め込み対象データ（例えば画像）に対して信号処理を加えるため、画質劣化や画像の持つ統計的な性質等に偏りを生じさせ元データを劣化させる恐れがある。このようなコンテンツに対する悪影響のない電子透かしの埋め込み処理構成が求められている。
【００１１】
従来、このような、元データの劣化防止を図る構成として、電子透かし埋め込み対象となる画像等、元データにおける個々のデータ領域において電子透かし（ウォーターマーク）の埋め込みパラメータの設定を行った後に、さらに、画質劣化を考慮して全体のデータ領域における電子透かし重畳量調整パラメータ（グローバルなパラメータ）を再度、設定する制御方法が知られている。
【００１２】
【発明が解決しようとする課題】
電子透かし（ウォーターマーク）の埋め込みの制御方法には、画像の性質を利用して埋め込み量を増大させる処理や、埋め込みレベルを最小限にして、画質を優先した埋め込み処理を実行するものなど、各種の処理方法があるが、電子透かし検出精度の確保と、画質劣化防止の両方を同時に満足させ、電子透かし埋め込み対象となる画像、音声等のすべての情報信号に対して共通な電子透かし埋め込みアルゴリズムは存在し得ない。従って、あるときは、電子透かしの埋め込み処理によって画像、音声等のデータ信号の品質が劣化することがあり、また、あるときは埋め込み処理を行なった電子透かしの検出の信頼性が低下するという問題が発生する。
【００１３】
また、上述のようなグローバルなパラメータを用いた電子透かし重畳量制御方式は、初期の埋めこみパラメータを決める第１のアルゴリズムによって、まず、各データ領域においてほぼ最適な電子透かし埋めこみ量を決定し、その後に、最終的なグローバルパラメータを適用した調整を行なう処理方式である。従って、第１のアルゴリズムにおいて、個々のデータ領域における初期設定した最適パラメータが、画質劣化を考慮したグローバルパラメータの設定により変更を余儀なくされることになる。
【００１４】
このグローバルパラメータの設定処理は、電子透かし（ウォーターマーク）の検出の観点で考えると好ましくない場合がある。すなわち、初期の最適パラメータは検出を確実にするための埋め込みレベルを維持するための最適パラメータとして設定されるが、これが、グローバルなパラメータの設定により変更されると、十分な検出強度が得られない場合が発生するからである。
【００１５】
また、通常付加情報を情報信号に埋め込む手法として知られているスペクトラム拡散では、アナログ信号に対しては、原信号にいかなる微小レベルの情報であっても、重畳することは可能であるが、デジタル信号の場合、原信号の量子化レベル以上への埋め込みは容易であるが、それ以下への埋め込みはできないため、例えば電子透かし埋め込み対象データが８ビットであるとき、電子透かしデータに８ビット以下のレベルがあれば、四捨五入したり、なんらかの乱数に基づいて、目立たないように分散させたりして、埋め込む処理が実行されていた。
【００１６】
しかし、上記のような方法で、電子透かしを埋め込んだ場合は、埋め込み対象データが例えば画像であれば、画像の性質とは全く関連なく埋め込みが実行されるため、重畳された付加情報が、擬似輪郭や、ノイズのように視覚的な妨害となって目立ちやすくなるという問題があった。埋め込みデータが音声である場合にもノイズの発生という問題を奏していた。
【００１７】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、ユーザの選択によって任意に設定可能な電子透かし埋め込みアルゴリズムと、予め設定された電子透かし埋め込みアルゴリズムを複合的に使用して電子透かしの埋めこみを実行して、画像音声データ等の情報信号に埋め込まれた付加情報（電子透かし）による品質の低下を軽減するとともに、その付加情報の検出信頼性を確保することを可能とした電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１８】
本発明の第１の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理装置であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定手段と、
前記第１パラメータ設定手段と前記第２パラメータ設定手段において決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定手段と、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成手段と、
前記電子透かし情報信号生成手段において生成した電子透かし情報に基づいて、前記出力アルゴリズム決定手段において決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御手段と、
前記電子透かしレベル制御手段の出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳手段と、を有することを特徴とする電子透かし埋め込み処理装置にある。
【００１９】
さらに、本発明の第２の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理装置であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定手段と、
前記第１パラメータ設定手段と前記第２パラメータ設定手段において決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムのうちいずれか一方を、前記設定情報に基づき選択し、実行アルゴリズムとして設定する出力アルゴリズム決定手段と、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成手段と、
前記電子透かし情報信号生成手段において生成した電子透かし情報に基づいて、前記出力アルゴリズム決定手段において決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御手段と、
前記電子透かしレベル制御手段の出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳手段とを有することを特徴とする電子透かし埋め込み処理装置にある。
【００２５】
本発明の第３の側面は、
電子透かし埋め込み処理を実行する電子透かし埋め込み処理方法であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定ステップと、
前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定ステップと、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成ステップと、
前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御ステップと、
前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳ステップと、
を有することを特徴とする電子透かし埋め込み処理方法にある。
【００２７】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を周波数特性に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、周波数特性に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００２８】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域をエッジ領域の判別に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、エッジ領域に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００２９】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を時系列のデータフレームのフレーム単位での分割を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、データフレームに基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００３０】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記重畳部分選択ステップは、電子透かし埋め込み対象データのデータ領域を空間位置情報に基づいて分割する処理を実行し、前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、空間位置情報に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする。
【００３１】
さらに、本発明の電子透かし埋め込み処理方法の一実施態様において、前記電子透かし重畳ステップは、電子透かし埋め込み対象データの多階調変換処理を実行するステップを含み、該多階調処理における電子透かし埋め込み対象データの多階調変換処理後のデータに、前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを埋め込む処理を実行することを特徴とする。
【００３２】
本発明の第４の側面は、
電子透かし埋め込み処理を実行するコンピュータ・プログラムであって、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定ステップと、
前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定ステップと、
前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定ステップと、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成ステップと、
前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御ステップと、
前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを、電子透かし埋め込み対象データに対して埋め込む処理を実行する電子透かし重畳ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００３３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法の詳細について説明する。
【００３６】
本発明の電子透かし埋め込み処理装置の構成例を図１に示す。電子透かし（ＷＭ）埋め込み対象データ１１は、電子透かしの埋め込み対象データとしての画像、音声データ、プログラムデータ等であり例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、あるいはスキャナ、デジタルカメラなどの画像取り込み装置から供給された画像など、様々なデータが含まれる。
【００３７】
電子透かし（ＷＭ）情報信号生成部１３は、電子透かしとして埋め込むべき付加情報の符号化処理を実行し、符号化電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１３における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行される。符号化処理は、例えばスペクトラム拡散処理等に基づいて実行される。電子透かし（ＷＭ）情報信号生成部１３における処理の詳細については後述する。
【００３８】
図１に示す本発明の電子透かし埋め込み処理装置は、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。例えば、電子透かし（ＷＭ）埋め込み対象データ（情報信号）が８ビット画素値からなる画像データであった場合に、付加情報に基づく電子透かし（ＷＭ）情報を１０ビットレベルのＬＳＢ（Least Significant Bit）２ビットからなるデータとして構成して電子透かし（ＷＭ）埋め込み対象データに付加する処理を実行する。
【００３９】
電子透かし（ＷＭ）埋め込み対象データ１１は、多階調処理部１２に供給され、多階調処理部１２において、電子透かし（ＷＭ）埋め込み対象データ１１に基づく多階調変換処理が実行される。多階調変換処理とは、例えば、電子透かし（ＷＭ）埋め込み対象データ１１が、各画素値が８ビットデータからなる画像データであるとき、これを例えば１０ビットデータに変換する処理等、すなわち元データより多いビットデータに変換する処理等を示す。
【００４０】
多階調処理部１２において、電子透かし（ＷＭ）埋め込み対象データ１１に対して実行される多階調変換処理の例としては、ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）処理がある。多階調処理部１２において、入力する電子透かし（ＷＭ）埋め込み対象データ１１、例えば画像Ｖｎ（８ビット）にＤＣＴ演算を実行することで取得されるＤＣＴ係数の総演算語長は最大１４ビットとなる。
【００４１】
なお、多階調処理部１２における多階調変換処理としては、ＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理などが適用可能であり、圧縮処理が伴うものであってもよい。また、多階調変換処理は、不可逆変換処理または可逆変換処理であってもよく、電子透かし情報の重畳後に再量子化されたり、また、電子透かし情報の重畳後に復号処理化され、さらに再量子化されることにより、元の情報信号のデータレベル（ビットレベル、量子化レベル）にまで戻されてもよいし、そのままでもよい。
【００４２】
多階調処理部１２において、多階調変換処理の実行された多階調情報信号は、電子透かし埋め込み処理部１４に供給される。電子透かし埋め込み処理部１４は、電子透かし（ＷＭ）情報信号生成部１３から受領する電子透かし情報の埋め込み処理を多階調変換処理によって生成した拡張情報信号部に対して実行する。すなわち、元の電子透かし埋め込み対象データが８ビットであり、１０ビットデータに多階調処理された場合は、１０ビット変換により生成された低位２ビットの拡張情報信号部に対して電子透かしの埋め込み処理が実行される。電子透かしの埋め込み処理が実行されたデータは、データ変換部１５に供給されて電子透かし（ＷＭ）埋め込み対象データ（情報信号）の元のデータレベル（例えばビットレベル、量子化レベル）に変換された後、電子透かし埋め込み済みデータ１６として出力される。
【００４３】
本発明の電子透かし埋め込み処理装置においては、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。
【００４４】
例えば上述したＤＣＴ処理により多階調化されたデータに電子透かしを埋め込む場合、８×８（＝６４）のＤＣＴ係数（ＶＤＣ）上に付加情報（Ｓ）として電子透かしのビット情報を埋め込む場合、元の電子透かし（ＷＭ）埋め込み対象データを画像（Ｖｎ）としたとき、電子透かし埋め込み画像データ（Ｖｎ’）は、Ｖｎ’＝（ＶＤＣ＋Ｓ）／６４となり、６４分の１のレベルでの情報加算が可能となり、元画像の劣化防止が可能となる。
【００４５】
このように、元の電子透かし（ＷＭ）埋め込み対象データよりも小さいレベルでの電子透かしとしての付加情報の重畳が可能となる。また、この場合、多階調変換、符号化処理等の演算処理の過程で、演算語長を元の量子化データ以上（例えば、１０ビット）に保持しておけば、各ピクセルベース換算では８ビット未満の低階調部の画像データが存在することになるので、付加情報の加算後、切り捨てにより元の量子化レベルに戻された場合でも、８ビットレベル未満の付加情報だけが削除されることはない。このように、埋め込む付加情報レベル以下まで、演算語長を確保しておくことにより、非常に微小な単位での埋め込みを実現することができる。
【００４６】
また、電子透かし（ＷＭ）埋め込み対象データである例えば画像と付加情報のレベルの割合に応じて、付加情報を画像の状態に合わせて反映することが可能となり、元情報と親和性の高い部分から、付加情報を次々と埋め込まれることになり、画質の劣化を知覚しにくいような埋め込みが可能となる。多階調処理部では、このように電子透かし（ＷＭ）埋め込み対象データの変換処理を実行して、電子透かし（ＷＭ）埋め込み対象データ（情報信号）の多階調化を行なう。
【００４７】
図２を用いて、低階調部重畳処理の概念について説明する。図２は、電子透かし埋め込み対象データ５１を８ビットの画素値を有するデータとし、多階調処理部５２において、８ビットから１０ビットデータへの変換処理を実行した例である。図２の下段にはビット情報構成を概念的に示してある。多階調処理部５２におけるこのようなデータの多階調変換処理は、例えばＬＰＦによるフィルタ処理あるいはＤＣＴ処理によって実現される。
【００４８】
電子透かし情報信号は、電子透かし情報信号生成部５３において、付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行される。この符号化処理においては、例えばスペクトラム拡散処理を含むことが可能である。このスペクトラム拡散処理を含む符号化処理については後段で説明する。
【００４９】
電子透かし情報信号は、電子透かし情報信号生成部５３において２ビット情報として生成され、電子透かし埋め込み処理部５４において、図２の下段に示すように、電子透かし情報信号生成部５３において生成した２ビット情報を、多階調処理部５２で多階調化して生成した拡張情報信号部である低位２ビットに付加する処理として電子透かし埋め込み処理を実行する。データ変換部５５は、電子透かし埋め込み処理部５４において生成した電子透かし埋め込み済み１０ビットデータを元のデータと同様の８ビットに変換する処理を実行する。この処理は、多階調処理の逆処理、例えばＩＤＣＴ（Inverse Discrete Cosine Transform）処理、逆フィルタリング処理として実行される。このようにして、電子透かし情報が多階調処理された元データの低位ビット上に埋め込まれ、逆変換による再度の階調変換処理の後、電子透かし埋め込みデータとして出力される。
【００５０】
図１に示す電子透かし埋め込み処理装置の詳細構成例を図３に示す。以下、図３を参照して電子透かしパターンの画像への埋め込み処理の概要について説明する。なお、各処理手段における処理の詳細については、後段で説明する。
【００５１】
電子透かし（ＷＭ）埋め込み対象データ１０１は、電子透かしパターンの埋め込み対象データとしての画像、音声データ、プログラムデータ等のデータであり例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、あるいはスキャナ、デジタルカメラなどの画像取り込み装置から供給された画像など、様々なデータが含まれる。
【００５２】
電子透かし（ＷＭ）埋め込み対象データ１０１は、電子透かし埋め込み処理装置の重畳部分選択部１０２に出力される。重畳部分選択部１０２は、入力信号である電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分に分離する処理を実行する。例えば画像データであれば、エッジ部分とそれ以外の部分等の分割、あるいは高周波領域と低周波領域等である。画像データにおけるエッジ部分、あるいは高周波領域とは、画像を構成する画素値の所定領域内での変化率が大きい領域であり、一般にこのような領域では、強いレベルで電子透かしを埋め込んでも目立つことがない。一方、低周波領域は、例えば一様な画素値が広がる画像領域等である。例えば「空」のような一様な明るさ、色によって占められる領域である。このような領域に電子透かしを埋め込む場合は、埋め込み強度（レベル）を高くすると通常の観察状態においても、電子透かし（ＷＭ）が視認され、一般的には、埋め込み強度を低下させて埋め込む処理が実行される。
【００５３】
重畳部分選択部１０２は、このような電子透かし（ＷＭ）埋め込み対象データのデータ解析を実行して、電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分、例えば高周波部分と低周波部分など、複数領域に分離する処理を実行する。重畳部分選択部１０２の具体的処理については、後述する。
【００５４】
重畳部分選択部１０２において複数の部分に分離されたデータは、重畳量決定部１０３に出力される。第１パラメータ設定部１０３は、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを選択する処理を実行する処理部であり、予め設定された情報に基づいて適用パラメータ、すなわち適用電子透かしアルゴリズムを設定する。第１パラメータ設定部１０３は、重畳部分選択部１０２から出力されるデータに応じて予め割り当てられたアルゴリズムを適用するように決定する。例えば、重畳部分選択部１０２から出力されるデータが、エッジ領域データと非エッジ領域データとに分離されている場合には、エッジ領域データにはアルゴリズムＡを適用し、非エッジ領域にはアルゴリズムＢを実行する等の設定情報が、予め第１パラメータ設定部１０３の記憶部に格納されており、設定情報に基づいて適用アルゴリズムを決定する。
【００５５】
また、第２パラメータ設定部１０４は、ユーザ入力部１１１からの入力に基づいて、重畳部分選択部１０２において複数の部分に分離されたデータの各々について適用する電子透かし（ＷＭ）埋め込みアルゴリズムを決定する。複数のアルゴリズムの適用処理については、後段で詳細に説明する。第１パラメータ設定部１０３、および第２パラメータ設定部１０４において決定した複数のアルゴリズムは、例えば加算等の合成処理演算処理を実行する出力アルゴリズム決定手段を介して、電子透かし（ＷＭ）レベル制御部１０６に出力される。
【００５６】
電子透かし（ＷＭ）情報信号生成部１０７は、電子透かしとして埋め込むべき付加情報１１０の符号化処理を実行し、電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１０７における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報１１０に対応する電子透かしを画像に埋め込む際の様々な制御情報、例えば画像分割情報や、ビット配列情報などの制御情報に基づく変調処理、符号化処理として実行される。電子透かし（ＷＭ）情報信号生成部１０７における符号化は、例えばスペクトラム拡散、パッチワーク手法などを含む符号化として実行可能である。これらの処理の詳細については後述する。
【００５７】
電子透かし（ＷＭ）情報信号生成部１０７において生成された電子透かし情報は、電子透かし（ＷＭ）レベル制御部１０６に出力される。電子透かし（ＷＭ）レベル制御部１０６は、電子透かし（ＷＭ）情報信号生成部１０７において生成された電子透かし情報を入力するとともに、重畳量決定部１０３において各データ領域に対応して選択された電子透かし埋め込みアルゴリズムに基づく重畳レベル情報を入力して、各データ領域に対する電子透かし埋め込みレベルの調整を実行し、各データ領域毎に、前述の重畳量決定部１０３において決定したアルゴリズムを適用してレベル調整された電子透かし（ＷＭ）パターンを電子透かし（ＷＭ）重畳部１０８に出力する。
【００５８】
電子透かし（ＷＭ）重畳部１０８は、電子透かし（ＷＭ）埋め込み対象データ１０１を入力するとともに、前述のＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理により多階調変換処理を実行し、データ電子透かし（ＷＭ）レベル制御部１０６からのレベル調整された電子透かし（ＷＭ）パターンを入力して、電子透かし（ＷＭ）埋め込み対象データ１０１に対する電子透かし埋め込み処理を実行して、電子透かし（ＷＭ）埋め込み済みデータ１０９として出力する。
【００５９】
なお、図３に示す構成においては、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを予め設定された設定情報に従って、アルゴリズミカリーに選択する処理を実行する第１パラメータ設定部１０３と、ユーザ入力部１１１からの入力に基づいて、適用するアルゴリズムを決定する第２パラメータ設定部１０３との情報を合成して電子透かし（ＷＭ）レベル制御部１０６に出力する構成例であるが、図４に示すように、アルゴリズム合成処理を実行せず、設定情報に従って、アルゴリズミカリーに選択する処理を実行する第１パラメータ設定部１０３と、ユーザ入力部１１１からの入力に基づいて、適用するアルゴリズムを決定する第２パラメータ設定部１０３とのいずれかの出力を選択するスイッチ１２１を出力アルゴリズム決定手段として設け、いずれか一方のみのアルゴリズムを電子透かし埋め込みアルゴリズムとして選択して適用する構成としてもよい。
【００６０】
以上が、本発明の電子透かし埋め込み処理の概要である。以下、各処理部における処理の詳細について説明する。
【００６１】
［重畳部分選択部における処理］
図３に示す重畳部分選択部１０２における処理の具体例について説明する。重畳部分選択部１０２は、電子透かし（ＷＭ）埋め込み対象データのデータ解析を実行して、電子透かし（ＷＭ）埋め込み対象データの特性に基づいて、データを複数の部分に分離する処理を実行する。
【００６２】
先に延べたように、重畳部分選択部１０２は、入力信号である電子透かし（ＷＭ）埋め込み対象データが例えば画像データであれば、エッジ部分とそれ以外の部分等の分割、あるいは高周波領域と低周波領域等の分離を実行する。
【００６３】
図５に周波数に基づくデータ領域分割を実行する構成を持つ重畳部分選択部の構成例を示す。本構成例における重畳部分選択部は、ローパスフィルタ（ＬＰＦ）２０１、バンドパスフィルタ（ＢＰＦ）２０２、およびハイパスフィルタ（ＨＰＦ）２０３を有し、電子透かし（ＷＭ）埋め込み対象データはそれぞれのフィルタに入力される。各フィルタ２０１〜２０３からの出力は所定の周波数領域データを抽出したデータとなり、低周波領域、高周波領域、および中間周波数領域の各データが分離されて出力される。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６４】
図６にエッジ検出に基づくデータ領域分割を実行する構成を持つ重畳部分選択部の構成例を示す。本構成例における重畳部分選択部は、エッジ検出部３０１を有し、電子透かし（ＷＭ）埋め込み対象データはエッジ検出部３０１に入力される。エッジ検出部３０１は周波数検出手段によって構成可能である。エッジ検出部３０１は、入力データのエッジ領域と非エッジ領域とを分離して出力する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６５】
また、電子透かしの埋め込み処理対象となる入力データが動画像の場合には、重畳部分選択部は、時系列に入力される動画像を構成するデータフレームを所定数または所定時間間隔毎に分離する処理を実行することができる。図７にフレーム分割による重畳部分選択処理例を示す。動画像を構成するフレームデータが図７に示すように、フレームｋから順に入力されたと想定すると、重畳部分選択部は、フレームを所定数または所定時間間隔毎に分離し、それぞれ選択データＡ、Ｂ、Ｃ．．．として分離する処理を実行する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６６】
なお、フレーム分割は、フレーム数、時間を基準とする以外に、シーンチェンジ、画像または音声の区切り部分を検出して、区切り部分に基づく分離処理として実行したり、周波数成分の分布、エッジ・ピークの分布、フレーム間、時間差分量に基づいてフレーム分割を実行する等、様々な態様での処理が可能である。
【００６７】
電子透かしの埋め込み処理対象となる入力データが画像データである場合は、図８に示すように、空間位置情報に基づいて空間分割処理を実行することが可能である。図８に示す例は、埋め込み対象データ５０１を４つの領域、領域ａ，ｂ，ｃ，ｄに分割した例を示している。重畳部分選択部は、画像データを空間分割により、複数に分離する。分離されたデータは、それぞれ図３に示す第１パラメータ設定部１０３に出力され、第１パラメータ設定部１０３において各分離データ毎に適用する電子透かし埋め込みアルゴリズムが決定される。
【００６８】
なお、図８に示す例は、画像データを空間的に均等に分割する処理例を示しているが、例えばフィルターを介した出力レベルの差異に基づく空間的な分割処理行なうなどの構成としてもよい。
【００６９】
重畳部分選択部１０２におけるデータ分割処理は、上記の処理例に限らず、電子透かし（ＷＭ）埋め込み対象データに応じた様々な処理態様が可能である。例えば電子透かし（ＷＭ）埋め込み対象データが画像データであれば、各画素の輝度レベルに応じたデータ分離処理、また、電子透かし（ＷＭ）埋め込み対象データが音声データである場合には、音声レベルに応じてデータを複数の部分に分離する処理などが可能である。
【００７０】
［パラメータ設定部における処理］
重畳部分選択部１０２において複数の部分に分離されたデータは、第１パラメータ設定部１０３に出力される。第１パラメータ設定部１０３は、予め用意された複数の電子透かし（ＷＭ）埋め込みアルゴリズム中から適用するアルゴリズムを決定する処理を実行する処理部である。この決定処理は、予め設定された情報に基づいて決定する。一方、第２パラメータ設定部１０４では、ユーザ入力部１１１からの入力に基づいて、重畳部分選択部１０２において複数の部分に分離されたデータの各々について適用する電子透かし（ＷＭ）埋め込みアルゴリズムを決定する。
【００７１】
複数のアルゴリズムの例を図９に示す。図９には、３つの電子透かし埋め込みアルゴリズムの例を示してある。電子透かし埋め込み処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等を構成するビット情報の埋め込み処理であり、例えばビット１またはビット０に対応するデータをどのように画像、または音声等のデータに埋め込むかを規定するのが電子透かし埋め込みアルゴリズムである。
【００７２】
図９の各アルゴリズムの各々についての説明の前に、画像データを例とした電子透かしの埋め込み処理、および検出処理例について説明する。電子透かしの埋め込み対象となる元画像をＰ、元画像Ｐに対して埋め込む電子透かしパターンをＬとする。このとき、電子透かしパターンＬは、下式の性質を満たす。
【００７３】
【数１】
例として、元画像Ｐと、電子透かしパターンＬを下式のようにおく。すなわち、
【００７５】
【数２】
ただし、上記式では、簡単のため元画像Ｐの大きさを５×４ピクセルとしている。画像では隣り合うピクセルは一般的に近い値を持つという性質があることから、元画像Ｐの隣り合う各要素を近い値として設定してある。
【００７７】
電子透かしの埋め込み処理は下式に基づいて実行される。
【００７８】
【数３】
Ｍ＝Ｐ＋Ｌ
【００７９】
ここで、Ｍは元画像Ｐに対して電子透かしパターンＬを埋め込んだ画像を示す。Ｍの値は、前記の［数２］に示す例では次のように計算される。
【００８０】
【数４】
電子透かしの検出はこの電子透かしパターンＬを用いる。電子透かしＬの埋め込まれていない元画像Ｐに対する電子透かしの検出を下式のように定義する。
【００８２】
【数５】
ｓ＝Ｐ・Ｌ
【００８３】
と定義する。ここで演算子“・”は行列の内積であり、ｓは元画像Ｐと電子透かしパターンＬとの内積値である。
【００８４】
電子透かしパターンの要素の総和が０であること（［数１］参照のこと）と、画像の隣り合うピクセルは一般に近い値を持つ傾向があることから、内積値ｓは０の近傍値となる。上記［数２］に示した例では、その内積値は以下のようになる。
【００８５】
【数６】
次に、電子透かしの埋め込まれている画像Ｍに対して同様の演算を施す。電子透かしＬの埋め込まれている画像Ｍに対する電子透かしの検出は、上記と同様、下記式に従って内積値ｓ’を求める。
【００８７】
【数７】
元画像Ｐと電子透かしパターンＬとの内積値が０の近傍値になるのに対し、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’は、電子透かしパターンＬ自身の内積値の近傍となる。すなわち、
【００８９】
【数８】
Ｌ・Ｌ
【００９０】
上記式［数８］の近傍の値となる。この内積値Ｌ・Ｌは電子透かしの埋め込み強度の尺度として利用できる。電子透かしパターンを埋め込む際に目標とする内積値Ｌ・Ｌが大きいとき電子透かしの埋め込み強度が「強い」と表現し、内積値Ｌ・Ｌが小さいとき電子透かしの埋め込み強度が「弱い」と表現する。
【００９１】
また、元画像Ｐと電子透かしパターンＬの内積値ｓ、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’の絶対値が大きな値となるとき電子透かしの検出強度が「強い」と表現し、内積値ｓや内積値ｓ’の絶対値が小さな値となるとき電子透かしの検出強度が「弱い」と表現する。
【００９２】
また、電子透かしの検出強度が強いことを画像と電子透かしパターンとの相関が「大きい」又は「高い」、電子透かしの検出強度が弱いことを画像と電子透かしパターンとの相関が「小さい」又は「低い」と表現することもある。
【００９３】
元画像Ｐと電子透かしパターンＬの内積値ｓ、電子透かしの埋め込まれた画像Ｍと電子透かしパターンＬとの内積値ｓ’を様々な画像において求めると、それらの相対頻度分布は確率密度関数ｆとｆ’によって表され、図１０のようになる。
【００９４】
画像に電子透かしが埋め込まれているかどうかを判断する際は、電子透かしの埋め込まれていない画像Ｐと電子透かしパターンＬとの内積値ｓが０を中心に分布することと、電子透かしが埋め込まれている画像Ｍと電子透かしパターンＬとの内積値ｓ’が電子透かしパターンＬ自身の内積値であるＬ・Ｌを中心に分布することを利用する。電子透かしの有無を確認したい画像と電子透かしパターンＬとの内積値ｓ”を求め、ある閾値（ｔｈ）に対する比較を行ない電子透かしパターンの有無の判別を行なう。具体的には下式が適用可能である。
【００９５】
【数９】
ｓ”＜ｔｈ then no-watermark
ｓ”≧ｔｈ then watermarked
【００９６】
上記式は、電子透かしの有無を確認したい画像と電子透かしパターンＬとの内積値ｓ”が閾値（ｔｈ）より小であるときは電子透かしパターンの埋め込みなし。内積値ｓ”が閾値（ｔｈ）以上であるときは電子透かしパターンの埋め込みありと判定することを示しており、図示すると図１１のようになる。
【００９７】
多ビットの情報を電子透かしにて画像に埋め込む方法は、複数の電子透かしパターンを用いる方法と画像を小領域に分割する方法とこれらの複合方法とに大別される。
【００９８】
複数の電子透かしパターンを用いる方法では、複数の電子透かしパターンのそれぞれに異なる意味を持たせ排他的に画像に埋め込むことによって所望の情報を表現する方法と複数の電子透かしパターンを同時に重ねて画像に埋め込みその組み合わせによって所望の情報を表現する方法、そして、これら２つの方法を複合した方法が考えられる。複数の電子透かしパターンを元画像に埋め込む様子を図１２に示す。
【００９９】
複数の電子透かしパターンのそれぞれに異なる意味を持たせ排他的に画像に埋め込むことによって所望の情報を表現する方法では、画像に埋め込みたい情報のビット数をｂとしたとき、必要となる電子透かしパターンの種類ｎはｎ＝２bとなる。他方、複数の電子透かしパターンを同時に重ねて画像に埋め込みその組み合わせによって所望の情報を表現する方法では、必要となる電子透かしパターンの種類ｎはｎ＝ｂとなる。但し、後者は電子透かしパターンの種類が少なくて済むものの、電子透かしパターンを画像に複数重ねて埋め込むため画像の劣化に対する適切な処置を必要とする場合が多い。最後にこれら２つの方法を複合した方法では、必要となる電子透かしパターンの種類ｎはｂ≦ｎ≦２bとなり、両方法の特徴を併せ持ったものとなる。
【０１００】
画像を小領域に分割する方法は、多ビットの情報を電子透かしにて画像に埋め込むもう１つの方法であり、小領域毎に異なる役割を持たせることで画像の中に複数の電子透かしを同時に存在させようというものである。小領域の配置の仕方は種々提案されている。ここでは図１３のように小領域を格子状に配置した例で説明を行なう。図１３におけるｉ，ｊは負でない整数である。
【０１０１】
画像を小領域に分割する際に分割数が問題になる。画像に埋め込みたい情報がｂビットであるとき、画像をｂ個の小領域に分割する方法がまず考えらるが、様々な画像に対して電子透かしパターンを埋め込む場合、画像の持つ視覚特性を考慮して電子透かしパターンを埋め込むことが多いことからこの方法は問題が発生しやすい。例えば埋め込み画像のエッジ部分に強く、画像の平坦部分に弱く埋め込むなどの処理を加えるとき、あるビットに対応する小領域が偶然にも平坦部分であった場合に、そこの領域に埋め込まれている電子透かしを検出できない恐れがある。たとえ１つの領域でも電子透かし検出に失敗した領域があると、残りの領域に埋め込まれている電子透かしが検出されたとしても、全体の組み合わせとしての意味がなくなるという事態に陥る。画像を小領域に分割するときには、ｂよりも多い小領域に分割する方が、様々な画像に対して安定して電子透かしの検出を行なえるという利点がある。たとえ１小領域で電子透かしパターンの埋め込み強度が非常に弱くなったとしても、同じビット情報を埋め込む残りの小領域で必要な電子透かしパターンの埋め込み量が確保されていれば全体として電子透かしの検出が可能となるのである。
【０１０２】
図１４に埋め込み情報が８ビットであるときの小領域の分割例を示す。同じビットに対応する複数の小領域が画像中に割り当てられている。
【０１０３】
次に、電子透かしパターンが埋め込まれた画像から電子透かしを検出する電子透かし検出処理装置の構成例を図１５に示す。以下、図１５を参照して電子透かし検出処理について説明する。
【０１０４】
画像６０１は、電子透かしパターンの埋め込まれた処理対象データであり、ここでは一例として画像とした例を示す。画像データは、例えばハードディスク、ＤＶＤなどの記憶媒体から読み出されたり、通信媒体を介して供給された画像など、様々な画像が含まれる。
【０１０５】
電子透かしパターン生成部６０３は電子透かしパターン生成キー（key）記憶部６０２の電子透かしパターン生成キー（key）から電子透かしパターンを生成する。電子透かしパターン生成キー（key）は、具体的には電子透かしパターンを画像に埋め込む際の画像分割情報や、ビット配列情報などであり、電子透かしパターンの検出に必要となる情報である。
【０１０６】
検出部６０４では、電子透かしパターン生成部６０３にて生成された電子透かしパターンを用いて、入力画像６０１の電子透かしを検出する。検出処理は、先に説明したように生成された電子透かしパターンを用いて検出対象画像との相関を内積値によって取得し、取得した内積値と閾値（ｔｈ）との比較（数９参照）を実行する。さらに先に図１２〜図１４を用いて説明したような電子透かしによる多ビット情報がある場合は、多ビット情報の取得を行なう。検出部６０４にて検出された情報は検出情報６０５として出力される。
【０１０７】
図９に戻り、本発明の電子透かし埋め込み処理装置における重畳量決定部１０３において適用する電子透かし埋め込みアルゴリズムについて説明する。図９に示した重畳量決定部１０３においては、複数のアルゴリズムとして例えば、下式に従ったアルゴリズムのいずれかが、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して選択される。
【０１０８】
【数１０】
上記アルゴリズム識別子（１）のアルゴリズムは、一定方向の３つのデータ値（例えば３つの水平画素値）に対して、強度（例えば輝度値変化）を（−１．０，２．０，−１．０）の情報として付加するアルゴリズムである。
【０１１０】
（２）は、上述の説明と同様マトリックス（行列）型の電子透かし埋め込みアルゴリズムであり、1中心データ（例えば画素値）とその回りの７つのデータ（例えば画素値）に対して（２）に示す強度分布を持つデータ量の埋め込みを実行するアルゴリズムである。（３）は、（２）と同様マトリックス（行列）型の電子透かし埋め込みアルゴリズムであるが、1中心データ（例えば画素値）と水平、および垂直方向に隣接するデータ（例えば画素値）に対して（３）に示す強度分布を持つデータ量の埋め込みを実行するアルゴリズムである。
【０１１１】
本発明の電子透かし埋め込み処理装置における第１パラメータ設定部１０３は、予め定められた設定情報に基づいて、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して、上記（１）〜（３）の電子透かし埋め込みアルゴリズムのいずれかを適用アルゴリズムとして設定する。また、第２パラメータ設定部１０４は、ユーザ入力により、前述の重畳部分選択部１０２において分離された各データ領域各々に対応して、上記（１）〜（３）の電子透かし埋め込みアルゴリズムのいずれかを適用アルゴリズムとして設定する。
【０１１２】
図１６にアルゴリズム選択例を示す。図１６の例は、電子透かし埋め込み対象データを２つのデータ領域に分離して、それぞれに対して異なるアルゴリズムを適用する構成とした例であり、２つの選択処理例（組み合わせ例）を示している。
【０１１３】
電子透かし埋め込み対象となるデータは、第1の領域として高周波部(エッジ部)と、第２の領域として低周波部（平坦部）とに分離されている。これらの分離処理は、前述の重畳部分選択部１０２において実行される。
【０１１４】
図１６に示すアルゴリズム決定例は、第１パラメータ設定部１０３は、高周波部(エッジ部)に対してのみ、図９または、上記式［数１０］で説明した（３）のアルゴリズムを適用し、低周波部（平坦部）には、電子透かし埋め込み処理を行なわないという決定を実行し、第２パラメータ設定部１０４におけるユーザ入力に基づくパラメータ決定処理として、高周波部(エッジ部)には適用処理を設定せず、低周波部（平坦部）にのみ上記式［数１０］で説明した（１）のアルゴリズムを適用することを決定した処理例を示している。
【０１１５】
図１６の例は、データ領域を２つに分離し、それぞれに異なるアルゴリズムを適用する例であるが、さらに多くの３以上のデータ領域に分離した場合は、それぞれの領域に対して、それぞれ適用する電子透かし埋め込みアルゴリズムを設定する処理を実行することになる。
【０１１６】
［電子透かし（ＷＭ）情報信号生成部における処理］
次に、図３に示す電子透かし（ＷＭ）情報信号生成部における処理について説明する。電子透かしとして埋め込むべき付加情報１１０の符号化処理を実行し、電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部１０７における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報１１０に対応する電子透かしを画像に埋め込む際の様々な制御情報、例えば画像分割情報や、ビット配列情報などの制御情報に基づく変調処理、符号化処理として実行される。電子透かし（ＷＭ）情報信号生成部１０７における符号化は、例えばスペクトラム拡散、パッチワーク手法などを含む符号化として実行可能である。スペクトラム拡散処理について説明する。
【０１１７】
図１７は、電子透かし情報（ＷＭ）信号生成部１０７におけるスペクトラム拡散処理部構成を説明するブロック図である。図１７において、ＰＮａ発生部６５１は、ＰＮ符号列ＰＮａを発生し、そのＰＮ符号列ＰＮａをＳＳ拡散部６５２（ＳＳはスペクトラム拡散の略である。以下、同じ）に供給する。
【０１１８】
また、付加情報発生部６５３は、電子透かし情報として重畳しようとする付加情報を発生し、ＳＳ拡散部６５２に供給する。ＳＳ拡散部６５２は、付加情報とＰＮ符号列ＰＮａとを乗算して、スペクトラム拡散信号を生成する。そして、このスペクトラム拡散信号を電子透かし（ＷＭ）レベル制御部に出力する。
【０１１９】
図１８は、電子透かし情報として重畳する付加情報と、電子透かし埋め込み対象データ（例えば映像信号）との関係をスペクトルで示したものである。付加情報は、これに含まれる情報量は少なく、低ビットレートの信号であり、図１８（ａ）に示されるように狭帯域の信号である。これにスペクトラム拡散を施すと、図１８（ｂ）に示すような広帯域幅の信号となる。このときに、スペクトラム拡散信号レベルは帯域の拡大比に反比例して小さくなる。
【０１２０】
このスペクトラム拡散信号、すなわち、ＳＳ付加情報を電子透かし埋め込み対象データ（例えば映像信号）に重畳させるのであるが、この場合に、図１８（ｃ）に示すように、情報信号としての映像信号のダイナミックレンジより小さいレベルで、ＳＳ付加情報を重畳させるようにする。このように重畳することにより主情報信号の劣化がほとんど生じないようにすることができる。
【０１２１】
一方、ＳＳ付加情報を検出するためには、逆スペクトラム拡散を行う。逆スペクトラム拡散により、図１８（ｄ）に示すように、ＳＳ付加情報が再び狭帯域の信号として復元される。十分な帯域拡散率を与えることにより、逆拡散後の付加情報の検出レベルが情報信号を上回り、検出可能となる。
【０１２２】
このように、電子透かし（ＷＭ）情報信号生成部は、電子透かしとして埋め込むべき付加情報の符号化処理を実行し、符号化電子透かし情報を生成する。電子透かし（ＷＭ）情報信号生成部における処理は、データに埋め込む付加情報としての複製制御情報、著作権情報、編集情報等、様々な付加情報を構成するビット情報に基づいて符号化する処理として実行され、電子透かし（ＷＭ）埋め込み対象データ（情報信号）のデータレベル（例えばビットレベル、量子化レベル）よりも低いレベルで、付加情報に基づく電子透かし（ＷＭ）情報を重畳する処理を実行する。例えば、電子透かし（ＷＭ）埋め込み対象データ（情報信号）が８ビット画素値からなる画像データであった場合に、付加情報に基づく電子透かし（ＷＭ）情報を１０ビットレベルのＬＳＢ（Least Significant Bit）２ビットからなるデータとして構成して電子透かし（ＷＭ）埋め込み対象データに付加する処理を実行する。
【０１２３】
［電子透かし（ＷＭ）レベル制御部、および電子透かし（ＷＭ）重畳部における処理］
図３に示す電子透かし（ＷＭ）レベル制御部１０６は、電子透かし（ＷＭ）情報信号生成部１０７から、複製制御情報、著作権情報、編集情報等を構成するビット情報１１０の変調、符号化処理によって生成した電子透かし情報を入力し、第１パラメータ設定部１０３、および第２パラメータ設定部１０４から、各データ領域に対応して選択された電子透かし埋め込みアルゴリズムに対応する重畳レベル情報を入力して、各データ領域に対する電子透かし埋め込みレベルの調整処理を実行して電子透かしパターンを生成して、電子透かし（ＷＭ）重畳部１０８に出力する。
【０１２４】
電子透かし（ＷＭ）重畳部１０８は、電子透かし（ＷＭ）埋め込み対象データ１０１を入力するとともに、電子透かし（ＷＭ）レベル制御部１０６からのレベル調整された電子透かし（ＷＭ）パターンを入力して、電子透かし（ＷＭ）埋め込み対象データ１０１に対する電子透かし埋め込み処理（重畳処理）を実行して、電子透かし（ＷＭ）埋め込み済みデータ１０９として出力する。
【０１２５】
図１９に電子透かし（ＷＭ）レベル制御部、および電子透かし（ＷＭ）重畳部の構成例を示す。図１９の構成例は、電子透かし（ＷＭ）重畳部にローパスフィルタ（ＬＰＦ）を使用して電子透かし（ＷＭ）埋め込み対象データを高域部と低域部とに分離する構成例である。
【０１２６】
電子透かし（ＷＭ）重畳部７２０のローパスフィルタ（ＬＰＦ）７２１は、電子透かし（ＷＭ）埋め込み対象データの低域部データを出力する。ローパスフィルタ（ＬＰＦ）７２１は、例えば、入力データに対して次に示す演算を実行して低域データを出力する。
Ｖ＝（Ｖｉ−１，ｊ＋Ｖｉ，ｊ＋Ｖｉ＋１，ｊ）／３
上記式において、Ｖｉ−１，Ｖｉ，Ｖｉ＋１は、３つの連続するデータ値（例えば画素値）を示し、入力データが８ビットデータであるとき、移動加算平均演算語長を、例えば１０ビット等、８ビット以上とすることで多階調変換がなされることになる。
【０１２７】
多階調処理データが、先に図２を参照して説明したように、１０ビットデータとして構成されている場合、加算器７２３においては、電子透かし（ＷＭ）レベル制御部７１０から入力する２ビットの電子透かし情報との加算処理が実行される。
【０１２８】
電子透かし（ＷＭ）レベル制御部７１０は、レベル制御部７１１と、リミッタ７１２によって構成され、レベル制御部７１１は、電子透かし（ＷＭ）情報信号生成部(図３，１０７)からの電子透かし情報を受信し、第１、第２パラメータ設定部１０３，１０４から受領する第１、第２パラメータ（アルゴリズム）を合成した電子透かしアルゴリズム情報に従って電子透かし情報パターンを生成する。さらに、リミッタ７１２において、加算する電子透かし（ＷＭ）埋め込み対象データの低位２ビットに相当するデータレベルに変換され、加算器７２３において、電子透かし（ＷＭ）レベル制御部７１０から入力する２ビットの電子透かし情報との加算処理が実行される。すなわち、多階調処理によって生成された電子透かし埋め込み対象データの拡張情報信号部（低位２ビット）に対して電子透かし情報の埋め込みが行われる。加算器７２３の出力は、加算器７２４に入力される。
【０１２９】
減算器７２２は、電子透かし（ＷＭ）埋め込み対象データを入力し、ローパスフィルタ（ＬＰＦ）７２１の出力である低域部データの減算処理により、電子透かし（ＷＭ）埋め込み対象データの高域部データのみを出力し、加算器７２４に入力する。例えば多階調処理データが１０ビットデータであれば、加算器７２４に入力するデータは８ビットの高域部データとなる。加算器７２４では、減算器７２２から入力される８ビットの高域部データと、加算器７２４から入力する電子透かしの重畳された２ビットの低域部データを加算する処理を実行し、１０ビットの多階調電子透かし埋め込みデータを生成する。加算器７２４の生成した多階調電子透かし埋め込みデータは、８ビット量子化部７２５において、１０ビットから８ビットデータへの変換が実行されて出力される。
【０１３０】
図２０の構成例は、電子透かし（ＷＭ）重畳部にＤＣＴを使用して電子透かし（ＷＭ）埋め込み対象データの多階調変換処理を実行する構成例である。
【０１３１】
電子透かし（ＷＭ）重畳部７６０のＤＣＴ部７６１は、電子透かし（ＷＭ）埋め込み対象データをＤＣＴ処理し、多階調処理データを出力する。例えば入力データが８ビットデータであるとき、ＤＣＴ部７６１からの出力データは１０ビットデータとして出力される。
【０１３２】
電子透かし（ＷＭ）レベル制御部７５０は、レベル制御部７５１と、リミッタ７５２によって構成され、レベル制御部７５１は、電子透かし（ＷＭ）情報信号生成部(図３，１０７)からの電子透かし情報を受信し、第１、第２パラメータ設定部１０３，１０４から受領する第１、第２パラメータ（アルゴリズム）を合成した電子透かしアルゴリズム情報に従って電子透かし情報パターンを生成する。さらに、リミッタ７５２において、加算する電子透かし（ＷＭ）埋め込み対象データの低位２ビットに相当するデータレベルに変換され、加算器７６２において、電子透かし（ＷＭ）レベル制御部７５０から入力する低位２ビットの電子透かし情報との加算処理が実行される。すなわち、多階調処理によって生成された電子透かし埋め込み対象データの拡張情報信号部（低位２ビット）に対して電子透かし情報の埋め込みが行われる。加算器７６２は、電子透かしの重畳処理を実行し、１０ビットの多階調電子透かし埋め込みデータを生成する。加算器７６２の生成した多階調電子透かし埋め込みデータは、逆ＤＣＴ部７６３において、１０ビットから８ビットデータへの変換が実行されて出力される。
【０１３３】
なお、前述したように、多階調変換処理としては、ＬＰＦ、ＢＰＦ、ＨＰＦなどのフィルター処理や、ＤＣＴ、ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣ、ＭＰ３,ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなどの各種の符号化処理や直交変換処理などが適用可能である。
【０１３４】
このように、本発明の電子透かし埋め込み処理装置は、電子透かし埋め込み処理対象となるデータを、多階調処理し、低位ビットに電子透かし情報を埋め込む処理を実行する構成であるので、情報信号の品質の劣化を最小限にできる。従って、画像や音楽などの比較的階調変化の微小な部分（フラットな部分）に電子透かしを埋め込んだ場合でも、知覚されにくい埋め込みが可能となる。
【０１３５】
また、複数の電子透かしアルゴリズムを適用し、一方をユーザ選択によって設定する構成としたことにより、人間の視聴特性も含めて、最適な埋め込みアルゴリズムを選択できるので、画質、音質などに対する付加情報埋め込みによる品質の劣化を最小限にできる上、トータルの品質のコントロールや、検出性能の改善などの品質管理を人間が行うことができ、オーバーオールで最適なシステムを構成することが可能となる。
【０１３６】
また、一つのみのアルゴリズムを適用するだけでは埋め込みが困難な情報信号に対しても、他のアルゴリズムが適用可能であるので、データ特性に応じた適切な埋め込みができ、埋め込み処理対象データ、例えば画像であれば画質を劣化させることなく、また音声データであれば音質を劣化させることなくデータ品質を維持しながら、付加情報の電子透かしとしての埋め込みが可能となる。
【０１３７】
データ全体に一律のグローバルパラメータを付与する構成と異なり、各データ領域に応じたアルゴリズムを任意に設定可能となるため、検出の精度を維持することも可能となり、検出の信頼性、安定性が向上し、画質の改善イコール検出性能のダウンという図式ではないコントロールが可能となり、グローバルなパラメータを使って総合的に調整する方式に比べ、総合性能を確保することができる。
【０１３８】
なお、上述した実施例では、電子透かし埋め込み対象データを画像データを中心に説明したが、電子透かし埋め込み対象データは、映像信号、画像情報、音楽、音声信号、ＭＩＤＩや、その他の情報信号であってもよい。情報信号は、ベースバンド信号でも、圧縮信号であってもよい。また、埋めこみアルゴリズムの選択は、電子透かし埋め込み対象データの領域毎に行ってもよいし、時間軸上、周波数軸上で分割してもよいし、電子透かし埋め込み対象データを分割せずにそのまま電子透かし埋め込み対象データ全体に渡って埋めこみ量を決定させ、その後、ユーザー指示に基づいて、時間軸上だけで、埋めこみアルゴリズムを変更するようにしてもよい。その場合、埋め込みをオンオフさせる構成としてもよい。また、多階調処理を行なってから、埋め込みを行なうように説明したが、これを行なわず元データに直接埋め込み処理を行なってもよいし、元データよりも多階調にならないような符号化を行ない埋め込み処理を実行してもよい。
【０１３９】
電子透かし埋め込み対象データの分割処理は、各種のフィルター処理や、ＤＣＴ,ウエーブレット変換、ＪＰＥＧ、ＭＰＥＧ、フラクタル変換、ＡＴＲＡＣＫ、ＭＰ３、ＡＣ３、ＡＡＣ、ＡＤＰＣＭ、ＣＥＬＰ、ＴｗｉｎＶなど、各種のフィルター処理、符号化処理、直交変換処理、圧縮処理のいずれかを含む信号変換処理を施した後の空間上、周波数上、時間軸上に変換されたデータ領域に対して実行する構成としてもよい。
【０１４０】
［システム構成］
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータや１チップのマイクロコンピュータ等にインストールされる。図２１は、上述した一連の処理、具体的には、電子透かしの生成、埋め込み、検出の少なくともいずれかの処理を実行する装置のシステム構成例を示している。図２１の構成について説明する。
【０１４１】
ＣＰＵ(Central processing Unit)８０２は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実際に実行する。ＲＯＭ（Read-Only-Memory）８０３は、ＣＰＵ８０２が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）８０４は、ＣＰＵ８０２の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。ＣＰＵ８０２、ＲＯＭ８０３、ＲＡＭ８０４、およびハードディスク８０５はバス８０１によって接続されており、相互にデータ転送が実行可能である。さらに入出力インタフェース８１４に接続された各種入出力装置とのデータ転送が可能となっている。
【０１４２】
キーボード８１２、マウス８１３はＣＰＵ８０２に各種の指令を入力するためにユーザにより操作され、コマンド入力データ入力などの際にユーザによって操作され、キーボードマウスコントローラ８１１介して入力される。
【０１４３】
ドライブ８０９は、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１０の記録再生を実行するドライブであり、各リムーバブル記録媒体８１０からのプログラムまたはデータ再生、リムーバブル記録媒体８１０に対するプログラムまたはデータ格納を実行する。
【０１４４】
ＣＰＵ８０２は、入出力インタフェース８１４を介して、キーボード８１２やマウス８１３等を介して指令が入力されると、入力にしたがって、ＲＯＭ(Read Only Memory)８０３に格納されているプログラムを実行する。
【０１４５】
上述の実施例における電子透かしの埋め込み対象となる画像、音声等のデータ、あるいは検出対象となるデータは、入力部８０７に接続されたカメラ８０７１他の入力機器、例えばスキャナ等のデータ入力装置、あるいはドライブ８０９に接続されたフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１０から入力可能である。なお、本システムは音声データの入力もマイク８０７２を介して可能な構成である。さらに、通信部８０８を介して受信するデータを電子透かしの埋め込み対象とする画像データ、あるいは検出対象となる画像データとして処理することも可能である。
【０１４６】
ＣＰＵ８０２は、ＲＯＭ格納プログラムに限らず、ハードディスク８０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部８０８で受信されてハードディスク８０５にインストールされたプログラム、またはドライブ８０９に装着されたリムーバブル記録媒体８１０から読み出されてハードディスク８０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)８０４にロードして実行することも可能である。
【０１４７】
ここで、本明細書において、プログラムは、１つのコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４９】
【発明の効果】
以上、説明してきた本発明の構成によれば、以下に説明する様々な効果が得られる。まず、本発明の電子透かし埋め込み処理装置では、複数の電子透かしアルゴリズムを選択的に適用して電子透かしの埋め込みを実行するとともに、アルゴリズムの選択処理をユーザによって実行可能とした。アルゴリズムを選択する第１および第２の設定手段を構成し、これら複数の設定手段の合成情報または選択情報に基づいて電子透かし埋め込みアルゴリズムを決定する。本構成により、人間の視聴特性を考慮した上での最適な埋め込みアルゴリズムの選択が可能となるので、電子透かし埋め込み対象データである画像、音声データの付加情報埋め込みによる品質の劣化が可能となる。
【０１５０】
また、一つのみのアルゴリズムを適用するだけでは埋め込みが困難な情報信号に対しても、他のアルゴリズムが適用可能であるので、データ特性に応じた適切な埋め込みができ、埋め込み処理対象データ、例えば画像であれば画質を劣化させることなく、また音声データであれば音質を劣化させることなくデータ品質を維持しながら、付加情報の電子透かしとしての埋め込みが可能となる。
【０１５１】
データ全体に一律のグローバルパラメータを付与する構成と異なり、各データ領域に応じたアルゴリズムを任意に設定可能となるため、検出の精度を維持することも可能となり、検出の信頼性、安定性が向上し、画質の改善イコール検出性能のダウンという図式ではないコントロールが可能となり、グローバルなパラメータを使って総合的に調整する方式に比べ、総合性能を確保することができる。
【０１５２】
また、本発明の構成によれば、電子透かし埋め込み情報の不正な読み出しや改竄等のアタックに対する強度の向上も可能となる。何故なら、複数の電子透かし埋め込みアルゴリズムを使用することが可能であり、アタック耐性が異なるアルゴリズムを時間軸上、空間上、周波数上で選択して使用して電子透かしの埋め込み処理を実行することにより、一つのアタックを受けても、他方の埋めこみ情報の読み出しや改竄は不可能となり、正当な検出手段による検出を保証できることとなるからであり、本発明の構成によって電子透かしの安定性、ロバスト性の向上が実現される。
【図面の簡単な説明】
【図１】本発明の電子透かし埋め込み処理装置の構成例を示すブロック図である。
【図２】本発明の電子透かし埋め込み処理装置で実行する多階調処理および電子透かし埋め込み処理について説明する図である。
【図３】本発明の電子透かし埋め込み処理装置の詳細構成例を示すブロック図である。
【図４】本発明の電子透かし埋め込み処理装置の詳細構成例を示すブロック図である。
【図５】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図６】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図７】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図８】本発明の電子透かし埋め込み処理装置の重畳部分選択部の構成例を示すブロック図である。
【図９】本発明の電子透かし埋め込み処理装置の重畳量決定部において選択されるアルゴリズムの例を示す図である。
【図１０】電子透かしパターンの内積値の相対頻度分布を説明する図である。
【図１１】電子透かしの有無の判別基準を説明する図である。
【図１２】複数の電子透かしパターンの画像への埋め込み処理を説明する図である。
【図１３】元画像の小領域への分割を説明する図である。
【図１４】同一情報ビットの複数小領域への割り当てを説明する図である。
【図１５】電子透かしの検出装置の処理について説明する図である。
【図１６】本発明の電子透かし埋め込み処理装置の重畳量決定部において選択されるアルゴリズムの組み合わせ例を示す図である。
【図１７】本発明の電子透かし埋め込み処理装置の電子透かし情報生成部のスペクトラム拡散処理構成を示す図である。
【図１８】本発明の電子透かし埋め込み処理装置の電子透かし情報生成部のスペクトラム拡散処理を説明する図である。
【図１９】本発明の電子透かし埋め込み処理装置の電子透かしレベル制御部、および電子透かし重畳部の構成例を示す図である。
【図２０】本発明の電子透かし埋め込み処理装置の電子透かしレベル制御部、および電子透かし重畳部の構成例を示す図である。
【図２１】電子透かし埋め込み処理を実行するシステム構成例を示す図である。
【符号の説明】
１１ 電子透かし（ＷＭ）埋め込み対象データ
１２ 多階調処理部
１３ 電子透かし埋め込み処理部
１４ 電子透かし情報信号生成部
１５ データ変換部
１６ 電子透かし埋め込み済みデータ
５１ 電子透かし（ＷＭ）埋め込み対象データ
５２ 多階調処理部
５３ 電子透かし情報信号生成部
５４ 電子透かし埋め込み処理部
５５ データ変換部
１０１ 電子透かし（ＷＭ）埋め込み対象データ
１０２ 重畳部分選択部
１０３ 第１パラメータ設定部
１０４ 第２パラメータ設定部
１０６ 電子透かし（ＷＭ）レベル制御部
１０７ 電子透かし（ＷＭ）生成部
１０８ 電子透かし（ＷＭ）重畳部
１０９ 電子透かし（ＷＭ）埋め込み済みデータ
１１０ 付加情報
１１１ ユーザ入力部
１２１ スイッチ
２０１ ローパスフィルタ
２０２ バンドパスフィルタ
２０３ ハイパスフィルタ
３０１ エッジ検出部
５０１ 電子透かし埋め込み対象データ
６０１ 電子透かし検出対象画像
６０２ 電子透かしパターン生成キー記憶部
６０３ 電子透かしパターン生成部
６０４ 検出部
６０５ 検出情報
６５１ ＰＮａ発生部
６５２ スペクトラム拡散部
６５３ 付加情報発生部
７１０ 電子透かしレベル制御部
７１１ レベル制御部
７１２ リミッタ
７２０ 電子透かし重畳部
７２１ ＬＰＦ
７２２ 減算器
７２３，７２４ 加算器
７２５ ８ビット量子化部
７５０ 電子透かしレベル制御部
７５１ レベル制御部
７５２ リミッタ
７６０ 電子透かし重畳部
７６１ ＤＶＴ部
７６２ 加算器
７６３ 逆ＤＣＴ部
８０２ ＣＰＵ
８０３ ＲＯＭ
８０４ ＲＡＭ
８０５ ハードディスク
８０６ 出力部
８０７ 入力部
８０８ 通信部
８０９ ドライブ
８１０ リムーバフル記録媒体
８１１ キーボードマウスコントローラ
８１２ キーボード
８１３ マウス
８０６１ 表示装置
８０６２ スピーカ
８０７１ カメラ
８０７２ マイク
Claims (7)
- 電子透かし埋め込み処理を実行する電子透かし埋め込み処理装置であり、
電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定手段と、
前記重畳部分選択手段において分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定手段と、
前記第１パラメータ設定手段と前記第２パラメータ設定手段において決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定手段と、
電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成手段と、
前記電子透かし情報信号生成手段において生成した電子透かし情報に基づいて、前記出力アルゴリズム決定手段において決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御手段と、
電子透かし埋め込み対象データに対して多階調変換処理を実行し、該多階調変換処理により生成した低階調部に前記電子透かしレベル制御手段の出力する電子透かしパターンを埋め込む処理を実行する電子透かし重畳手段とを有し、
前記電子透かしレベル制御手段は前記電子透かし情報信号生成手段において生成した電子透かし情報を、前記低階調部に対応するデータレベルに変換することを特徴とする電子透かし埋め込み処理装置。 - 電子透かし埋め込み処理装置において電子透かし埋め込み処理を実行する電子透かし埋め込み処理方法であり、
重畳部分選択手段において、電子透かし埋め込み対象データのデータ領域を分割する重畳部分選択ステップと、
第１パラメータ設定手段において、前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定する第１パラメータ設定ステップと、
第２パラメータ設定手段において、前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定する第２パラメータ設定ステップと、
出力アルゴリズム決定手段において、前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定する出力アルゴリズム決定ステップと、
電子透かし情報信号生成手段において、電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成する電子透かし情報信号生成ステップと、
電子透かしレベル制御手段において、前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成する電子透かしレベル制御ステップと、
電子透かし重畳手段において、電子透かし埋め込み対象データに対して多階調変換処理を実行し、該多階調変換処理により生成した低階調部に前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを埋め込む処理を実行する電子透かし重畳ステップとを有し、
前記電子透かしレベル制御手段において実行する前記電子透かしレベル制御ステップは、前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報を、前記低階調部に対応するデータレベルに変換する処理を実行するステップを含むことを特徴とする電子透かし埋め込み処理方法。 - 前記重畳部分選択ステップは、
電子透かし埋め込み対象データのデータ領域を周波数特性に基づいて分割する処理を実行し、
前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、周波数特性に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。 - 前記重畳部分選択ステップは、
電子透かし埋め込み対象データのデータ領域をエッジ領域の判別に基づいて分割する処理を実行し、
前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、エッジ領域に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。 - 前記重畳部分選択ステップは、
電子透かし埋め込み対象データのデータ領域を時系列のデータフレームのフレーム単位での分割を実行し、
前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、データフレームに基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。 - 前記重畳部分選択ステップは、
電子透かし埋め込み対象データのデータ領域を空間位置情報に基づいて分割する処理を実行し、
前記第１パラメータ設定ステップ、または、前記第２パラメータ設定ステップの少なくともいずれかは、空間位置情報に基づいて分割されたデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から選択決定する処理を実行することを特徴とする請求項２に記載の電子透かし埋め込み処理方法。 - 電子透かし埋め込み処理装置において電子透かし埋め込み処理を実行させるコンピュータ・プログラムであって、
重畳部分選択手段において、電子透かし埋め込み対象データのデータ領域を分割させる重畳部分選択ステップと、
第１パラメータ設定手段において、前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から設定情報に基づいて選択決定させる第１パラメータ設定ステップと、
第２パラメータ設定手段において、前記重畳部分選択ステップにおいて分割した複数のデータ領域の各々に対して適用する電子透かし埋め込みアルゴリズムを、予め適用可能な複数のアルゴリズム中から、ユーザ指定情報に基づいて選択決定させる第２パラメータ設定ステップと、
出力アルゴリズム決定手段において、前記第１パラメータ設定ステップと、前記第２パラメータ設定ステップにおいて決定した、前記複数のデータ領域の各々に対する複数のアルゴリズムの合成処理、または前記設定情報に従った選択処理の少なくともいずれかの処理に基づいて実行アルゴリズムを設定させる出力アルゴリズム決定ステップと、
電子透かし情報信号生成手段において、電子透かしとして埋め込むべき付加情報に基づく電子透かし情報を生成させる電子透かし情報信号生成ステップと、
電子透かしレベル制御手段において、前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報に基づいて、前記出力アルゴリズム決定ステップにおいて決定した電子透かし埋め込みアルゴリズムを適用した電子透かしパターンを生成させる電子透かしレベル制御ステップと、
電子透かし重畳手段において、電子透かし埋め込み対象データに対して多階調変換処理を実行し、該多階調変換処理により生成した低階調部に前記電子透かしレベル制御ステップにおいて出力する電子透かしパターンを埋め込む処理を実行させる電子透かし重畳ステップとを有し、
前記電子透かしレベル制御手段において実行させる前記電子透かしレベル制御ステップは、前記電子透かし情報信号生成ステップにおいて生成した電子透かし情報を、前記低階調部に対応するデータレベルに変換する処理を実行させステップを含むことを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332439A JP4079620B2 (ja) | 2001-10-30 | 2001-10-30 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332439A JP4079620B2 (ja) | 2001-10-30 | 2001-10-30 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003134329A JP2003134329A (ja) | 2003-05-09 |
| JP2003134329A5 JP2003134329A5 (ja) | 2005-06-23 |
| JP4079620B2 true JP4079620B2 (ja) | 2008-04-23 |
Family
ID=19147856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001332439A Expired - Fee Related JP4079620B2 (ja) | 2001-10-30 | 2001-10-30 | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4079620B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2318919B1 (en) | 2008-08-19 | 2018-10-24 | ContentArmor | A propagation map for watermarking |
| KR101611375B1 (ko) | 2008-08-19 | 2016-04-11 | 톰슨 라이센싱 | 압축된 비디오에서 구문 요소의 ｃａｂａｃ/ａｖｃ 준수 워터마킹 |
| KR101633443B1 (ko) | 2008-08-19 | 2016-06-24 | 톰슨 라이센싱 | 휘도 평가 |
| EP2321904B1 (en) | 2008-08-19 | 2014-05-28 | Thomson Licensing | Context-based adaptive binary arithmetic coding (cabac) video stream compliance |
| BRPI0917635B1 (pt) | 2008-08-20 | 2021-06-29 | Contentarmor | Método para selecionar alterações para a formação de marcas dágua em um vídeo compactado |
| EP2321768B1 (en) * | 2008-08-20 | 2023-10-04 | ContentArmor | Blockiness and fidelity in watermarking |
| WO2011100048A1 (en) | 2010-02-09 | 2011-08-18 | Thomson Licensing | Watermark detection using a propagation map |
| WO2017131267A1 (ko) * | 2016-01-29 | 2017-08-03 | 주식회사 트리니티랩 | 가청 주파수 대역 오디오 신호를 이용한 디지털 정보 스텔스 방법 |
| KR101959479B1 (ko) * | 2017-10-27 | 2019-03-18 | 주식회사 두잉랩 | 워터 마킹 방법 및 검출 방법 |
-
2001
- 2001-10-30 JP JP2001332439A patent/JP4079620B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003134329A (ja) | 2003-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003134330A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム | |
| JP3214555B2 (ja) | 電子透かし挿入装置 | |
| JP4026933B2 (ja) | 情報処理装置及び方法並びに記録媒体 | |
| JP4088622B2 (ja) | Ｗｍ信号生成装置、ｗｍ信号生成方法、ｗｍ信号生成方法を実行するためのコンピュータ実行可能なプログラムおよび該プログラムを記録したコンピュータ可読な記録媒体、電子透かし埋め込み装置、および該電子透かし埋め込み装置を含むディジタル・テレビ装置 | |
| JP4027542B2 (ja) | デジタル・オブジェクト用電子透かし入れ方法 | |
| JP2002533961A (ja) | 電子透かし信号をデータに挿入する方法 | |
| JP3861623B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
| JP2002503431A (ja) | 信号への補助データ埋込み | |
| JPH1198341A (ja) | 電子透かし重畳装置及び電子透かし検出装置 | |
| CA2299123A1 (en) | Additional information embedding method, additional information detecting method, additional information embedding apparatus and additional information detecting apparatus | |
| JP4079620B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム | |
| JP2003304388A (ja) | 付加情報検出処理装置、コンテンツ再生処理装置、および方法、並びにコンピュータ・プログラム | |
| JP3861624B2 (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
| JP3353691B2 (ja) | デジタルデータのエンコードシステム及び電子透かしデータ挿入方法並びに制御プログラムを格納した記憶媒体 | |
| JP2002539487A (ja) | 信号処理方法及び装置 | |
| JP3775016B2 (ja) | 送信及び／又は記録装置、受信及び／又は再生装置、送受信／記録再生装置、送受信システム、送信及び／又は記録方法、受信及び／又は再生方法、伝送方法、並びに、記録媒体 | |
| CA2288585A1 (en) | Copy generation management method, information signal recording apparatus, information signal outputting apparatus, and information signal reproducing apparatus | |
| JP3269014B2 (ja) | 統計的性質を用いたデータ・ハイディング方法及びシステム | |
| JP2002320085A (ja) | 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、プログラム | |
| Singhal et al. | Audio watermarking using combination of multilevel wavelet decomposition, DCT and SVD | |
| JP2003134328A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム | |
| Guan et al. | An objective comparison between spatial and DCT watermarking schemes for MPEG video | |
| JP2002359805A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
| JP2002057883A (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| Luo et al. | JPEG domain watermarking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060328 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |