JP3606425B2 - 画像データ処理装置および方法、並びに記録媒体 - Google Patents
画像データ処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3606425B2 JP3606425B2 JP24807998A JP24807998A JP3606425B2 JP 3606425 B2 JP3606425 B2 JP 3606425B2 JP 24807998 A JP24807998 A JP 24807998A JP 24807998 A JP24807998 A JP 24807998A JP 3606425 B2 JP3606425 B2 JP 3606425B2
- Authority
- JP
- Japan
- Prior art keywords
- watermark
- image data
- evaluation value
- phase
- accompanying information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ処理装置および方法、並びに記録媒体に関し、特に、より確実に、付随情報を読み出すことができるようにした、画像データ処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
特定の画像データ（静止画像あるいは動画像シーケンス）に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この代表的な例として、著作権情報の付加が挙げられる。
【０００３】
不特定の利用者が特定の画像データを利用することが可能である場合、その画像に対して著作権を持つ者が、その権利を主張するためには、あらかじめ著作権情報を画像データ中に付加しておく必要がある。著作権情報を付加することにより、画像の再生装置あるいは再生方法の処理手順の中で、その画像データを表示不可とすべき著作権情報が検出された場合には、その画像データの表示を行わない等の対策を講じることが可能となる。
【０００４】
上述の著作権情報の付加、あるいは検出は、現在、ビデオテープの不正コピー防止等でよく利用されている。近頃は、ビデオテープのレンタルを行う店も多いが、多くの利用者が、店から低価格で借りたビデオテープを不正にコピーして楽しんだ場合、そのビデオテープの著作権を持つ者およびビデオテープのレンタルを行う店の損害は甚大である。
【０００５】
ビデオテープには、画像データがアナログ的に記録されているため、コピーを行なった場合に画質が多少なりとも劣化する。そのため、コピーが複数回繰り返された場合、元々保持されていた画質を維持することは非常に困難となる。
【０００６】
これに対し、デジタル的に画像データを記録し、再生する機器等においては、不正コピーによる損害はさらに大きなものとなる。それは、画像データをデジタル的に扱う機器等では、原理的にコピーによって画質が劣化することがないためである。そのため、デジタル的に処理を行う機器等における不正コピー防止は、アナログの場合と比べてはるかに重要である。
【０００７】
画像データに付随する情報をその画像データ中に付加する方法は、主に２通りある。
【０００８】
第１の方法は、画像データの補助部分に付加する方法である。例えばビデオテープでは、図１８に示したように、その画像データの補助的情報が、表示画面には実質的に表示されない画面上部（補助部分）に記録されている。この領域の一部を利用して、付随情報を付加することが可能である。
【０００９】
第２の方法は、画像データの主要部分（実質的に表示される部分）に付加する方法である。これは、図１９に示したように、ある特定のパターン（ウォータマーク（Ｗａｔｅｒ Ｍａｒｋ）パターン）を、視覚的に感知できない程度に、画像の全体あるいは一部に付加するものである。この具体例として、乱数やＭ系列等を用いて発生させた鍵パターンを利用して、情報の付加あるいは検出を行うスペクトラム拡散等がある。
【００１０】
以下では、ウォータマークパターンを用いた場合の画像データの主要部分への付随情報の付加あるいは検出の一例を述べる。図２０乃至図２３にこの具体例を示した。
【００１１】
図２０に示すような、４ｎ×４ｎ個の画像に対応するウォータマークパターンを用いると仮定する。ウォータマークパターンは、それぞれの画素について、プラスまたはマイナスの２つのシンボルのいずれかを取る。ウォータマークパターンはまた、２つのシンボルのいずれかをランダムに取る方が望ましく、その領域の形状、大きさは任意で構わない。
【００１２】
ウォータマークを付加する際には、付加を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素には値ａを加算し、マイナスのシンボルが対応する画素からは値ｂを減算する。ａ，ｂ共に、任意の値で構わないが、そのウォータマークパターンを通じて一定にするべきである。
【００１３】
図２１乃至図２３の例では、ａ＝１，ｂ＝１に設定しており、図２１に示すように、付加を行う対象となる領域の画素値が全て１００の場合には、ウォータマークに対応する埋め込み操作により１０１と９９の画素値が形成される。
【００１４】
ウォータマークを検出する際には、検出を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。この領域の画素値の全てを合計した値を評価値として用いる。画素値の全てを合計する際には、設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素については加算、マイナスのシンボルが対応する画素については減算を適用する。図２２の例では、画素値１０１の画素は加算され、画素値９９の画素は減算され、それらの演算結果が加算される。この時、ウォータマークを付加する際に用いたウォータマークパターンと同じパターンを用いなければ、ウォータマークを正しく検出することはできない。このような検出操作により、例えば図２２に示すように、ウォータマークが付加されている場合の評価値は（４ｎ）＾２（領域に含まれる画素数の数と同じ）になり、図２３に示すように、ウォータマークが付加されていない場合の評価値は０となる。
【００１５】
ウォータマークパターンの領域が充分に広く、かつウォータマークパターンが充分にランダムである場合、ウォータマークが付加されていない場合の評価値は常にほぼ０となる。そのため、評価値がある一定の閾値を超えた場合には、ウォータマークが付加されていると判別することができる。上記の手順により、ウォータマークが付加されているか否かという２値の情報（１ビット）を付加することが可能となる。より多くの情報を付加したい場合には、画像全体をｋ個の領域に分けて、それぞれ上記の操作を行う等の処理方法により、２＾ｋ通り（ｋビット）の情報を付加することができる。
【００１６】
ウォータマークパターンは、例えばＭ系列を用いて生成したものを利用することができる。Ｍ系列（最長符号系列）は、０と１の２値のシンボルからなる数列で、０と１の統計的分布は一定であり、符号相関は原点で１、その他では符号長に反比例するものである。もちろん、Ｍ系列以外の方法でウォータマークパターンを生成しても構わない。
【００１７】
画像データをデジタル的に記録し、再生する場合、そのままでは非常に情報量が多くなるため、データを圧縮するのが一般的である。画像データを圧縮する方法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（カラー静止画像符号化方式）、あるいはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（カラー動画像符号化方式）等の高能率符号化方法が国際的に標準化され、実用化に至っている。この高能率符号化によって画像データを圧縮する場合を例に取り、付随情報の付加および検出を行う構成例を次に説明する。
【００１８】
図２４には、エンコーダの構成を示した。ウォータマーク付加器１において、付随情報信号ｆが参照され、ウォータマークを付加する処理を行うか否かが決められ、ウォータマークを付加する処理を行うとされた場合、入力された画像データに、付随情報信号ｆが付加され、符号化器２に出力され、そこで、高能率符号化されて、符号化ビット列が生成される。
【００１９】
図２５には、デコーダの構成を示した。入力された符号化ビット列は、復号器２１において画像データに復元される。その後ウォータマーク検出器２２において付随情報信号ｆが検出される。
【００２０】
画像データを高能率符号化しない場合には、図２４の符号化器２、あるいは図２５の復号器２１を除いた構成が用いられる。
【００２１】
ウォータマーク付加器１とウォータマーク検出器２２の構成を、それぞれ図２６と図２７に示した。
【００２２】
図２６のウォータマーク付加器１では、入力された画像データは、付随情報信号ｆがｏｎである場合、ウォータマークパターン保持メモリ１２に記録されているウォータマークパターンを用いて、ウォータマーク画像生成器１１でウォータマークが付加される。付随情報信号ｆがｏｆｆである場合には、ウォータマーク画像生成器１１は、入力された画像データをそのまま出力する。この場合、付随情報信号ｆは、例えば、１ビットの信号であり、ｏｎまたはｏｆｆであることを示す情報が含まれている。
【００２３】
ウォータマーク付加器１で行なわれる一連の処理を図２８に示した。始めにステップＳ８１で、ウォータマークの付加レベルａ，ｂに、任意の値を設定する。ステップＳ８２では、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップＳ８３で、ウォータマークのシンボルの判定を行い、その画素が対応するウォータマークのシンボルがプラスである場合には、ステップＳ８４で、その画素にａを足す。その画素が対応するウォータマークのシンボルがマイナスである場合には、ステップＳ８５で、その画素からｂを引く。この処理を、ステップＳ８６で、対象領域の全画素について行われたと判定されるまで繰り返す。なお、ステップＳ８１で設定された、ａ，ｂの値は、処理が終了されるまで、変更されることはない。
【００２４】
図２７のウォータマーク検出器２２では、入力された画像データは、ウォータマークパターン保持メモリ３２に記録されているウォータマークパターンを用いて、評価値算出器３１で評価値が算出される。ウォータマークパターン保持メモリ３２には、ウォータマーク付加器１のウォータマークパターン保持メモリ１２に記憶されているウォータマークパターンと同一のウォータマークが保持されている。算出された評価値は、評価値比較器３３で閾値処理され、付随情報信号ｆが出力される。また、入力された画像データは、画像変換器３４を介して、そのまま、または加工あるいは所定の処理が施されて出力される。このことについては、後で述べる。
【００２５】
ウォータマーク検出器２２で行なわれる一連の処理を図２９に示した。始めに、ステップＳ９１で、評価値ｓｕｍの初期化および閾値ｔｈの設定を行う。ステップＳ９２でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップＳ９３で、その画素が対応するウォータマークのシンボルがプラスであると判定された場合には、ステップＳ９４で、評価値ｓｕｍにその画素値を足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ９５で、評価値ｓｕｍからその画素値を引く。この処理をステップＳ９６で、対象領域の全画素について行ったと判定されるまで繰り返す。その後、ステップＳ９７で、評価値ｓｕｍと閾値ｔｈとを比較し、ｓｕｍ＞ｔｈである場合には、ウォータマークが付加されているとみなして、ステップＳ９８で、付随情報信号ｆをｏｎにする。そうでない場合には、ステップＳ９９で付随情報信号ｆをｏｆｆにする。
【００２６】
付随情報信号ｆは、例えば不正コピーを防止する場合には、以下のように利用される。図２５のデコーダの場合を例にすると、出力される画像データおよび付随情報信号ｆは、図示せぬ画像表示部に渡される。画像表示部では、付随情報信号ｆがｏｎである場合にはそのまま画像を表示するが、付随情報信号ｆがｏｆｆである場合には、例えば画像を表示しない、画像データの主要領域を表示しない、画像にスクランブルを掛ける（受けとった画像データをでたらめに表示する）等の加工あるいは処理を行う。あるいは、図２７のウォータマーク検出器２２に示した画像変換器３４を設け、付随情報信号ｆに応じてこのような画像データの加工あるいは処理を行うように構成することもある。
【００２７】
【発明が解決しようとする課題】
画像データに付随する情報をその画像データ中に付加する上述の２通りの方法には、以下のような問題がある。
【００２８】
画像データの補助部分に付随情報を付加する第１の方法においては、付随情報が付加された補助部分が無視された場合、不正コピー等の問題を事前に防ぐことは困難となる。例えばデジタル的に記録された画像データを市販のパーソナルコンピュータに読み込ませ、補助部分を無視して主要部分のみを切り出してコピーを行なった場合、その画質はコピーを行う以前と完全に同一のものとなる。この場合、補助部分に付随情報を付加した意味は、完全に失われる。
【００２９】
画像データの主要部分に付随情報を付加する第２の方法では、例えば上記の第１の方法において示したコピーの手順等によって、付加された付随情報が消えてなくなることはない。しかし、画像データに対してノイズ低減フィルタ等の種々の信号処理を施した場合、付加された付随情報成分が減衰して抽出不可能となることがある。
【００３０】
特に、元々の画像データ自体がＪＰＥＧあるいはＭＰＥＧ等の高能率符号化を用いて圧縮されている場合、その量子化処理に起因して悪影響が出ることが多い。付加された付随情報成分は、これらの高能率符号化の量子化処理によって、視覚的に感知可能な程度にまで増幅されて、画質が低下したり、抽出不可能な程度にまで減衰されて本来の意味を失ったりすることがある。
【００３１】
付随情報の成分がこれらの信号処理によって変化しないように、画像中の特別な領域を用いて付随情報を付加する方法もある。しかし、そのような領域は画像シーケンス全体から見て一部分しかないため、ウォータマークパターンの領域を充分に広くとることができない。そのため、付随情報が付加されていない場合であっても、評価値が０以外の大きな値となるため、ある一定の閾値を超えた場合に付随情報が付加されていると判別する絶対的評価基準を用いると、付随情報の検出は非常に困難となる。
【００３２】
さらに、付随情報の付加を行う領域が画像シーケンス全体から見て一部分に過ぎない場合、複数の情報を付加することは極めて困難となる。例えば、画像全体をｋ個の領域に分けて付随情報を付加した場合、個々の領域に対するウォータマークパターンの領域は、その領域数に応じてさらに狭くなるため、付随情報はほぼ検出不可能となる。
【００３３】
なお、上述のこれら問題は、動画像シーケンスにおいて特に顕著となる。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、本来の画像データに大きな影響を与えることなく、付随情報を確実に検出することができるようにするものである。
【００３５】
【課題を解決するための手段】
本発明の第１の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段とを備えることを特徴とする。
【００３６】
生成手段は、記憶手段に記憶されているウォータマークのパターンの位相と異なる少なくとも２種類の位相のウォータマークを生成することができる。
【００３７】
各手段は、複数個の画素で構成されるブロック単位で各処理を行うことができる。
【００３８】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段をさらに設けることができる。
【００３９】
本発明の第１の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップとを含むことを特徴とする。
【００４０】
本発明の第１の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値が求められ、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報が検出される。
【００４１】
本発明の第２の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段とを備えることを特徴とする。
【００４２】
本発明の第２の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップと、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶ステップと、検出ステップの処理で検出された付随情報、および記憶ステップの処理で記憶されたウォータマークのパターンと生成ステップの処理で生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶ステップの処理で記憶された所定の情報を選択する選択ステップとを含むことを特徴とする。
【００４３】
本発明の第２の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値が求められ、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報が検出され、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係が記憶され、検出された付随情報、および記憶されたウォータマークのパターンと生成されたウォータマークのパターンとの位相差が割り当てられて記憶された所定の情報が選択される。
【００４４】
本発明の第３の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶手段と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段と、ウォータマークのパターンを記憶する第２の記憶手段と、第２の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段とを備えることを特徴とする。
【００４５】
複数の付随情報に、それぞれ所定の情報を割り当てることができる。
【００４６】
本発明の第３の画像データ処理方法は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶ステップと、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択ステップと、ウォータマークのパターンを記憶する第２の記憶ステップと、第２の記憶ステップの処理で記憶されたウォータマークのパターンを読み出し、選択ステップの処理で選択された位相を設定する位相設定ステップと、位相設定ステップの処理で設定された位相のウォータマークを、画像データに付加する付加ステップとを含むことを特徴とする。
【００４７】
本発明の第３の画像データ処理装置および方法においては、複数の付随情報とウォータマークの位相との対応関係を示す対応表が記憶され、入力された付随情報に対応するウォータマークの位相が、対応表から選択され、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンが読み出され、選択された位相が設定され、設定された位相のウォータマークが、画像データに付加される。
【００４８】
本発明の記録媒体には、複数の付随情報のうちの所定のものに対応する位相のウォータマークが付加されている画像データが記憶されていることを特徴とする。
【００４９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００５０】
本発明の第１の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段（例えば、図３のウォータマークパターン保持メモリ３２）と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段（例えば、図３のウォータマークパターンずらし器７１−１，７１−２）と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段（例えば、図３の評価値算出器３１−１）と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段（例えば、図３の評価値算出器３１−２，３１−３）と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段（例えば、図３の評価値比較器３３）とを備えることを特徴とする。
【００５１】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段（例えば、図３の画像変換器３４）をさらに設けることができる。
【００５２】
本発明の第２の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段（例えば、図１１のウォータマークパターン保持メモリ３２）と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段（例えば、図１１のウォータマークパターンずらし器７１−１，７１−２）と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段（例えば、図１１の評価値算出器３１−１）と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段（例えば、図１１の評価値算出器３１−２，３１−３）と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段（例えば、図１１の評価値比較器３３）と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段（例えば、図１１の対応表保持メモリ９３）と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段（例えば、ウォータマーク特定器９２）とを備えることを特徴とする。
【００５３】
本発明の第３の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表（図８の対応表）を記憶する第１の記憶手段（例えば、図９の対応表保持メモリ８２）と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段（例えば、図９のウォータマーク特定器８１）と、ウォータマークのパターンを記憶する第２の記憶手段（例えば、図９のウォータマークパターン保持メモリ１２）と、第２の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段（例えば、図９のウォータマーク位相ずらし器８３）と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段（例えば、図９のウォータマーク画像生成器１１）とを備えることを特徴とする。
【００５４】
図１は、本発明を適用したエンコーダの構成例を表しており、図２４に示した場合と対応する部分には、同一の符号を付してある。その基本的な構成は、図２４に示した場合と同様であるが、図１には、符号化器２のより具体的な構成例を表している。この例においては、符号化器２は、フレームメモリ４１を備えており、フレームメモリ４１は、ウォータマーク付加器１より供給された画像データをフレーム単位で記憶するようになされている。動きベクトル検出器５０は、フレームメモリ４１に記憶された画像データから、動きベクトルｖを検出し、検出結果を動き補償器４３と可変長符号化器４６に出力している。動きベクトル検出器５０においては、１６×１６画素で構成されるマクロブロック単位でブロックマッチング処理が行われ、動きベクトルｖが検出される。また、より高い精度を実現するために、半画素単位でのマッチング処理も行われる。
【００５５】
動き補償器４３は、フレームメモリを内蔵しており、符号化すべき現在のフレームの各位置の画素値を、既に符号化が行われ、それを復号して得られた、内蔵するフレームメモリに保存されている画像から予測する。時刻ｔにおいて入力されたフレームの位置（ｉ，ｊ）における画素値Ｉ｛ｉ，ｊ，ｔ｝の予測値Ｉ’｛ｉ，ｊ，ｔ｝は、その位置に対応する動きベクトルｖ＝（ｖｘ（ｉ，ｊ，ｔ），ｖｙ（ｉ，ｊ，ｔ））を用いて、次式のように決定される。
Ｉ’｛ｉ，ｊ，ｔ｝＝（Ｉ｛ｉ’，ｊ’，ｔ−Ｔ｝＋Ｉ｛ｉ’＋１，ｊ’，ｔ−Ｔ｝＋Ｉ｛ｉ’，ｊ’＋１，ｔ−Ｔ｝＋Ｉ｛ｉ’＋１，ｊ’＋１，ｔ−Ｔ｝）／４
【００５６】
なお、ここで、ｉ’とｊ’は次式で表される。
ｉ’＝ｉｎｔ（ｉ＋ｖｘ（ｉ，ｊ，ｔ）Ｔ）
ｊ’＝ｉｎｔ（ｊ＋ｖｙ（ｉ，ｊ，ｔ）Ｔ）
【００５７】
ここでＴは、現在予測を行っている画像Ｉが入力された時刻と、フレームメモリ上に記憶されている画像が入力された時刻の差を表し、上記式の右辺のＩ｛ｉ’，ｊ’，ｔ−Ｔ｝，Ｉ｛ｉ’＋１，ｊ’，ｔ−Ｔ｝，Ｉ｛ｉ’，ｊ’＋１，ｔ−Ｔ｝，Ｉ｛ｉ’＋１，ｊ’＋１，ｔ−Ｔ｝は、動き補償器４３に内蔵されているフレームメモリ上の画素値を表す。また、ｉｎｔ（ｘ）は、ｘを超えない最大の整数値を表している。
【００５８】
減算器４２は、フレームメモリ４１より供給される、現在符号化すべき画素の値から、動き補償器４３より供給される動きベクトルｖに基づき、動き補償することにより算出された予測値を減算し、ＤＣＴ器４４に出力している。ＤＣＴ器４４は、減算器４２より入力された差分値で構成される８×８画素のブロックに対して２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理を施す。量子化器４５は、ＤＣＴ器４４より入力されたＤＣＴ係数ｃに対して、適当なステップサイズＱを用いて、次式に従って量子化処理を行う。
ｃ’＝ｉｎｔ（ｃ／Ｑ）
【００５９】
量子化器４５により量子化されたＤＣＴ係数ｃ’は、可変長符号化器４６と逆量子化器４７に供給される。可変長符号化器４６は、量子化器４５により量子化されたＤＣＴ係数ｃ’と動きベクトル検出器５０より供給された動きベクトルｖを可変長符号化し、符号ビット列を出力する。
【００６０】
逆量子化器４７は、量子化器４５で用いられたステップサイズと同一のステップサイズＱを用いて、次式に示されるように逆量子化処理を行う。
ｃ”＝ｃ’×Ｑ
【００６１】
逆量子化器４７で逆量子化されたデータは、ＩＤＣＴ器４８に入力され、逆ＤＣＴ処理が施され、画素値の差分値が復元される。
【００６２】
ＩＤＣＴ器４８の出力する差分値は、動き補償器４３が出力する予測値と加算器４９により加算され、もとの画素値のデータとなり、動き補償器４３に内蔵されているフレームメモリに記憶される。
【００６３】
次に、その動作について説明する。デジタル化されている画像データは、ウォータマーク付加器１に入力され、付随情報信号ｆに対応してウォータマークが付加される。ウォータマーク検出器２２の構成と、その処理については、図３を参照して後述する。
【００６４】
ウォータマーク付加器１によりウォータマークが付加された画像データは、フレームメモリ４１に供給され、フレーム単位で記憶される。動きベクトル検出器５０は、フレームメモリ４１に記憶されている画像データの動きベクトルｖを検出する。動き補償器４３は、内蔵するフレームメモリに記憶されている参照フレームの画像データに対して動き補償を施し、予測画像データを生成して、減算器４２に供給する。減算器４２は、フレームメモリ４１より供給された画像データから動き補償器４３より供給された予測画像データを減算し、その減算結果をＤＣＴ器４４に供給する。ＤＣＴ器４４は、入力された差分値の画像データをＤＣＴ係数に変換する。量子化器４５は、ＤＣＴ器４４より供給されたＤＣＴ係数を量子化し、可変長符号化器４６に出力する。可変長符号化器４６は、入力された量子化データを可変長符号に変換し、符号ビット列として、図示せぬ伝送路に伝送したり、記録媒体に供給し、記録させる。
【００６５】
量子化器４５より出力された量子化データは、逆量子化器４７で逆量子化され、ＩＤＣＴ器４８に供給される。ＩＤＣＴ器４８は、入力されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分値の画像データを出力する。この差分値の画像データは、動き補償器４３より読み出された予測画像データに、加算器４９で加算され、もとの画像データに復元されて、動き補償器４３の内蔵するフレームメモリに記憶される。
【００６６】
なお、可変長符号化器４６は、動きベクトル検出器５０より供給された動きベクトルｖも可変長符号に変換し、出力する。
【００６７】
なお、第１の実施の形態のウォータマーク付加器１は、上述した場合と同様に、例えば、図２６に示すように構成され、図２０乃至図２３を参照して説明したように、付随情報信号ｆがｏｆｆであるとき、ウォータマークを付加せず、ｏｎであるとき、ウォータマークが付加する処理を実行する。
【００６８】
図２は、図１に示すエンコーダによりエンコードされた符号ビット列をデコードするデコーダの構成例を表している。この図２も、図２５に示す場合と対応する部分には同一の符号を付してある。この構成例においては、復号器２１の逆可変長符号化器６１が、入力された符号ビット列を逆可変長符号化処理（可変長復号化処理）して、復号した画像データ（ＤＣＴ係数）を逆量子化器６２に出力し、復号した動きベクトルｖを動き補償器６５に出力するようになされている。逆量子化器６２は、入力されたＤＣＴ係数を逆量子化し、ＩＤＣＴ器６３に出力している。ＩＤＣＴ器６３は、入力された、逆量子化されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分値の画像データに復元して、加算器６４に出力している。
【００６９】
動き補償器６５は、内蔵するフレームメモリに記憶されている画像データに対して逆可変長符号化器６１より供給される動きベクトルｖに基づいて動き補償を施し、予測画像を生成し、加算器６４に出力している。加算器６４は、この予測画像に対して、ＩＤＣＴ器６３より供給された差分値を加算し、もとのフレーム画像を復元して出力するようになされている。
【００７０】
加算器６４の出力は、動き補償器６５に内蔵されているフレームメモリに供給され、記憶されるとともに、ウォータマーク検出器２２に供給されるようになされている。ウォータマーク検出器２２は、入力された画像データから付随情報信号ｆを検出し、出力するとともに、もとの画像データを出力するようになされている。
【００７１】
次に、その動作について説明する。逆可変長符号化器６１は、入力された符号ビット列を逆可変長符号化処理し、復号されたＤＣＴ係数を逆量子化器６２に出力する。逆量子化器６２は、入力されたＤＣＴ係数を逆量子化し、ＩＤＣＴ器６３に出力する。ＩＤＣＴ６３は、入力されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分画像データを出力する。
【００７２】
動き補償器６５は、内蔵するフレームメモリに記憶されている、既に復元されている画像データに対して、逆可変長符号化器６１より供給される動きベクトルｖに基づいて動き補償を施し、予測画像データを生成して加算器６４に出力する。加算器６４は、この予測画像データに対してＩＤＣＴ器６３より供給される差分値の画像データを加算し、もとの画像データを復元する。もとの画像データは、次の予測画像生成のために、動き補償器６５のフレームメモリに供給され、記憶される。
【００７３】
また、加算器６４より出力された画像データは、ウォータマーク検出器２２に供給され、ウォータマークが検出される。
【００７４】
図２に示すウォータマーク検出器２２は、例えば、図３に示すように構成されている。なお、同図において、図２７に示した場合と対応する部分には、同一の符号を付してある。復号器２１の加算器６４より出力された画像データは、複数（この実施の形態の場合３個）の評価値算出器３１−１乃至３１−３に入力される。ウォータマークパターン保持メモリ３２には、ウォータマーク付加器１のウォータマークパターン保持メモリ１２（図２６）に保持されているウォータマークと同一のウォータマークが保持されている。ウォータマークパターンずらし器７１−１は、ウォータマークパターン保持メモリ３２より読み出されたウォータマークを、ずらし量ｉだけずらして評価値算出器３１−２に供給する。同様に、ウォータマークパターンずらし器７１−２は、ウォータマークパターン保持メモリ３２より読み出されたウォータマークのパターンを、ずらし量ｊだけずらして、評価値算出器３１−３に供給している。評価値算出器３１−１には、ウォータマークパターン保持メモリ３２より読み出されたウォータマークが、ずらし量０だけずらされて（即ち、実質的にはずらされないで）、供給されている。
【００７５】
評価値算出器３１−１乃至３１−３は、供給されたウォータマークパターンに基づいて、画像データの評価値を演算し、演算された評価値を評価値比較器３３に出力している。評価値比較器３３は、入力された評価値を閾値演算して、付随情報信号ｆを出力する。
【００７６】
画像変換器３４は、入力された画像データに対して評価値比較器３３が出力する付随情報信号ｆに対応した所定の処理を施し、出力する。
【００７７】
次に、図４と図５のフローチャートを参照して、ウォータマーク検出器２２の動作について説明する。最初に、ステップＳ１において、評価値比較器３３は閾値ｔｈに所定の値を設定する。次に、ステップＳ２において、評価値算出器３１−１における、ずらし量０のウォータマークパターンを用いた場合の、現在のフレームの画像に対する評価値ｓｕｍｎを求める処理が開始される。ステップＳ３では、評価値算出器３１−１において、評価値演算処理が実行される。この評価値演算処理の詳細は、図５に示されている。
【００７８】
評価値演算処理においては、最初にステップＳ２１において、評価値ｓｕｍに０が初期設定される。次に、ステップＳ２２において、対象の画素Ｘとずらし量ｚ（いまの場合、ずらし量０）のウォータマークパターンとが照合される。そして、ステップＳ２３において、ウォータマークのシンボルがプラスであるかマイナスであるかが判定される。ウォータマークのシンボルがプラスである場合には、ステップＳ２４に進み、画素Ｘの画素値ｘを評価値ｓｕｍに加算する処理が実行される。ウォータマークのシンボルがマイナスである場合には、ステップＳ２５において、評価値ｓｕｍから画素値ｘを減算する処理が実行される。
【００７９】
次に、ステップＳ２６において、対象領域のすべての画素について同様の処理を実行したか否かが判定される。まだ、処理を行っていない画素が存在する場合には、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。例えば、ウォータマークパターンが、図２０に示すようなパターンである場合、４ｎ×４ｎ個の画素すべてについて同様の処理が実行されたか否かが判定される。すべての画素についての処理が完了したと判定された場合には、ステップＳ２７に進み、ステップＳ２４，Ｓ２５で演算された評価値ｓｕｍが、評価値ｓｕｍｎに設定される。
【００８０】
次に、図４のステップＳ４に進み、評価値算出器３１−２において、ずらし量ｉのウォータマークパターンで評価値ｓｕｍｉを求める演算が開始される。そして、ステップＳ５に進み、評価値算出器３１−２において、評価値演算処理が実行される。この評価値演算処理は、ステップＳ３において行われた評価値演算処理と実質的に同様の処理となる。即ち、図５のフローチャートに示す処理が、上述した場合と同様に実行される。ステップＳ２７で得られた評価値ｓｕｍが、評価値ｓｕｍｉとされる。
【００８１】
次に、ステップＳ６に進み、評価値算出器３１−３において、ずらし量ｊのウォータマークパターンで、評価値ｓｕｍｊを求める処理が開始される。そして、ステップＳ７において、評価値演算処理が実行される。この評価値演算処理も、ステップＳ３とステップＳ５に示した場合と同様の処理である。即ち、図５のフローチャートに示す処理が実行される。そして、そのステップＳ２７において得られた評価値ｓｕｍが、評価値ｓｕｍｊとされる。
【００８２】
評価値算出器３１−１乃至３１−３で演算された評価値ｓｕｍｎ，ｓｕｍｉ，ｓｕｍｊは、評価値比較器３３に入力される。評価値比較器３３は、ステップＳ８において、入力された３つの評価値に対してメディアンフィルタ処理を施す。即ち、３つの評価値ｓｕｍｉ，ｓｕｍｎ，ｓｕｍｊを小さいものから順番に配置し、その中間の大きさのものを選択し、その評価値を基準値ｓｕｍｍｅｄに設定する。そして、ステップＳ９において、評価値比較器３３は、標準的な評価値としての基準値ｓｕｍｍｅｄと、実際の評価値ｓｕｍｎとの差分の絶対値を求め、その絶対値をステップＳ１で設定した閾値ｔｈと比較する。差分の絶対値の値が、閾値ｔｈより大きい場合には、ウォータマークが付加されているものとして、ステップＳ１０において、付随情報信号ｆをｏｎにする。これに対して、差分の絶対値が、閾値ｔｈと等しいか、それより小さいと判定された場合には、ステップＳ１１に進み、ウォータマークが付加されていないものとして、付随情報信号ｆをｏｆｆにする。
【００８３】
ウォータマークパターンをずらす際には、図６に示すように、例えば１画面分の（ｋ個分の画素で構成される）ウォータマークのパターンを、画像の走査順に従って、１画素分だけずらす方法等がとられる。なお、図６において、白い領域（画素）は、＋のシンボルを表し、黒い領域（画素）は、−のシンボルを表している。この時ずらす単位は、１画素単位に限らず、任意の単位でずらして良い。ずらし量は、ｉ＞０，ｊ＜０，｜ｉ｜＝｜ｊ｜のように、ずらし量０を中心に前後に同じ量だけずらす方が良いが、任意のずらし量で構わない。また、上記のようなずらし方に限定されるわけではなく、これ以外の方法でずらしても構わない。
【００８４】
ウォータマークパターンをずらして評価値を求める理由は以下の通りである。即ち、例えば、Ｍ系列を用いてウォータマークパターンを生成した場合、０あるいは周期分以外の位置（位相）に任意にずらしたウォータマークパターンと、元のウォータマークパターンとの相関は非常に低くなる。言い換えれば、付加レベルを付加した時に用いたウォータマークパターンに対して、少しでもずらしたウォータマークパターンを用いて検出を行うと、評価値のバイアス成分（ウォータマークが付加されている場合の評価値とウォータマークが付加されていない場合の評価値との差）は、ほぼ０となる。例えば図２２と図２３に示す場合において、ずらしたウォータマークパターンを用いて検出を行うと、評価値（４ｎ）＾２はほぼ０となる。
【００８５】
そのため、ウォータマークパターンをずらして求めた評価値は、ウォータマークパターンが付加されていない場合の標準的な評価値とほぼ等しいとみなすことができる。従って、ウォータマークパターンをずらして求めた評価値と、ずらし量０の時の評価値とを比較することができるため、即ち、相対的評価基準を利用することができるため、ウォータマークの検出を容易に行うことができる。これにより、ウォータマークが埋め込まれていない場合の評価値がほぼ ０ となるような、充分に広い領域のウォータマークパターン（Ｍ系列なら、高次の系列）を用いなくても、狭い領域のウォータマークパターン（Ｍ系列なら、低次の系列）を用いるだけで、ウォータマークの検出を確実に行うことができる。
【００８６】
図６に示すような、前後１つずつのずらし量だけでなく、それぞれ複数のずらし量を用い、それらについて求めた全てあるいは一部の評価値に対して、フィルタ等を用いて標準的な評価値を構成しても構わない。それとは逆に、例えば前または後ろのずらし量だけを用いるというように、どちらか一方のずらし量だけを用いて、標準的な評価値を構成しても良い。
【００８７】
また、ずらし量を小数精度に設定した場合、ウォータマークパターンあるいは対象領域の画素を補間して、評価値を求めることにしても良い。
【００８８】
現フレームの画像に対する標準的な評価値ｓｕｍｍｅｄを求める際には、どのような処理方法を用いても良い。先の例ではメディアンフィルタを用いるようにしたが、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部あるいは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−２および−１ずらした時の評価値の推移から、ずらし量０の時の評価値を予測あるいは外挿するというような、より複雑な処理方法も含まれる。
【００８９】
また、標準的な評価値および実際の評価値を用いて閾値との比較を行う際には、先に示した比較方法以外のどのような比較方法を用いても良い。例えば、評価値のバイアス成分Ｂ（図２２と図２３の例では（４ｎ）＾２）が一定であることを利用して、どの程度バイアス成分が保持されているとみなすかを示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行なっても良い。
【００９０】
例えば、前にｉずらした時の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きく、しかも後にｊずらした時の評価値よりも、ずらし量０の時の評価値もＢ×ｃだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。あるいは、ｉ，ｊのいずれかにずらした時の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。
【００９１】
ウォータマークのシンボルは、プラス、マイナス以外のどのようなシンボルを用いても良い。また、２種類ではなく、３種類以上のどのようなシンボルを用いても良い。例えば、プラス、ゼロ、マイナスの３種類のシンボルを用意しておき、ウォータマークパターンとの照合を行なった際に、シンボルがゼロである画素については、評価値 ｓｕｍ に影響を与えない（その画素値を評価値 ｓｕｍ に足しも引きもしない）ようにするなど、各シンボルにどのような意味を与えても良い。
【００９２】
ウォータマークパターンを画像上に付加する領域は、任意の形状および範囲で構わない。また、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状および範囲は任意で構わない。さらにウォータマークパターンは、時間的あるいは空間的に渡るより広い領域を用いて、付加あるいは検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームを利用しても良い。例えば非常に大きな画像サイズを持つ静止画像においては、１枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域を利用しても良い。
【００９３】
第２の実施の形態として、ウォータマークパターンのずらし位相という新たな指標を導入し、各ずらし位相の値に、複数の付随情報信号の中の所定のものを対応させるようにすることもできる。この場合、ウォータマークの位相を複数通りにずらすことで、その異なる位相のウォータマークのそれぞれに対応する情報を伝送することができる。
【００９４】
このようなずらし位相の概念が図７に示されている。長さｋの任意のウォータマークパターンを時計周りに並べ、最後のシンボルと起点のシンボルとを繋げて円状にした場合を例にする。ずらし位相ｒ１のウォータマークパターンは、起点から時計周りに８画素分だけずらして生成されるパターンである。ずらし位相ｒ２のウォータマークパターンは、起点から時計とは反対周りに−３画素分だけずらして生成されるパターンである。全てあるいは一部のずらし位相のそれぞれに異なる意味を持たせ、各ずらし位相の値に応じて付随情報信号の種類を特定する対応表を用意する。例えば、図８に示す対応表においては、ずらし位相ｒ１には、”コピー不可”であることを意味する、２ビットの付随情報信号ｇ（００）が対応し、ずらし位相ｒ２には、”１回コピー可能”を意味する付随情報信号ｇ（０１）が対応している。また、ずらし位相ｒ３には、”２回コピー可能”を意味する付随情報信号ｇ（１０）が対応し、ずらし位相ｒ４には、”３回コピー可能”を意味する付随情報信号ｇ（１１）が対応している。
【００９５】
この場合、図１のウォータマーク付加器１は、図９に示すように構成される。対応表保持メモリ８２には、上述した図８の対応表に示されるような、ずらし位相ｒと付随情報信号ｇとの対応関係（対応表）が記憶されている。ウォータマーク特定器８１は、対応表保持メモリ８２を参照し、入力された付随情報信号ｇに対応するずらし位相ｒを設定する。ウォータマークパターン位相ずらし器８３は、ウォータマークパターン保持メモリ１２に記録されているウォータマークパターンに対して、ずらし位相ｒの分だけ位相をずらしたウォータマークパターンを生成する。ウォータマーク画像生成器１１は、ずらされたウォータマークパターンを用いて、入力された画像データにウォータマークを付加する。
【００９６】
このウォータマーク付加器１では、図１０で示した一連の処理を行う。始めに、ステップＳ４１で、ウォータマーク特定器８１は、入力された付随情報信号ｇの種類を、対応表保持メモリ８２の対応表と照らし合わせて、ずらし位相ｒを設定し、ウォータマークパターン位相ずらし器８３に出力する。次に、ステップＳ４２において、ウォータマーク画像生成器１１は、ウォータマークの付加レベルａ，ｂに所定の値を設定する。なお、ｒ，ａ，ｂの設定は、どのような順番で行なっても良い。
【００９７】
次に、ステップＳ４３において、ウォータマーク画像生成器１１は、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてずらし位相ｒだけずらしたウォータマークパターンとの照合を行う。このとき、ウォータマークパターン位相ずらし器８３は、ウォータマークパターン保持メモリ１２に保持されているウォータマークを、ウォータマーク特定器８１より供給されたずらし位相ｒの分だけずらして、ウォータマーク画像生成器１１に供給する。ウォータマーク画像生成器１１は、ステップＳ４４において、ウォータマークのシンボルを判定し、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ４５で、その画素ｘにａを足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ４６で、その画素ｘからｂが減算される。この処理がステップＳ４７で、対象領域の全画素について行われたと判定されるまで繰り返される。
【００９８】
このようにして、ウォータマークのパターンの位相が、付随情報信号ｇに対応して設定される場合、図２のデコーダにおけるウォータマーク検出器２２は、図１１に示すように構成される。図１１において、図３における場合と対応する部分には同一の符号を付してある。この例においては、ウォータマークパターン保持メモリ３２が、ウォータマークパターンとずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］を記憶している。ウォータマークパターン位相ずらし器９１は、ウォータマークパターン保持メモリ３２より供給されたウォータマークのパターンをウォータマークパターン保持メモリ３２より供給されたずらし位相ｒ（ｒはＲの範囲内である）の分だけずらして、評価値算出器３１−１、ウォータマークパターンずらし器７１−１，７１−２に出力するようになされている。
【００９９】
また、対応表保持メモリ９３は、図９の対応表保持メモリ８２に保持されている対応表と同一の対応表を保持している。ウォータマーク特定器９２は、評価値比較器３３より供給された付随情報信号ｆの内容とその時のずらし位相ｒに基づいて、対応表保持メモリ９３に保持されている対応表から、付随情報信号ｇの種類を特定し、特定した付随情報信号ｇを出力するようになされている。その他の構成は、図３における場合と同様である。
【０１００】
図１１のウォータマーク検出器２２では、図１２に示した一連の処理が行われる。まず、ステップＳ６１で、ずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］、閾値ｔｈの設定、ずらし位相ｒ（ｒはＲの範囲内である）の初期化が行われる。ステップＳ６２では、ウォータマークパターン位相ずらし器９１により、ずらし量０のウォータマークパターンを用いた時の、現フレームの画像に対する評価値ｓｕｍｎを求めるために、このずらし量０にずらし位相ｒを加えたずらし量ｚ＝０＋ｒが設定される。次に、ステップＳ６３において、評価値算出器３１−１により、評価値演算処理が行われる。この評価値演算処理は、図５に示した場合と同様の処理であるので、その説明は、ここでは省略する。
【０１０１】
次に、ステップＳ６４において、ずらし量ｉ＋ｒのウォータマークパターンでｓｕｍｉを求めるために、ウォータマークパターン位相ずらし器９１とウォータマークパターンずらし器７１−１により、ずらし量ｚ＝ｉ＋ｒが設定される。そして、ステップＳ６５において、評価値算出器３１−２により、ステップＳ６３と同様の評価値演算処理が実行される。
【０１０２】
さらに、ステップＳ６６において、ずらし量ｊ＋ｒのウォータマークパターンで評価値ｓｕｍｊを求めるために、ウォータマークパターン位相ずらし器９１とウォータマークパターンずらし器７１−２により、ずらし量Ｚ＝ｊ＋ｒが設定される。そして、ステップＳ６７において、評価値算出器３１−３により、ステップＳ６３，Ｓ６５と同様の評価値演算処理が実行される。
【０１０３】
ステップＳ６８では、評価値比較器３３により、例えば、次のような式に従って、ずらし量ｉ，ｊの評価値ｓｕｍｉ，ｓｕｍｊから標準的な評価値としての基準値ｓｕｍａｖｅが演算される。
ｓｕｍａｖｅ＝（ｓｕｍｉ＋ｓｕｍｊ）／２
【０１０４】
さらに、評価値比較器３３は、ステップＳ６９において、評価値算出器３１−１がステップＳ６３で求めた評価値ｓｕｍｎと、ステップＳ６８で求めた基準値ｓｕｍａｖｅとの差の絶対値を閾値ｔｈと比較する。差の絶対値が、閾値ｔｈより大きい場合、ステップＳ７０に進み、評価値比較器３３は、付随情報信号ｆをｏｎとする。差分の絶対値が閾値ｔｈと等しいか、それより小さいと判定された場合は、ステップＳ７１において、評価値比較器３３は、付随情報信号ｆをｏｆｆとする。
【０１０５】
次に、ステップＳ７２において、範囲Ｒ内のすべてのずらし位相ｒについて調べたか否かを判定し、まだ、調べていないずらし位相ｒが存在する場合には、ステップＳ６２に戻り、それ以降の処理が繰り返し実行される。即ち、このとき、ウォータマークパターン保持メモリ３２から、次のずらし位相ｒとウォータマークパターンが、ウォータマークパターン位相ずらし器９１に供給され、同様の処理が実行される。
【０１０６】
範囲Ｒの内のすべてのずらし位相ｒについて処理が終了したとき、ステップＳ７３に進み、ウォータマーク特定器９２は、付随情報信号ｆがｏｎとなったずらし位相ｒを調べ、対応表保持メモリ９３に保持されている対応表から、そのずらし位相ｒが対応する付随情報信号ｇを特定し、出力する。ここで、上述したように、それぞれの付随情報信号ｇには、特定の意味が割り当てられている。
【０１０７】
なお、付随情報信号ｆがｏｎとなるずらし位相ｒが現れた時点で、反復処理を中断あるいは終了しても良い。その後、ずらし位相ｒの値を対応表と照らし合わせ、付随情報信号ｇの種類を特定する。
【０１０８】
ずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］は、どのような範囲としても良い。長さ ｋ の任意のウォータマークパターンについては、通常は、［０，ｋ−１］など、区間の長さがｋ以下となるような範囲が範囲Ｒとされるが、区間の長さがｋ以上であるどのような範囲を取っても構わない。また、検出時にかかる演算量を考慮して、区間の長さが短いどのような範囲を取っても構わない。
【０１０９】
ウォータマークの検出時には、ずらし位相の範囲Ｒ内について反復処理を行う際に、どのような順番あるいは位相を用いても良い。例えば、範囲Ｒ内の全ての整数位置について反復処理を行なっても良いし、ランダムあるいは任意の位相だけについて反復処理を行なっても良い。また、小数精度の位相あるいはずらし位置についても反復処理を行うことにし、そのような場合はウォータマークパターンあるいは対象領域の画素を補間して評価値を求めることにしても良い。
【０１１０】
ずらし量あるいはずらし位相の反映の方法は、識別可能である限りどのようなものであっても良い。例えば、ずらし位相ｒを反映させる際には、一定の回転成分ｒｒを減じることにし、ずらし量０についてはｚ＝０＋ｒ−ｒｒとして、図５の評価値演算処理を行なっても良い。
【０１１１】
各ずらし位相の値に応じて付随情報信号の種類を特定する対応表は、対応のつく限りどのようなものであっても良い。
【０１１２】
以上においては、ウォータマークを１画素単位で構成するようにしたが、例えば、図１３に示すように、８×８画素単位でブロック化して構成するようにしてもよい。この場合、ウォータマーク付加器１は、例えば、図１４に示すように構成される。なお、この図１４のウォータマーク付加器１は、図９に示したウォータマーク付加器１に対応している。この構成例においては、例えば、図１３に示すように、ウォータマークパターン照合制御器１０１が、ウォータマークパターン保持メモリ１２より読み出された、４×６画素に対応するパターンで構成されている場合、１画素分が８×８画素分のブロックに拡大して、ウォータマーク画像生成器１１に供給する。
【０１１３】
また、図１１に示すウォータマーク検出器２２は、例えば、図１５に示すように構成される。この構成例においては、ウォータマークパターン保持メモリ３２より出力されたウォータマークパターンが、ウォータマークパターン照合制御器１１１によりブロック単位で拡大され、ウォータマークパターン位相ずらし器９１に供給されている。その他の構成と動作は、図１１における場合と同様である。
【０１１４】
以上においては、本発明をエンコーダとデコーダに適用した場合を例として説明したが、例えば、図１６に示すように、フォーマッタに適用することも可能である。この場合、マスタテープ２０１または伝送路２０２より供給された画像データが、フォーマッタ２０３に供給される。フォーマッタ２０３は、上述した場合と同様の構成の復号器２１とウォータマーク検出器２２を有している。復号器２１は、入力された符号ビット列を復号し、ウォータマーク検出器２２に出力する。マスタテープ２０１または伝送路２０２からの画像データが、既に復号された状態の画像データである場合には、これがウォータマーク検出器２２に直接供給される。
【０１１５】
ウォータマーク検出器２２は、入力された画像データがウォータマークを含むか否かを検出し、その検出結果に対応して、画像変換器３４を制御する。従って、ウォータマークが付加されている画像データは出力され、スタンパ２０４が形成され、このスタンパ２０４から、大量のレプリカディスク２０５が生成される。これに対して、入力された画像データが、ウォータマークが付加されていない場合には、画像変換器３４は画像データを出力しない。従って、この場合、スタンパ２０４は作成することができないことになる。
【０１１６】
図１７は、本発明を記録装置に適用した場合の構成例を表している。この場合、記録装置２２１には、例えば、図１６のフォーマッタ２０３で製造されたディスク２０５、または伝送路２０２から符号化された画像データ、または既に復号されている画像データが入力される。符号化されている画像データは、復号器２１で復号された後、ウォータマーク検出器２２に供給される。既に復号された状態の画像データは、ウォータマーク検出器２２に、直接供給される。
【０１１７】
ウォータマーク検出器２２は、図１６のフォーマッタ２０３における場合と同様に、ウォータマークが付加されている場合には、画像変換器３４から画像データを出力し、ディスク２２２に記録させるが、ウォータマークが付加されていない場合には、画像変換器３４を制御して、画像データを出力させないようにする。その結果、このとき、ディスク２２２には、記録装置２２１に入力された画像データを記録することができないことになる。
【０１１８】
以上においては、本発明をエンコードおよびデコードに応用した場合を例として説明したが、その他の装置に本発明を適用することができる。
【０１１９】
なお、上記したような処理を行うプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、ＣＤ−ＲＯＭ、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【０１２０】
【発明の効果】
第１の本発明および第２の本発明によれば、より正確かつ確実に、ウォータマークを検出することが可能となる。
【０１２１】
第３の本発明によれば、多くの種類の付随情報を利用することが可能となる。
【０１２２】
第４の本発明によれば、例えば、単なるコピー防止だけでなく、１回のコピーが可能、２回のコピーが可能といったような、様々な対応で記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの構成例を示すブロック図である。
【図２】本発明を適用したデコーダの構成例を示すブロック図である。
【図３】図１のウォータマーク検出器２２の構成例を示すブロック図である。
【図４】図３のウォータマーク検出器２２の動作を説明するフローチャートである。
【図５】図４のステップＳ３，Ｓ５，Ｓ７の評価値演算処理の詳細を示すフローチャートである。
【図６】ウォータマークのパターンのずらし方を説明する図である。
【図７】ウォータマークのパターンのずらし位相を説明する図である。
【図８】対応表の例を表す図である。
【図９】図１のウォータマーク付加器１の構成例を示すブロック図である。
【図１０】図９のウォータマーク付加器１の動作を説明するフローチャートである。
【図１１】図２のウォータマーク検出器２２の他の構成例を示すブロック図である。
【図１２】図１１のウォータマーク検出器２２の動作を説明するフローチャートである。
【図１３】ウォータマークのパターンのブロック化を説明する図である。
【図１４】図１のウォータマーク付加器１のさらに他の構成例を示すブロック図である。
【図１５】図２のウォータマーク検出器２２のさらに他の構成例を示すブロック図である。
【図１６】本発明を適用したフォーマッタの構成例を示す図である。
【図１７】本発明を適用した記録装置の構成例を示す図である。
【図１８】従来の付随情報の記録方法を説明する図である。
【図１９】ウォータマークによる付随情報の埋め込みを説明する図である。
【図２０】ウォータマークのパターンの例を示す図である。
【図２１】ウォータマークの付加処理を説明する図である。
【図２２】ウォータマークが付加されている場合の評価値の演算を説明する図である。
【図２３】ウォータマークが付加されていない場合における評価値の演算を説明する図である。
【図２４】従来のエンコーダの構成例を示すブロック図である。
【図２５】従来のデコーダの構成例を示すブロック図である。
【図２６】図２４のウォータマーク付加器１の構成例を示すブロック図である。
【図２７】図２５のウォータマーク検出器２２の構成例を示すブロック図である。
【図２８】図２６のウォータマーク付加器１の動作を説明するフローチャートである。
【図２９】図２７のウォータマーク検出器２２の動作を説明するフローチャートである。
【符号の説明】
１ ウォータマーク付加器， ２ 符号化器， ２１ 復号器， ２２ ウォータマーク検出器， ３１−１乃至３１−３ 評価値算出器， ３２ ウォータマークパターン保持メモリ， ３３ 評価値比較器， ３４ 画像変換器， ７１−１，７１−２ ウォータマークパターンずらし器， ８１ ウォータマーク特定器， ８２ 対応表保持メモリ， ８３ ウォータマークパターン位相ずらし器， ９１ ウォータマークパターン位相ずらし器， ９２ ウォータマーク特定器， ９３ 対応表保持メモリ
【発明の属する技術分野】
本発明は、画像データ処理装置および方法、並びに記録媒体に関し、特に、より確実に、付随情報を読み出すことができるようにした、画像データ処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
特定の画像データ（静止画像あるいは動画像シーケンス）に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この代表的な例として、著作権情報の付加が挙げられる。
【０００３】
不特定の利用者が特定の画像データを利用することが可能である場合、その画像に対して著作権を持つ者が、その権利を主張するためには、あらかじめ著作権情報を画像データ中に付加しておく必要がある。著作権情報を付加することにより、画像の再生装置あるいは再生方法の処理手順の中で、その画像データを表示不可とすべき著作権情報が検出された場合には、その画像データの表示を行わない等の対策を講じることが可能となる。
【０００４】
上述の著作権情報の付加、あるいは検出は、現在、ビデオテープの不正コピー防止等でよく利用されている。近頃は、ビデオテープのレンタルを行う店も多いが、多くの利用者が、店から低価格で借りたビデオテープを不正にコピーして楽しんだ場合、そのビデオテープの著作権を持つ者およびビデオテープのレンタルを行う店の損害は甚大である。
【０００５】
ビデオテープには、画像データがアナログ的に記録されているため、コピーを行なった場合に画質が多少なりとも劣化する。そのため、コピーが複数回繰り返された場合、元々保持されていた画質を維持することは非常に困難となる。
【０００６】
これに対し、デジタル的に画像データを記録し、再生する機器等においては、不正コピーによる損害はさらに大きなものとなる。それは、画像データをデジタル的に扱う機器等では、原理的にコピーによって画質が劣化することがないためである。そのため、デジタル的に処理を行う機器等における不正コピー防止は、アナログの場合と比べてはるかに重要である。
【０００７】
画像データに付随する情報をその画像データ中に付加する方法は、主に２通りある。
【０００８】
第１の方法は、画像データの補助部分に付加する方法である。例えばビデオテープでは、図１８に示したように、その画像データの補助的情報が、表示画面には実質的に表示されない画面上部（補助部分）に記録されている。この領域の一部を利用して、付随情報を付加することが可能である。
【０００９】
第２の方法は、画像データの主要部分（実質的に表示される部分）に付加する方法である。これは、図１９に示したように、ある特定のパターン（ウォータマーク（Ｗａｔｅｒ Ｍａｒｋ）パターン）を、視覚的に感知できない程度に、画像の全体あるいは一部に付加するものである。この具体例として、乱数やＭ系列等を用いて発生させた鍵パターンを利用して、情報の付加あるいは検出を行うスペクトラム拡散等がある。
【００１０】
以下では、ウォータマークパターンを用いた場合の画像データの主要部分への付随情報の付加あるいは検出の一例を述べる。図２０乃至図２３にこの具体例を示した。
【００１１】
図２０に示すような、４ｎ×４ｎ個の画像に対応するウォータマークパターンを用いると仮定する。ウォータマークパターンは、それぞれの画素について、プラスまたはマイナスの２つのシンボルのいずれかを取る。ウォータマークパターンはまた、２つのシンボルのいずれかをランダムに取る方が望ましく、その領域の形状、大きさは任意で構わない。
【００１２】
ウォータマークを付加する際には、付加を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素には値ａを加算し、マイナスのシンボルが対応する画素からは値ｂを減算する。ａ，ｂ共に、任意の値で構わないが、そのウォータマークパターンを通じて一定にするべきである。
【００１３】
図２１乃至図２３の例では、ａ＝１，ｂ＝１に設定しており、図２１に示すように、付加を行う対象となる領域の画素値が全て１００の場合には、ウォータマークに対応する埋め込み操作により１０１と９９の画素値が形成される。
【００１４】
ウォータマークを検出する際には、検出を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。この領域の画素値の全てを合計した値を評価値として用いる。画素値の全てを合計する際には、設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素については加算、マイナスのシンボルが対応する画素については減算を適用する。図２２の例では、画素値１０１の画素は加算され、画素値９９の画素は減算され、それらの演算結果が加算される。この時、ウォータマークを付加する際に用いたウォータマークパターンと同じパターンを用いなければ、ウォータマークを正しく検出することはできない。このような検出操作により、例えば図２２に示すように、ウォータマークが付加されている場合の評価値は（４ｎ）＾２（領域に含まれる画素数の数と同じ）になり、図２３に示すように、ウォータマークが付加されていない場合の評価値は０となる。
【００１５】
ウォータマークパターンの領域が充分に広く、かつウォータマークパターンが充分にランダムである場合、ウォータマークが付加されていない場合の評価値は常にほぼ０となる。そのため、評価値がある一定の閾値を超えた場合には、ウォータマークが付加されていると判別することができる。上記の手順により、ウォータマークが付加されているか否かという２値の情報（１ビット）を付加することが可能となる。より多くの情報を付加したい場合には、画像全体をｋ個の領域に分けて、それぞれ上記の操作を行う等の処理方法により、２＾ｋ通り（ｋビット）の情報を付加することができる。
【００１６】
ウォータマークパターンは、例えばＭ系列を用いて生成したものを利用することができる。Ｍ系列（最長符号系列）は、０と１の２値のシンボルからなる数列で、０と１の統計的分布は一定であり、符号相関は原点で１、その他では符号長に反比例するものである。もちろん、Ｍ系列以外の方法でウォータマークパターンを生成しても構わない。
【００１７】
画像データをデジタル的に記録し、再生する場合、そのままでは非常に情報量が多くなるため、データを圧縮するのが一般的である。画像データを圧縮する方法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（カラー静止画像符号化方式）、あるいはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（カラー動画像符号化方式）等の高能率符号化方法が国際的に標準化され、実用化に至っている。この高能率符号化によって画像データを圧縮する場合を例に取り、付随情報の付加および検出を行う構成例を次に説明する。
【００１８】
図２４には、エンコーダの構成を示した。ウォータマーク付加器１において、付随情報信号ｆが参照され、ウォータマークを付加する処理を行うか否かが決められ、ウォータマークを付加する処理を行うとされた場合、入力された画像データに、付随情報信号ｆが付加され、符号化器２に出力され、そこで、高能率符号化されて、符号化ビット列が生成される。
【００１９】
図２５には、デコーダの構成を示した。入力された符号化ビット列は、復号器２１において画像データに復元される。その後ウォータマーク検出器２２において付随情報信号ｆが検出される。
【００２０】
画像データを高能率符号化しない場合には、図２４の符号化器２、あるいは図２５の復号器２１を除いた構成が用いられる。
【００２１】
ウォータマーク付加器１とウォータマーク検出器２２の構成を、それぞれ図２６と図２７に示した。
【００２２】
図２６のウォータマーク付加器１では、入力された画像データは、付随情報信号ｆがｏｎである場合、ウォータマークパターン保持メモリ１２に記録されているウォータマークパターンを用いて、ウォータマーク画像生成器１１でウォータマークが付加される。付随情報信号ｆがｏｆｆである場合には、ウォータマーク画像生成器１１は、入力された画像データをそのまま出力する。この場合、付随情報信号ｆは、例えば、１ビットの信号であり、ｏｎまたはｏｆｆであることを示す情報が含まれている。
【００２３】
ウォータマーク付加器１で行なわれる一連の処理を図２８に示した。始めにステップＳ８１で、ウォータマークの付加レベルａ，ｂに、任意の値を設定する。ステップＳ８２では、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップＳ８３で、ウォータマークのシンボルの判定を行い、その画素が対応するウォータマークのシンボルがプラスである場合には、ステップＳ８４で、その画素にａを足す。その画素が対応するウォータマークのシンボルがマイナスである場合には、ステップＳ８５で、その画素からｂを引く。この処理を、ステップＳ８６で、対象領域の全画素について行われたと判定されるまで繰り返す。なお、ステップＳ８１で設定された、ａ，ｂの値は、処理が終了されるまで、変更されることはない。
【００２４】
図２７のウォータマーク検出器２２では、入力された画像データは、ウォータマークパターン保持メモリ３２に記録されているウォータマークパターンを用いて、評価値算出器３１で評価値が算出される。ウォータマークパターン保持メモリ３２には、ウォータマーク付加器１のウォータマークパターン保持メモリ１２に記憶されているウォータマークパターンと同一のウォータマークが保持されている。算出された評価値は、評価値比較器３３で閾値処理され、付随情報信号ｆが出力される。また、入力された画像データは、画像変換器３４を介して、そのまま、または加工あるいは所定の処理が施されて出力される。このことについては、後で述べる。
【００２５】
ウォータマーク検出器２２で行なわれる一連の処理を図２９に示した。始めに、ステップＳ９１で、評価値ｓｕｍの初期化および閾値ｔｈの設定を行う。ステップＳ９２でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップＳ９３で、その画素が対応するウォータマークのシンボルがプラスであると判定された場合には、ステップＳ９４で、評価値ｓｕｍにその画素値を足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ９５で、評価値ｓｕｍからその画素値を引く。この処理をステップＳ９６で、対象領域の全画素について行ったと判定されるまで繰り返す。その後、ステップＳ９７で、評価値ｓｕｍと閾値ｔｈとを比較し、ｓｕｍ＞ｔｈである場合には、ウォータマークが付加されているとみなして、ステップＳ９８で、付随情報信号ｆをｏｎにする。そうでない場合には、ステップＳ９９で付随情報信号ｆをｏｆｆにする。
【００２６】
付随情報信号ｆは、例えば不正コピーを防止する場合には、以下のように利用される。図２５のデコーダの場合を例にすると、出力される画像データおよび付随情報信号ｆは、図示せぬ画像表示部に渡される。画像表示部では、付随情報信号ｆがｏｎである場合にはそのまま画像を表示するが、付随情報信号ｆがｏｆｆである場合には、例えば画像を表示しない、画像データの主要領域を表示しない、画像にスクランブルを掛ける（受けとった画像データをでたらめに表示する）等の加工あるいは処理を行う。あるいは、図２７のウォータマーク検出器２２に示した画像変換器３４を設け、付随情報信号ｆに応じてこのような画像データの加工あるいは処理を行うように構成することもある。
【００２７】
【発明が解決しようとする課題】
画像データに付随する情報をその画像データ中に付加する上述の２通りの方法には、以下のような問題がある。
【００２８】
画像データの補助部分に付随情報を付加する第１の方法においては、付随情報が付加された補助部分が無視された場合、不正コピー等の問題を事前に防ぐことは困難となる。例えばデジタル的に記録された画像データを市販のパーソナルコンピュータに読み込ませ、補助部分を無視して主要部分のみを切り出してコピーを行なった場合、その画質はコピーを行う以前と完全に同一のものとなる。この場合、補助部分に付随情報を付加した意味は、完全に失われる。
【００２９】
画像データの主要部分に付随情報を付加する第２の方法では、例えば上記の第１の方法において示したコピーの手順等によって、付加された付随情報が消えてなくなることはない。しかし、画像データに対してノイズ低減フィルタ等の種々の信号処理を施した場合、付加された付随情報成分が減衰して抽出不可能となることがある。
【００３０】
特に、元々の画像データ自体がＪＰＥＧあるいはＭＰＥＧ等の高能率符号化を用いて圧縮されている場合、その量子化処理に起因して悪影響が出ることが多い。付加された付随情報成分は、これらの高能率符号化の量子化処理によって、視覚的に感知可能な程度にまで増幅されて、画質が低下したり、抽出不可能な程度にまで減衰されて本来の意味を失ったりすることがある。
【００３１】
付随情報の成分がこれらの信号処理によって変化しないように、画像中の特別な領域を用いて付随情報を付加する方法もある。しかし、そのような領域は画像シーケンス全体から見て一部分しかないため、ウォータマークパターンの領域を充分に広くとることができない。そのため、付随情報が付加されていない場合であっても、評価値が０以外の大きな値となるため、ある一定の閾値を超えた場合に付随情報が付加されていると判別する絶対的評価基準を用いると、付随情報の検出は非常に困難となる。
【００３２】
さらに、付随情報の付加を行う領域が画像シーケンス全体から見て一部分に過ぎない場合、複数の情報を付加することは極めて困難となる。例えば、画像全体をｋ個の領域に分けて付随情報を付加した場合、個々の領域に対するウォータマークパターンの領域は、その領域数に応じてさらに狭くなるため、付随情報はほぼ検出不可能となる。
【００３３】
なお、上述のこれら問題は、動画像シーケンスにおいて特に顕著となる。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、本来の画像データに大きな影響を与えることなく、付随情報を確実に検出することができるようにするものである。
【００３５】
【課題を解決するための手段】
本発明の第１の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段とを備えることを特徴とする。
【００３６】
生成手段は、記憶手段に記憶されているウォータマークのパターンの位相と異なる少なくとも２種類の位相のウォータマークを生成することができる。
【００３７】
各手段は、複数個の画素で構成されるブロック単位で各処理を行うことができる。
【００３８】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段をさらに設けることができる。
【００３９】
本発明の第１の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップとを含むことを特徴とする。
【００４０】
本発明の第１の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値が求められ、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報が検出される。
【００４１】
本発明の第２の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段とを備えることを特徴とする。
【００４２】
本発明の第２の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップと、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶ステップと、検出ステップの処理で検出された付随情報、および記憶ステップの処理で記憶されたウォータマークのパターンと生成ステップの処理で生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶ステップの処理で記憶された所定の情報を選択する選択ステップとを含むことを特徴とする。
【００４３】
本発明の第２の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値が求められ、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報が検出され、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係が記憶され、検出された付随情報、および記憶されたウォータマークのパターンと生成されたウォータマークのパターンとの位相差が割り当てられて記憶された所定の情報が選択される。
【００４４】
本発明の第３の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶手段と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段と、ウォータマークのパターンを記憶する第２の記憶手段と、第２の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段とを備えることを特徴とする。
【００４５】
複数の付随情報に、それぞれ所定の情報を割り当てることができる。
【００４６】
本発明の第３の画像データ処理方法は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶ステップと、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択ステップと、ウォータマークのパターンを記憶する第２の記憶ステップと、第２の記憶ステップの処理で記憶されたウォータマークのパターンを読み出し、選択ステップの処理で選択された位相を設定する位相設定ステップと、位相設定ステップの処理で設定された位相のウォータマークを、画像データに付加する付加ステップとを含むことを特徴とする。
【００４７】
本発明の第３の画像データ処理装置および方法においては、複数の付随情報とウォータマークの位相との対応関係を示す対応表が記憶され、入力された付随情報に対応するウォータマークの位相が、対応表から選択され、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンが読み出され、選択された位相が設定され、設定された位相のウォータマークが、画像データに付加される。
【００４８】
本発明の記録媒体には、複数の付随情報のうちの所定のものに対応する位相のウォータマークが付加されている画像データが記憶されていることを特徴とする。
【００４９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００５０】
本発明の第１の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段（例えば、図３のウォータマークパターン保持メモリ３２）と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段（例えば、図３のウォータマークパターンずらし器７１−１，７１−２）と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段（例えば、図３の評価値算出器３１−１）と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段（例えば、図３の評価値算出器３１−２，３１−３）と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段（例えば、図３の評価値比較器３３）とを備えることを特徴とする。
【００５１】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段（例えば、図３の画像変換器３４）をさらに設けることができる。
【００５２】
本発明の第２の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段（例えば、図１１のウォータマークパターン保持メモリ３２）と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段（例えば、図１１のウォータマークパターンずらし器７１−１，７１−２）と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段（例えば、図１１の評価値算出器３１−１）と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段（例えば、図１１の評価値算出器３１−２，３１−３）と、第１の評価値および第２の評価値から基準の評価値を生成するとともに、第１の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段（例えば、図１１の評価値比較器３３）と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段（例えば、図１１の対応表保持メモリ９３）と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段（例えば、ウォータマーク特定器９２）とを備えることを特徴とする。
【００５３】
本発明の第３の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表（図８の対応表）を記憶する第１の記憶手段（例えば、図９の対応表保持メモリ８２）と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段（例えば、図９のウォータマーク特定器８１）と、ウォータマークのパターンを記憶する第２の記憶手段（例えば、図９のウォータマークパターン保持メモリ１２）と、第２の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段（例えば、図９のウォータマーク位相ずらし器８３）と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段（例えば、図９のウォータマーク画像生成器１１）とを備えることを特徴とする。
【００５４】
図１は、本発明を適用したエンコーダの構成例を表しており、図２４に示した場合と対応する部分には、同一の符号を付してある。その基本的な構成は、図２４に示した場合と同様であるが、図１には、符号化器２のより具体的な構成例を表している。この例においては、符号化器２は、フレームメモリ４１を備えており、フレームメモリ４１は、ウォータマーク付加器１より供給された画像データをフレーム単位で記憶するようになされている。動きベクトル検出器５０は、フレームメモリ４１に記憶された画像データから、動きベクトルｖを検出し、検出結果を動き補償器４３と可変長符号化器４６に出力している。動きベクトル検出器５０においては、１６×１６画素で構成されるマクロブロック単位でブロックマッチング処理が行われ、動きベクトルｖが検出される。また、より高い精度を実現するために、半画素単位でのマッチング処理も行われる。
【００５５】
動き補償器４３は、フレームメモリを内蔵しており、符号化すべき現在のフレームの各位置の画素値を、既に符号化が行われ、それを復号して得られた、内蔵するフレームメモリに保存されている画像から予測する。時刻ｔにおいて入力されたフレームの位置（ｉ，ｊ）における画素値Ｉ｛ｉ，ｊ，ｔ｝の予測値Ｉ’｛ｉ，ｊ，ｔ｝は、その位置に対応する動きベクトルｖ＝（ｖｘ（ｉ，ｊ，ｔ），ｖｙ（ｉ，ｊ，ｔ））を用いて、次式のように決定される。
Ｉ’｛ｉ，ｊ，ｔ｝＝（Ｉ｛ｉ’，ｊ’，ｔ−Ｔ｝＋Ｉ｛ｉ’＋１，ｊ’，ｔ−Ｔ｝＋Ｉ｛ｉ’，ｊ’＋１，ｔ−Ｔ｝＋Ｉ｛ｉ’＋１，ｊ’＋１，ｔ−Ｔ｝）／４
【００５６】
なお、ここで、ｉ’とｊ’は次式で表される。
ｉ’＝ｉｎｔ（ｉ＋ｖｘ（ｉ，ｊ，ｔ）Ｔ）
ｊ’＝ｉｎｔ（ｊ＋ｖｙ（ｉ，ｊ，ｔ）Ｔ）
【００５７】
ここでＴは、現在予測を行っている画像Ｉが入力された時刻と、フレームメモリ上に記憶されている画像が入力された時刻の差を表し、上記式の右辺のＩ｛ｉ’，ｊ’，ｔ−Ｔ｝，Ｉ｛ｉ’＋１，ｊ’，ｔ−Ｔ｝，Ｉ｛ｉ’，ｊ’＋１，ｔ−Ｔ｝，Ｉ｛ｉ’＋１，ｊ’＋１，ｔ−Ｔ｝は、動き補償器４３に内蔵されているフレームメモリ上の画素値を表す。また、ｉｎｔ（ｘ）は、ｘを超えない最大の整数値を表している。
【００５８】
減算器４２は、フレームメモリ４１より供給される、現在符号化すべき画素の値から、動き補償器４３より供給される動きベクトルｖに基づき、動き補償することにより算出された予測値を減算し、ＤＣＴ器４４に出力している。ＤＣＴ器４４は、減算器４２より入力された差分値で構成される８×８画素のブロックに対して２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理を施す。量子化器４５は、ＤＣＴ器４４より入力されたＤＣＴ係数ｃに対して、適当なステップサイズＱを用いて、次式に従って量子化処理を行う。
ｃ’＝ｉｎｔ（ｃ／Ｑ）
【００５９】
量子化器４５により量子化されたＤＣＴ係数ｃ’は、可変長符号化器４６と逆量子化器４７に供給される。可変長符号化器４６は、量子化器４５により量子化されたＤＣＴ係数ｃ’と動きベクトル検出器５０より供給された動きベクトルｖを可変長符号化し、符号ビット列を出力する。
【００６０】
逆量子化器４７は、量子化器４５で用いられたステップサイズと同一のステップサイズＱを用いて、次式に示されるように逆量子化処理を行う。
ｃ”＝ｃ’×Ｑ
【００６１】
逆量子化器４７で逆量子化されたデータは、ＩＤＣＴ器４８に入力され、逆ＤＣＴ処理が施され、画素値の差分値が復元される。
【００６２】
ＩＤＣＴ器４８の出力する差分値は、動き補償器４３が出力する予測値と加算器４９により加算され、もとの画素値のデータとなり、動き補償器４３に内蔵されているフレームメモリに記憶される。
【００６３】
次に、その動作について説明する。デジタル化されている画像データは、ウォータマーク付加器１に入力され、付随情報信号ｆに対応してウォータマークが付加される。ウォータマーク検出器２２の構成と、その処理については、図３を参照して後述する。
【００６４】
ウォータマーク付加器１によりウォータマークが付加された画像データは、フレームメモリ４１に供給され、フレーム単位で記憶される。動きベクトル検出器５０は、フレームメモリ４１に記憶されている画像データの動きベクトルｖを検出する。動き補償器４３は、内蔵するフレームメモリに記憶されている参照フレームの画像データに対して動き補償を施し、予測画像データを生成して、減算器４２に供給する。減算器４２は、フレームメモリ４１より供給された画像データから動き補償器４３より供給された予測画像データを減算し、その減算結果をＤＣＴ器４４に供給する。ＤＣＴ器４４は、入力された差分値の画像データをＤＣＴ係数に変換する。量子化器４５は、ＤＣＴ器４４より供給されたＤＣＴ係数を量子化し、可変長符号化器４６に出力する。可変長符号化器４６は、入力された量子化データを可変長符号に変換し、符号ビット列として、図示せぬ伝送路に伝送したり、記録媒体に供給し、記録させる。
【００６５】
量子化器４５より出力された量子化データは、逆量子化器４７で逆量子化され、ＩＤＣＴ器４８に供給される。ＩＤＣＴ器４８は、入力されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分値の画像データを出力する。この差分値の画像データは、動き補償器４３より読み出された予測画像データに、加算器４９で加算され、もとの画像データに復元されて、動き補償器４３の内蔵するフレームメモリに記憶される。
【００６６】
なお、可変長符号化器４６は、動きベクトル検出器５０より供給された動きベクトルｖも可変長符号に変換し、出力する。
【００６７】
なお、第１の実施の形態のウォータマーク付加器１は、上述した場合と同様に、例えば、図２６に示すように構成され、図２０乃至図２３を参照して説明したように、付随情報信号ｆがｏｆｆであるとき、ウォータマークを付加せず、ｏｎであるとき、ウォータマークが付加する処理を実行する。
【００６８】
図２は、図１に示すエンコーダによりエンコードされた符号ビット列をデコードするデコーダの構成例を表している。この図２も、図２５に示す場合と対応する部分には同一の符号を付してある。この構成例においては、復号器２１の逆可変長符号化器６１が、入力された符号ビット列を逆可変長符号化処理（可変長復号化処理）して、復号した画像データ（ＤＣＴ係数）を逆量子化器６２に出力し、復号した動きベクトルｖを動き補償器６５に出力するようになされている。逆量子化器６２は、入力されたＤＣＴ係数を逆量子化し、ＩＤＣＴ器６３に出力している。ＩＤＣＴ器６３は、入力された、逆量子化されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分値の画像データに復元して、加算器６４に出力している。
【００６９】
動き補償器６５は、内蔵するフレームメモリに記憶されている画像データに対して逆可変長符号化器６１より供給される動きベクトルｖに基づいて動き補償を施し、予測画像を生成し、加算器６４に出力している。加算器６４は、この予測画像に対して、ＩＤＣＴ器６３より供給された差分値を加算し、もとのフレーム画像を復元して出力するようになされている。
【００７０】
加算器６４の出力は、動き補償器６５に内蔵されているフレームメモリに供給され、記憶されるとともに、ウォータマーク検出器２２に供給されるようになされている。ウォータマーク検出器２２は、入力された画像データから付随情報信号ｆを検出し、出力するとともに、もとの画像データを出力するようになされている。
【００７１】
次に、その動作について説明する。逆可変長符号化器６１は、入力された符号ビット列を逆可変長符号化処理し、復号されたＤＣＴ係数を逆量子化器６２に出力する。逆量子化器６２は、入力されたＤＣＴ係数を逆量子化し、ＩＤＣＴ器６３に出力する。ＩＤＣＴ６３は、入力されたＤＣＴ係数に対してＩＤＣＴ処理を施し、もとの差分画像データを出力する。
【００７２】
動き補償器６５は、内蔵するフレームメモリに記憶されている、既に復元されている画像データに対して、逆可変長符号化器６１より供給される動きベクトルｖに基づいて動き補償を施し、予測画像データを生成して加算器６４に出力する。加算器６４は、この予測画像データに対してＩＤＣＴ器６３より供給される差分値の画像データを加算し、もとの画像データを復元する。もとの画像データは、次の予測画像生成のために、動き補償器６５のフレームメモリに供給され、記憶される。
【００７３】
また、加算器６４より出力された画像データは、ウォータマーク検出器２２に供給され、ウォータマークが検出される。
【００７４】
図２に示すウォータマーク検出器２２は、例えば、図３に示すように構成されている。なお、同図において、図２７に示した場合と対応する部分には、同一の符号を付してある。復号器２１の加算器６４より出力された画像データは、複数（この実施の形態の場合３個）の評価値算出器３１−１乃至３１−３に入力される。ウォータマークパターン保持メモリ３２には、ウォータマーク付加器１のウォータマークパターン保持メモリ１２（図２６）に保持されているウォータマークと同一のウォータマークが保持されている。ウォータマークパターンずらし器７１−１は、ウォータマークパターン保持メモリ３２より読み出されたウォータマークを、ずらし量ｉだけずらして評価値算出器３１−２に供給する。同様に、ウォータマークパターンずらし器７１−２は、ウォータマークパターン保持メモリ３２より読み出されたウォータマークのパターンを、ずらし量ｊだけずらして、評価値算出器３１−３に供給している。評価値算出器３１−１には、ウォータマークパターン保持メモリ３２より読み出されたウォータマークが、ずらし量０だけずらされて（即ち、実質的にはずらされないで）、供給されている。
【００７５】
評価値算出器３１−１乃至３１−３は、供給されたウォータマークパターンに基づいて、画像データの評価値を演算し、演算された評価値を評価値比較器３３に出力している。評価値比較器３３は、入力された評価値を閾値演算して、付随情報信号ｆを出力する。
【００７６】
画像変換器３４は、入力された画像データに対して評価値比較器３３が出力する付随情報信号ｆに対応した所定の処理を施し、出力する。
【００７７】
次に、図４と図５のフローチャートを参照して、ウォータマーク検出器２２の動作について説明する。最初に、ステップＳ１において、評価値比較器３３は閾値ｔｈに所定の値を設定する。次に、ステップＳ２において、評価値算出器３１−１における、ずらし量０のウォータマークパターンを用いた場合の、現在のフレームの画像に対する評価値ｓｕｍｎを求める処理が開始される。ステップＳ３では、評価値算出器３１−１において、評価値演算処理が実行される。この評価値演算処理の詳細は、図５に示されている。
【００７８】
評価値演算処理においては、最初にステップＳ２１において、評価値ｓｕｍに０が初期設定される。次に、ステップＳ２２において、対象の画素Ｘとずらし量ｚ（いまの場合、ずらし量０）のウォータマークパターンとが照合される。そして、ステップＳ２３において、ウォータマークのシンボルがプラスであるかマイナスであるかが判定される。ウォータマークのシンボルがプラスである場合には、ステップＳ２４に進み、画素Ｘの画素値ｘを評価値ｓｕｍに加算する処理が実行される。ウォータマークのシンボルがマイナスである場合には、ステップＳ２５において、評価値ｓｕｍから画素値ｘを減算する処理が実行される。
【００７９】
次に、ステップＳ２６において、対象領域のすべての画素について同様の処理を実行したか否かが判定される。まだ、処理を行っていない画素が存在する場合には、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。例えば、ウォータマークパターンが、図２０に示すようなパターンである場合、４ｎ×４ｎ個の画素すべてについて同様の処理が実行されたか否かが判定される。すべての画素についての処理が完了したと判定された場合には、ステップＳ２７に進み、ステップＳ２４，Ｓ２５で演算された評価値ｓｕｍが、評価値ｓｕｍｎに設定される。
【００８０】
次に、図４のステップＳ４に進み、評価値算出器３１−２において、ずらし量ｉのウォータマークパターンで評価値ｓｕｍｉを求める演算が開始される。そして、ステップＳ５に進み、評価値算出器３１−２において、評価値演算処理が実行される。この評価値演算処理は、ステップＳ３において行われた評価値演算処理と実質的に同様の処理となる。即ち、図５のフローチャートに示す処理が、上述した場合と同様に実行される。ステップＳ２７で得られた評価値ｓｕｍが、評価値ｓｕｍｉとされる。
【００８１】
次に、ステップＳ６に進み、評価値算出器３１−３において、ずらし量ｊのウォータマークパターンで、評価値ｓｕｍｊを求める処理が開始される。そして、ステップＳ７において、評価値演算処理が実行される。この評価値演算処理も、ステップＳ３とステップＳ５に示した場合と同様の処理である。即ち、図５のフローチャートに示す処理が実行される。そして、そのステップＳ２７において得られた評価値ｓｕｍが、評価値ｓｕｍｊとされる。
【００８２】
評価値算出器３１−１乃至３１−３で演算された評価値ｓｕｍｎ，ｓｕｍｉ，ｓｕｍｊは、評価値比較器３３に入力される。評価値比較器３３は、ステップＳ８において、入力された３つの評価値に対してメディアンフィルタ処理を施す。即ち、３つの評価値ｓｕｍｉ，ｓｕｍｎ，ｓｕｍｊを小さいものから順番に配置し、その中間の大きさのものを選択し、その評価値を基準値ｓｕｍｍｅｄに設定する。そして、ステップＳ９において、評価値比較器３３は、標準的な評価値としての基準値ｓｕｍｍｅｄと、実際の評価値ｓｕｍｎとの差分の絶対値を求め、その絶対値をステップＳ１で設定した閾値ｔｈと比較する。差分の絶対値の値が、閾値ｔｈより大きい場合には、ウォータマークが付加されているものとして、ステップＳ１０において、付随情報信号ｆをｏｎにする。これに対して、差分の絶対値が、閾値ｔｈと等しいか、それより小さいと判定された場合には、ステップＳ１１に進み、ウォータマークが付加されていないものとして、付随情報信号ｆをｏｆｆにする。
【００８３】
ウォータマークパターンをずらす際には、図６に示すように、例えば１画面分の（ｋ個分の画素で構成される）ウォータマークのパターンを、画像の走査順に従って、１画素分だけずらす方法等がとられる。なお、図６において、白い領域（画素）は、＋のシンボルを表し、黒い領域（画素）は、−のシンボルを表している。この時ずらす単位は、１画素単位に限らず、任意の単位でずらして良い。ずらし量は、ｉ＞０，ｊ＜０，｜ｉ｜＝｜ｊ｜のように、ずらし量０を中心に前後に同じ量だけずらす方が良いが、任意のずらし量で構わない。また、上記のようなずらし方に限定されるわけではなく、これ以外の方法でずらしても構わない。
【００８４】
ウォータマークパターンをずらして評価値を求める理由は以下の通りである。即ち、例えば、Ｍ系列を用いてウォータマークパターンを生成した場合、０あるいは周期分以外の位置（位相）に任意にずらしたウォータマークパターンと、元のウォータマークパターンとの相関は非常に低くなる。言い換えれば、付加レベルを付加した時に用いたウォータマークパターンに対して、少しでもずらしたウォータマークパターンを用いて検出を行うと、評価値のバイアス成分（ウォータマークが付加されている場合の評価値とウォータマークが付加されていない場合の評価値との差）は、ほぼ０となる。例えば図２２と図２３に示す場合において、ずらしたウォータマークパターンを用いて検出を行うと、評価値（４ｎ）＾２はほぼ０となる。
【００８５】
そのため、ウォータマークパターンをずらして求めた評価値は、ウォータマークパターンが付加されていない場合の標準的な評価値とほぼ等しいとみなすことができる。従って、ウォータマークパターンをずらして求めた評価値と、ずらし量０の時の評価値とを比較することができるため、即ち、相対的評価基準を利用することができるため、ウォータマークの検出を容易に行うことができる。これにより、ウォータマークが埋め込まれていない場合の評価値がほぼ ０ となるような、充分に広い領域のウォータマークパターン（Ｍ系列なら、高次の系列）を用いなくても、狭い領域のウォータマークパターン（Ｍ系列なら、低次の系列）を用いるだけで、ウォータマークの検出を確実に行うことができる。
【００８６】
図６に示すような、前後１つずつのずらし量だけでなく、それぞれ複数のずらし量を用い、それらについて求めた全てあるいは一部の評価値に対して、フィルタ等を用いて標準的な評価値を構成しても構わない。それとは逆に、例えば前または後ろのずらし量だけを用いるというように、どちらか一方のずらし量だけを用いて、標準的な評価値を構成しても良い。
【００８７】
また、ずらし量を小数精度に設定した場合、ウォータマークパターンあるいは対象領域の画素を補間して、評価値を求めることにしても良い。
【００８８】
現フレームの画像に対する標準的な評価値ｓｕｍｍｅｄを求める際には、どのような処理方法を用いても良い。先の例ではメディアンフィルタを用いるようにしたが、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部あるいは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−２および−１ずらした時の評価値の推移から、ずらし量０の時の評価値を予測あるいは外挿するというような、より複雑な処理方法も含まれる。
【００８９】
また、標準的な評価値および実際の評価値を用いて閾値との比較を行う際には、先に示した比較方法以外のどのような比較方法を用いても良い。例えば、評価値のバイアス成分Ｂ（図２２と図２３の例では（４ｎ）＾２）が一定であることを利用して、どの程度バイアス成分が保持されているとみなすかを示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行なっても良い。
【００９０】
例えば、前にｉずらした時の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きく、しかも後にｊずらした時の評価値よりも、ずらし量０の時の評価値もＢ×ｃだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。あるいは、ｉ，ｊのいずれかにずらした時の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。
【００９１】
ウォータマークのシンボルは、プラス、マイナス以外のどのようなシンボルを用いても良い。また、２種類ではなく、３種類以上のどのようなシンボルを用いても良い。例えば、プラス、ゼロ、マイナスの３種類のシンボルを用意しておき、ウォータマークパターンとの照合を行なった際に、シンボルがゼロである画素については、評価値 ｓｕｍ に影響を与えない（その画素値を評価値 ｓｕｍ に足しも引きもしない）ようにするなど、各シンボルにどのような意味を与えても良い。
【００９２】
ウォータマークパターンを画像上に付加する領域は、任意の形状および範囲で構わない。また、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状および範囲は任意で構わない。さらにウォータマークパターンは、時間的あるいは空間的に渡るより広い領域を用いて、付加あるいは検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームを利用しても良い。例えば非常に大きな画像サイズを持つ静止画像においては、１枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域を利用しても良い。
【００９３】
第２の実施の形態として、ウォータマークパターンのずらし位相という新たな指標を導入し、各ずらし位相の値に、複数の付随情報信号の中の所定のものを対応させるようにすることもできる。この場合、ウォータマークの位相を複数通りにずらすことで、その異なる位相のウォータマークのそれぞれに対応する情報を伝送することができる。
【００９４】
このようなずらし位相の概念が図７に示されている。長さｋの任意のウォータマークパターンを時計周りに並べ、最後のシンボルと起点のシンボルとを繋げて円状にした場合を例にする。ずらし位相ｒ１のウォータマークパターンは、起点から時計周りに８画素分だけずらして生成されるパターンである。ずらし位相ｒ２のウォータマークパターンは、起点から時計とは反対周りに−３画素分だけずらして生成されるパターンである。全てあるいは一部のずらし位相のそれぞれに異なる意味を持たせ、各ずらし位相の値に応じて付随情報信号の種類を特定する対応表を用意する。例えば、図８に示す対応表においては、ずらし位相ｒ１には、”コピー不可”であることを意味する、２ビットの付随情報信号ｇ（００）が対応し、ずらし位相ｒ２には、”１回コピー可能”を意味する付随情報信号ｇ（０１）が対応している。また、ずらし位相ｒ３には、”２回コピー可能”を意味する付随情報信号ｇ（１０）が対応し、ずらし位相ｒ４には、”３回コピー可能”を意味する付随情報信号ｇ（１１）が対応している。
【００９５】
この場合、図１のウォータマーク付加器１は、図９に示すように構成される。対応表保持メモリ８２には、上述した図８の対応表に示されるような、ずらし位相ｒと付随情報信号ｇとの対応関係（対応表）が記憶されている。ウォータマーク特定器８１は、対応表保持メモリ８２を参照し、入力された付随情報信号ｇに対応するずらし位相ｒを設定する。ウォータマークパターン位相ずらし器８３は、ウォータマークパターン保持メモリ１２に記録されているウォータマークパターンに対して、ずらし位相ｒの分だけ位相をずらしたウォータマークパターンを生成する。ウォータマーク画像生成器１１は、ずらされたウォータマークパターンを用いて、入力された画像データにウォータマークを付加する。
【００９６】
このウォータマーク付加器１では、図１０で示した一連の処理を行う。始めに、ステップＳ４１で、ウォータマーク特定器８１は、入力された付随情報信号ｇの種類を、対応表保持メモリ８２の対応表と照らし合わせて、ずらし位相ｒを設定し、ウォータマークパターン位相ずらし器８３に出力する。次に、ステップＳ４２において、ウォータマーク画像生成器１１は、ウォータマークの付加レベルａ，ｂに所定の値を設定する。なお、ｒ，ａ，ｂの設定は、どのような順番で行なっても良い。
【００９７】
次に、ステップＳ４３において、ウォータマーク画像生成器１１は、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてずらし位相ｒだけずらしたウォータマークパターンとの照合を行う。このとき、ウォータマークパターン位相ずらし器８３は、ウォータマークパターン保持メモリ１２に保持されているウォータマークを、ウォータマーク特定器８１より供給されたずらし位相ｒの分だけずらして、ウォータマーク画像生成器１１に供給する。ウォータマーク画像生成器１１は、ステップＳ４４において、ウォータマークのシンボルを判定し、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ４５で、その画素ｘにａを足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ４６で、その画素ｘからｂが減算される。この処理がステップＳ４７で、対象領域の全画素について行われたと判定されるまで繰り返される。
【００９８】
このようにして、ウォータマークのパターンの位相が、付随情報信号ｇに対応して設定される場合、図２のデコーダにおけるウォータマーク検出器２２は、図１１に示すように構成される。図１１において、図３における場合と対応する部分には同一の符号を付してある。この例においては、ウォータマークパターン保持メモリ３２が、ウォータマークパターンとずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］を記憶している。ウォータマークパターン位相ずらし器９１は、ウォータマークパターン保持メモリ３２より供給されたウォータマークのパターンをウォータマークパターン保持メモリ３２より供給されたずらし位相ｒ（ｒはＲの範囲内である）の分だけずらして、評価値算出器３１−１、ウォータマークパターンずらし器７１−１，７１−２に出力するようになされている。
【００９９】
また、対応表保持メモリ９３は、図９の対応表保持メモリ８２に保持されている対応表と同一の対応表を保持している。ウォータマーク特定器９２は、評価値比較器３３より供給された付随情報信号ｆの内容とその時のずらし位相ｒに基づいて、対応表保持メモリ９３に保持されている対応表から、付随情報信号ｇの種類を特定し、特定した付随情報信号ｇを出力するようになされている。その他の構成は、図３における場合と同様である。
【０１００】
図１１のウォータマーク検出器２２では、図１２に示した一連の処理が行われる。まず、ステップＳ６１で、ずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］、閾値ｔｈの設定、ずらし位相ｒ（ｒはＲの範囲内である）の初期化が行われる。ステップＳ６２では、ウォータマークパターン位相ずらし器９１により、ずらし量０のウォータマークパターンを用いた時の、現フレームの画像に対する評価値ｓｕｍｎを求めるために、このずらし量０にずらし位相ｒを加えたずらし量ｚ＝０＋ｒが設定される。次に、ステップＳ６３において、評価値算出器３１−１により、評価値演算処理が行われる。この評価値演算処理は、図５に示した場合と同様の処理であるので、その説明は、ここでは省略する。
【０１０１】
次に、ステップＳ６４において、ずらし量ｉ＋ｒのウォータマークパターンでｓｕｍｉを求めるために、ウォータマークパターン位相ずらし器９１とウォータマークパターンずらし器７１−１により、ずらし量ｚ＝ｉ＋ｒが設定される。そして、ステップＳ６５において、評価値算出器３１−２により、ステップＳ６３と同様の評価値演算処理が実行される。
【０１０２】
さらに、ステップＳ６６において、ずらし量ｊ＋ｒのウォータマークパターンで評価値ｓｕｍｊを求めるために、ウォータマークパターン位相ずらし器９１とウォータマークパターンずらし器７１−２により、ずらし量Ｚ＝ｊ＋ｒが設定される。そして、ステップＳ６７において、評価値算出器３１−３により、ステップＳ６３，Ｓ６５と同様の評価値演算処理が実行される。
【０１０３】
ステップＳ６８では、評価値比較器３３により、例えば、次のような式に従って、ずらし量ｉ，ｊの評価値ｓｕｍｉ，ｓｕｍｊから標準的な評価値としての基準値ｓｕｍａｖｅが演算される。
ｓｕｍａｖｅ＝（ｓｕｍｉ＋ｓｕｍｊ）／２
【０１０４】
さらに、評価値比較器３３は、ステップＳ６９において、評価値算出器３１−１がステップＳ６３で求めた評価値ｓｕｍｎと、ステップＳ６８で求めた基準値ｓｕｍａｖｅとの差の絶対値を閾値ｔｈと比較する。差の絶対値が、閾値ｔｈより大きい場合、ステップＳ７０に進み、評価値比較器３３は、付随情報信号ｆをｏｎとする。差分の絶対値が閾値ｔｈと等しいか、それより小さいと判定された場合は、ステップＳ７１において、評価値比較器３３は、付随情報信号ｆをｏｆｆとする。
【０１０５】
次に、ステップＳ７２において、範囲Ｒ内のすべてのずらし位相ｒについて調べたか否かを判定し、まだ、調べていないずらし位相ｒが存在する場合には、ステップＳ６２に戻り、それ以降の処理が繰り返し実行される。即ち、このとき、ウォータマークパターン保持メモリ３２から、次のずらし位相ｒとウォータマークパターンが、ウォータマークパターン位相ずらし器９１に供給され、同様の処理が実行される。
【０１０６】
範囲Ｒの内のすべてのずらし位相ｒについて処理が終了したとき、ステップＳ７３に進み、ウォータマーク特定器９２は、付随情報信号ｆがｏｎとなったずらし位相ｒを調べ、対応表保持メモリ９３に保持されている対応表から、そのずらし位相ｒが対応する付随情報信号ｇを特定し、出力する。ここで、上述したように、それぞれの付随情報信号ｇには、特定の意味が割り当てられている。
【０１０７】
なお、付随情報信号ｆがｏｎとなるずらし位相ｒが現れた時点で、反復処理を中断あるいは終了しても良い。その後、ずらし位相ｒの値を対応表と照らし合わせ、付随情報信号ｇの種類を特定する。
【０１０８】
ずらし位相の範囲Ｒ［Ｒｍｉｎ，Ｒｍａｘ］は、どのような範囲としても良い。長さ ｋ の任意のウォータマークパターンについては、通常は、［０，ｋ−１］など、区間の長さがｋ以下となるような範囲が範囲Ｒとされるが、区間の長さがｋ以上であるどのような範囲を取っても構わない。また、検出時にかかる演算量を考慮して、区間の長さが短いどのような範囲を取っても構わない。
【０１０９】
ウォータマークの検出時には、ずらし位相の範囲Ｒ内について反復処理を行う際に、どのような順番あるいは位相を用いても良い。例えば、範囲Ｒ内の全ての整数位置について反復処理を行なっても良いし、ランダムあるいは任意の位相だけについて反復処理を行なっても良い。また、小数精度の位相あるいはずらし位置についても反復処理を行うことにし、そのような場合はウォータマークパターンあるいは対象領域の画素を補間して評価値を求めることにしても良い。
【０１１０】
ずらし量あるいはずらし位相の反映の方法は、識別可能である限りどのようなものであっても良い。例えば、ずらし位相ｒを反映させる際には、一定の回転成分ｒｒを減じることにし、ずらし量０についてはｚ＝０＋ｒ−ｒｒとして、図５の評価値演算処理を行なっても良い。
【０１１１】
各ずらし位相の値に応じて付随情報信号の種類を特定する対応表は、対応のつく限りどのようなものであっても良い。
【０１１２】
以上においては、ウォータマークを１画素単位で構成するようにしたが、例えば、図１３に示すように、８×８画素単位でブロック化して構成するようにしてもよい。この場合、ウォータマーク付加器１は、例えば、図１４に示すように構成される。なお、この図１４のウォータマーク付加器１は、図９に示したウォータマーク付加器１に対応している。この構成例においては、例えば、図１３に示すように、ウォータマークパターン照合制御器１０１が、ウォータマークパターン保持メモリ１２より読み出された、４×６画素に対応するパターンで構成されている場合、１画素分が８×８画素分のブロックに拡大して、ウォータマーク画像生成器１１に供給する。
【０１１３】
また、図１１に示すウォータマーク検出器２２は、例えば、図１５に示すように構成される。この構成例においては、ウォータマークパターン保持メモリ３２より出力されたウォータマークパターンが、ウォータマークパターン照合制御器１１１によりブロック単位で拡大され、ウォータマークパターン位相ずらし器９１に供給されている。その他の構成と動作は、図１１における場合と同様である。
【０１１４】
以上においては、本発明をエンコーダとデコーダに適用した場合を例として説明したが、例えば、図１６に示すように、フォーマッタに適用することも可能である。この場合、マスタテープ２０１または伝送路２０２より供給された画像データが、フォーマッタ２０３に供給される。フォーマッタ２０３は、上述した場合と同様の構成の復号器２１とウォータマーク検出器２２を有している。復号器２１は、入力された符号ビット列を復号し、ウォータマーク検出器２２に出力する。マスタテープ２０１または伝送路２０２からの画像データが、既に復号された状態の画像データである場合には、これがウォータマーク検出器２２に直接供給される。
【０１１５】
ウォータマーク検出器２２は、入力された画像データがウォータマークを含むか否かを検出し、その検出結果に対応して、画像変換器３４を制御する。従って、ウォータマークが付加されている画像データは出力され、スタンパ２０４が形成され、このスタンパ２０４から、大量のレプリカディスク２０５が生成される。これに対して、入力された画像データが、ウォータマークが付加されていない場合には、画像変換器３４は画像データを出力しない。従って、この場合、スタンパ２０４は作成することができないことになる。
【０１１６】
図１７は、本発明を記録装置に適用した場合の構成例を表している。この場合、記録装置２２１には、例えば、図１６のフォーマッタ２０３で製造されたディスク２０５、または伝送路２０２から符号化された画像データ、または既に復号されている画像データが入力される。符号化されている画像データは、復号器２１で復号された後、ウォータマーク検出器２２に供給される。既に復号された状態の画像データは、ウォータマーク検出器２２に、直接供給される。
【０１１７】
ウォータマーク検出器２２は、図１６のフォーマッタ２０３における場合と同様に、ウォータマークが付加されている場合には、画像変換器３４から画像データを出力し、ディスク２２２に記録させるが、ウォータマークが付加されていない場合には、画像変換器３４を制御して、画像データを出力させないようにする。その結果、このとき、ディスク２２２には、記録装置２２１に入力された画像データを記録することができないことになる。
【０１１８】
以上においては、本発明をエンコードおよびデコードに応用した場合を例として説明したが、その他の装置に本発明を適用することができる。
【０１１９】
なお、上記したような処理を行うプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、ＣＤ−ＲＯＭ、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【０１２０】
【発明の効果】
第１の本発明および第２の本発明によれば、より正確かつ確実に、ウォータマークを検出することが可能となる。
【０１２１】
第３の本発明によれば、多くの種類の付随情報を利用することが可能となる。
【０１２２】
第４の本発明によれば、例えば、単なるコピー防止だけでなく、１回のコピーが可能、２回のコピーが可能といったような、様々な対応で記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダの構成例を示すブロック図である。
【図２】本発明を適用したデコーダの構成例を示すブロック図である。
【図３】図１のウォータマーク検出器２２の構成例を示すブロック図である。
【図４】図３のウォータマーク検出器２２の動作を説明するフローチャートである。
【図５】図４のステップＳ３，Ｓ５，Ｓ７の評価値演算処理の詳細を示すフローチャートである。
【図６】ウォータマークのパターンのずらし方を説明する図である。
【図７】ウォータマークのパターンのずらし位相を説明する図である。
【図８】対応表の例を表す図である。
【図９】図１のウォータマーク付加器１の構成例を示すブロック図である。
【図１０】図９のウォータマーク付加器１の動作を説明するフローチャートである。
【図１１】図２のウォータマーク検出器２２の他の構成例を示すブロック図である。
【図１２】図１１のウォータマーク検出器２２の動作を説明するフローチャートである。
【図１３】ウォータマークのパターンのブロック化を説明する図である。
【図１４】図１のウォータマーク付加器１のさらに他の構成例を示すブロック図である。
【図１５】図２のウォータマーク検出器２２のさらに他の構成例を示すブロック図である。
【図１６】本発明を適用したフォーマッタの構成例を示す図である。
【図１７】本発明を適用した記録装置の構成例を示す図である。
【図１８】従来の付随情報の記録方法を説明する図である。
【図１９】ウォータマークによる付随情報の埋め込みを説明する図である。
【図２０】ウォータマークのパターンの例を示す図である。
【図２１】ウォータマークの付加処理を説明する図である。
【図２２】ウォータマークが付加されている場合の評価値の演算を説明する図である。
【図２３】ウォータマークが付加されていない場合における評価値の演算を説明する図である。
【図２４】従来のエンコーダの構成例を示すブロック図である。
【図２５】従来のデコーダの構成例を示すブロック図である。
【図２６】図２４のウォータマーク付加器１の構成例を示すブロック図である。
【図２７】図２５のウォータマーク検出器２２の構成例を示すブロック図である。
【図２８】図２６のウォータマーク付加器１の動作を説明するフローチャートである。
【図２９】図２７のウォータマーク検出器２２の動作を説明するフローチャートである。
【符号の説明】
１ ウォータマーク付加器， ２ 符号化器， ２１ 復号器， ２２ ウォータマーク検出器， ３１−１乃至３１−３ 評価値算出器， ３２ ウォータマークパターン保持メモリ， ３３ 評価値比較器， ３４ 画像変換器， ７１−１，７１−２ ウォータマークパターンずらし器， ８１ ウォータマーク特定器， ８２ 対応表保持メモリ， ８３ ウォータマークパターン位相ずらし器， ９１ ウォータマークパターン位相ずらし器， ９２ ウォータマーク特定器， ９３ 対応表保持メモリ
Claims (11)
- 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理装置において、
前記ウォータマークのパターンを記憶する記憶手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、
前記生成手段により生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、
前記第１の評価値および前記第２の評価値から基準の評価値を生成するとともに、前記第１の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出手段と
を備えることを特徴とする画像データ処理装置。 - 前記生成手段は、前記記憶手段に記憶されている前記ウォータマークのパターンの位相と異なる少なくとも２種類の位相のウォータマークを生成する
ことを特徴とする請求項１に記載の画像データ処理装置。 - 前記各手段は、複数個の画素で構成されるブロック単位で各処理を行う
ことを特徴とする請求項１に記載の画像データ処理装置。 - 前記検出手段による検出結果に応じて、前記画像データの出力を制御する制御手段
をさらに備えることを特徴とする請求項１に記載の画像データ処理装置。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理方法において、
前記ウォータマークのパターンを記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、
前記生成ステップの処理で生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、
前記第１の評価値および前記第２の評価値から基準の評価値を生成するとともに、前記第１の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出ステップと
を含むことを特徴とする画像データ処理方法。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理装置において、
前記ウォータマークのパターンを記憶する記憶手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算手段と、
前記生成手段により生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算手段と、
前記第１の評価値および前記第２の評価値から基準の評価値を生成するとともに、前記第１の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出手段と、
それぞれ所定の情報が割り当てられる複数の前記付随情報と前記ウォータマークの位相差との関係を記憶する関係記憶手段と、
前記検出手段により検出された前記付随情報、および前記記憶手段に記憶されている前記ウォータマークのパターンと前記生成手段により生成された前記ウォータマークのパターンとの位相差が割り当てられて前記関係記憶手段に記憶されている前記所定の情報を選択する選択手段と
を備えることを特徴とする画像データ処理装置。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理方法において、
前記ウォータマークのパターンを記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第１の評価値を求める第１の演算ステップと、
前記生成ステップの処理で生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第２の評価値を求める第２の演算ステップと、
前記第１の評価値および前記第２の評価値から基準の評価値を生成するとともに、前記第１の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出ステップと、
それぞれ所定の情報が割り当てられる複数の前記付随情報と前記ウォータマークの位相差との関係を記憶する関係記憶ステップと、
前記検出ステップの処理で検出された前記付随情報、および前記記憶ステップの処理で記憶された前記ウォータマークのパターンと前記生成ステップの処理で生成された前記ウォータマークのパターンとの位相差が割り当てられて前記関係記憶ステップの処理で記憶された前記所定の情報を選択する選択ステップと
を含むことを特徴とする画像データ処理方法。 - 画像データに対して付随情報をウォータマークとして埋め込む画像データ処理装置において、
複数の前記付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶手段と、
入力された前記付随情報に対応する前記ウォータマークの位相を、前記対応表から選択する選択手段と、
前記ウォータマークのパターンを記憶する第２の記憶手段と、
前記第２の記憶手段に記憶されている前記ウォータマークのパターンを読み出し、前記選択手段により選択された位相を設定する位相設定手段と、
前記位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段と
を備えることを特徴とする画像データ処理装置。 - 複数の前記付随情報には、それぞれ所定の情報が割り当てられる
ことを特徴とする請求項８に記載の画像データ処理装置。 - 画像データに対して付随情報をウォータマークとして埋め込む画像データ処理方法において、
複数の前記付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第１の記憶ステップと、
入力された前記付随情報に対応する前記ウォータマークの位相を、前記対応表から選択する選択ステップと、
前記ウォータマークのパターンを記憶する第２の記憶ステップと、
前記第２の記憶ステップの処理で記憶されている前記ウォータマークのパターンを読み出し、前記選択ステップの処理で選択された位相を設定する位相設定ステップと、
前記位相設定ステップの処理で設定された位相のウォータマークを、画像データに付加する付加ステップと
を含むことを特徴とする画像データ処理方法。 - 付随情報がウォータマークとして埋め込まれている画像データが記憶されている記録媒体において、
前記画像データには、複数の前記付随情報のうちの所定のものに対応する位相のウォータマークが付加されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24807998A JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25282297 | 1997-09-02 | ||
| JP9-252822 | 1997-09-02 | ||
| JP24807998A JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11164134A JPH11164134A (ja) | 1999-06-18 |
| JP3606425B2 true JP3606425B2 (ja) | 2005-01-05 |
Family
ID=26538573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24807998A Expired - Fee Related JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3606425B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001011563A1 (en) * | 1999-08-05 | 2001-02-15 | Koninklijke Philips Electronics N.V. | Detection of auxiliary data in an information signal |
| JP3682222B2 (ja) | 2000-12-11 | 2005-08-10 | 株式会社東芝 | 電子透かし検出装置、電子透かし検出方法及び記録媒体 |
| KR100888589B1 (ko) * | 2002-06-18 | 2009-03-16 | 삼성전자주식회사 | 반복적으로 삽입된 워터마크 추출방법 및 그 장치 |
| JP7207627B2 (ja) * | 2019-05-03 | 2023-01-18 | 河村 尚登 | 高耐性電子透かし法 |
-
1998
- 1998-09-02 JP JP24807998A patent/JP3606425B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11164134A (ja) | 1999-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6404926B1 (en) | Apparatus and method of processing image data, transmission medium, and recording medium | |
| JP3696723B2 (ja) | 画像データ処理装置及び方法 | |
| JP3349910B2 (ja) | 画像データエンコードシステム | |
| US7159117B2 (en) | Electronic watermark data insertion apparatus and electronic watermark data detection apparatus | |
| US6111990A (en) | Digital-watermark superposing apparatus and digital-watermarker detecting apparatus | |
| US7050604B2 (en) | Image data protection technique | |
| US6834345B2 (en) | Method for data preparation and watermark insertion | |
| EP0901102B1 (en) | Watermark embedding method and system | |
| KR100441474B1 (ko) | 불법복제를방지하기위한데이터기록장치및방법 | |
| US6553070B2 (en) | Video-data encoder and recording media wherein a video-data encode program is recorded | |
| CN101389009B (zh) | 一种水印信息的嵌入、检测方法及装置 | |
| MXPA96003764A (en) | Data registration device and method to prevent ile copying | |
| JPH10191330A (ja) | デジタルデータへの識別データ挿入方式及び検出方式 | |
| JPH11355736A (ja) | 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体 | |
| US8270485B2 (en) | Digital watermarking method | |
| KR100643273B1 (ko) | 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치 | |
| CA2226719C (en) | Image data illegal use prevention system | |
| JP3606425B2 (ja) | 画像データ処理装置および方法、並びに記録媒体 | |
| JP3762655B2 (ja) | 情報埋め込み装置、検出装置、データ処理方法、プログラム及び記憶媒体 | |
| JP4239998B2 (ja) | 画像データ処理装置および方法 | |
| JP3642956B2 (ja) | 画像データ処理装置及び方法、並びに記録装置及び方法 | |
| JPH10290312A (ja) | 画像データの不正流用防止システム | |
| JP2001094759A (ja) | 情報処理装置および方法、並びに記録媒体 | |
| JP2001292428A (ja) | 動画像へのデータ・ハイディング方法及びデータ抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |