JP3721992B2 - 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 - Google Patents
電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 Download PDFInfo
- Publication number
- JP3721992B2 JP3721992B2 JP2001028928A JP2001028928A JP3721992B2 JP 3721992 B2 JP3721992 B2 JP 3721992B2 JP 2001028928 A JP2001028928 A JP 2001028928A JP 2001028928 A JP2001028928 A JP 2001028928A JP 3721992 B2 JP3721992 B2 JP 3721992B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- degrees
- watermark information
- dimensional
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法に係り、特に著作権の所有権を証明し、著作権侵害を識別し、隠されたメッセージを送信するために、画像、音声、マルチメディアデータに電子透かし（ウォーターマーク）情報を埋め込む電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法に関する。
【０００２】
【従来の技術】
電子透かし信号は画像や音声のマルチメディアデータに何らかの情報を埋め込み、隠し持たせる技術である。埋め込む方式は様々なものがある。従来より知られている電子透かし情報埋め込み方法として、例えば、情報をＭＰＥＧ方式により圧縮符号化された符号、特にＤＣＴ係数や、動きベクトル、量子化特性の変更に基づく情報埋め込み手法が提案されている（小川宏他２名、“DCTを用いたデジタル動画像における著作権情報埋め込み方法”、SCIS'97-31G）。
【０００３】
また、他の従来の電子透かし情報埋め込み方法として、直接拡散方式に従い、PN系列で画像信号を拡散し、画像に署名情報を合成する方法も知られている（大西淳児他２名、“PN系列による画像への透かし署名法”、SCIS'97_26B）。この従来方法では、署名を含んだ画像信号を逆拡散すると、署名情報は画像信号全体に拡散し、拡散された信号は非常に弱く、画像信号に対して大きなノイズとはならず、署名情報を含んだ画像信号は見かけ上は原画像と同じである。署名情報を確認するには、拡散符号で画像信号を拡散することにより、署名情報の信号を検出する。
【０００４】
【発明が解決しようとする課題】
しかるに、上記の従来の電子透かし情報埋め込み方法では、電子透かし情報はいくつかの点において耐性の弱い点が存在する。例えば、離散コサイン変換（ＤＣＴ）などの直交変換を用いてその変換係数に対して、透かし情報を埋め込んでいる場合、その直交変換するサンプリングの単位が同期の取れていない状態では、その情報を読み出す精度が非常に悪くなる。具体的には画像の場合、水平方向及び垂直方向共に８画素の２次元ＤＣＴを用いたとすると、検出時にも電子透かし情報を埋め込むときと同じブロックを用いる必要性があるにもかかわらず、１画素や１ラインずれて、画像を切り出した場合などに生ずるブロック構成の場合、透かし情報の読み出し精度が非常に悪くなる。
【０００５】
また、画像信号に署名情報などの電子透かし情報を混入する場合に、混入位置を画像の重要部分などに特定したときに、その位置を中心として電子透かし情報を混入するなどの明確な手段が存在しない。また、画像を回転した場合には直交変換成分の水平垂直で分布や位相が変化して、電子透かし情報を取り出すことができない。更に、この位置特定の技術を有効に生かして視覚的に電子透かし情報を表示する明確な手段が存在しない。
【０００６】
本発明は以上の点に鑑みなされたもので、記録されたコンテンツ情報の一部を抜き取ったり、画像の場合、回転を加えたりしても、記録されている電子透かし情報が失われないようにした視覚的に電子透かし情報を表示することのできる電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明の電子透かし情報埋め込み装置は、画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生するパターン発生手段と、画像原データの所定単位における電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する特定ビット検出手段と、パターン発生手段からの２次元パターンビットと、特定ビット検出手段からの２次元特定ビットとを用いて、電子透かし情報を埋め込む位置における２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する計算手段と、計算手段により計算された２次元特定ビット値を画像原データに混入して透かし埋め込み画像データとして出力する混入手段とを有する構成としたものである。
【０００８】
また、上記の目的を達成するため、本発明の電子透かし情報埋め込み方法は、画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生する第１のステップと、画像原データの所定単位における電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する第２のステップと、上記の２次元パターンビットと２次元特定ビットとを用いて、電子透かし情報を埋め込む位置における２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する第３のステップと、第３のステップにより計算された２次元特定ビット値を画像原データに混入して透かし埋め込み画像データとして出力する第４のステップとを含むことを特徴とする。
【０００９】
本発明の電子透かし情報埋め込み装置及び方法では、画像原データに電子透かし情報を埋め込む位置における特定ビットのデータパターンが、予め定めた２次元パターンビットと２次元特定ビットとを用いた計算により、特定の２次元パターン値になるようにしたため、再生側で電子透かし情報を上記の予め定めた２次元パターンビットとの計算により、電子透かし情報の埋め込み領域を特定した埋め込みができる。
【００１０】
また、上記の目的を達成するため、本発明の電子透かし情報再生装置は、予め定めた２次元パターンビットを発生するパターン発生手段と、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、パターン発生手段からの２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出する埋め込み領域検出手段と、埋め込み領域検出手段から取り出された画像データに対して、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する変換手段とを有する構成としたものである。
【００１１】
更に、本発明の電子透かし情報再生方法は、予め定めた２次元パターンビットを発生する第１のステップと、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出する第２のステップと、埋め込み領域が検出された画像データに対して、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する第３のステップとを含むことを特徴とする。
【００１２】
本発明の電子透かし情報再生装置及び方法では、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出でき、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力することができる。
【００１３】
また、本発明装置及び方法では、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第１のパターンの２次元パターンビットを発生し、特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第２のパターンを設定して計算を行うことを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明になる電子透かし情報埋め込み装置の一実施の形態のブロック図、図２は本発明になる電子透かし情報再生装置の一実施の形態のブロック図を示す。まず、電子透かし情報を、入力画像原データに埋め込む装置について図１と共に説明する。図１において、入力された画像原データは、画素特定ビット検出器１１と透かし情報混入器１５にそれぞれ供給される。
【００１５】
この画像原データは画像のサンプリングデータで、例えば、図３のように、水平７２０画素、垂直４８０ラインの輝度信号（Ｙ）、水平３６０画素、垂直４８０ラインの色差信号（Ｃｂ，Ｃｒ）で構成されている画像データの、各信号１画素当たり８ビットのサンプリングデータである。画素特定ビット検出器１１は、透かし情報を埋め込むときの強度によって、各画素８ビットのサンプリングデータである画像原データ中の例えば輝度信号画素の下位１ビットからＮビット（ここではＮは８未満の自然数）までのどこのビットに埋め込むかによって、ビットを特定する。
【００１６】
例えば、透かし情報を埋め込むことによって、画質への影響を最低限に抑えるには、図４のように下位１ビットに電子透かし情報を埋め込む。その場合、画素特定ビット検出器１１では、入力された画像原データ中の輝度信号１画素毎の８ビットの下位１ビットを特定する。
【００１７】
また、図５のように下位２ビットに埋め込む場合、画素特定ビット検出器１１では、入力された画像原データの１画素毎の輝度信号８ビットのデータの下位２ビットを特定する。図６のように下位３ビットに埋め込む場合、画素特定ビット検出器１１では入力された画像原データの１画素毎の輝度信号８ビットのデータの下位３ビットを特定する。
【００１８】
このように、画素特定ビット検出器１１は、入力された画像原データ中の輝度信号の各画素（８ビットサンプリングデータ）の下位１ビットからＮビットまでのうち、埋め込む強度が強いほど多くのビット数に電子透かし情報を埋め込む。埋め込む強度が弱いほど画質への影響は少ないが、埋め込み対象の画像が、圧縮率の大きい圧縮変換がされるアプリケーションで使用される場合、強度を強くして、圧縮に対する耐性（消えないように）を大きくするときに、埋め込む強度を強くする。
【００１９】
電子透かし情報の１ビットの値０/１に対応するレベルを、輝度信号画素の下位１ビットに電子透かし情報を埋め込む図４の例では０/１に、輝度信号画素の下位２ビットに電子透かし情報を埋め込む図５の例では０/３に、輝度信号画素の下位３ビットに電子透かし情報を埋め込む図６の例では０/７としている。電子透かし情報の埋め込み強度は、図４、図５、図６の順で強くなる。
【００２０】
画素特定ビット検出器１１で輝度信号画素の下位何ビットに電子透かし情報を埋め込むかが特定されたビットデータは、図１の排他的論理和器１２へ供給される。排他的論理和器１２では、電子透かし情報の埋め込みビット数が特定されたビットデータと、後述する固定パターン数発生器１４からの固定パターン数値との排他的論理和を計算する。計算結果のデータは透かし情報混入器１５に供給される。
【００２１】
一方、電子透かし情報は、予めマップ化されて、例えば図７のように視覚的に画面内での位置を決定しておく。このようにマップ化された電子透かし情報である透かし埋め込みマップデータは、埋め込み位置特定器１３に入力され、ここで埋め込み位置を所定のブロックのラスター順にスキャンした場合のアドレスに変換された後、固定パターン数発生器１４に供給される。
【００２２】
固定パターン数発生器１４は、埋め込み位置特定器１３で変換されたアドレスに対応する画像データに対して、所定の固定パターンを発生して排他的論理和器１２に供給する。それ以外の画像データに対しては、固定パターンを発生しない、もしくは”０”を排他的論理和器１２に供給する。
【００２３】
ここで、図７に示した電子透かし情報中のＤで示した一つの矩形は、輝度信号画素が垂直方向９画素、水平方向９画素からなる一つのブロックを示す。また、上記の固定パターンは、例えば、図８のように２次元的に水平方向及び垂直方向共に３画素の計９ビットに設定する。
【００２４】
排他的論理和器１２では、画素特定ビット検出器１１からの電子透かし情報の埋め込みビット数が特定されたビットデータに対して、固定パターン数発生器１４からの固定パターン数値を対応するビット同士で１ビットずつ、排他的論理和を計算する。
【００２５】
ここで、画素特定ビット検出器１１からの電子透かし情報の埋め込みビット数が特定されたビットデータの値は、輝度信号画素の下位１ビットに電子透かし情報を埋め込む図４の例では、輝度信号画素の下位１ビットが０／１であるときには、その下位１ビットに対応して”０”又は”１”であり、下位２ビットに電子透かし情報を埋め込む図５の例では輝度信号画素の下位２ビットが「３」のとき”１”、それ以外のとき”０”であり、輝度信号画素の下位３ビットに電子透かし情報を埋め込む図６の例では輝度信号画素の下位３ビットが「７」のとき”１”、それ以外のとき”０”である。
【００２６】
このとき、排他的論理和器１２により、図８に示した固定パターンと、輝度信号９画素の各下位ｎビット数（ｎ＝１〜Ｎ）で表される上記特定ビットデータの値”０”又は”１”を３×３画素の９ビットに並べて、それぞれ排他的論理和をとったときに、図９のような結果となるように、輝度信号９画素分の各下位ｎビット数を決定する。また、２次元パターンビットと、埋め込みパターンが、０度、９０度、１８０度、２７０度回転に対して同じパターンであるように構成する。これによって画像を加工処理により回転した場合にも、検出が可能である。
【００２７】
透かし情報混入器１５は、このように排他的論理和を計算したデータを、入力画像原データの先の画素特定ビット検出器１１と同じ下位のｎビット部分に配置して、透かし埋め込み画像データとして出力する。出力された透かし埋め込み画像データは、公知の手段で図示しない記録媒体に記録される。
【００２８】
次に、電子透かし情報再生系について、図２のブロック図と共に説明する。図示しない記録媒体から公知の手段で再生された透かし埋め込み画像データは、画素特定ビット検出器２１に入力される。画素特定ビット検出器２１では、透かし情報を埋め込んだ強度によって、下位１ビットからＮビットまでのどこのビットに埋め込んであるかを、電子透かし情報記録装置と同じにする規則としておき、同じビットを特定する。
【００２９】
例えば、透かし情報を埋め込むことによって、画質への影響を最低限に抑えて、図４のように下位１ビットに埋め込む。その場合、画素特定ビット検出器２１では入力された透かし埋め込み画像データの１画素毎の輝度信号８ビットのデータの下位１ビットを特定する。画素特定ビット検出器２１で特定されたビットデータは排他的論理和器２２へ出力される。
【００３０】
なお、図２の再生装置側では、図１の埋め込み装置で埋め込んだ強度が予め分かっている。これは、アプリケーションによって、強度は決まってしまうからで、強度の情報は現実には送信しない。ただし、画像データの左上の始めの画素に、強度の値を記録しておいたり、画像データ全体の一番最初に、何らかのヘッダを付けて強度を再生装置側へ伝送するようにしてもよい。
【００３１】
電子透かし情報がどこに記録されているかを検出するために、固定パターン数発生器２３から固定パターンを発生し、そのデータを排他的論理和器２２へ供給する。排他的論理和器２２では、透かし埋め込み画像データの特定下位ビットと固定パターン数値との排他的論理和を計算する。計算結果が図９のようなパターンになったら、そこに電子透かし情報が入っていると判断する。その位置情報を透かしマップ検出器２４へ出力する。
【００３２】
透かしマップ検出器２４は検出されたアドレスを中心に、例えば、輝度信号の水平方向及び垂直方向各９画素のブロック部分に対応するアドレスを作成する。これによって図７のようなブロックで描いた文字のような部分を特定できる。また、高品位な文字にしたい場合には、文字の太さや形状をフォント情報を透かしマップ検出器２４にもち、その文字部分の位置アドレスを発生させる。
【００３３】
これらの文字位置情報は、色差信号変換器２５へ供給される。色差信号変換器２５は、入力された文字位置情報のデータに相当する画素に対して、画像データの色差信号のうち赤信号に対してのみ、８ビットの最大値の“２５５”のデータとし、それ以外の青信号及び緑信号は変換せず、入力信号の値のままで出力する。色差信号変換器２５により変換された画像データは、モニタ２６に供給され、画像として表示される。
【００３４】
ここで、モニタ２６に供給された画像データは、電子透かし情報の位置の画素のみが強制的に赤い色で着色されるようになされており、それ以外の画素位置は原画像の色のままで着色されるため、モニタ２６の表示画像は、原画像と共に電子透かし情報の画像「ＪＶＣ」という文字が赤く浮き出た画像として表示される。これにより、ユーザは電子透かし情報が「ＪＶＣ」という文字であることが分かる。
【００３５】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、上記の実施の形態では、電子透かし情報が埋め込まれた画像信号、すなわち、透かし埋め込み画像を記録媒体に記録し、再生するように説明したが、上記の実施の形態の電子透かし情報埋め込み装置は、生成した上記の透かし埋め込み画像をインターネットや有線回線あるいは無線回線などを介して配信してもよく、また、上記の実施の形態の電子透かし情報再生装置は、上記の配信された透かし埋め込み画像を受信して透かし情報を再生するようにしてもよい。また、電子透かし情報は、赤色以外の色で表示することもでき、更には輝度を変化させて表示することも可能である。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、再生側で電子透かし情報を上記の予め定めた２次元パターンビットとの計算により、電子透かし情報の埋め込み領域を特定した埋め込みができるため、電子透かし情報が埋め込まれた画像が切り出されて変形されることにより、埋め込まれた電子透かし情報が、元の画像の位置を変わった場合でも、埋め込み位置を特定でき、データの同期を取ることができる。それにより電子透かし情報の検出精度が非常に高くなり、視覚的に電子透かし情報を正確に表示することが可能となる。
【００３７】
また、本発明によれば、２次元パターンビットと、埋め込みパターンが、０度、９０度、１８０度、２７０度回転に対して同じパターンであるので画像を回転した場合にも、検出が可能である。
【図面の簡単な説明】
【図１】本発明の電子透かし情報埋め込み装置の一実施の形態のブロック図である。
【図２】本発明の電子透かし情報再生装置の一実施の形態のブロック図である。
【図３】本発明で扱う画像データのサンプリングデータの説明図である。
【図４】電子透かし情報の埋め込み強度１の説明図である。
【図５】電子透かし情報の埋め込み強度２の説明図である。
【図６】電子透かし情報の埋め込み強度３の説明図である。
【図７】本発明における電子透かし情報の画像例と画面上のビット位置の一例の説明図である。
【図８】本発明の要部で発生するパターンビットの一例の説明図である。
【図９】本発明の要部における特定ビット値の一例の説明図である。
【符号の説明】
１１ 画素特定ビット検出器
１２、２２ 排他的論理和器
１３ 埋め込み位置特定器
１４、２３ 固定パターン数発生器
１５ 透かし情報混入器
２１ 画素特定ビット検出器
２４ 透かしマップ検出器
２５ 色差信号変換器
２６ モニタ
【発明の属する技術分野】
本発明は電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法に係り、特に著作権の所有権を証明し、著作権侵害を識別し、隠されたメッセージを送信するために、画像、音声、マルチメディアデータに電子透かし（ウォーターマーク）情報を埋め込む電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法に関する。
【０００２】
【従来の技術】
電子透かし信号は画像や音声のマルチメディアデータに何らかの情報を埋め込み、隠し持たせる技術である。埋め込む方式は様々なものがある。従来より知られている電子透かし情報埋め込み方法として、例えば、情報をＭＰＥＧ方式により圧縮符号化された符号、特にＤＣＴ係数や、動きベクトル、量子化特性の変更に基づく情報埋め込み手法が提案されている（小川宏他２名、“DCTを用いたデジタル動画像における著作権情報埋め込み方法”、SCIS'97-31G）。
【０００３】
また、他の従来の電子透かし情報埋め込み方法として、直接拡散方式に従い、PN系列で画像信号を拡散し、画像に署名情報を合成する方法も知られている（大西淳児他２名、“PN系列による画像への透かし署名法”、SCIS'97_26B）。この従来方法では、署名を含んだ画像信号を逆拡散すると、署名情報は画像信号全体に拡散し、拡散された信号は非常に弱く、画像信号に対して大きなノイズとはならず、署名情報を含んだ画像信号は見かけ上は原画像と同じである。署名情報を確認するには、拡散符号で画像信号を拡散することにより、署名情報の信号を検出する。
【０００４】
【発明が解決しようとする課題】
しかるに、上記の従来の電子透かし情報埋め込み方法では、電子透かし情報はいくつかの点において耐性の弱い点が存在する。例えば、離散コサイン変換（ＤＣＴ）などの直交変換を用いてその変換係数に対して、透かし情報を埋め込んでいる場合、その直交変換するサンプリングの単位が同期の取れていない状態では、その情報を読み出す精度が非常に悪くなる。具体的には画像の場合、水平方向及び垂直方向共に８画素の２次元ＤＣＴを用いたとすると、検出時にも電子透かし情報を埋め込むときと同じブロックを用いる必要性があるにもかかわらず、１画素や１ラインずれて、画像を切り出した場合などに生ずるブロック構成の場合、透かし情報の読み出し精度が非常に悪くなる。
【０００５】
また、画像信号に署名情報などの電子透かし情報を混入する場合に、混入位置を画像の重要部分などに特定したときに、その位置を中心として電子透かし情報を混入するなどの明確な手段が存在しない。また、画像を回転した場合には直交変換成分の水平垂直で分布や位相が変化して、電子透かし情報を取り出すことができない。更に、この位置特定の技術を有効に生かして視覚的に電子透かし情報を表示する明確な手段が存在しない。
【０００６】
本発明は以上の点に鑑みなされたもので、記録されたコンテンツ情報の一部を抜き取ったり、画像の場合、回転を加えたりしても、記録されている電子透かし情報が失われないようにした視覚的に電子透かし情報を表示することのできる電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明の電子透かし情報埋め込み装置は、画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生するパターン発生手段と、画像原データの所定単位における電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する特定ビット検出手段と、パターン発生手段からの２次元パターンビットと、特定ビット検出手段からの２次元特定ビットとを用いて、電子透かし情報を埋め込む位置における２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する計算手段と、計算手段により計算された２次元特定ビット値を画像原データに混入して透かし埋め込み画像データとして出力する混入手段とを有する構成としたものである。
【０００８】
また、上記の目的を達成するため、本発明の電子透かし情報埋め込み方法は、画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生する第１のステップと、画像原データの所定単位における電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する第２のステップと、上記の２次元パターンビットと２次元特定ビットとを用いて、電子透かし情報を埋め込む位置における２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する第３のステップと、第３のステップにより計算された２次元特定ビット値を画像原データに混入して透かし埋め込み画像データとして出力する第４のステップとを含むことを特徴とする。
【０００９】
本発明の電子透かし情報埋め込み装置及び方法では、画像原データに電子透かし情報を埋め込む位置における特定ビットのデータパターンが、予め定めた２次元パターンビットと２次元特定ビットとを用いた計算により、特定の２次元パターン値になるようにしたため、再生側で電子透かし情報を上記の予め定めた２次元パターンビットとの計算により、電子透かし情報の埋め込み領域を特定した埋め込みができる。
【００１０】
また、上記の目的を達成するため、本発明の電子透かし情報再生装置は、予め定めた２次元パターンビットを発生するパターン発生手段と、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、パターン発生手段からの２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出する埋め込み領域検出手段と、埋め込み領域検出手段から取り出された画像データに対して、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する変換手段とを有する構成としたものである。
【００１１】
更に、本発明の電子透かし情報再生方法は、予め定めた２次元パターンビットを発生する第１のステップと、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出する第２のステップと、埋め込み領域が検出された画像データに対して、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する第３のステップとを含むことを特徴とする。
【００１２】
本発明の電子透かし情報再生装置及び方法では、電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、画像原データ中の電子透かし情報が埋め込まれている埋め込み領域を検出でき、検出された埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力することができる。
【００１３】
また、本発明装置及び方法では、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第１のパターンの２次元パターンビットを発生し、特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第２のパターンを設定して計算を行うことを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明になる電子透かし情報埋め込み装置の一実施の形態のブロック図、図２は本発明になる電子透かし情報再生装置の一実施の形態のブロック図を示す。まず、電子透かし情報を、入力画像原データに埋め込む装置について図１と共に説明する。図１において、入力された画像原データは、画素特定ビット検出器１１と透かし情報混入器１５にそれぞれ供給される。
【００１５】
この画像原データは画像のサンプリングデータで、例えば、図３のように、水平７２０画素、垂直４８０ラインの輝度信号（Ｙ）、水平３６０画素、垂直４８０ラインの色差信号（Ｃｂ，Ｃｒ）で構成されている画像データの、各信号１画素当たり８ビットのサンプリングデータである。画素特定ビット検出器１１は、透かし情報を埋め込むときの強度によって、各画素８ビットのサンプリングデータである画像原データ中の例えば輝度信号画素の下位１ビットからＮビット（ここではＮは８未満の自然数）までのどこのビットに埋め込むかによって、ビットを特定する。
【００１６】
例えば、透かし情報を埋め込むことによって、画質への影響を最低限に抑えるには、図４のように下位１ビットに電子透かし情報を埋め込む。その場合、画素特定ビット検出器１１では、入力された画像原データ中の輝度信号１画素毎の８ビットの下位１ビットを特定する。
【００１７】
また、図５のように下位２ビットに埋め込む場合、画素特定ビット検出器１１では、入力された画像原データの１画素毎の輝度信号８ビットのデータの下位２ビットを特定する。図６のように下位３ビットに埋め込む場合、画素特定ビット検出器１１では入力された画像原データの１画素毎の輝度信号８ビットのデータの下位３ビットを特定する。
【００１８】
このように、画素特定ビット検出器１１は、入力された画像原データ中の輝度信号の各画素（８ビットサンプリングデータ）の下位１ビットからＮビットまでのうち、埋め込む強度が強いほど多くのビット数に電子透かし情報を埋め込む。埋め込む強度が弱いほど画質への影響は少ないが、埋め込み対象の画像が、圧縮率の大きい圧縮変換がされるアプリケーションで使用される場合、強度を強くして、圧縮に対する耐性（消えないように）を大きくするときに、埋め込む強度を強くする。
【００１９】
電子透かし情報の１ビットの値０/１に対応するレベルを、輝度信号画素の下位１ビットに電子透かし情報を埋め込む図４の例では０/１に、輝度信号画素の下位２ビットに電子透かし情報を埋め込む図５の例では０/３に、輝度信号画素の下位３ビットに電子透かし情報を埋め込む図６の例では０/７としている。電子透かし情報の埋め込み強度は、図４、図５、図６の順で強くなる。
【００２０】
画素特定ビット検出器１１で輝度信号画素の下位何ビットに電子透かし情報を埋め込むかが特定されたビットデータは、図１の排他的論理和器１２へ供給される。排他的論理和器１２では、電子透かし情報の埋め込みビット数が特定されたビットデータと、後述する固定パターン数発生器１４からの固定パターン数値との排他的論理和を計算する。計算結果のデータは透かし情報混入器１５に供給される。
【００２１】
一方、電子透かし情報は、予めマップ化されて、例えば図７のように視覚的に画面内での位置を決定しておく。このようにマップ化された電子透かし情報である透かし埋め込みマップデータは、埋め込み位置特定器１３に入力され、ここで埋め込み位置を所定のブロックのラスター順にスキャンした場合のアドレスに変換された後、固定パターン数発生器１４に供給される。
【００２２】
固定パターン数発生器１４は、埋め込み位置特定器１３で変換されたアドレスに対応する画像データに対して、所定の固定パターンを発生して排他的論理和器１２に供給する。それ以外の画像データに対しては、固定パターンを発生しない、もしくは”０”を排他的論理和器１２に供給する。
【００２３】
ここで、図７に示した電子透かし情報中のＤで示した一つの矩形は、輝度信号画素が垂直方向９画素、水平方向９画素からなる一つのブロックを示す。また、上記の固定パターンは、例えば、図８のように２次元的に水平方向及び垂直方向共に３画素の計９ビットに設定する。
【００２４】
排他的論理和器１２では、画素特定ビット検出器１１からの電子透かし情報の埋め込みビット数が特定されたビットデータに対して、固定パターン数発生器１４からの固定パターン数値を対応するビット同士で１ビットずつ、排他的論理和を計算する。
【００２５】
ここで、画素特定ビット検出器１１からの電子透かし情報の埋め込みビット数が特定されたビットデータの値は、輝度信号画素の下位１ビットに電子透かし情報を埋め込む図４の例では、輝度信号画素の下位１ビットが０／１であるときには、その下位１ビットに対応して”０”又は”１”であり、下位２ビットに電子透かし情報を埋め込む図５の例では輝度信号画素の下位２ビットが「３」のとき”１”、それ以外のとき”０”であり、輝度信号画素の下位３ビットに電子透かし情報を埋め込む図６の例では輝度信号画素の下位３ビットが「７」のとき”１”、それ以外のとき”０”である。
【００２６】
このとき、排他的論理和器１２により、図８に示した固定パターンと、輝度信号９画素の各下位ｎビット数（ｎ＝１〜Ｎ）で表される上記特定ビットデータの値”０”又は”１”を３×３画素の９ビットに並べて、それぞれ排他的論理和をとったときに、図９のような結果となるように、輝度信号９画素分の各下位ｎビット数を決定する。また、２次元パターンビットと、埋め込みパターンが、０度、９０度、１８０度、２７０度回転に対して同じパターンであるように構成する。これによって画像を加工処理により回転した場合にも、検出が可能である。
【００２７】
透かし情報混入器１５は、このように排他的論理和を計算したデータを、入力画像原データの先の画素特定ビット検出器１１と同じ下位のｎビット部分に配置して、透かし埋め込み画像データとして出力する。出力された透かし埋め込み画像データは、公知の手段で図示しない記録媒体に記録される。
【００２８】
次に、電子透かし情報再生系について、図２のブロック図と共に説明する。図示しない記録媒体から公知の手段で再生された透かし埋め込み画像データは、画素特定ビット検出器２１に入力される。画素特定ビット検出器２１では、透かし情報を埋め込んだ強度によって、下位１ビットからＮビットまでのどこのビットに埋め込んであるかを、電子透かし情報記録装置と同じにする規則としておき、同じビットを特定する。
【００２９】
例えば、透かし情報を埋め込むことによって、画質への影響を最低限に抑えて、図４のように下位１ビットに埋め込む。その場合、画素特定ビット検出器２１では入力された透かし埋め込み画像データの１画素毎の輝度信号８ビットのデータの下位１ビットを特定する。画素特定ビット検出器２１で特定されたビットデータは排他的論理和器２２へ出力される。
【００３０】
なお、図２の再生装置側では、図１の埋め込み装置で埋め込んだ強度が予め分かっている。これは、アプリケーションによって、強度は決まってしまうからで、強度の情報は現実には送信しない。ただし、画像データの左上の始めの画素に、強度の値を記録しておいたり、画像データ全体の一番最初に、何らかのヘッダを付けて強度を再生装置側へ伝送するようにしてもよい。
【００３１】
電子透かし情報がどこに記録されているかを検出するために、固定パターン数発生器２３から固定パターンを発生し、そのデータを排他的論理和器２２へ供給する。排他的論理和器２２では、透かし埋め込み画像データの特定下位ビットと固定パターン数値との排他的論理和を計算する。計算結果が図９のようなパターンになったら、そこに電子透かし情報が入っていると判断する。その位置情報を透かしマップ検出器２４へ出力する。
【００３２】
透かしマップ検出器２４は検出されたアドレスを中心に、例えば、輝度信号の水平方向及び垂直方向各９画素のブロック部分に対応するアドレスを作成する。これによって図７のようなブロックで描いた文字のような部分を特定できる。また、高品位な文字にしたい場合には、文字の太さや形状をフォント情報を透かしマップ検出器２４にもち、その文字部分の位置アドレスを発生させる。
【００３３】
これらの文字位置情報は、色差信号変換器２５へ供給される。色差信号変換器２５は、入力された文字位置情報のデータに相当する画素に対して、画像データの色差信号のうち赤信号に対してのみ、８ビットの最大値の“２５５”のデータとし、それ以外の青信号及び緑信号は変換せず、入力信号の値のままで出力する。色差信号変換器２５により変換された画像データは、モニタ２６に供給され、画像として表示される。
【００３４】
ここで、モニタ２６に供給された画像データは、電子透かし情報の位置の画素のみが強制的に赤い色で着色されるようになされており、それ以外の画素位置は原画像の色のままで着色されるため、モニタ２６の表示画像は、原画像と共に電子透かし情報の画像「ＪＶＣ」という文字が赤く浮き出た画像として表示される。これにより、ユーザは電子透かし情報が「ＪＶＣ」という文字であることが分かる。
【００３５】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、上記の実施の形態では、電子透かし情報が埋め込まれた画像信号、すなわち、透かし埋め込み画像を記録媒体に記録し、再生するように説明したが、上記の実施の形態の電子透かし情報埋め込み装置は、生成した上記の透かし埋め込み画像をインターネットや有線回線あるいは無線回線などを介して配信してもよく、また、上記の実施の形態の電子透かし情報再生装置は、上記の配信された透かし埋め込み画像を受信して透かし情報を再生するようにしてもよい。また、電子透かし情報は、赤色以外の色で表示することもでき、更には輝度を変化させて表示することも可能である。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、再生側で電子透かし情報を上記の予め定めた２次元パターンビットとの計算により、電子透かし情報の埋め込み領域を特定した埋め込みができるため、電子透かし情報が埋め込まれた画像が切り出されて変形されることにより、埋め込まれた電子透かし情報が、元の画像の位置を変わった場合でも、埋め込み位置を特定でき、データの同期を取ることができる。それにより電子透かし情報の検出精度が非常に高くなり、視覚的に電子透かし情報を正確に表示することが可能となる。
【００３７】
また、本発明によれば、２次元パターンビットと、埋め込みパターンが、０度、９０度、１８０度、２７０度回転に対して同じパターンであるので画像を回転した場合にも、検出が可能である。
【図面の簡単な説明】
【図１】本発明の電子透かし情報埋め込み装置の一実施の形態のブロック図である。
【図２】本発明の電子透かし情報再生装置の一実施の形態のブロック図である。
【図３】本発明で扱う画像データのサンプリングデータの説明図である。
【図４】電子透かし情報の埋め込み強度１の説明図である。
【図５】電子透かし情報の埋め込み強度２の説明図である。
【図６】電子透かし情報の埋め込み強度３の説明図である。
【図７】本発明における電子透かし情報の画像例と画面上のビット位置の一例の説明図である。
【図８】本発明の要部で発生するパターンビットの一例の説明図である。
【図９】本発明の要部における特定ビット値の一例の説明図である。
【符号の説明】
１１ 画素特定ビット検出器
１２、２２ 排他的論理和器
１３ 埋め込み位置特定器
１４、２３ 固定パターン数発生器
１５ 透かし情報混入器
２１ 画素特定ビット検出器
２４ 透かしマップ検出器
２５ 色差信号変換器
２６ モニタ
Claims (8)
- 画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生するパターン発生手段と、
前記画像原データの所定単位における前記電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する特定ビット検出手段と、
前記パターン発生手段からの２次元パターンビットと、前記特定ビット検出手段からの２次元特定ビットとを用いて、前記電子透かし情報を埋め込む位置における前記２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する計算手段と、
前記計算手段により計算された前記２次元特定ビット値を前記画像原データに混入して透かし埋め込み画像データとして出力する混入手段と
を有することを特徴とする電子透かし情報埋め込み装置。 - 前記パターン発生手段は、前記２次元パターンビットとして、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じパターンである第１のパターンのビットを発生し、前記計算手段は、計算する前記特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じパターンである第２のパターンを設定して前記計算を行うことを特徴とする請求項１記載の電子透かし情報埋め込み装置。
- 画像原データに埋め込むべき電子透かし情報の埋め込み位置に、予め定めた２次元パターンビットを発生する第１のステップと、
前記画像原データの所定単位における前記電子透かし情報を埋め込むビットを、２次元特定ビットとして検出する第２のステップと、
前記２次元パターンビットと、前記２次元特定ビットとを用いて、前記電子透かし情報を埋め込む位置における前記２次元特定ビットのデータパターンが特定の２次元パターン値になるように、２次元特定ビット値を計算する第３のステップと、
前記第３のステップにより計算された前記２次元特定ビット値を前記画像原データに混入して透かし埋め込み画像データとして出力する第４のステップと
を含むことを特徴とする電子透かし情報埋め込み方法。 - 前記第１のステップは、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第１のパターンの前記２次元パターンビットを発生し、前記第２のステップは、前記特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第２のパターンを設定して前記計算を行うことを特徴とする請求項３記載の電子透かし情報埋め込み方法。
- 予め定めた２次元パターンビットを発生するパターン発生手段と、
電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、前記パターン発生手段からの２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、前記画像原データ中の前記電子透かし情報が埋め込まれている埋め込み領域を検出する埋め込み領域検出手段と、
前記埋め込み領域検出手段から取り出された画像データに対して、検出された前記埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する変換手段と
を有することを特徴とする電子透かし情報再生装置。 - 前記パターン発生手段は、前記２次元パターンビットとして、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じパターンである第１のパターンのビットを発生し、前記埋め込み領域検出手段は、前記特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じパターンである第２のパターンを設定して前記計算を行うことを特徴とする請求項５記載の電子透かし情報再生装置。
- 予め定めた２次元パターンビットを発生する第１のステップと、
電子透かし情報が画像原データに埋め込まれている透かし埋め込み画像データの所望の単位の２次元特定ビットと、前記２次元パターンビットとを計算して、その計算結果が予め定めた特定の２次元パターン値になることで、前記画像原データ中の前記電子透かし情報が埋め込まれている埋め込み領域を検出する第２のステップと、
前記埋め込み領域が検出された画像データに対して、検出された前記埋め込み領域又はその周囲の領域の輝度値又は色相を変化させて出力する第３のステップと
を含むことを特徴とする電子透かし情報再生方法。 - 前記第１のステップは、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第１のパターンの前記２次元パターンビットを発生し、前記第２のステップは、前記特定の２次元パターン値として、回転角度０度、９０度、１８０度及び２７０度の各回転のそれぞれにおいて同じ第２のパターンを設定して前記計算を行うことを特徴とする請求項７記載の電子透かし情報再生方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001028928A JP3721992B2 (ja) | 2001-02-06 | 2001-02-06 | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 |
| US10/029,672 US7174030B2 (en) | 2001-02-06 | 2001-12-31 | Method and apparatus for embedding and reproducing watermark into and from contents data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001028928A JP3721992B2 (ja) | 2001-02-06 | 2001-02-06 | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002232696A JP2002232696A (ja) | 2002-08-16 |
| JP3721992B2 true JP3721992B2 (ja) | 2005-11-30 |
Family
ID=18893338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001028928A Expired - Lifetime JP3721992B2 (ja) | 2001-02-06 | 2001-02-06 | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3721992B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449527A (zh) * | 2018-03-28 | 2018-08-24 | 南京吉印信息科技有限公司 | 一种用于遥感图像抗屏摄攻击的数字水印方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1509034B1 (en) | 2003-08-21 | 2009-02-18 | Ricoh Company, Ltd. | Method, program, and apparatus for prohibiting a reproduction of an anti-copy document, and a medium storing the program |
-
2001
- 2001-02-06 JP JP2001028928A patent/JP3721992B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449527A (zh) * | 2018-03-28 | 2018-08-24 | 南京吉印信息科技有限公司 | 一种用于遥感图像抗屏摄攻击的数字水印方法及系统 |
| CN108449527B (zh) * | 2018-03-28 | 2019-06-18 | 南京吉印信息科技有限公司 | 一种用于遥感图像抗屏摄攻击的数字水印方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002232696A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI480842B (zh) | Electronic floating watermark detection method, electronic floating watermark detection device, program, and recording media | |
| KR101522555B1 (ko) | 워터마크 삽입 기능이 포함된 영상 재생 방법 및 그 장치 | |
| US6591009B1 (en) | Information embedding method, apparatus and recording medium | |
| AU741281B2 (en) | Method and apparatus for selective block processing | |
| JP4064506B2 (ja) | 電子透かし重畳方法及び検出方法並びに装置 | |
| KR100299000B1 (ko) | 화상 속성 변경 시스템 | |
| RU2688262C2 (ru) | Способы кодирования, декодирования и представления изображений высокого динамического диапазона | |
| JP2003204429A (ja) | 電子透かしの符号生成装置と符号生成方法、および電子透かしの復号装置と復号方法、並びに電子透かしの符号生成復号プログラムと、これを記録した記録媒体 | |
| US20080226125A1 (en) | Method of Embedding Data in an Information Signal | |
| AU1317999A (en) | A method for inserting and detecting electronic watermark data into a digital image and a device for the same | |
| JP2005537731A (ja) | マルチメディアコンテンツ識別のためにフィンガープリントを埋込む方法 | |
| US7174030B2 (en) | Method and apparatus for embedding and reproducing watermark into and from contents data | |
| US20020181706A1 (en) | Digital watermark embedding device and digital watermark embedding method | |
| JP3353691B2 (ja) | デジタルデータのエンコードシステム及び電子透かしデータ挿入方法並びに制御プログラムを格納した記憶媒体 | |
| GB2377109A (en) | Combining two bit-planes to produce a bit-plane for use as a watermark | |
| JP3721992B2 (ja) | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 | |
| JP3651319B2 (ja) | 電子透かし情報記録方法、再生方法、及び電子透かし情報記録装置、再生装置 | |
| EP1405519B1 (en) | Video/image communication with watermarking | |
| JP3671845B2 (ja) | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 | |
| JP3722002B2 (ja) | 電子透かし情報埋め込み装置、電子透かし情報再生装置及び記録媒体 | |
| CN110827188B (zh) | 一种彩色图像快速盲数字水印方法及提取方法 | |
| JP3587168B2 (ja) | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 | |
| US8090145B2 (en) | System and method for analyzing and marking film | |
| JP3829770B2 (ja) | 電子透かし情報埋め込み装置及び埋め込み方法 | |
| JP3721995B2 (ja) | 電子透かし情報埋め込み装置、埋め込み方法、電子透かし情報再生装置及び再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050905 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3721992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |