JP4417419B2 - 入力画像のステゴ解析方法、装置、およびコンピュータ読取可能な媒体 - Google Patents

入力画像のステゴ解析方法、装置、およびコンピュータ読取可能な媒体 Download PDF

Info

Publication number
JP4417419B2
JP4417419B2 JP2007553250A JP2007553250A JP4417419B2 JP 4417419 B2 JP4417419 B2 JP 4417419B2 JP 2007553250 A JP2007553250 A JP 2007553250A JP 2007553250 A JP2007553250 A JP 2007553250A JP 4417419 B2 JP4417419 B2 JP 4417419B2
Authority
JP
Japan
Prior art keywords
image
moment
stego
input
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007553250A
Other languages
English (en)
Other versions
JP2008529420A (ja
Inventor
イン−チン シ,
グォロン シュアン,
Original Assignee
ニュー ジャージー インスティテュート オブ テクノロジー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニュー ジャージー インスティテュート オブ テクノロジー filed Critical ニュー ジャージー インスティテュート オブ テクノロジー
Publication of JP2008529420A publication Critical patent/JP2008529420A/ja
Application granted granted Critical
Publication of JP4417419B2 publication Critical patent/JP4417419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本出願は、画像、映像、音声などのコンテンツ中への情報隠しに関する。
電子透かし技術は近年、徐々に研究が盛んになってきている分野である。情報は、人間が認知不可能な方法で画像、映像及び音声中に隠される。これによって秘密通信が広く可能になっている。したがって、秘密通信を検出する方法が望まれている。この方法は、例えば、児童ポルノの配信を阻止する法律の施行と、テロリスト間の通信を傍受する情報機関にとって望ましい。ステゴ解析(Steganalysis)は、本明細書中において、画像などのコンテンツの特定の一組に隠しデータが存在するかどうかを検出することをいう。一方、ステゴ解析は、ステガノグラフィー法のセキュリティ性能を判断する有効な方法である。すなわち、ステガノグラフィー法は、人間の視覚システムによってのみならずコンピュータ解析によっても認知不可能であることが肝要である。
データが隠されることの多いコンテンツは画像である。自然画像には種々の性質があり、かつ、データ埋め込み方法もさまざまであるため、ステゴ解析が困難となる。しかし、カバー媒体(cover medium)と関連ステゴバージョン(stego−version)(本明細書中では隠しデータを有するカバー媒体のことを指す)とは、通常はカバー媒体がデータの埋め込みによって変化するため、通常はいくつかの点で異なっている。いくつかのデータ隠し法では、あるパターンをステゴ画像に導入する。例えば、非特許文献1(以下、Fridrichら)では、Fridrichらは、F5埋め込み方法をステゴ画像に適用すると、ステゴ画像のブロックDCT(離散コサイン変換)ドメインのゼロの数が減少することを発見した。この特徴によれば、F5埋め込みを用いて、隠しメッセージが埋め込まれているかどうかを決定することができる。その他に、特定のデータ隠し法に対するステゴ解析に関連した発見もある。例えば、非特許文献2及び3を参照のこと。しかし、特定のデータ埋め込み方法は、ステゴ解析を実施する前にはわからないことが多い。盲目的に(どのデータ隠し法が用いられたかを知らずに)ステゴ画像を検出するよう設計されている方法は、総体的ステゴ解析法という。この観点から、総体的ステゴ解析法は秘密通信の阻止において有用である。
非特許文献4(以下、Farid)中において、Faridは、画像高次統計に基づいた総体的ステゴ解析法を提案している。この統計は、取り外し可能な直角ミラーフィルタ又はウェーブレットフィルタによる画像分解に基づく。サブバンドの高次統計が得られ、これはステゴ解析のための特徴である。この方法により特定の成功率でステゴ画像とカバー媒体とが区別されるということが示されている。非特許文献5(以下、Harmsen)では、ヒストグラム特性関数の質量中心(1次モーメント)に基づいたステゴ解析法が提案されている。また、2次モーメント、3次モーメント及び4次モーメントもステゴ解析に用いることができると考えられる。
J. Fridrich, M. Goljan and D. Hogea, "Steganalysis of JPEG Images: Breaking the F5 Algorithm", 5th Information Hiding Workshop, 2002, pp. 310−323 J. Fridrich, M. Goljan and R. Du, "Detecting LSB Steganography in Color and Gray−Scale Images", Magazine of IEEE Multimedia Special Issue on Security, Oct.−Nov. 2001, pp. 22−28 R. Chandramouli and N. Memon, "Analysis of LSB Based Image Steganography Techniques", Proc. of ICIP 2001, Thessaloniki, Greece, Oct.7−10, 2001 H. Farid, "Detecting hidden messages using higher−order statistical models," Proceedings of the IEEE Int’l. Conf. on Image Processing 02, vol. 2, pp. 905−908 J. Harmsen, W. Pearlman, "Steganalysis of Additive Noise Modelable Information Hiding", SPIE Electronic Imaging, Santa Clara, Jan. 2003, pp. 20−24
主題は、明細書の結論部分で具体的に指摘され、かつ、明瞭に請求される。しかし、請求される主題は、構成及び操作方法、並びに、その目的、特徴及び/又は利点と併せて、以下の詳細な説明及び添付図から十分に理解される。
例えば、画像データなどのコンテンツの次元数は一般的に大きいため、コンテンツ自体をステゴ解析に直接用いることは困難な場合がある。実行可能な方法として、例えば、画像などのコンテンツからある量のデータを抽出し、その抽出したデータを用いてステゴ解析のためのコンテンツ又は画像を示す。言い換えれば、この抽出されたデータは、例えば画像の特徴である。同様に、ステゴ解析に用いる画像のこうした特徴を識別することが望ましいであろう。
例えば顔認識の分野においては、選択された特徴は、画像中の対象となる顔の形状、例えば画像の主要なコンテンツを反映する。しかし、ステゴ解析においては、例えば、画像の主要なコンテンツは通常は考慮すべき事項ではない。画像とそのステゴバージョンとの違いは、通常は人間の裸眼には見えない。しかし、データ隠し時に導入されるわずかな歪みは有用である。したがって、ステゴ解析において選択される特徴としては、データ隠しに伴うわずかな歪みを反映するものが選択される。
画像のグレースケールレベルが確率変数として処理される場合、画像のヒストグラムは画像の確率密度関数(PDF)であり得るという特徴がある。すなわち、画像のPDFは画像のヒストグラムの標準化バージョンであり、そのためPDFとヒストグラムとの間にはスカラー(scalar)調整があるであろう。A. Leon−Garcia, Probability and Random Processes for Electrical Engineering, 2nd Edition, Reading, MA: Addison−Wesley Publishing Company, 1994, 145−148頁による1つの解釈としては、特性関数は単にPDFのフーリエ変換(指数の符号を逆にする)である。
離散ウェーブレット変換(DWT)は非相関的であるため、同一レベルの様々なサブバンドの係数は通常は互いに独立している。したがって、同一レベルの様々なウェーブレットサブバンドに由来する特徴は、通常は互いに独立している。この点は、ステゴ解析にとって望ましい。
例えば、請求される主題の一実施形態において、画像のCFの統計モーメント及びそのウェーブレットサブバンドはステゴ解析用の特徴として用いられるが、請求される主題はこの点に関する範囲に限定されない。例えば、この特定の実施形態において、統計モーメントは以下のように定義することができる。
Figure 0004417419
式中、H(f)は周波数fの特性関数である。特性関数のDC成分、例えばH(f)は、少なくともこの特定の実施形態において、モーメントの計算から省略してもよい。これはヒストグラムの成分の合計を示すものであり、通常は、データ隠しに由来する変化を反映していない。
前述したように、PDFとヒストグラムは、通常はスカラー量に応じて異なる。したがって、h(x)で示されるヒストグラムはPDFの代わりに用いることができる。同様に、ヒストグラムは、前述したように、CFの逆フーリエ変換、H(f)である。したがって、以下の関係が得られる。
Figure 0004417419
CFのn次モーメントは、スカラーまでヒストグラムのn次導関数の大きさに関連しているであろう。同様に、CFのn次モーメントは、データ隠しから生じるヒストグラムに対する変化に関連しているであろう。
図により、ステゴ解析に関連するサブバンドをカバーする以下の2つのケースが考えられる。第1ケースは、i=0,1,2,3のLLを含む。ここで、画像はLLで示す。すなわち、画像と3レベルのDWT分解のLLサブバンドとが考えられる。第2ケースは、高周波数サブバンド、例えば、i=1,2,3のLH、HL、HHを含む。
ケース1:データ隠しにより導入された雑音は加法性雑音とガウス雑音であり、カバー画像から独立していると仮定する。この仮定は、ほとんどのデータ隠し法について有効である。実際、主要なデータ隠し技術のうち、例えば、スペクトラム拡散(SS)法、最下位ビット面(least significant bit−plane)(LSB)法及び量子化指標変調(quantization index modulation)(QIM)法の3つにおいては、この仮定が有効である。2つの独立不規則符号の合計のPDFが2つの符号のPDFの重畳(convolution)であることはよく知られている。したがって、ステゴ画像のヒストグラムは、元の画像のヒストグラムより平坦であることが予想される。
この種の変化は、ステゴ解析において認知かつ使用できる可能性がある。提案されているように、本実施形態のn次モーメントは、原点(x=0)におけるヒストグラムのn次導関数の大きさの単位である。したがって、定義された特徴によって、データ埋め込みによって生じるヒストグラムにおける平坦度の変化が検出されるであろう。i=1,2,3であるLLサブバンドは、画像の低周波数パスフィルタバージョン(low−frequency−pass−filtered version)である。したがって、定義されたモーメントによれば、これらのサブバンドのヒストグラムにおける平坦度の変化も検出されるであろう。
ケース2:高周波数サブバンド、例えば、LH、HL、HH、i=1,2,3では、DWT係数の平均値はx=0周辺である。したがって、ヒストグラムはラプラシアン状である。式(2)に示すように、特性関数のn次モーメントは、x=0のヒストグラムのn次導関数の大きさを示す。したがって、モーメント又は特徴によれば、ヒストグラムのピークに生じる変化が検出される可能性がある。下記に詳述するように、実験結果はピーク点がデータ埋め込みに影響されやすいことを示す。したがって、この特定の実施形態により、データ埋め込みを検出するための有効な方法が提供されるであろう。
ステゴ解析において、データ隠し処理に関連する歪みは検出メカニズムとして有用であろう。しかし、この種の歪みは弱い場合があり、画像自体の固有の特徴に起因する画像変化を含む、その他のソースからの画像変化を妨害する場合がある。データ隠しにより導入された歪みを検出する能力を高めるため、この特定の実施形態において、元のカバー画像のピクセルグレースケール値を、その近隣のピクセルグレースケール値を用いて予測する。これにより、本実施形態において、画像をその予測画像から取り去ることにより予測エラー画像が生成される。この予測エラー画像を使用すれば、データ隠しに関連する画像データ以外の画像データにおける少なくともいくつかの変化を除去できると予想される。すなわち、予測エラー画像を使用すれば、データ隠し以外の画像面からの変化を少なくとも部分的に相殺できるであろう。
本実施形態において、以下の予測処理が適用できるであろう。
Figure 0004417419
式中、a、b、cは、対照であるピクセルxのコンテキストを示し、
Figure 0004417419
はxの予測値であるが、請求される主題はこの特定の予測処理の範囲に限定されない。関係(4)のa、b、cの配置を図1に示す。
上述した実施形態を実験評価するため、以下でグラフを用いて特性関数のモーメント選択を考える。図2Aでは、CorelDRAW(商標)バージョン10.0ソフトウェアから入手できるCorelDraw(商標)画像データベース(この具体例はシリアル番号173037)からの元の画像を示す。不可逆色変換を用いて得られた図2Aの画像のグレースケール画像を図2Bに示す。図2Cは、上述した実施形態を用いて得られた予測画像である。
第1レベルHaarウェーブレット変換の4つのサブバンドのヒストグラムを図3に示す。図4は、図3の対象領域の拡大を示す。これらの4つのサブバンドのCFを図5に示す。これらの図では、略語「Orig.」は示される画像を指し、用語「cox」はCoxらの方法を用いて画像から生成されたステゴ画像と同等である。I. J. Cox, J. Kilian, T. Leighton and T. Shamoon,Secure Spread Spectrum Watermarking for Multimedia, IEEE Trans. on Image Processing, 6, 12, 1673−1687,(1997)を参照のこと。プロットの右上側の隅に示す2つの数字は、これらの画像について対応するCFの1次モーメントである。
ヒストグラムがデータ隠し後に平坦になる(図4参照)ということが観察され、これはモーメントにより表される場合があり、このことによって、モーメントの有効性が特徴として示される。同様に、図6〜図8は、予測エラー画像の図を示し、同様のことがこれらの図について観察される。
特定の一実施形態において、画像は、例えば3レベルHaar変換を用いて分解されるが、請求される主題はこの点についての範囲に限定されない。レベルについては、上記したように、4つのサブバンドがある。したがって、この分解により全部で12のサブバンドが生成される。元の画像がレベル0LLサブバンドを含むと考えられる場合、全部で13のサブバンドが生成される。サブバンドについては、特性関数の最初の3つのモーメントが得られるであろう。同様に、予測エラー画像については、別の一組の39個の特徴が生じるであろう。したがって、このような方法によれば画像の78−D特徴ベクトルが生成され得るが、上記と同様に、請求される主題はこの点に関する範囲に限定されない。
多様な状況において様々な技術を使用することによって、本明細書中において特徴と呼ばれるデータを分析することができる。本明細書中において用語「分散処理分析」とは、統計変化に起因する差異と非統計変化に起因する差異とを十分に区別するために処理又は技術を適用し、少なくとも一部分をこの処理又は技術の適用に基づいて、データを相関、セグメント化、識別、分析又は特性づけることを指す際に用いる。例えばパターン認識、ニューラルネットワーク、遺伝的処理、発見的教授法及びサポートベクターマシン(SVM)を含む人工知能技術及び処理が挙げられるが、請求される主題の範囲はこれに限定されない。このように、請求される主題は特定の技術又は方法の範囲に限定されない。
同様に、この特定の実施形態においてこのような技術を使用すれば、データが隠された画像などのコンテンツと、データが隠されていない画像などのコンテンツとを区別することができる。本明細書中において、これは識別又は識別器の使用を指すであろう。したがって、識別器の選択と設計は多様であり、請求される主題はこの点に関する範囲に限定されない。しかし、この特定の実施形態において、人工ニューラルネットワークに基づいた識別器を用いることができる。例えば、C. M. Bishop, Neural Network for Pattern Recognition, Oxford, New York, 1995を参照のこと。しかし、請求される主題はこの点に関する範囲に限定されない。また、別の実施形態において、例えばベイズ識別器を用いることができる。
例えば、バックプロパゲーション訓練処理のフィードフォワード型ニューラルネットワーク(NN)を用いることができる。n=5であるNNの実施形態を図9に示し、このNNのニューロン構造の実施形態を図10に示す。この特定のNNの実施形態は、1つの出力層と2つの隠し層を持つ3層フィードフォワード型NNからなる。能動関数(active function)「f」は、図11A、図11B及び図11Cに示す形のいずれかであってよい。これは、例えば、市販されているソフトウェアパッケージのMatlab 6.5のツールボックスを用いて実行できるが、請求される主題はこの点に関する範囲に限定されない。
この特定のNNの実施形態において、隠しニューロンにはタンジェントシグモイド関数を用いる。1ニューロン出力層について、3つの能動関数のすべて(線形、対数シグモイド及びタンジェントシグモイド)について、上記したようにMatlab 6.5を用いてシミュレーションテストした。この訓練段階では、対数シグモイドニューロンとタンジェントシグモイドニューロンの出力結果は、線形ニューロンの場合よりもMSE(平均2乗誤差)が大きい。同様に、テスト段階では、線形ニューロンによると、非線形出力より識別率が高くなる。したがって、一実施形態において、構造は2つのタンジェントシグモイドニューロン隠し層と1つの線形ニューロン出力層とを含むことが合理的であるが、請求される主題はこの点に関する範囲に限定されない。
バックプロパゲーション処理を使用してネットワークを訓練した。上記したように、計算プログラミングはMatlab 6.5(商標)のニューラルネットワークツールボックスを基本とする。ステゴ解析スキームの一実施形態のフローチャートを図12に示すが、上記と同様に、請求される主題はこの点に関する範囲に限定されない。
上記した特定の実施形態を評価するため、CorelDRAW(商標)Version 10.0ソフトウェアCD#3に含まれる1096枚のサンプル画像を実験に用いた。画像は、自然、海洋、食物、動物、建築、場所、娯楽などを含む。5通りのデータ隠し法の、Coxらの非ブラインドスペクトラム拡散(SS)、PivaらのブラインドSS、HuangとShiの8x8ブロックベースSS、汎用量子化指標変調(QIM)法及び汎用LSB法を用いた。I. J. Cox, J. Kilian, T. Leighton and T. Shamoon, Secure Spread Spectrum Watermarking for Multimedia, IEEE Trans. on Image Processing, 6, 12, 1673−1687,(1997); C. M. Bishop, Neural Network for Pattern Recognition, Oxford, New York, 1995; A. Piva, M. Barni, E. Bartolini, V. Cappellini, “DCT−based Watermark Recovering without Resorting to the Uncorrupted Original Image”, Proc. ICIP 97, vol.1, pp.520; J. Huang and Y. Q. Shi, “An adaptive image watermarking scheme based on visual masking,” IEEE Electronic Letters, vol.34, no. 8, pp. 748−750, April 1998; B. Chen and G. W. Wornell, “Digital watermarking and information embedding using dither modulation”, Proceedings of IEEE MMSP 1998, pp273−278参照のこと。CorelDRAW(商標)画像データベースの画像について、5枚のステゴ画像はこれらの5通りのデータ隠し法によってそれぞれ生成された。
Coxらの方法において、用いる埋め込み強度はα=0.1である。QIM法では、いくつかの中間周波数ブロックDCT係数がデータ隠しに対して選択された。ペイロードは0.1bpp(1ピクセル当たりのビット)である。汎用LSB法においては、データ埋め込みに用いるピクセル位置と埋め込むビットの両方が無作為に選択された。データ隠し法においては、無作為に選択された別の符号を別の画像に埋め込んだ。
第1に、このシステムは、一回あたり、5つのデータ隠し法のうちの1つを用いて評価される。無作為に選択された896枚の元の画像の群と、対応する896枚のステゴ画像とを訓練に用いた。残りの200対のカバー画像及びステゴ画像については、訓練されたニューラルネットワークを通して性能を評価した。検出速度は、本明細書中において、全体のテスト画像の数に対する、正しく識別された画像数の比率として定義される。10回のテスト結果の平均を図13に挙げる。
第2に、5通りのデータ隠し法を組み合わせて、ブラインドステゴ解析機能を評価した。上記のように、1096枚の6個組画像を用いた。6個組画像は、本明細書中において、元の画像と、5通りのデータ隠し法により生成された5枚のステゴ画像とを含む。896枚の6個組画像は、テスト用に無作為に選択された。残りの200の6個組をテストに用いた。蒸気と同様に、10回の平均の検出速度を図13に挙げる。比較のため、Faridの方法とHarmsenの方法によるテストの結果についても同一状況下で評価した。この結果も図13に示す。
第3に、訓練処理では用いなかった別のデータ隠し法をテストした。無作為に選択された200枚の画像にHIDE4PGPを適用した結果、検出速度は99.5%であった。
第4に、予測エラー画像を用いた場合の有効性を評価するため、元の画像から生成された39の特徴と、予測エラー画像から得られた39の特徴とを分け、同様の評価を行った。図14は比較の結果を示すものであり、予測エラー画像を用いた場合の有効性が示される。
最後に、開示された78−D特徴ベクトルと、5つのデータ隠し法についてベイズ識別器及びニューラルネット識別器とをそれぞれ又は組み合わせて用いて、実験を実施した。図15は、CoxらのSSデータ隠し法と、5つのデータ隠し法の組み合わせを含む方法における「検出速度」を示す。また、ニューラルネット識別器を用いた場合よりも検出速度が遅い可能性はあるが、ベイズ識別器も用いて実験結果を得た。検出速度(30回テストした平均値)のグラフ図は、図16と図17に示す。
特定の実施形態について説明してきたが、請求される主題は特定の実施形態又は方法の範囲に限定されないということは、当然であろう。例えば、一実施形態はハードウェアであってよく、これは例えば1台の装置又は複数の装置の組み合わせについて作動するよう実行され、一方で、別の実施形態はソフトウェアであってよい。同様に、一実施形態は、ファームウェアにおいて実施されてもよいし、又は、例えば、ハードウェア、ソフトウェア及び/又はファームウェアの組み合わせとして実施されてもよい。同様に、一実施形態は1つ以上の記憶媒体などの1つ以上の物品を含むものであってもよいが、請求される主題はこの点に関する範囲に限定されない。例えば1つ以上のCD−ROM及び/又はディスクなどの記憶媒体は、例えばコンピュータシステム、計算プラットフォーム又はその他のシステムなどのシステムにより実行された場合に、例えば上述した実施形態のうちの1つなどの、請求される主題による方法の一実施形態を実行するという指令を記憶していてもよい。一例として、計算プラットフォームは、1台以上の処理装置若しくはプロセッサ、ディスプレイ、キーボード及び/若しくはマウスなどの1台以上の入出力装置、並びに/又は、静的ランダムアクセスメモリ、動的ランダムアクセスメモリ、フラッシュメモリなどの1つ以上のメモリ、並びに/又は、ハードドライブを含んでいてよい。例えば、ディスプレイを使用して、相関する1つ以上のクエリー及び/又は1つ以上の木表現を表示することができるが、上記と同様に、請求される主題は本例の範囲に限定されない。
前述では、請求される主題の各種態様を説明した。説明のために、具体的な数字、システム及び/又は構成を示して、請求される主題がよく理解されるようにしている。しかし、細部が上記の通りでなくても請求される主題を実施できるということは、この開示の利益を有する当業者には明らかであろう。その他の例においては、請求される主題が不明瞭になるのを避けるため、周知の特徴を省略及び/又は簡略化した。本明細書中では一特徴を図示及び/又は説明したが、当業者であれば、多くの変形、代替、変更及び/又は同等物が想到されるであろう。したがって、付属の特許請求の範囲は、請求される主題の本質的な意図に属する上記変形及び/又は変更をすべて含むものであるということが理解されるであろう。
図1は、例えば、画像に適用される予測処理の一実施形態の図である。 図2Aは、サンプルカバー画像である。 図2Bは、図2Aに示す画像のグレースケールバージョンである。 図2Cは、図2Bに示す画像の予測画像である。 図3は、図2Bに示す画像の4つのサブバンドの4通りのヒストグラムである。 図4は、図3のヒストグラムの各対象領域の4通りの拡大図である。 図5は、図3及び図4に示す4つのサブバンドの特性関数の4通りのプロットである。 図6は、図2Cに示す画像の4つのサブバンドの4通りのヒストグラムである。 図7は、図6のヒストグラムの各対象領域の4通りの拡大図である。 図8は、図6及び図7に示す4つのサブバンドの特性関数の4通りのプロットである。 図9は、ニューラルネット構造の一実施形態の概略図である。 図10は、ニューロン構造の一実施形態の概略図である。 図11Aは、図9及び図10の実施形態で使用されるであろう能動関数のグラフである。 図11Bは、図9及び図10の実施形態で使用されるであろう能動関数のグラフである。 図11Cは、図9及び図10の実施形態で使用されるであろう能動関数のグラフである。 図12は、ステゴ解析法の一実施形態のフローチャートである。 図13は、選択されたステゴ解析法を用いて得られた結果を比較するデータ表である。 図14は、元の画像の特徴として得られた結果と予測エラー画像の結果とを比較するデータ表である。 図15は、ニューラルネット識別器を用いて得られた結果とベイズ識別器を用いて得られた結果とを比較するデータ表である。 図16は、ベイズ識別器を用いて得られた78次元特徴ベクトルの検出速度についての、30回テストした平均値のグラフである。 図17は、ベイズ識別器を用いて得られた39次元特徴ベクトルの検出速度についての、30回テストした平均値のグラフである。

Claims (30)

  1. 入力画像のステゴ解析方法であって、
    画像生成手段が、前記入力画像に対応するグレースケール画像から、予測エラー画像を生成する工程、
    算出手段が、前記グレースケール画像、及び、前記予測エラー画像の、離散ウェーブレット変換(DWTs)を算出する工程、
    算出手段が、前記グレースケール画像、及び、前記予測エラー画像の前記離散ウェーブレット変換に関連付けられた複数のサブバンドのモーメントを、前記複数のサブバンドのヒストグラムに基づいて算出する工程、及び、
    識別器が、前記入力画像に隠しデータが存在するかを示す前記ヒストグラムにおける変化を検出するよう構成された1つ以上の識別器用の入力特徴として、前記モーメントを使用する工程を含む
    入力画像のステゴ解析方法。
  2. 前記グレースケール画像は、不可逆変換を算出することにより前記入力画像から得られる
    請求項1に記載の入力画像のステゴ解析方法。
  3. 前記離散ウェーブレット変換は、3レベルHaarウェーブレット変換である
    請求項1に記載の入力画像のステゴ解析方法。
  4. 前記予測エラー画像を生成する工程は、さらに、
    画像予測アルゴリズムを用いて、前記グレースケール画像の予測画像を生成する工程、及び、
    前記グレースケール画像の要素(x)と該グレースケール画像の前記予測画像の要素
    Figure 0004417419
    との差異として、前記予測エラー画像を算出する工程を含み、
    前記画像予測アルゴリズムの出力は予測コンテキストに従って決定され、前記予測画像の式は、
    Figure 0004417419
    で表される
    請求項1に記載の入力画像のステゴ解析方法。
  5. 前記予測コンテキストは、下表に示す位置チャート
    Figure 0004417419
    に従って、前記グレースケール画像の要素(x)に対して位置(a、b、c)の配置を規定する
    請求項4に記載の入力画像のステゴ解析方法。
  6. 前記モーメント(M )を算出する工程は、さらに、
    前記モーメントを、式:
    Figure 0004417419
    (式中、nは1、2、又は、3であり、H(f )は周波数f の特性関数(CF)成分であり、Nは前記モーメントが算出されるサブバンドに対応付けられた前記ヒストグラムの横軸上の点の総数である)
    に従って算出する工程を含む
    請求項1に記載の入力画像のステゴ解析方法。
  7. 前記モーメントを使用する工程は、1つ以上のDWTサブバンドLL (iは1、2、又は、3)の前記ヒストグラムにおける平坦度の変化を検出する為の前記モーメントを分析する工程である
    請求項1に記載の入力画像のステゴ解析方法。
  8. 前記モーメントを使用する工程は、DWTサブバンドLH 、HL 、及び、HH (iは1、2、又は、3)の1つ以上の前記ヒストグラムのピークにおける変化を検出する為の前記モーメントを解析する工程である
    請求項1に記載の入力画像のステゴ解析方法。
  9. 入力特徴として、前記モーメントを使用する工程は、
    訓練されたニューラルネットワーク識別器、訓練されたサポートベクターマシン識別器、及び、訓練されたベイズ識別器からなる群から選択される訓練された識別器に、前記入力特徴を適用する工程である
    請求項1に記載の入力画像のステゴ解析方法。
  10. 入力特徴として、前記モーメントを使用する工程は、
    訓練された識別器に、前記入力特徴を適用する工程であり、
    前記ステゴ解析方法は、さらに、
    前記予測エラー画像を生成する工程、前記離散ウェーブレット変換を算出する工程、及び、前記モーメントを算出する工程を適用することで一組の訓練画像から得られる特徴を用いて、識別器を訓練することで、前記訓練された識別器を得る工程を含む
    請求項1に記載の入力画像のステゴ解析方法。
  11. 入力画像をステゴ解析する装置であって、
    前記入力画像に対応するグレースケール画像、及び、前記入力画像に対応する予測エラー画像の、離散ウェーブレット変換(DWTs)を算出するよう構成されたウェーブレット分解ブロックと、
    前記グレースケール画像、及び、前記予測エラー画像の前記離散ウェーブレット変換に関連付けられた複数のサブバンドの、該複数のサブバンドのヒストグラムに基づくモーメントを算出するよう構成された特徴抽出ブロック、及び、
    前記入力画像に隠しデータが存在するかを示す前記ヒストグラムにおける変化を検出するための入力特徴として、前記モーメントを使用するよう構成された少なくとも1つの識別器
    を備える装置。
  12. 前記グレースケール画像は、不可逆変換を算出することにより前記入力画像から得られる
    請求項11に記載の装置。
  13. 前記離散ウェーブレット変換は、3レベルHaarウェーブレット変換である
    請求項11に記載の装置。
  14. 前記予測エラー画像は、
    画像予測アルゴリズムを用いて、前記グレースケール画像の予測画像を生成する工程、及び、
    前記グレースケール画像の要素(x)と該グレースケール画像の前記予測画像の要素
    Figure 0004417419
    との差異として、前記予測エラー画像を算出する工程により、前記入力画像から得られ、
    前記画像予測アルゴリズムの出力は予測コンテキストに従って決定され、前記予測画像の式は、
    Figure 0004417419
    で表される
    請求項11に記載の装置。
  15. 前記予測コンテキストは、下表に示す位置チャート
    Figure 0004417419
    に従って、前記グレースケール画像の要素(x)に対して位置(a、b、c)の配置を規定する
    請求項14に記載の装置。
  16. 前記特徴抽出ブロックは、
    モーメントを、式:
    Figure 0004417419
    (式中、nは1、2、又は、3であり、H(f )は周波数f の特性関数(CF)成分であり、Nは前記モーメントが算出されるサブバンドに対応付けられた前記ヒストグラムの横軸上の点の総数である)
    に従って算出することで、モーメント(M )を算出するよう構成されている
    請求項11に記載の装置。
  17. 前記少なくとも1つの識別器は、さらに、1つ以上のDWTサブバンドLL (iは1、2、又は、3)の前記ヒストグラムにおける平坦度の変化を検出する為の前記モーメントを分析するよう構成されている
    請求項11に記載の装置。
  18. 前記少なくとも1つの識別器は、さらに、DWTサブバンドLH 、HL 、及び、HH (iは1、2、又は、3)の1つ以上の前記ヒストグラムのピークにおける変化を検出する為の前記モーメントを分析するよう構成されている
    請求項11に記載の装置。
  19. 前記少なくとも1つの識別器は、訓練されたニューラルネットワーク識別器、訓練されたサポートベクターマシン識別器、及び、訓練されたベイズ識別器からなる群から選択される訓練された識別器である
    請求項11に記載の装置。
  20. 前記少なくとも1つの識別器は、一組の訓練画像から得られる特徴を用いて訓練される、訓練された識別器であり、
    各訓練画像に対応するグレースケール画像から、予測エラー画像を生成する手段、
    前記グレースケール画像、及び、前記予測エラー画像の、離散ウェーブレット変換(DWTs)を算出する手段、
    前記グレースケール画像、及び、前記予測エラー画像の前記離散ウェーブレット変換に関連付けられた複数のサブバンドのモーメントを、前記複数のサブバンドのヒストグラムに基づいて算出する手段を有する
    請求項11に記載の装置。
  21. コンピュータ・デバイスにより実行されると、該コンピュータ・デバイスに入力画像のステゴ解析方法を実施させる指示を記憶したコンピュータ読取可能な媒体であって、
    前記ステゴ解析方法は、
    画像生成手段が、前記入力画像に対応するグレースケール画像から、予測エラー画像を生成する工程、
    算出手段が、前記グレースケール画像、及び、前記予測エラー画像の、離散ウェーブレット変換(DWTs)を算出する工程、
    算出手段が、前記グレースケール画像、及び、前記予測エラー画像の前記離散ウェーブレット変換に関連付けられた複数のサブバンドのモーメントを、前記複数のサブバンドのヒストグラムに基づいて算出する工程、及び、
    識別器が、前記入力画像に隠しデータが存在するかを示す前記ヒストグラムにおける変化を検出するよう構成された1つ以上の識別器用の入力特徴として、前記モーメントを使用する工程
    を含む媒体。
  22. 前記グレースケール画像は、不可逆変換を算出することにより前記入力画像から得られる
    請求項21に記載のコンピュータ読取可能な媒体。
  23. 前記離散ウェーブレット変換は、3レベルHaarウェーブレット変換である
    請求項21に記載のコンピュータ読取可能な媒体。
  24. 前記予測エラー画像を生成する工程は、さらに、
    画像予測アルゴリズムを用いて、前記グレースケール画像の予測画像を生成する工程、及び、
    前記グレースケール画像の要素(x)と該グレースケール画像の前記予測画像の要素
    Figure 0004417419
    との差異として、前記予測エラー画像を算出する工程を含み、
    前記画像予測アルゴリズムの出力は予測コンテキストに従って決定され、前記予測画像の式は、
    Figure 0004417419
    で表される
    請求項21に記載のコンピュータ読取可能な媒体。
  25. 前記予測コンテキストは、下表に示す位置チャート
    Figure 0004417419
    に従って、前記グレースケール画像の要素(x)に応じた位置(a、b、c)の配置を規定する
    請求項24に記載のコンピュータ読取可能な媒体。
  26. 前記モーメント(M )を算出する工程は、さらに、
    前記モーメントを、式:
    Figure 0004417419
    (式中、nは1、2、又は、3であり、H(f )は周波数f の特性関数(CF)成分であり、Nは前記モーメントが算出されるサブバンドに対応付けられた前記ヒストグラムの横軸上の点の総数である)
    に従って算出する工程を含む
    請求項21に記載のコンピュータ読取可能な媒体。
  27. 前記モーメントを使用する工程は、1つ以上のDWTサブバンドLL (iは1、2、又は、3)の前記ヒストグラムにおける平坦度の変化を検出する為の前記モーメントを分析する工程である
    請求項21に記載のコンピュータ読取可能な媒体。
  28. 前記モーメントを使用する工程は、DWTサブバンドLH 、HL 、及び、HH (iは1、2、又は、3)の1つ以上の前記ヒストグラムのピークにおける変化を検出する為の前記モーメントを分析する工程である
    請求項21に記載のコンピュータ読取可能な媒体。
  29. 入力特徴として前記モーメントを使用する工程は、
    訓練されたニューラルネットワーク識別器、訓練されたサポートベクターマシン識別器、及び、訓練されたベイズ識別器からなる群から選択される訓練された識別器に、前記入力特徴を適用する工程である
    請求項21に記載のコンピュータ読取可能な媒体。
  30. 入力特徴として前記モーメントを使用する工程は、
    訓練された識別器に、前記入力特徴を適用する工程であり、
    前記ステゴ解析方法は、さらに、
    前記予測エラー画像を生成する工程、前記離散ウェーブレット変換を算出する工程、及び、前記モーメントを算出する工程を適用することで一組の訓練画像から得られる特徴を用いて、識別器を訓練することで、前記訓練された識別器を得る工程を含む
    請求項21に記載のコンピュータ読取可能な媒体。
JP2007553250A 2005-01-26 2006-01-25 入力画像のステゴ解析方法、装置、およびコンピュータ読取可能な媒体 Active JP4417419B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US64697205P 2005-01-26 2005-01-26
PCT/US2006/002867 WO2006081386A2 (en) 2005-01-26 2006-01-25 System and method for steganalysis

Publications (2)

Publication Number Publication Date
JP2008529420A JP2008529420A (ja) 2008-07-31
JP4417419B2 true JP4417419B2 (ja) 2010-02-17

Family

ID=36741059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007553250A Active JP4417419B2 (ja) 2005-01-26 2006-01-25 入力画像のステゴ解析方法、装置、およびコンピュータ読取可能な媒体

Country Status (7)

Country Link
US (2) US7496210B2 (ja)
EP (1) EP1849124B1 (ja)
JP (1) JP4417419B2 (ja)
CN (2) CN101151622A (ja)
AT (1) ATE480839T1 (ja)
DE (1) DE602006016737D1 (ja)
WO (1) WO2006081386A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057726A (ko) * 2017-11-20 2019-05-29 경일대학교산학협력단 인공 신경망을 이용한 데이터가 은닉된 영상을 탐지 및 추출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100560429B1 (ko) * 2003-12-17 2006-03-13 한국전자통신연구원 비선형 양자화를 이용한 워터마킹 장치 및 그 방법
GB0611872D0 (en) * 2006-06-15 2006-07-26 Hypo Safe As Analysis of EEG signals to detect hypoglycaemia
US8041124B2 (en) * 2007-01-18 2011-10-18 New Jersey Institute Of Technology Identifying computer graphics from digital photographs
US7885470B2 (en) * 2007-01-19 2011-02-08 New Jersey Institute Of Technology Method and apparatus for steganalysis for texture images
JP5390506B2 (ja) * 2007-04-13 2014-01-15 アイファロ メディア ゲーエムベーハー ビデオ検出システムおよびビデオ検出方法
US8290921B2 (en) * 2007-06-28 2012-10-16 Microsoft Corporation Identification of similar queries based on overall and partial similarity of time series
US8090709B2 (en) * 2007-06-28 2012-01-03 Microsoft Corporation Representing queries and determining similarity based on an ARIMA model
CN101908203B (zh) * 2010-07-13 2012-07-11 中国科学院软件研究所 一种基于图像和音频再编码处理的隐写防范方法
CN102411771B (zh) * 2011-08-03 2013-02-13 北京航空航天大学 一种基于直方图峰值波动量的可逆图像隐写分析方法
CN102568469B (zh) * 2011-12-22 2013-10-16 清华大学 G.729a压缩语音流信息隐藏检测装置及检测方法
CN102843576B (zh) * 2012-07-25 2014-10-01 武汉大学 一种针对msu的隐写分析方法
CN102930495B (zh) * 2012-10-16 2015-01-21 中国科学院信息工程研究所 一种基于隐写测评的隐写分析方法
CN102905134B (zh) * 2012-10-22 2015-06-03 山东省计算中心 自适应视频数字隐写方法
CN103310235B (zh) * 2013-05-31 2016-04-27 中国科学院信息工程研究所 一种基于参数识别与估计的隐写分析方法
CN103281473B (zh) * 2013-06-09 2015-04-15 中国科学院自动化研究所 基于视频像素时空相关性的通用视频隐写分析方法
WO2014198021A1 (zh) * 2013-06-09 2014-12-18 中国科学院自动化研究所 基于视频像素时空相关性的通用视频隐写分析方法
CN103414840B (zh) * 2013-07-25 2015-09-23 西安空间无线电技术研究所 一种基于图像集的数据隐藏方法
CN104424445A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 资料隐藏系统、方法及电子装置
US9304982B2 (en) * 2013-09-25 2016-04-05 Heartflow, Inc. Systems and methods for validating and correcting automated medical image annotations
US20160307305A1 (en) * 2013-10-23 2016-10-20 Rutgers, The State University Of New Jersey Color standardization for digitized histological images
CN103886864B (zh) * 2014-03-03 2017-04-05 南京邮电大学 一种对dwt域失真补偿量化嵌入的隐秘信息检测方法
CN104183244A (zh) * 2014-08-18 2014-12-03 南京邮电大学 一种基于证据推理的隐写检测方法
CN104301733B (zh) * 2014-09-06 2017-04-12 南京邮电大学 一种基于特征融合的视频隐写盲检测方法
CN104636764B (zh) * 2015-02-12 2018-05-11 中国人民武装警察部队工程大学 一种图像隐写分析方法以及其装置
CN107292315B (zh) * 2016-04-11 2021-02-05 北京大学 基于多尺度ltp特征的隐写分析方法和隐写分析装置
CN106530198B (zh) * 2016-10-21 2017-10-27 厦门大学 基于参数拟合安全容量的自适应批量隐写方法
WO2018142216A1 (en) * 2017-01-31 2018-08-09 Agency For Science, Technology And Research Method and apparatus for generating a cover image for steganography
US10528054B2 (en) * 2017-12-18 2020-01-07 GM Global Technology Operations LLC Detecting features from multi-modal images
CN109348211B (zh) * 2018-08-06 2020-11-06 中国科学院声学研究所 一种视频帧内帧间编码的通用信息隐藏检测方法
CN109859091B (zh) * 2018-12-24 2023-05-16 中国人民解放军国防科技大学 基于Gabor滤波和卷积神经网络的图像隐写检测方法
US11989637B2 (en) 2019-04-30 2024-05-21 Samsung Electronics Co., Ltd. System and method for invertible wavelet layer for neural networks
CN110490265B (zh) * 2019-08-23 2022-04-15 安徽大学 一种基于双路卷积和特征融合的图像隐写分析方法
US11361075B1 (en) * 2021-06-18 2022-06-14 Citrix Systems, Inc. Image steganography detection
CN114048314B (zh) * 2021-11-11 2024-08-13 长沙理工大学 一种自然语言隐写分析方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983057B1 (en) * 1998-06-01 2006-01-03 Datamark Technologies Pte Ltd. Methods for embedding image, audio and video watermarks in digital data
US6975733B1 (en) * 1999-09-10 2005-12-13 Markany, Inc. Watermarking of digital images using wavelet and discrete cosine transforms
KR100359506B1 (ko) * 2000-09-09 2002-11-04 주식회사 마크애니 디지털 영상 워터마킹 장치 및 방법
EP1680722A1 (en) 2003-11-05 2006-07-19 Qinetiq Limited Detection of items stored in a computer system
US7822223B2 (en) * 2006-01-13 2010-10-26 New Jersey Institute Of Technology Method for identifying marked images using statistical moments based at least in part on a JPEG array
US7778461B2 (en) * 2006-05-05 2010-08-17 New Jersey Institute Of Technology System and/or method for image tamper detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057726A (ko) * 2017-11-20 2019-05-29 경일대학교산학협력단 인공 신경망을 이용한 데이터가 은닉된 영상을 탐지 및 추출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR101986912B1 (ko) * 2017-11-20 2019-06-07 경일대학교산학협력단 인공 신경망을 이용한 데이터가 은닉된 영상을 탐지 및 추출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
US20060257018A1 (en) 2006-11-16
CN101655971A (zh) 2010-02-24
US7496210B2 (en) 2009-02-24
JP2008529420A (ja) 2008-07-31
EP1849124B1 (en) 2010-09-08
EP1849124A4 (en) 2008-03-19
US7783074B2 (en) 2010-08-24
CN101151622A (zh) 2008-03-26
US20090154797A1 (en) 2009-06-18
WO2006081386A3 (en) 2007-06-21
ATE480839T1 (de) 2010-09-15
EP1849124A2 (en) 2007-10-31
DE602006016737D1 (de) 2010-10-21
WO2006081386A2 (en) 2006-08-03

Similar Documents

Publication Publication Date Title
JP4417419B2 (ja) 入力画像のステゴ解析方法、装置、およびコンピュータ読取可能な媒体
Shi et al. Image steganalysis based on moments of characteristic functions using wavelet decomposition, prediction-error image, and neural network
Ahmaderaghi et al. Blind image watermark detection algorithm based on discrete shearlet transform using statistical decision theory
Wang et al. Optimized feature extraction for learning-based image steganalysis
Shen et al. A DWT-SVD based adaptive color multi-watermarking scheme for copyright protection using AMEF and PSO-GWO
Stamm et al. Anti-forensics of digital image compression
Reddy et al. A new wavelet based logo-watermarking scheme
Rajani et al. An optimized blind watermarking scheme based on principal component analysis in redundant discrete wavelet domain
Shi et al. Effective steganalysis based on statistical moments of wavelet characteristic function
Verma et al. Digital watermark extraction using support vector machine with principal component analysis based feature reduction
Shi et al. Steganalysis based on moments of characteristic functions using wavelet decomposition, prediction-error image, and neural network
Malonia et al. Digital image watermarking using discrete wavelet transform and arithmetic progression technique
Song et al. Recent advances and classification of watermarking techniques in digital images
Susanto et al. A robust non-blind image watermarking method using 2-level HWT-DCT
Sadkhan et al. Watermarked and noisy images identification based on statistical evaluation parameters
Liu et al. Steganalysis of multi-class JPEG images based on expanded Markov features and polynomial fitting
Kulkarni et al. Robust digital image watermarking using DWT, DCT and probabilistic neural network
Li et al. An intelligent watermark detection decoder based on independent component analysis
Mahdian et al. Image tampering detection using methods based on JPEG compression artifacts: a real-life experiment
Silja et al. A watermarking algorithm based on contourlet transform and nonnegative matrix factorization
Mairgiotis et al. Rao based watermark detector through two-level hierarchical prior in transform domain
Nanjundan et al. A Novel Steganographic Approach for Image Encryption Using Watermarking
Liu et al. A Digital Watermarking Algorithm Based on Digital Wavelet and Singular Value Division
Pandikumar et al. Defend against Adaptive Stenographic Attack using Mx-Quadrtree Neighbor Finding Mechanism
JP4920045B2 (ja) 周波数領域係数差分に少なくとも部分的に基づいてマーク付き画像を識別する方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20080813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091125

R150 Certificate of patent or registration of utility model

Ref document number: 4417419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250