JP3834281B2 - ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置 - Google Patents

ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置 Download PDF

Info

Publication number
JP3834281B2
JP3834281B2 JP2002323068A JP2002323068A JP3834281B2 JP 3834281 B2 JP3834281 B2 JP 3834281B2 JP 2002323068 A JP2002323068 A JP 2002323068A JP 2002323068 A JP2002323068 A JP 2002323068A JP 3834281 B2 JP3834281 B2 JP 3834281B2
Authority
JP
Japan
Prior art keywords
watermark
components
component
sub
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002323068A
Other languages
English (en)
Other versions
JP2003283803A (ja
Inventor
相 憲 呉
秉 俊 金
成 ▲うっ▼ 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003283803A publication Critical patent/JP2003283803A/ja
Application granted granted Critical
Publication of JP3834281B2 publication Critical patent/JP3834281B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking

Description

【0001】
【発明の属する技術分野】
本発明はウォーターマークに係り、より詳細には、原情報にウォーターマークを埋め込む方法、伝送する方法、復元する方法及びその装置に関する。
【0002】
【従来の技術】
ネットワークに基づく通信技術の発達とあいまって、マルチメディア情報がデジタルの形で貯蔵または伝送されることが頻繁になされつつある。デジタル情報は、複製された場合に原本との区別がほとんど不可能である。従って、原本に対する権利を主張するための1方法として、原本に識別情報(以下、ウォーターマーク)を埋め込む。ウォーターマークとしては、原本の著作権情報、著作権者の署名、マークなどが主として使われる。
【0003】
原本に埋め込まれるデータの容量が増大すれば、外部からの攻撃には強いとはいえ、ウォーターマークされた情報の品質は低下する。埋め込まれるデータの容量が減少すれば、その反対となる。すなわち、ウォーターマークの大きさとウォーターマークされた情報の品質とは互いにトレード−オフの関係にある。テキストをウォーターマークとして埋め込む場合、通常100ビット未満で十分であるため、大した問題にならない。しかし、映像を埋め込む場合、例えば、比較的に小容量である32×32ピクセルの2進映像であっても1024ビットが埋め込まなければならないため、原情報の品質低下が問題となる。それにも拘わらず、ウォーターマーク映像の埋め込みの必要性は高まりつつある。映像はテキストに比べて識別力が高く、且つ、ユーザにやさしいためである。
【0004】
従来、様々なウォーターマーク埋め込み方法が提案されている。しかし、これらはいずれも原情報をいかなる方式により変換した後、いかなる所にいかにウォーターマークデータを埋め込むかに集中している。
【0005】
【発明が解決しようとする課題】
そこで、本発明の目的は、埋め込まれるデータの容量を格段に減らせる新たなウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置を提供するところにある。
【0006】
本発明の他の目的は、埋め込まれるデータの容量を格段に減らせつつもより攻撃に強い新たなウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置を提供するところにある。
【0007】
本発明のさらに他の目的は、受信側における復元が容易である新たなウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置を提供するところにある。
【0008】
【課題を解決するための手段】
前記目的は、本発明により、原情報にウォーターマークを埋め込む方法において、(a)前記ウォーターマークを具現する複数の成分のうち一部を前記原情報に埋め込む段階と、(b)残りの成分は前記ウォーターマークを復元するためのキーとして使用する段階とを含むことを特徴とする方法によって達成される。
【0009】
前記(a)段階は、(a1)前記ウォーターマークを複数の成分に分解する段階を含むことが望ましく、特に、ウォーターマーク映像である場合、色成分、位置成分及び大きさ成分に分解する段階を含むことが望ましい。
【0010】
前記分解段階は、(a11)前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得る段階と、(a12)得られたサブブロックの色成分を表示するビット列を生成する段階と、(a13)生成されたビット列を前記原情報に埋め込む段階とを含むことが望ましい。
【0011】
前記(a11)段階は、前記ウォーターマーク映像を少なくとも1枚の2進映像に分割する段階と、得られた2進映像を色成分が同じビット値で表わされる領域に分割して複数のサブブロックを得る段階とを含むことが望ましい。
【0012】
さらに、前記目的は、原情報にウォーターマーク映像を埋め込む方法において、(a)領域の大きさを変えていきつつ前記ウォーターマーク映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出する段階と、(b)抽出されたサブブロックの色成分を表示するビット列を生成する段階と、(c)生成されたビット列を前記原情報に埋め込む段階とを含むことを特徴とする方法によっても達成される。
【0013】
前記(a)段階は、(a1)前記ウォーターマーク映像を少なくとも1枚の2進映像に分割する段階と、(a2)領域の大きさを変えていきつつ2進映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出する段階と、(a3)残りの2進映像に対して前記(a2)段階を繰り返す段階とを含むことが望ましい。
【0014】
前記(b)段階は、前記サブブロックの大きさ順に対応ビット値を配列して前記色成分を表示するビット列を生成する段階を含むことが効果的である。
【0015】
さらに、前記目的は、原情報にウォーターマークを埋め込んで伝送する方法において、(b)前記ウォーターマークを具現する複数の成分のうち一部のみを前記原情報に埋め込んで伝送する段階と、(c)残りの成分は前記ウォーターマークを復元するために必要なキーとして伝送する段階とを含むことを特徴とする方法によっても達成される。
【0016】
前記(b)段階前に、(a)前記ウォーターマークを複数の成分に分解する段階を含むことが望ましい。
【0017】
さらに、前記目的は、ウォーターマークを復元する方法において、(a)前記ウォーターマークを具現する複数の成分のうち一部を原情報から抽出する段階と、(b)キーとして受信された残りの成分を組み合わせて前記ウォーターマークを復元する段階とを含むことを特徴とする方法によっても達成される。
【0018】
前記(a)段階は、(a1)ウォーターマークされた原情報から前記ウォーターマークの色成分を表示するビット列を抽出する段階であることが望ましい。
【0019】
前記(b)段階は、(b1)前記ウォーターマークの位置成分及び大きさ成分を前記キーとして受信して前記色成分と組み合わせてウォーターマークを復元する段階を含むことが望ましい。
【0020】
一方、前記目的は、原情報にウォーターマークを埋め込む装置において、前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、前記ウォーターマーク分解部を通じて得られた複数の成分のうち一部を前記原情報に埋め込むウォーターマーク埋め込み部と、前記ウォーターマーク分解部を通じて得られた複数の成分のうち残りの成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含むことを特徴とする装置によって達成される。
【0021】
前記ウォーターマーク分解部は、前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得た後、得られたサブブロックの色成分を表示するビット列を生成し、前記ウォーターマーク埋め込み部は、前記ウォーターマーク分解部により生成されたビット列を前記原情報に埋め込むことが望ましい。
【0022】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施の形態を詳細に説明する。
【0023】
図1は、本発明の望ましい実施の形態によるウォーターマーク埋め込み装置の構成図である。ウォーターマーク埋め込み装置10は、原情報及びウォーターマークを入力された後、ウォーターマークが具現可能なデータのうち一部を原情報に埋め込んでウォーターマークされた映像及びキーを出力する装置であって、ウォーターマーク分解部11、キー生成部12及びウォーターマーク埋め込み部13を含む。
【0024】
ウォーターマーク分解部11は、ウォーターマークを複数の成分に分解する。ウォーターマークは、様々なデータ表現方式のうち何れか一つにより表示可能である。例えば、ウォーターマークデータを所定の暗号化方式により暗号化させるならば、ウォーターマークは暗号化されたデータ成分と暗号化キー成分とに分解可能である。ウォーターマークがビデオやサウンドである場合、これを周波数帯域別に割り当てられた量子化ビット数に基づき量子化させるならば、ウォーターマークは量子化されたデータ成分と各周波数帯域別に割り当てられた量子化ビット数とに分解可能である。ウォーターマークが音声信号である場合、励起信号とフィルターとに分解可能である。さらには、フォルマントとエンベロープとに分解可能である。ウォーターマークがビデオやサウンドである場合、周波数成分と係数成分とに分解可能である。換言すれば、ウォーターマーク分解部11は、組み合わせてウォーターマークが復元可能な2つ以上の成分に分解する。この時、入力されたウォーターマーク映像が2進映像ではない場合、少なくとも1枚の2進映像に変換した後に分解する。例えば、カラー映像である場合、色相別の2進映像に分割した後に各2進映像を分解する。本実施の形態において、2進ウォーターマーク映像は、色成分、位置成分及び大きさ成分に分解される。
【0025】
キー生成部12は、検証キーを生成する。検証キーとは、ウォーターマーク映像からウォーターマークを抽出するために、または抽出されたデータからウォーターマークを復元するために必要なデータを意味する。本実施の形態において、キー生成部12は、ウォーターマーク分解部11を通じて得られた複数の成分のうち原情報に埋め込まれる成分を除いた残りの成分をウォーターマークを復元するためのキーとして貯蔵しておくか、ウォーターマーク映像を伝送する時にウォーターマーク映像とは別途に受信端に伝送する。
【0026】
ウォーターマーク埋め込み部13は、ウォーターマーク分解部11により生成された複数の成分のうち一部を原情報に埋め込む。原情報は、映像(静止映像及び動映像を共に含む)、またはサウンド(音声信号を含む)である場合がほとんどである。原情報にデータを埋め込む方式は、様々であり、従来公知のウォーターマーク埋め込み方式が利用可能である。例えば、原情報を離散コサイン変換(DCT)、高速フーリエ変換(FFT)、離散ウェーブレット変換(DWT)などを通じて周波数ドメインのデータに変換した後、人間の視覚にあまり敏感ではない部分にウォーターマークデータを埋め込む方式が利用可能である。さらには、ウォーターマークデータを埋め込む時、スケーリング因子を割り当てても良い。スケーリング因子とは、ウォーターマークの強じん性とウォーターマーク映像の画質との間に存在するトレード−オフを調整する因子を言う。スケーリング因子を割り当てる場合、部分的にその値を相異ならしめても良い。但し、ウォーターマークは、受信端で完壁に復元されなければならないため、ウォーターマークを損失圧縮して埋め込む方式は使用しないことが望ましい。さらに、攻撃による誤りが発生することを考慮して、ランレングス方式のように誤り伝播の可能性がある圧縮方式は使用しないことが望ましい。
【0027】
図2は、本発明により図1のウォーターマーク埋め込み装置に取り付けられてウォーターマークされた原情報を貯蔵または伝送する装置の構成図である。ウォーターマーク伝送装置は、貯蔵部20及びサーバ30を含む。貯蔵部20は、本発明によりウォーターマークされた情報及びキーを貯蔵する。貯蔵部20は、ウォーターマークされた情報を貯蔵する一般貯蔵部及びキーを貯蔵するセキュリティ貯蔵部を備える。サーバ30は、ウォーターマークされた情報及びキーをネットワークを通じて他のシステム50に伝送する。ネットワークは、ローカルエーリアネットワーク(LAN)またはインターネットなどのワイドエーリアネットワーク(WAN)を含んでも良く、両方とも含んでも良い。他のシステム50は、ウォーターマークされた情報から送られてきたキーを使ってウォーターマークを抽出して復元することができる。さらには、ディスプレー装置(図示せず)及び/またはプリンタ(図示せず)を備えて、ウォーターマークされた情報及び復元されたウォーターマークをディスプレーしたりプリントしたりできる。
【0028】
図3及び図4は、本発明によりウォーターマークを分解する過程を示す参考図である。図3を参照すれば、ウォーターマーク分解部11は、ウォーターマークをM個の成分に分解する(Mは整数)。そのうちm個(mはMより小さい整数)の成分Aはウォーターマークとして原情報に埋め込み、残りのM−m個の成分Bはキーとして使用する。
【0029】
図4を参照すれば、本発明の一実施の形態によりウォーターマーク映像は色成分、位置成分及び大きさ成分に分解された後に、色成分は原情報に埋め込まれ、位置成分及び大きさ成分はキーとして使われる。
【0030】
図5A及び図5Bは、本発明の一実施の形態によりウォーターマーク映像を分解する過程を示す参考図である。
【0031】
前述したように、ウォーターマーク分解部11は、ウォーターマーク映像を2進映像に分割した後、2進映像に対して分解を行う。図5Aを参照すれば、2進映像は、参照番号1,2,3,4の領域よりなる。■の部分はビット‘0’を、□の部分はビット‘1’を表わす。領域3及び4は色成分が同一であるために、すなわち、色成分が同じビットで表わされるために、サブブロックW(0)として抽出される。次に、領域1がサブブロックW(1)として抽出される。次に、領域2のうち色成分が同じビットで表わされる領域2−1及び2−3がサブブロックW(2)として抽出される。残りの領域のうち色成分が同じビットで表わされる領域2−4がサブブロックW(3)として抽出される。次に、領域2−2−1、領域2−2−2、領域2−2−3及び領域2−2−4が各々サブブロックW(4),W(5),W(6),W(7)として抽出される。抽出されたサブブロックの順に従い対応ビットを配列すれば、最終的に‘10010101’が得られる。すなわち、色成分を表示するビット列は、‘10010101’となる。
【0032】
図5Bには、図5Aのウォーターマーク映像の分解中に得られた大きさ成分及び位置成分が示されている。各長方形の大きさは該当サブブロックの大きさ成分を表わし、長方形に付された参照番号は該当サブブロックの位置成分を表わす。大きさ成分及び位置成分は様々な方式により表示可能である。
【0033】
図6は、他のシステム50でウォーターマークを復元する過程を示す参考図である。他のシステム50は、ウォーターマーク映像から色成分を表示するビット列‘10010101’を抽出した後、キーとして受信された大きさ成分及び位置成分を組み合わせてウォーターマークを復元する。
【0034】
前記の如き構成に基づき本発明の望ましい実施の形態によるウォーターマーク埋め込み方法及び伝送方法を説明すれば、下記の通りである。
【0035】
図7は、本発明に係るウォーターマーク埋め込み方法を説明するためのフローチャートである。ウォーターマーク埋め込み装置は、ウォーターマークを具現する複数の成分のうち一部を原情報に埋め込んだ後(第701段階)、残りの成分はウォーターマークを復元するためのキーとして使用する(第702段階)。ここで、キーとして使用するということは、キーとして貯蔵しておくか、第701段階で得られたウォーターマーク映像を受信端に伝送する時、キーとして伝送するということを意味する。
【0036】
図8は、本発明の一実施の形態によるウォーターマーク埋め込み方法を説明するためのフローチャートである。ウォーターマーク埋め込み装置は、ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックに分割した後(第801段階)、得られたサブブロックの色成分を表示するビット列を生成する(第802段階)。より具体的に、ウォーターマーク埋め込み装置は、ウォーターマーク映像を構成する2進映像のピクセル数が(x,y)である時、サブブロックを構成するピクセル数を(x,y)としてk値を0に初期化させる。次に、2進映像の全領域を検索して同じビット値で表わされ、且つ、最初に設定されたサブブロックと同じ大きさを有する領域が存在すれば、これをサブブロックW(k)として抽出する。抽出されたサブブロック内の全てのビットが‘1’であればW(k)は1となり、‘0’であれば0となる。サブブロックが抽出されれば、k値は1だけインクリメントされる。さらに、サブブロックの大きさを(x/2,y)及び(x,y/2)に変えていきつつウォーターマーク映像を検索する。この時に抽出されたサブブロックに該当する領域は検索から除外される。(x,y)が(1,1)となるまでサブブロックの横ピクセル数または縦ピクセル数を半分ずつ減らしていきつつ検索を繰り返し行い、該当サブブロックを抽出する。各サブブロックから得られたビットをサブブロックの大きさ順に配列すれば、ビット列が生成される。
【0037】
ウォーターマーク埋め込み装置は、得られたビット列を原情報に埋め込む(第803段階)。ビット列を原情報に埋め込む方法としては、従来のウォーターマーク埋め込み方法が利用可能である。さらには、スケーリング因子をビット別に異ならしめて埋め込んでも良い。重要な成分には大きいスケーリング因子を与え、そうでない成分には小さいスケーリング因子を与える。例えば、相対的に大き目のサブブロックのビットには大きいスケーリング因子を、相対的に小さ目のサブブロックには小さいスケーリング因子を割り当てる。一方、サブブロックの大きさ成分及び位置成分は、キーとして使われる(第804段階)。
【0038】
図9は、本発明の他の実施の形態によるウォーターマーク伝送方法を説明するためのフローチャートである。ウォーターマーク伝送装置は、ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックに分割した後(第901段階)、得られたサブブロックの大きさ順に該当色成分を表示するビット列を生成する(第902段階)。この時、図8の第801段階及び第802段階での方式が使われる。また、相対的に大き目のサブブロックであるほど大きい値のスケーリング因子を与える(第903段階)。次に、ウォーターマーク伝送装置は、スケーリング因子の割り当てられたビット列を原映像に埋め込んで他のシステム50に伝送する(第904段階)。原映像は、静止映像及び動映像を共に含む。同様に、ビット列を原映像に埋め込む方法として、従来公知のウォーターマーク埋め込み方法が利用可能である。さらには、スケーリング因子をビット別に異ならしめて埋め込んでも良い。重要な成分には大きいスケーリング因子を与え、そうでない成分には小さいスケーリング因子を与える。例えば、相対的に大き目のサブブロックのビットには大きいスケーリング因子を、相対的に小さ目のサブブロックには小さいスケーリング因子を割り当てる。一方、サブブロックの大きさ順に大きさ成分及び位置成分を配列した後、キーとして他のシステム50に伝送する(第905段階)。
【0039】
図10は、ウォーターマークを復元する方法を説明するためのフローチャートである。他のシステム50は、ネットワークを通じてウォーターマーク映像及びキーを受信し(第1001段階)、ウォーターマーク映像からサブブロックの色成分を表示するビット列を抽出する(第1002段階)。一方、受信されたキーからサブブロックの大きさ成分及び位置成分を抽出する(第1003段階)。前記第1002段階で抽出されたビット列に前記第1003段階で抽出された大きさ成分に応じて対応する大きさを有し、対応するビット値で表わされるサブブロックを復元する。最後に、位置成分に基づき復元されたサブブロックを並べ替えることにより、ウォーターマーク映像を復元する(第1004段階)。
【0040】
前述したように、本発明によれば、ウォーターマーク映像を復元するためには、埋め込まれた成分とキーとが共に正確でなければならない。これにより、本発明に係るウォーターマーク埋め込み方法、伝送方法及びその装置の強じん性が保障される。例えば、キーとして他のウォーターマーク映像に関する位置情報及び大きさ情報を受信すれば、サブブロックの数が互いに一致しないため、当該ウォーターマーク映像が復元できなくなる。ウォーターマークを埋め込むアルゴリズムを知っていて埋め込まれた成分を表示するビット列を抽出するとしても、サブブロックの大きさ成分及び位置成分が知らなければ、ウォーターマーク映像が正常に復元できない。ハッキングを通じてキーが分かるとしても、埋め込まれた色成分を知らなければサブブロックのビットが満たせないために、復元が不可能である。
【0041】
実験の結果、本発明に係るウォーターマーク埋め込み装置の性能は、下記の通りに測定された。まず、実験に使われた装置は、原映像をDWT変換してDWT係数を得た後、埋め込まれるビット列のビット値が‘0’であれば該当係数を臨界値T1に置換し、ビット値が‘1’であれば該当係数を臨界値T2に置換する方式を使用した。T1とT2との距離を決める因子は、スケーリング因子である。スケーリング因子は、様々な方式により決められるが、この実験では、「Sang−Wook Keem, Sang−Heum Oh, Yong−Jun Ryu, Keyn−Young Lee,“A Robust digital watermarking method based on DWT”, Proc. IEEK. Summer Conference 2001,vol 24, No.1,pp77−80,Jun 2001」に開示された方法に従い、スケーリング因子αは1から0.8まではΔα=0.2と、0.6から0.45まではΔα=0.15と、0.3から0.1まではΔα=0.1と変化を与えた。
【0042】
図11は、テスト映像として使われたウォーターマーク映像である。(a)“DM LAB”は、128×128ビット/ピクセルであり、(b)“SAMSUNG”は、150×39ビット/ピクセルであり、(c)“Signature”は、64×64ビット/ピクセルである。
【0043】
図12は、図11のテスト映像から本発明により抽出された色成分のビット列を比較するための表である。図12を参照すれば、(a)“DM LAB”の場合に1167ビットで表示可能であることが分かる。これは、従来に16384ビットを埋め込まなければならなかったことに比較すれば、約90%減っている。(b)の“SAMSUNG”及び(c)の“Signature”もまた従来に比べて約85%減っていることが分かる。
【0044】
図13は、テスト映像として使われた原映像である。図13を参照すれば、(a)“Lenna”、(b)“Baboon”及び(c)“Camman”はいずれも256×256ピクセルである。
【0045】
図14は、図13の原映像に本発明により図11のウォーターマーク映像を埋め込んだ場合に得られたウォーターマーク映像の画質と従来の方式による場合の画質とを比較したグラフである。但し、「Sang−Wook Keem, Sang−Heum Oh, Yong−Jun Ryu, Keyn−Young Lee, “A Robust digital watermarking method based on DWT”, Proc. IEEK. Summer Conference 2001, vol 24, No.1, pp77−80, Jun 2001」に開示された方法によれば、ウォーターマークを3回ずつ埋め込むようになっているが、“DM LAB”のようにデータが大容量であるウォーターマーク映像の場合、圧縮抜きで3回ずつ埋め込むことは不可能であるため、1回ずつ埋め込んだ。
【0046】
図14を参照すれば、本発明に係る方式によりウォーターマーク映像を埋め込んだところ、画質が最小1.8dBから最大5.63dBまで改善されたことが分かる。一方、PSNRは、ピーク信号対雑音比(Peak Signal toNoise Ratio)を意味する。
【0047】
図15は、本発明により得られたウォーターマーク映像の強じん性を示すグラフである。“DM LAB”を“Baboon”に埋め込んで圧縮した後、10%から90%まで圧縮率を変えていきつつJPEG圧縮を行ったところ、本発明によれば、平均2.33%(16384ビットのうち381ビット)のエラーが発生したのに対し、本発明を適用しなかった場合には22.86%(16384ビットのうち3745ビット)のエラーが発生した。本発明によれば、約10倍ほどエラー発生率が減るということが確認できる。
【0048】
図16は、本発明により得られたウォーターマーク映像のフィルタリングに対する強じん性を示す参考図である。“SAMSUNG”を“Camman”に埋め込んだ後にJPEG圧縮を行って“Stirmark Attack”フィルタリングに対する強じん性を実験したところ、(a)は、ガウスフィルタを通った場合、(b)は、2×2メディアンフィルタを通った場合、(c)は、3×3メディアンフィルタを通った場合、そして(d)は3×3ウォーターマーク映像のエッジを強調した場合に各々抽出されたウォーターマーク映像を表わす。いずれも約95%以上の復元率を示している。
【0049】
図17は、本発明により得られたウォーターマーク映像のクロッピングに対する強じん性を示す参考図である。(a)は、クロッピングされた“Lenna”を表わし、(b)は、(a)から復元されたウォーターマーク映像“Signature”を表わす。このような攻撃にも“Signature”は約97%以上復元される強じん性を示している。
【0050】
図18は、本発明により得られたウォーターマーク映像のワーピングに対する強じん性を示す参考図である。(a)は、ワーピングされた“Lenna”を表わし、(b)は、(a)から復元されたウォーターマーク映像“SAMSUNG”を表わす。このような攻撃にも“SAMSUNG”は97%以上に復元される強じん性を示している。
【0051】
【発明の効果】
以上述べたように、本発明によれば、埋め込まれるべきデータの容量が格段に減るのでウォーターマーク情報の劣化を防止すると同時に、伝送時に様々に発生する攻撃に一層強じんになる。すなわち、埋め込まれるべきウォーターマークを複数の成分に分解した後に一部の成分のみ埋め込むことにより、ウォーターマーク映像の画質が改善され、残りの成分をキーとして伝送することにより攻撃に対する強じん性が高まる。受信端ではウォーターマークされた原情報から抽出された一部の成分とキーとして伝送された残りの成分とを組み合わせて始めてウォーターマークが完全に復元可能になるからである。
【図面の簡単な説明】
【図1】本発明の望ましい実施の形態によるウォーターマーク埋め込み装置の構成図である。
【図2】図1のウォーターマーク埋め込み装置に取り付けられてウォーターマークされた原本を貯蔵または伝送する装置の構成図である。
【図3】本発明によりウォーターマークを分解する過程を示す参考図である。
【図4】ウォーターマークを分解する過程の一実施の形態を示す参考図である。
【図5A】本発明の一実施の形態によりウォーターマーク映像を分解する過程を示す参考図である。
【図5B】本発明の一実施の形態によりウォーターマーク映像を分解する過程を示す参考図である。
【図6】他のシステム50でウォーターマークを復元する過程を示す参考図である。
【図7】本発明に係るウォーターマーク埋め込み方法を説明するためのフローチャートである。
【図8】本発明の一実施の形態によるウォーターマーク埋め込み方法を説明するためのフローチャートである。
【図9】本発明の他の実施の形態によるウォーターマーク伝送方法を説明するためのフローチャートである。
【図10】ウォーターマークを復元する方法を説明するためのフローチャートである。
【図11】テスト映像として使われたウォーターマーク映像である。
【図12】図11のテスト映像から本発明により抽出された色成分のビット列を比較するための表である。
【図13】テスト映像として使われた原映像である。
【図14】本発明により得られたウォーターマーク映像の画質と従来の方式による場合の画質とを比較したグラフである。
【図15】本発明により得られたウォーターマーク映像の強じん性を示すグラフである。
【図16】本発明により得られたウォーターマーク映像のフィルタリングに対する強じん性を示す参考図である。
【図17】本発明により得られたウォーターマーク映像のクロッピングに対する強じん性を示す参考図である。
【図18】本発明により得られたウォーターマーク映像のワーピングに対する強じん性を示す参考図である。
【符号の説明】
10 ウォーターマーク埋め込み装置
11 ウォーターマーク分解部
12 キー生成部
13 ウォーターマーク埋め込み部
20 貯蔵部
30 サーバ
50 システム

Claims (20)

  1. 原情報にウォーターマークを埋め込む方法において、
    (a)前記ウォーターマークを具現する複数の成分のうち一部を前記原情報に埋め込む段階と、
    (b)残りの成分は前記ウォーターマークを復元するためのキーとして使用する段階とを含み、
    前記(a)段階は、
    ウォーターマーク映像を前記原情報に埋め込む色成分、前記キーとして使用する位置成分及び大きさ成分に分解する段階を含み、
    前記分解する段階は、
    (a)前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得る段階と、
    (a)得られたサブブロックの色成分を表すビット列を生成する段階と、
    (a)生成されたビット列を前記原情報に埋め込む段階と
    を含むことを特徴とする方法。
  2. 原情報にウォーターマーク映像を埋め込む方法において、
    (a)前記ウォーターマークを具現する複数の成分のうち一部を前記原情報に埋め込む段階と、
    (b)残りの成分は前記ウォーターマークを復元するためのキーとして使用する段階とを含み、
    前記(a)段階は、
    ウォーターマーク映像を前記原情報に埋め込む色成分、前記キーとして使用する位置成分及び大きさ成分に分解する段階を含み、
    前記分解する段階は、
    (a)ウォーターマーク映像を分割する領域の大きさを変えていきつつ前記ウォーターマーク映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出する段階と、
    (a)抽出されたサブブロックの色成分を表すビット列を生成する段階と、
    (a)生成されたビット列を前記原情報に埋め込む段階と
    を含むことを特徴とする方法。
  3. 前記(a)段階は、
    (a11)前記ウォーターマーク映像を少なくとも1枚の2進映像に分割する段階と、
    (a12)領域の大きさを変えていきつつ2進映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出する段階と、
    (a13)残りの2進映像に対して前記(a12)段階を繰り返す段階とを含むことを特徴とする請求項2に記載の方法。
  4. 前記(a2)段階は、
    前記サブブロックの大きさ順に対応ビット値を配列して前記色成分を表すビット列を生成する段階を含むことを特徴とする請求項2に記載の方法。
  5. 前記(a3)段階は、
    前記ビット列にスケーリング因子を割り当てて埋め込む段階であることを特徴とする請求項2に記載の方法。
  6. 前記(a3)段階は、
    前記ビット列の少なくとも一部のビットにスケーリング因子を異ならしめて埋め込む段階であることを特徴とする請求項5に記載の方法。
  7. 前記(a3)段階は、
    前記ビット列のうち大きいサブブロックに対応するビットであるほど大きい値のスケーリング因子を割り当てる段階を含むことを特徴とする請求項6に記載の方法。
  8. 原情報にウォーターマークを埋め込んで伝送する方法において、
    (a)前記ウォーターマークを複数の成分に分解する段階と、
    (b)前記ウォーターマークを具現する複数の成分のうち一部のみを前記原情報に埋め込んで伝送する段階と、
    (c)残りの成分は前記ウォーターマークを復元するために必要なキーとして伝送する段階とを含み、
    前記(a)段階は、
    ォーターマーク映像を前記原情報に埋め込む色成分、前記キーとして使用する位置成分及び大きさ成分に分解する段階を含み、
    前記分解する段階は、
    (a)前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得る段階と、
    (a)得られたサブブロックの色成分を表すビット列を生成する段階と、
    (a)得られたサブブロックの位置成分及び大きさ成分を得る段階と
    を含むことを特徴とする方法。
  9. 前記(a)段階は、
    前記ウォーターマーク映像を少なくとも1枚の2進映像に分解する段階と、
    得られた2進映像を各々色成分が同じビット値で表わされる領域に分割して複数のサブブロックを得る段階とを含む
    ことを特徴とする請求項8に記載の方法。
  10. 前記(a)段階は、
    前記サブブロックの大きさ順に対応ビット値を配列して前記色成分を表すビット列を生成する段階を含むことを特徴とする請求項8に記載の方法。
  11. 原情報にウォーターマークを埋め込んで伝送する方法において、
    (a)前記ウォーターマークを複数の成分に分解する段階と、
    (b)前記ウォーターマークを具現する複数の成分のうち一部のみを前記原情報に埋め込んで伝送する段階と、
    (c)残りの成分は前記ウォーターマークを復元するために必要なキーとして伝送する段階とを含み、
    前記(c)段階は、
    前記位置成分及び大きさ成分を表すビット列を前記ウォーターマークを復元するためのキーとして送信する段階を含むことを特徴とする方法。
  12. 原情報にウォーターマークを埋め込む装置において、
    前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち色成分を前記原情報に埋め込むウォーターマーク埋め込み部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち位置成分及び大きさ成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含み、
    前記ウォーターマーク分解部は、前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得た後、得られたサブブロックの色成分を表すビット列を生成し、
    前記ウォーターマーク埋め込み部は、前記ウォーターマーク分解部により生成されたビット列を前記原情報に埋め込むことを特徴とする装置。
  13. 原情報にウォーターマークを埋め込む装置において、
    前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち色成分を前記原情報に埋め込むウォーターマーク埋め込み部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち位置成分及び大きさ成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含み、
    前記ウォーターマーク分解部は、
    ウォーターマーク映像を分割する領域の大きさを変えていきつつ前記原映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出することを特徴とする装置。
  14. 前記ウォーターマーク分解部は、前記サブブロックの大きさ順に対応ビット値を配列して前記色成分を表すビット列を生成することを特徴とする請求項12に記載の装置。
  15. 原情報にウォーターマークを埋め込む装置において、
    前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち色成分を前記原情報に埋め込むウォーターマーク埋め込み部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち位置成分及び大きさ成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含み、
    前記ウォーターマーク分解部は、ウォーターマーク映像を少なくとも1枚の2進映像に分割した後、分割された2進映像を色成分、位置成分及び大きさ成分に分解し、前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得た後、得られたサブブロックの色成分を表すビット列を生成し、
    前記ウォーターマーク埋め込み部は、前記ウォーターマーク分解部により生成されたビット列を前記原映像に埋め込むことを特徴とする装置。
  16. 原情報にウォーターマークを埋め込む装置において、
    前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち色成分を前記原情報に埋め込むウォーターマーク埋め込み部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち位置成分及び大きさ成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含み、
    前記ウォーターマーク分解部は、
    ウォーターマーク映像を少なくとも1枚の2進映像に分割した後、分割された2進映像を色成分、位置成分及び大きさ成分に分解し、ウォーターマーク映像を分割する領域の大きさを変えていきつつ前記原映像を検索して色成分が同じビット値で表わされる領域が存在すれば、その領域をサブブロックとして抽出することを特徴とする装置。
  17. 前記ウォーターマーク分解部は、
    前記サブブロックの大きさ順に対応ビット値を配列して前記色成分を表すビット列を生成することを特徴とする請求項15に記載の装置。
  18. 原情報にウォーターマークを埋め込む装置において、
    前記ウォーターマークを複数の成分に分解するウォーターマーク分解部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち色成分を前記原情報に埋め込むウォーターマーク埋め込み部と、
    前記ウォーターマーク分解部を通じて得られた複数の成分のうち位置成分及び大きさ成分は前記ウォーターマークを復元するためのキーとして出力するキー生成部とを含み、
    前記ウォーターマーク分解部は、ウォーターマーク映像を少なくとも1枚の2進映像に分割した後、分割された2進映像を色成分、位置成分及び大きさ成分に分解し、前記ウォーターマーク映像を色成分が同じ領域に分割して複数のサブブロックを得た後、得られたサブブロックの色成分を表すビット列を生成し、
    前記ウォーターマーク埋め込み部は、前記ビット列にスケーリング因子を割り当てて前記原映像に埋め込むことを特徴とする装置。
  19. 前記ウォーターマーク埋め込み部は、前記ビット列の少なくとも一部のビットにスケーリング因子を異ならしめて埋め込むことを特徴とする請求項18に記載の装置。
  20. 前記ウォーターマーク埋め込み部は、前記ビット列のうち大きいサブブロックに対応するビットであるほど大きい値のスケーリング因子を割り当てることを特徴とする請求項19に記載の装置。
JP2002323068A 2001-12-03 2002-11-06 ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置 Expired - Fee Related JP3834281B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020010075900A KR100878518B1 (ko) 2001-12-03 2001-12-03 워터마크 삽입방법, 전송방법, 복원방법 및 그 장치
KR2001-075900 2001-12-03

Publications (2)

Publication Number Publication Date
JP2003283803A JP2003283803A (ja) 2003-10-03
JP3834281B2 true JP3834281B2 (ja) 2006-10-18

Family

ID=19716568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002323068A Expired - Fee Related JP3834281B2 (ja) 2001-12-03 2002-11-06 ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置

Country Status (7)

Country Link
US (1) US7451317B2 (ja)
EP (1) EP1316917B1 (ja)
JP (1) JP3834281B2 (ja)
KR (1) KR100878518B1 (ja)
CN (1) CN1290054C (ja)
MY (1) MY138127A (ja)
TW (1) TW559743B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1745374A (zh) * 2002-12-27 2006-03-08 尼尔逊媒介研究股份有限公司 用于对元数据进行译码的方法和装置
US8090141B2 (en) * 2006-01-31 2012-01-03 Xerox Corporation System and method to automatically establish preferred area for image-wise watermark
JP4550749B2 (ja) * 2006-03-07 2010-09-22 株式会社東芝 画像処理方法および画像処理装置
JP5036643B2 (ja) * 2007-07-18 2012-09-26 株式会社リコー 情報処理装置、情報処理方法、及びプログラム
US8090146B2 (en) * 2009-01-15 2012-01-03 Google Inc. Image watermarking
CN102238421A (zh) * 2010-04-29 2011-11-09 华为终端有限公司 多路视频同步传输方法、装置及系统
CN101894238B (zh) * 2010-08-09 2012-07-04 中国人民解放军海军工程大学 基于双重认证的word文档电子印章系统及方法
US9380356B2 (en) 2011-04-12 2016-06-28 The Nielsen Company (Us), Llc Methods and apparatus to generate a tag for media content
US9515904B2 (en) 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
TWI481262B (zh) * 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
WO2013112744A2 (en) * 2012-01-24 2013-08-01 Futurewei Technologies, Inc. Compressed domain watermarking with reduced error propagation
US9313544B2 (en) 2013-02-14 2016-04-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9946723B2 (en) * 2014-06-02 2018-04-17 Intel Corporation Data embedding in run length encoded streams
US9762965B2 (en) 2015-05-29 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
CN110326279B (zh) * 2017-02-23 2021-08-24 日本电信电话株式会社 电子水印嵌入装置、电子水印检测装置、电子水印嵌入方法、电子水印检测方法、存储介质
CN108564519B (zh) * 2017-12-22 2021-11-16 重庆邮电大学 一种基于多变换域的彩色图像数字水印方法
CA3090523C (en) * 2019-08-20 2022-03-22 Citrix Systems, Inc. Masked watermarks and related systems and techniques

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6560349B1 (en) * 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US7007166B1 (en) * 1994-12-28 2006-02-28 Wistaria Trading, Inc. Method and system for digital watermarking
US6590996B1 (en) * 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US5915027A (en) * 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
JPH11232779A (ja) * 1997-11-20 1999-08-27 Toshiba Corp コピー防止装置
US6487301B1 (en) * 1998-04-30 2002-11-26 Mediasec Technologies Llc Digital authentication with digital and analog documents
US6504941B2 (en) * 1998-04-30 2003-01-07 Hewlett-Packard Company Method and apparatus for digital watermarking of images
WO1999063443A1 (en) * 1998-06-01 1999-12-09 Datamark Technologies Pte Ltd. Methods for embedding image, audio and video watermarks in digital data
US6587944B2 (en) * 1998-06-29 2003-07-01 Intel Corporation Fragile watermarking for objects
KR100389857B1 (ko) 1998-07-01 2003-07-04 삼성전자주식회사 워터마킹을 사용하여 시그니쳐 영상을 기록하고 복원하는 디지털 영상 코딩/디코딩장치 및 방법
JP2000050049A (ja) * 1998-07-30 2000-02-18 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US6477251B1 (en) * 1998-11-25 2002-11-05 Gtech Rhode Island Corporation Apparatus and method for securely determining an outcome from multiple random event generators
JP3768705B2 (ja) 1998-11-27 2006-04-19 キヤノン株式会社 電子透かし埋め込み装置、出力制御装置及びコンピュータ読み取り可能な記憶媒体
RU2234748C2 (ru) 1999-05-17 2004-08-20 Самсунг Электроникс Ко., Лтд. Способ нанесения водяных знаков в виде цифрового изображения
JP3654077B2 (ja) * 1999-09-07 2005-06-02 日本電気株式会社 オンライン電子透かし検出システム、オンライン電子透かし検出方法、及びオンライン電子透かし検出用プログラムを記録した記録媒体
KR100312431B1 (ko) * 2000-01-21 2001-11-03 오길록 공간 영역에서 영상 분할을 기반으로 하는 영상 워터마크삽입/추출 장치 및 그 방법
KR100319451B1 (ko) * 2000-02-10 2002-01-05 윤덕용 가변크기 블록 기반 워터마킹 방법
US6385329B1 (en) * 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
US6449380B1 (en) * 2000-03-06 2002-09-10 Intel Corporation Method of integrating a watermark into a compressed image
KR100548983B1 (ko) * 2000-11-02 2006-02-02 (주)마크텍 디지털 증명서의 발급 및 인증을 위한 텍스트의 삽입 방법및 장치
JP4227048B2 (ja) * 2003-04-25 2009-02-18 株式会社東芝 画像処理システム

Also Published As

Publication number Publication date
KR100878518B1 (ko) 2009-01-13
EP1316917A2 (en) 2003-06-04
US20030123661A1 (en) 2003-07-03
TW559743B (en) 2003-11-01
US7451317B2 (en) 2008-11-11
JP2003283803A (ja) 2003-10-03
MY138127A (en) 2009-04-30
CN1290054C (zh) 2006-12-13
CN1423235A (zh) 2003-06-11
KR20030045969A (ko) 2003-06-12
EP1316917B1 (en) 2011-05-11
EP1316917A3 (en) 2006-05-31

Similar Documents

Publication Publication Date Title
JP3834281B2 (ja) ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置
US6834344B1 (en) Semi-fragile watermarks
Kang et al. A DWT-DFT composite watermarking scheme robust to both affine transform and JPEG compression
Busch et al. Digital watermarking: From concepts to real-time video applications
US7389420B2 (en) Content authentication and recovery using digital watermarks
US6788821B2 (en) Digital information embedding/extracting apparatus and method, and medium including a program for executing the method recorded thereon
Yang et al. A contrast-sensitive reversible visible image watermarking technique
JP3719347B2 (ja) ディジタル画像または圧縮ディジタル画像への透かし挿入方法、ディジタル画像キャプチャリング装置、コンピュータシステム、および透かし入りディジタル画像の改ざん検出方法
JP2007189708A (ja) ロバストなデジタル電子透かし入れ信号の挿入方法および電子透かし検出方法
JP4024153B2 (ja) 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
Nikolaidis Low overhead reversible data hiding for color JPEG images
JP4218539B2 (ja) 電子透かし埋め込み装置,電子透かし検出装置,電子透かし埋め込み方法,および電子透かし検出方法
Al-Jaber et al. Reversible watermarking using modified difference expansion
Puteaux et al. Hierarchical high capacity data hiding in JPEG crypto-compressed images
Chang et al. A feature-oriented copyright owner proving technique for still images
Jiang et al. Semi-fragile watermarking algorithm for image tampers localization and recovery
Nithyanandam et al. A Image Steganography Technique on Spatial Domain Using Matrix and LSB Embedding based on Huffman Encoding
Singhal et al. Digital watermarking algorithms: a review
Tsai et al. Secure information by using digital data embedding and spread spectrum techniques
Lou et al. Robust watermarking technique for digital images utilizing the invariant relation of vector quantization indices
Liu et al. An overview of digital watermarking
Tang et al. Robust near-reversible data embedding using histogram projection
Lu et al. Lossless information hiding scheme based on pixels complexity analysis
Wolthusen Digital Watermarking: From Concepts to Real-Time Video Applications
KR20030032411A (ko) 영상의 디지털워터마킹방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050819

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060113

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees