JP4124325B2 - データ検出方法及び装置 - Google Patents

データ検出方法及び装置 Download PDF

Info

Publication number
JP4124325B2
JP4124325B2 JP2002178903A JP2002178903A JP4124325B2 JP 4124325 B2 JP4124325 B2 JP 4124325B2 JP 2002178903 A JP2002178903 A JP 2002178903A JP 2002178903 A JP2002178903 A JP 2002178903A JP 4124325 B2 JP4124325 B2 JP 4124325B2
Authority
JP
Japan
Prior art keywords
data block
data
bit
embedded
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002178903A
Other languages
English (en)
Other versions
JP2003101763A (ja
Inventor
ジェイソン チャールズ ペリー
タプソン、ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2003101763A publication Critical patent/JP2003101763A/ja
Application granted granted Critical
Publication of JP4124325B2 publication Critical patent/JP4124325B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0078Robust watermarking, e.g. average attack or collusion attack resistant using multiple thresholds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、マテリアルに繰り返し埋め込まれているデータブロックの有無を検出するデータブロック検出装置及びデータブロック検出方法に関する。更に、本発明は、マテリアルにデータブロックを埋め込むデータブロック埋込装置及びデータブロック埋込方法に関する。
【0002】
【従来の技術】
本明細書におけるマテリアルとは、例えばビデオマテリアル、オーディオマテリアル及びデータを伝達するマテリアル等のあらゆる形式の情報マテリアルを含む。
【0003】
また、ウォータマークという用語は、マテリアルに何らかの形式で埋め込まれた(embed)データ又は情報の総称として使用する。ウォータマークは、マテリアル内において、知覚不可能であってもよく、知覚可能であってもよい。
【0004】
ウォータマークは、様々な目的で使用される。ウォータマークは、通常、マテリアルの所有者(owner)の正当な知的財産権に対する侵害を防止し、又は侵害を追跡するために使用されている。例えば、ウォータマークは、マテリアルの所有者を識別するために使用される。これにより、所有者は、マテリアルの不正なコピーを見つけ出すことができる。すなわち、マテリアルにウォータマークを埋め込み、及び埋め込まれたウォータマークを検出する装置により、マテリアルの著作権を主張し、著作権を保護することができる。
【0005】
【発明が解決しようとする課題】
著作権保護のための性能を測定するためには、以下のような3つの統計的データが使用される。
1.誤検出(False positive):これは、実際にはウォータマークが付されていないマテリアルの一部をウォータマーク有りと誤って検出してしまう確率である。ヨーロッパ放送連合(European Broadcast Union:EBU)は、ビデオマテリアルについて、誤検出が発生する確率を10−8以下とするよう定めている。
2.見逃し(False negative):これは、実際にはウォータマークが付されているマテリアルの一部をウォータマーク無しと誤って判定してしまう確率である。EBUは、見逃しが発生する確率を0.05以下とするよう定めている。
3.エラーフリーペイロード(Error free payload):これは、ウォータマークが検出されたとき、ペイロードを(エラー訂正処理の後)エラーフリーで再生することができる確率である。EBUは、検出されたペイロードにおいてエラーが発生する確率を10−8以下とするよう定めている。
【0006】
国際特許公開公報WO99/12347号には、マテリアルに埋め込まれたウォータマークを検出する装置が開示されている。この装置は、検出するウォータマークのコピーを予め記憶している。そして、この装置は、マテリアルから再生(recover)されたデータと、このウォータマークとの相関関係を調べ、この相関関係に基づいて、ウォータマークの有無を判定する。
【0007】
【課題を解決するための手段】
本発明に係るデータブロック検出装置は、マテリアルに所定回数繰り返し埋め込まれている複数のデータビットからなるデータブロックが存在するか否かをマテリアルから再生されたデータブロックのバージョンのデータ表現から判定するデータブロック検出装置において、データブロックの各再生されたバージョン内の対応する位置の各ビットの値を結合して、各ビットの累積スコアを算出する累算器と、データブロックのビットの累算スコアの値を少なくとも1つの閾値と比較し、この比較に基づいてデータブロックの各ビットが検出されたか否かを判定し、検出されたビットの総数に基づいて、データブロックが存在するか否かを判定する検出プロセッサとを備える。
【0008】
本発明に係るデータブロック検出装置により、誤検出及び見逃しの発生する確率を下げることができる。誤検出及び見逃しの発生する確率を下げる効果は、ウォータマークシステムを適応化することなく、又はウォータマークシステムを最小限適応化することにより実現することができる。本発明により、著作権保護を向上させることができる。著作権保護は、通常、ウォータマークシステムに対してより上位レベルで行われ、既存のウォータマーク処理層の上位に著作権保護処理層を追加して設けることにより、マテリアルの著作権保護を容易に行うことができる。
【0009】
本発明は、マテリアルに繰り返し埋め込まれたデータブロックの各ビットの値の確率分布を利用する。マテリアルから再生されたデータブロックの各バージョンの同じビットの値を加算することにより、各ビットについて累算スコアが算出される。本発明の一実施の形態においては、累算スコアは、2つの閾値と比較される。これらの2つの閾値は、可能な累算スコアについて、0からマテリアルに同じデータブロックが埋め込まれた所定の回数に対応する最大値までの間に存在する3つの領域を定義する。第1の閾値以下の第1の領域は、0として検出されるビットに関連した値を定義する。累算スコアが2つの閾値の間、すなわち第2の領域内にある場合、ビットは検出されなかったと判定される。第2の閾値以上である第3の領域は、1として検出されるビットに関連した値を定義する。そし 、検出プロセッサは、データブロック内の幾つのビットが0又は1として検出されたかを判定する。この判定により得られた数を第3の閾値と比較することにより、マテリアル内にデータブロックが存在するか否かが判定される。
【0010】
各ビットの累算スコアを例えば第1及び第2の閾値と比較し、ビットが検出されたか否かを判定する処理と、データブロックの検出されたビットの総数を第3の閾値と比較する処理とにより、2段階の検出処理が構成される。この2段階の検出処理により、上述したヨーロッパ放送連合(EBU)が要求する誤検出及び見逃しの発生確率より良好な結果を得ることができる。
【0011】
更に、本発明では、埋め込まれたデータのコンテンツに関する知識が必要ないという利点がある。国際特許公開公報WO99/12347号に開示されているウォータマーク検出装置とは異なり、本発明に基づくウォータマーク検出装置は、ウォータマークが存在するか否かを判定するに当たり、事前にウォータマークに関する知識を有している必要はない。
【0012】
また、本発明に係るデータ埋込装置は、上述のデータブロック検出装置又は著作権保護システムによって有無が検出可能なデータを埋め込むデータ埋込装置において、データを少なくとも1つのデータブロックにフォーマットするデータフォーマッタと、マテリアルが供給され、マテリアルの単位を識別し、埋込プロセッサとともに、データブロックが繰り返し埋め込まれた所定の回数に基づき、複数の単位の各単位にデータブロックを繰り返し埋め込む単位繰返しプロセッサとを備える。
【0013】
本発明の好ましい実施の形態においては、データ埋込装置は、データフォーマッタ及び単位繰返しプロセッサに接続され、マテリアルに埋め込まれたデータブロックのバージョンのビットの順序をシャッフルするシャッフルプロセッサを備える。データブロックのビットをシャッフルすることにより、各ペイロードビットの統計的独立性が保証される。ペイロードビットの復号されバージョンの独立性により、ペイロードが誤って存在すると検出されてしまう可能性が低くなるため、著作権保護処理層においてこのような処理を行うことは有益である。更に、このシャッフル処理におり、データの埋込により生じる虞がある固定パターンノイズが発生する可能性を低下させることができる。
【0014】
EBUの要求を満たし、可能な限りエラーがないペイロード(又は、少なくともエラーが少ないペイロード)を提供するために、データ埋込装置は、エラー訂正エンコーダを備えていてもよい。エラー訂正エンコーダは、データフォーマッタに接続され、データフォーマッタによりフォーマットされたデータを符号化し、マテリアルにデータブロックが埋め込まれる前にエラー訂正符号化されたデータブロックを生成する。
【0015】
これに対応して、データブロック検出装置は、所定のシャッフルパターンに基づくシャッフル処理の逆の順序により、各単位から再生されたデータブロックのビットの順序を変更するデシャッフルプロセッサを備えていてもよい。更に、データブロック検出装置は、エラー訂正復号処理を行うエラー訂正復号プロセッサを備えていてもよい。
【0016】
幾つかの実施の形態においては、マテリアルは、ビデオマテリアルであってもよく、単位は、ビデオマテリアルによって表される画像フレームであってもよい。また、データブロックは、例えば汎用メタデータ識別子等のマテリアルのコンテンツを記述するメタデータを含んでいてもよい。他の実施の形態においては、データブロックは、所有者を識別する識別子又は少なくとも固有の識別子であってもよい。
【0017】
更に、上述の目的を達成するために、本発明に係る著作権保護システムは、マテリアルから各データブロックのバージョンを表すデータを再生するデータ抽出プロセッサと、上述したデータブロック検出装置とを備える。
【0018】
マテリアルに埋め込まれていないデータが誤って全て0又は全て1のシーケンスとして再生されてしまうことがある。本発明の好ましい実施の形態においては、全て0又は全て1のシーケンスをマテリアルに埋め込まれていないと正しく検出するために、データを埋め込む前に、埋め込むデータを擬似ランダムビットシーケンス又はその一部に結合する。好ましい実施の形態においては、擬似ランダムビットシーケンスの影響を取り除くために、抽出プロセッサは、データブロックのバージョンを表すデータと所定の擬似ランダムビットシーケンスとを結合することによりデータブロックのバージョンを再生する。データと擬似ランダムビットシーケンスとの結合は、例えば、データ及び擬似ランダムビットシーケンスの排他的論理和を算出することにより求めることができる。また、再生されたデータを擬似ランダムビットシーケンスに再び結合することにより、埋め込まれたデータから擬似ランダムビットシーケンスの影響を除去することができる。マテリアルから再生されたデータであって、検出プロセッサが誤って1又は0のシーケンスがデータとして埋め込まれていると判定してしまうデータは、この擬似ランダムビットシーケンスとの結合によりランダムデータとなり、これにより、誤って検出される可能性が低減される。
【0019】
【発明の実施の形態】
マテリアルとしては、オーディオマテリアル、ビデオマテリアル、オーディオ/ビデオマテリアル又はいかなる形式のデータが含まれるが、以下の実施の形態では、ビデオマテリアルについて説明する。以下に説明する実施の形態では、ウォータマークは、複数のフレームからなるビデオマテリアル内に形成(formed in)される。しかしながら、これは単なる例示であり、ウォータマークを表すデータは、例えばビデオマテリアルのフィールド等、ビデオマテリアルのいかなる単位毎に埋め込んでもよい。
【0020】
図1は、ビデオマテリアルにデータを埋め込む(embed)データ埋込装置の構成を示すブロック図である。ビデオマテリアルは、複数の画像フレームIに分割される。これらの画像フレームIに埋め込まれるデータがウォータマークを形成する。データは、ウォータマーク処理層(watermarking layer)WMによって埋め込まれる。図1に示すように、著作権保護処理層(copyright protection processing layer)CPは、ペイロードデータをマテリアルに埋め込むウォータマークとして形成し、及びマテリアルにペイロードデータが埋め込まれているか否かを検出する機能を有してる。この著作権保護処理層CPは、誤検出及び見逃し検出の確率を下げるために設けられている。
【0021】
図1に示すように、ウォータマーク処理層WM内のデータ埋込器(data embedder)2には、画像フレームIが供給される。データ埋込器2は、著作権保護処理層CPの符号化プロセッサ4から供給されるデータを画像フレームIに埋め込む。データの埋込は様々な手法で行うことができる。データ埋込の手法については、例えば、本願出願人による同時に係属中の英国特許出願番号0029854.7号及び0029856.2号に開示されている。これらの係属中の出願には、マテリアルにデータを埋め込むウォータマーク埋込装置が開示されている。ここでは、データは、擬似ランダムビットシーケンスによって変調され、この変調されたビットシーケンスをデータの変換領域のバージョンに付加することにより、埋め込まれる。
【0022】
符号化プロセッサ4は、誤検出及び見逃しが発生する確率を低くするために、画像フレームIに埋め込まれるデータを処理する。データ埋込器2は、ウォータマークが付された画像フレームI’を生成する。この画像フレームI’は、更に処理される。この更なる処理とは、例えば画像フレームI’の伝送、記録、放送、又は何らかの形式の再生等である。
【0023】
データ埋込装置は、ウォータマークが付された画像フレームI’からデータを再生(recover)するデータ抽出器(data de-embedder)6を備え、データ抽出器6は、画像フレームI’からデータを再生する。そして、画像フレームI’から再生され、埋め込まれていたデータは、接続チャンネル7を介して復号プロセッサ10に供給され、復号プロセッサ10は、誤検出及び見逃しが発生する確率を下げるために、この再生されたデータを処理する。著作権保護処理層CPの一部である符号化プロセッサ4の内部構成を図2に示す。この図2において、図1と共通部分には同一の符号を付している。
【0024】
図2に示すように、符号化プロセッサ4は、ペイロードPAYのデータブロックDBを生成するデータフォーマッタ18と、データ入力チャンネル5を介して供給されるデータを、エラー訂正符号に基づいて符号化するエラー訂正エンコーダ20とを備える。この実施の形態においては、エラー訂正エンコーダ20は、64ビットのデータを符号化する。この64ビットのデータを、以下、ペイロードと呼ぶ。ペイロードは、例えば汎用メタデータ識別子(universal metadata identifier:以下、UMID という。)の一部であってもよく、或いはビデオマテリアルのコンテンツを記述する他の種類のメタデータであってもよい。他の例として、ペイロードは、著作権の所有者又はプロバイダに固有の識別子を表すデータであってもよい。すなわち、著作権の所有者又はプロバイダは、この識別子を用いて、所有権を主張し及びビデオマテリアルのコピーを検出することができる。
【0025】
この実施の形態においては、エラー訂正エンコーダ20は、BHC符号を用いて、ペイロードである64ビットのデータから、最大10ビットのエラー訂正を行うことができる127ビットのエラー訂正符号化ビットを生成する。
【0026】
符号化プロセッサ4において実行される処理を図3のST.1,ST.2,ST.3,ST.4,ST.5,ST.5.1,ST.6,ST.7を用いて説明する。図3のST.1,ST.2,ST.3,ST.4,ST.5,ST.5.1,ST.6,ST.7は、それぞれ符号化プロセッサ4及び復号プロセッサ10の一部により処理された後の64ビットのペイロードを表している。
【0027】
図3のST.1は、64ビットのペイロードを表している。64ビットのペイロードは、図2に示すエラー訂正エンコーダ20に供給され、エラー訂正エンコーダ20は、BHC符号を用いて、この64ビットのペイロードを符号化する。図3のST.2は、エラー訂正エンコーダ20から出力される127ビットのエラー訂正符号化ビットENCを表している。エラー訂正符号化ビットENCは、データ拡張器(data expander)30に供給され、データ拡張器30は、エラー訂正符号化ビットENCに余剰ビット(extra bits)を付加して出力する。図3のST.3は、データ拡張器30から出力される拡張されたデータEXPを表している。
【0028】
データ拡張器30から出力される130ビットのデータEXPは、巡回シャッフルプロセッサ(cyclic shuffling processor)40に供給される。巡回シャッフルプロセッサ40は、拡張された130ビットのデータEXPを4つの30ビットのデータブロックと1つの10ビットのデータブロックに分割する。この第1の処理により生成されたデータブロックを図3のST.4において、B1,B2,B3,B4,B5として示している。巡回シャッフルプロセッサ40は、各データブロックB1,B2,B3,B4,B5内のビットを所定のパターンに基づいてシャッフルする。このパターンは、所定数のフレーム毎に周期的に繰り返される。
【0029】
この実施の形態においては、著作権保護処理及びデータ埋込処理は、30フレームを1周期として実行される。すなわち、後述するように、同じデータが30フレーム毎に埋め込まれる。したがって、各フレームにおいて、ビットが異なる位置に配置されるように、30ビットの各データブロックB1,B2,B3,B4及び10ビットのデータブロックB5内のビットをシャッフルする。このシャッフル処理は、図3のST.4に示すシャッフル前のデータブロックB1,B2,B3,B4,B5と、図3のST.5に示すシャッフル後のデータブロックB1’,B2’,B3’,B4’,B5’との間の線SHUFにより表されている。データブロックB1〜B5のビットをシャッフルすることにより、各ペイロードビットの復号されたバージョンの統計的独立(statistical independence)が保証される。ペイロードビットの復号されたバージョンの統計的独立により、著作権保護処理層CPにおいて、ペイロードが存在すると誤って判定される確率を低くすることができる。更に、このシャッフルにより、データの埋込により生じることがある固定パターンノイズ(fixed pattern noise)の可能性を低くすることができる。
【0030】
巡回シャッフルプロセッサ40は、130ビットのデータEXPをシャッフルした後、シャッフルされたデータをフレームプロセッサ50に供給する。フレームプロセッサ50は、各データブロックB1〜B5を各フレームに繰り返して埋め込むために、シャッフルされたデータブロックB1〜B5を複製したデータブロックCYC_SHUFを生成する。この実施の形態においては、シャッフルされた同じデータブロックCYC_SHUFが各フレームに4回埋め込まれる。すなわち、フレームプロセッサ50は、各フレームに繰り返し埋め込むために、データブロックCYC_SHUFの4つの複製を生成する。
【0031】
この実施の形態においては、130ビットのデータEXPを複数のデータブロックに分割する。ビットがシャッフルされたデータブロックB1’,B2’,B3’,B4’,B5’からなるデータブロックCYC_SHUFは、図3のST5.1に示すように、各フレームに4回埋め込まれる。更に、図3に示すように、シャッフルされた各データブロックCYC_SHUFは、1つのフレームに繰り返し埋め込まれるとともに、複数のフレームに亘って、異なる形式でシャッフルされたデータブロックCYC_SHUFが繰り返し埋め込まれる。この実施の形態においては、シャッフルされた同じデータブロックB1’,B2’,B3’,B4’,B5’が繰り返されるフレーム数は、30であるが、このフレーム数はいかなる値であってもよい。本発明を明瞭に説明するために、この実施の形態では、符号化されシャッフルされた130ビットのペイロードビットを30フレーム毎に単純に4回繰り返すものとする。
【0032】
図1に示すように、データ抽出器6は、ウォータマークが付された画像フレームI’から埋め込まれているデータを再生する。すなわち、データ抽出器6は、画像フレームI’からデータブロックのバージョンを再生する。再生されたデータブロックは、接続チャンネル7を介して、復号プロセッサ10に供給される。ここで、復号プロセッサ10の内部構成を図4に示す。図4において、図1と共通の部分については、同一の符号を付している。
【0033】
図4に示すように、各画像フレームI’は、データ抽出器6に供給され、データ抽出器6は、各フレームに埋め込まれているデータを再生する。各フレームから再生されたデータは、復号プロセッサ10内の第1の累算器100に供給される。
【0034】
ウォータマークを抽出するデータ抽出器6は、各フレームから、埋め込まれている130ビットの4つの各バージョンを再生する。第1の累算器100は、130ビットのブロック内のそれぞれ対応する位置のビットの値を加算することにより累算し、4つの再生されたバージョンから累算スコア(accumulated score)を算出する。この処理は、図3のST.6により示されている。そして、各フレームから再生され、累算されたデータブロックは、デシャッフルプロセッサ(de-shuffling processor)120に供給され、デシャッフルプロセッサ120は、図2に示す巡回シャッフルプロセッサ40によるシャッフル処理の逆の処理を行う。このデシャッフルプロセッサ120の処理により、各フレームについて、130ビットのデシャッフルされたバージョンが生成される。この処理は、図3のST.7に示されている。このため、30個の各フレームから再生された各バージョンは、互いに対応している。これに応じて、第2の累算器130には、累算され、デシャッフルされた各ブロックが供給され、第2の累算器130は、30個の各フレームから再生されたバージョンにそれぞれ対応するブロックのバージョン内の対応する各ビットのビット値を加算することにより、130ビットのブロックの再生された各バージョン内の対応する位置の各ビットの値を再び結合する。
【0035】
第2の累算器130は、30個のフレーム内に埋め込まれているブロックの各バージョン(4×30=120)のそれぞれを結合することにより、130ビットのブロック内の各ビットの値の推定値を算出する。第1の累算器100と組み合わせて、ブロック内の各ビットの値は、30個のフレーム内にブロックを4回繰り返し埋め込むことにより生成された120個の各バージョン内の対応する位置の各ビットの値を加算することにより、決定される。
【0036】
実際には、各ビットの値を加算することにより、各ビットの値が0であるか1であるかに応じて、0から120の間のスコアが算出される。すなわち、このスコアは、0から120までの間の値をとることができ、(符号化ブロック内の所定のビット位置について)半分のビットが0であり、半分のビットが1であるときは、この値は60となる。
【0037】
第2の累算器130は、130ビットのブロックの各ビット位置に対して算出した累算スコアを検出プロセッサ135に供給する。検出プロセッサ135には、2つの閾値S1、S2が供給されている。これら閾値S1、S2は、累算されたビットが1であると判定される値と、累算されたビットが0であると判定される値との間の境界を定義するために設定されている。2つの閾値S1、S2の間に形成される領域は、ビットが存在しないという判定に対応している。この判定を視覚的に図5に示す。
【0038】
図5は、3つの場合における所定のビットの累算スコアの確率分布を示すグラフである。この確率分布は、ウォータマークが付された画像から各ビットが正確に再生される確率を表している。3つの場合とは、ブロック内に埋め込まれたビットが実際に0である確率分布PD1と、実際にはビットが埋め込まれておらず、ランダムデータにより確率分布関数(probability distribution function:PDF)が生成される確率分布PD2と、ブロック内に埋め込まれたビットが実際に1である確率分布PD3である。
【0039】
閾値S1、S2は、可能な限り、データビットが埋め込まれている場合に、そのデータビットが検出されるように設定され、これにより見逃し検出が発生する確率が低下する。同様に、閾値S1、S2は、可能な限り、ビットが埋め込まれていない場合に、ビットは存在しないと判定されるように設定され、これにより、誤検出が発生する確率が低下する。
【0040】
図5に示すように、複数のフレームのそれぞれに対して、同じビットをフレームに繰り返し埋め込むことにより、0及び1の復号について、容易に分離可能な統計的分布が生成される。閾値S1、S2を適切に設定することにより、検出プロセッサ135は、0又は1を検出し、又はビットが埋め込まれていないと判定することができる。
【0041】
図4に示すように、検出プロセッサ135には、第3の閾値パラメータTも供給されている。閾値パラメータTは、検出プロセッサ135がビデオマテリアルにデータが埋め込まれているか否かを判定するために供給される。検出プロセッサ135は、検出された0及び1の数をカウントする。この数が閾値パラメータTを超えた場合、検出プロセッサ135は、ビデオマテリアルにデータが埋め込まれていると判定し、したがって、このマテリアルにはウォータマークが付されていると判定する。一方、この数が閾値パラメータT以下の場合、検出プロセッサ135は、データが検出されたなかったと判定する。この判定を表す信号を出力するための適切な出力チャンネル(図示せず)を設けてもいい。この処理を視覚的に図6に示す。
【0042】
図6に示すように、この実施の形態においては、閾値パラメータTを120に設定している。閾値パラメータTを120に設定することにより、127ビットの符号化ブロック(拡張ビットを除く)内で検出されないビットの数がBCH符号のエラー訂正能力である10ビット内に収まるようにすることができる。すなわち、ペイロードは、検出されたこれらの10ビットを用いることなく再生することができる。図6に示すように、ウォータマークが付されたマテリアルの確率分布のグラフは、127ビット付近で鋭いピークを示し、これは、本発明を適用したこの実施の形態の著作権保護処理層により、見逃しが発生する確率を著しく低下させることができることを示している。更に、図6には、ウォータマークが付されていないマテリアルから検出されるビットの数の確率分布も示されている。検出されたビット数65の付近に生じる「コブ(hump)」は、存在するとランダムに判定された全体のおよそ半分のビットに対応している。このように、「コブ」の領域により表されている複数のビットが検出される確率は低く、及びこの範囲は、検出のための閾値パラメータTから相対的に離れているため、この実施の形態においては、見逃しの発生を著しく低下させることができる。
【0043】
この実施の形態における著作権保護処理の効果を図7に示す。図7は、誤検出と、見逃しと、復号ペイロードエラーとの発生確率を示す表である。第1の列は、ヨーロッパ放送連合(European Broadcast Union:EBU)により定められている確率の値を示してる。第2の列は、基礎の(underlying)ウォータマーク処理層により、埋込ビットがマテリアルから正しく再生される確率を0.61とした場合に、本発明を適用した実施の形態における確率を示している。図7に示すように、誤検出、見逃し及び復号されたペイロードにおけるエラーが発生する確率は、全てEBUが定めている確率より低くなっている。
【0044】
更に、著作権保護処理の相対的な効果(relative robustness)を示す表を図8に示す。第1の欄は、ウォータマークが付されたビデオマテリアルに対して施された処理を表している。これら処理とは、ローパスフィルタリング、20%の品質のJPEG符号化、10MbpsのJPEG2000符号化、7.5MbpsのJPEG2000符号化、5MbpsのJPEG2000符号化、5MbpsのMPEG2符号化である。MPEG2を除く全ての処理に関しては、73個の標準規格フレームに対して結果を算出した。MPEG2処理された画像については、それぞれ29個の標準規格フレームからなる51個のシーケンスに対して、少なくとも幾つかのGOPが場面の変更(scene change)に含まれるように、12フレームからなるGOPを用いたMPEG符号化を行った。
【0045】
ここで、エンコーダとデコーダ間の同期を維持することが重要である。したがって、ある状況においては、同じ符号化データが付加されているフレームの相対的位置を判定することができない場合がある。なお、デコーダは、エンコーダによって埋め込まれたビットと、デコーダにより再生されたビットとの間の相対的同期に関する以前の情報がなくても、埋め込まれたデータの30個のバージョンを同時に検出することができる。30個のフレームのそれぞれに対して、1フレーム分のオフセットが導入され、これにより、連続するフレームの全ての可能な組合せが判定される。
【0046】
ここで、データブロックが埋め込まれていない、全体が黒の画像が著作権保護処理層の復号プロセッサ10に供給された特別な場合、例外的な問題が発生する。この場合、復号プロセッサ10は、全てが0であるデータブロックのバージョンを表すデータを再生することがある。これにより、第2の累算器130により算出される累算スコアの値は0となり、これは、第1の閾値S1と比較され、高い信頼度で0と判定される。この結果、検出プロセッサ135は、130ビットが検出されたと誤って判定し、これに対応して、ウォータマークを表すデータブロックが存在する示す。
【0047】
この問題を解決するために、データ埋込器2は、埋め込むデータブロックのバージョンと、擬似ランダムビットシーケンス(Pseudo Random Bit Sequence:PRBS)との排他的論理和を求める排他的論理和回路(logical XOR combination)を備える。当業者に周知の通り、排他的論理和回路は、データブロックの各ビットと、対応するPRBSのビットとの排他的論理和を算出する。データ抽出器6においてマテリアルから再生されたデータブロックのバージョンに対して、排他的論理和演算を繰り返すことにより、PRBSの影響を再生されたデータから除去することができる。ここで、データブロックが埋め込まれていない場合は、データ抽出器6における排他的論理和演算によりランダムデータが生成され、これにより、累算スコアは、第1の閾値S1と第2の閾値S2の間の値となる。したがって、検出プロセッサ135は、マテリアルにはデータブロックが埋め込まれていないと正しく判定することができる。特に、黒の画像から再生される全てが0のシーケンスは、データ抽出器6において結合されたPRBSに基づくランダムシーケンスを生成する。これにより、検出プロセッサ135は、マテリアルにデータブロックは埋め込まれていないと正しく判定する。
【0048】
上述の実施の形態では、130ビットの符号化データを同じフレームに対して4回繰り返すことにより埋め込んでいるが、他の実施の形態においては、符号化データブロックを繰り返さず、より長いデータ長を有する拡散符号を用いて埋め込んでもよい。本願出願人による同時に継続中の特許出願である英国特許出願番号0029854.7号、及び0029856.2号に開示されているように、フレーム内に埋め込まれるデータの各ビットにより擬似ランダムビットシーケンスを変調してもよい。変調されたビットシーケンスは、ウェーブレット変換領域において、画像フレームに付加される。また、より長い拡散符号を用いる場合、埋め込むべき130ビットのブロックの各ビットにより、このより長い拡散符号を変調してもよい。より長い拡散符号により、データブロックが1回だけ埋め込まれた場合の効果の4倍の効果を実現することができる。
【0049】
本発明の範囲から逸脱することなく、上述した実施の形態を様々に変更することができる。上述の実施の形態では、ビデオマテリアルの複数のフレームのそれぞれに符号化データブロックを繰り返し埋め込んだが、他の実施の形態においては、データの種類に依存する又は依存しないこの他の単位に基づいて、データを繰り返し埋め込んでもよい。また、上述の実施の形態においては、著作権保護処理層は、エラー訂正エンコーダ及びデコーダを備えているが、他の実施の形態においては、データブロックに対してエラー訂正符号化処理を施さなくてもよい。同様に、他の実施の形態においては、フレーム又は他のデータ単位に埋め込まれるブロック内のデータビットに対して、シャッフル処理を行わなくてもよい。
【図面の簡単な説明】
【図1】 本発明を適用した著作権保護装置の構成を示すブロック図である。
【図2】 図1に示すデータ埋込プロセッサの構成をより詳細に示す図である。
【図3】 データ埋込プロセッサ及びデータ抽出プロセッサの異なる各処理段におけるデータブロックのバージョンを示す図である。
【図4】 データブロックが存在するか否かを判定するデータブロック検出装置の構成を示すブロック図である。
【図5】 図4に示すデータブロック検出装置により生成される累算スコアの確率分布を示す図である。
【図6】 ウォータマークが付されたマテリアルとウォータマークが付されていないマテリアルの検出されたビット数の確率分布を表す図である。
【図7】 誤検出と、見逃しと、復号ペイロードエラーの発生確率について、本発明に基づく著作権保護装置とEBUの要求とを比較する表を示す図である。
【図8】 マテリアルに異なる圧縮処理を施した後の本発明に基づく著作権保護装置の相対的性能を示す表を示す図である。

Claims (29)

  1. マテリアルに所定回数繰り返し埋め込まれている複数のデータビットからなるデータブロックが存在するか否かを、該マテリアルから再生されたデータブロックのバージョンのデータ表現から判定するデータブロック検出装置において、
    上記データブロックの各再生されたバージョン内の対応する位置の各ビットの値を結合して、各ビットの累積スコアを算出する累算器と、
    上記データブロックのビットの累算スコアの値を少なくとも1つの閾値と比較し、該比較に基づいて該データブロックの各ビットが検出されたか否かを判定し、検出されたビットの総数に基づいて、上記データブロックが存在するか否かを判定する検出プロセッサとを備えるデータブロック検出装置。
  2. 上記検出プロセッサは、
    上記各ビットの累算スコアの値を第1の閾値及び該第1の閾値より大きい第2の閾値と比較し、該累算スコアの値が該第1の閾値より小さい場合又は該第2の閾値より大きい場合、該ビット値が存在すると判定し、
    上記検出されたビットの総数から存在すると判定されたビットの総数を判定し、
    上記検出されたビットの判定された総数を第3の閾値と比較し、該検出されたビットの総数が該第3の閾値より大きい場合、上記データブロックが存在すると判定し、該検出されたビットの総数が該第3の閾値より小さい場合、上記データブロックが存在しないと判定することを特徴とする請求項1記載のデータブロック検出装置。
  3. 上記検出プロセッサは、
    上記各ビットの累算スコアの値を上記第1及び第2の閾値と比較し、該累算スコアの値が上記第1の閾値より小さい場合、該ビットの値を0と判定し、上記累算スコアの値が上記第2の閾値より大きい場合、該ビットの値を1と判定し、上記累算スコアの値が上記第1の閾値及び第2の閾値の間にある場合、該ビットの値は存在しないと判定することを特徴とする請求項2記載のデータブロック検出装置。
  4. 上記第3の閾値は、上記データブロック内のビットの総数に応じて決定されることを特徴とする請求項2又は3記載のデータブロック検出装置。
  5. 上記データブロックが繰り返し埋め込まれる回数をNとし、N/2より小さい整数の変数をSとして、上記第1の閾値はSに設定され、上記第2の閾値はN−Sに設定されることを特徴とする請求項2又は3記載のデータブロック検出装置。
  6. 上記データブロックは、上記マテリアルの所有者を識別する情報を表し、該マテリアルの著作権の所有者の判定に使用されることを特徴とする請求項1乃至5いずれか1項記載のデータブロック検出装置。
  7. 上記データブロックは、汎用メタデータ識別子を含む、マテリアルのコンテンツを記述するメタデータを含むことを特徴とする請求項6記載のデータブロック検出装置。
  8. 上記データブロックは、上記マテリアルの所定の単位について、複数の単位毎に繰り返し埋め込まれ、
    上記累算器は、上記各単位から上記データブロックの各再生されたバージョンの各ビットの値を結合して、各単位の中間データブロックのバージョンを生成する第1の累算器と、上記複数の単位のそれぞれについて、上記中間データブロックを結合し、該データブロックの各ビットについて上記累算スコアを算出する第2の累算器とを備えることを特徴とする請求項1乃至7いずれか1項記載のデータブロック検出装置。
  9. 上記マテリアルの単位に繰り返し埋め込まれるデータブロックのバージョンのビットの順序は、所定のシャッフルパターンに基づき、上記単位に埋め込まれるデータブロックのバージョン間でシャッフルされ、
    当該データブロック検出装置は、上記第1及び第2の累算器間に接続され、上記所定のシャッフルパターンに基づくシャッフル処理の逆の順序により、上記各単位から再生されたデータブロックのビットの順序を変更するデシャッフルプロセッサを備えることを特徴とする請求項8記載のデータブロック検出装置。
  10. 上記マテリアルは、ビデオマテリアルであり、上記単位は、該ビデオマテリアルにより表現される画像フレームであることを特徴とする請求項8又は9記載のデータブロック検出装置。
  11. 上記データブロックは、上記マテリアルに埋め込まれる前にエラー訂正符号化され、上記第3の閾値は、上記データブロックにおけるビットの総数と、エラー訂正符号により訂正できるビット数とに基づいて決定されることを特徴とする請求項2乃至10いずれか1項記載のデータブロック検出装置。
  12. 上記検出プロセッサにより上記マテリアルに存在すると判定されたデータブロックをエラー訂正復号するエラー訂正及び/又は検出デコーダを備えることを特徴とする請求項11記載のデータブロック検出装置。
  13. マテリアルに埋め込まれたデータが存在するか否かを検出する著作権保護システムにおいて、
    上記マテリアルから各データブロックのバージョンを表すデータを再生するデータ抽出プロセッサと、
    請求項1乃至12いずれか1項記載のデータブロック検出装置とを備える著作権保護システム。
  14. 上記データブロックは、上記マテリアルに繰り返し埋め込まれる前に所定の擬似ランダムビットシーケンス又は該擬似ランダムビットシーケンスの一部に結合され、
    上記抽出プロセッサは、上記データブロックのバージョンを表すデータと上記所定の擬似ランダムビットシーケンスとを結合することにより、該データブロックのバージョンを再生することを特徴とする請求項13記載の著作権保護システム。
  15. 請求項1乃至12いずれか1項記載のデータブロック検出装置又は著作権保護システムによって有無が検出可能なデータを埋め込むデータ埋込装置において、
    上記データを少なくとも1つのデータブロックにフォーマットするデータフォーマッタと、
    上記マテリアルが供給され、該マテリアルの単位を識別し、埋込プロセッサとともに、上記データブロックが繰り返し埋め込まれた所定の回数に基づき、上記複数の単位の各単位に上記データブロックを繰り返し埋め込む単位繰返しプロセッサとを備えるデータ埋込装置。
  16. 上記データフォーマッタ及び上記単位繰返しプロセッサに接続され、上記マテリアルに埋め込まれたデータブロックのバージョンのビットの順序をシャッフルするシャッフルプロセッサを備えることを特徴とする請求項15記載のデータ埋込装置。
  17. 上記データフォーマッタに接続され、該データフォーマッタによりフォーマットされたデータを符号化し、上記マテリアルに上記データブロックが埋め込まれる前にエラー訂正符号化されたデータブロックを生成するエラー訂正エンコーダを備えることを特徴とする請求項15又は16記載のデータ埋込装置。
  18. 上記データフォーマッタからの少なくとも1つのデータブロックを擬似ランダムビットシーケンス又は該擬似ランダムビットシーケンスの一部に結合し、上記マテリアルに埋め込まれるデータブロックの少なくとも1つの結合されたバージョンを生成するデータ結合器を備えることを特徴とする請求項15乃至17いずれか1項記載のデータ埋込装置。
  19. マテリアルに埋め込まれたデータから該マテリアルの所有者を識別する著作権保護システムにおいて、
    請求項15乃至18いずれか1項記載のデータ埋込装置と、
    上記マテリアルからデータの各バージョンを再生する抽出プロセッサと、
    請求項1乃至12いずれか1項記載のデータブロック検出装置とを備える著作権保護システム。
  20. マテリアルに所定回数繰り返し埋め込まれている複数のデータビットからなるデータブロックが存在するか否かを上記マテリアルから再生されたデータブロックのバージョンのデータ表現から判定するデータブロック検出方法において、
    上記データブロックの各再生されたバージョン内の対応する位置の各ビットの値を結合して、各ビットの累積スコアを算出するステップと、
    上記データブロックのビットの累算スコアの値を少なくとも1つの閾値と比較し、該比較に基づいて上記データブロックの各ビットが検出されたか否かを判定し、検出されたビットの総数に基づいて、上記データブロックが存在するか否かを判定するステップとを有するデータブロック検出方法。
  21. 請求項20記載のデータブロック検出方法によって有無が検出可能なデータを埋め込むデータ埋込方法において、
    上記データを少なくとも1つのデータブロックにフォーマットするステップと、
    上記マテリアルが供給され、上記データブロックを埋め込む該マテリアルの単位を識別するステップと、
    上記データブロックが繰り返し埋め込まれた所定の回数に基づき、上記複数の単位の各単位に上記データブロックを繰り返し埋め込むステップとを有するデータ埋込方法。
  22. マテリアルに所定回数埋め込まれているデータブロックが存在するか否かを判定することにより、該マテリアルが著作権保護されているか否かを判定する著作権保護装置において、
    上記データブロックの各再生されたバージョンのデータブロックの各ビットの累算スコアを算出し、該累算スコアから各データビットが検出されたか否かを判定し、該データブロックの検出されたビットの総数に基づき、該マテリアルが著作権保護されているか否かを判定する検出プロセッサを備える著作権保護装置。
  23. マテリアルに所定回数埋め込まれているデータブロックが存在するか否かを判定することにより、該マテリアルが著作権保護されているか否かを判定する著作権保護方法において、
    上記データブロックの各再生されたバージョンのデータブロックの各ビットの累算スコアを算出するステップと、
    該累算スコアから各データビットが検出されたか否かを判定するステップと、
    該データブロックの検出されたビットの総数に基づき、該マテリアルが著作権保護されているか否かを判定するステップとを有する著作権保護方法。
  24. マテリアルに所定回数埋め込まれているデータブロックを検出する著作権保護装置において、
    上記データブロックの各再生されたバージョン内の対応する位置の各ビットの値を累積して得られる各ビットの統計的測定情報を生成する分析プロセッサと、
    上記データブロックの各ビットの統計的測定情報に基づいて、データブロックが存在するか否かを判定する検出プロセッサとを備える著作権保護装置。
  25. マテリアルに所定回数埋め込まれているデータブロックを検出する著作権保護方法において、
    上記データブロックの各再生されたバージョン内の対応する位置の各ビットの値を累積して得られる各ビットの統計的測定情報を生成するステップと、
    上記データブロックの各ビットの統計的測定情報に基づいて、データブロックが存在するか否かを判定するステップとを有する著作権保護方法。
  26. 請求項15乃至18いずれか1項記載のデータ埋込装置又は請求項21記載のデータ埋込方法によりデータブロックが埋め込まれたマテリアルが記録された記録媒体。
  27. データプロセッサにロードされて、該データプロセッサを請求項1乃至12いずれか1項記載のデータブロック検出装置、請求項15乃至18いずれか1項記載のデータ埋込装置又は請求項22又は請求項24に記載の著作権保護装置として動作させるコンピュータにより実行可能な命令を有するコンピュータプログラム。
  28. データプロセッサにロードされて、請求項20記載のデータブロック検出方法、請求項21記載のデータ埋込方法、請求項23記載の著作権保護方法又は請求項25記載の著作権保護方法を実行するコンピュータにより実行可能な命令を有するコンピュータプログラム。
  29. 請求項27又は28記載のコンピュータプログラムを表す情報信号が記録されたコンピュータにより読み取り可能な記録媒体。
JP2002178903A 2001-06-19 2002-06-19 データ検出方法及び装置 Expired - Fee Related JP4124325B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0114927.7 2001-06-19
GB0114927A GB2376826A (en) 2001-06-19 2001-06-19 Detecting data by accumulating pixel values in several versions of a datablock

Publications (2)

Publication Number Publication Date
JP2003101763A JP2003101763A (ja) 2003-04-04
JP4124325B2 true JP4124325B2 (ja) 2008-07-23

Family

ID=9916901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002178903A Expired - Fee Related JP4124325B2 (ja) 2001-06-19 2002-06-19 データ検出方法及び装置

Country Status (4)

Country Link
US (1) US6954857B2 (ja)
EP (1) EP1271401A3 (ja)
JP (1) JP4124325B2 (ja)
GB (1) GB2376826A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3976183B2 (ja) * 2002-08-14 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ受信装置、ネットワークシステム及びプログラム
JP2004282677A (ja) * 2003-01-21 2004-10-07 Canon Inc 画像処理方法
GB0403331D0 (en) * 2004-02-14 2004-03-17 Koninkl Philips Electronics Nv Watermark detection
EP2081187A1 (en) * 2008-01-21 2009-07-22 Deutsche Thomson OHG Method and apparatus for determining whether or not a reference pattern is present in a received and possibly water-marked signal
US8726400B1 (en) * 2012-03-30 2014-05-13 Google Inc. Ex post facto review of claims made against proprietary content in a live data stream
JP2014071832A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 物体検出装置及びその検出方法
US9858633B2 (en) * 2015-01-23 2018-01-02 Sony Corporation Model anti-collusion watermark
US11077990B2 (en) * 2017-12-21 2021-08-03 Davion, Inc. Packaging system for medicated starch-based powder formulations

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
JP3686741B2 (ja) * 1997-02-19 2005-08-24 富士通株式会社 画像データへの識別情報埋め込み方法,識別情報が埋め込まれた画像データからの識別情報抽出方法,画像データへの識別情報埋め込み装置,識別情報が埋め込まれた画像データからの識別情報抽出装置,及びコンピュータ可読媒体
WO1999012347A2 (en) * 1997-09-02 1999-03-11 Koninklijke Philips Electronics N.V. Method and arrangement for detecting a watermark
KR100279522B1 (ko) * 1997-11-20 2001-03-02 니시무로 타이죠 카피 방지장치 및 이와 같은 카피 방지장치에 사용되는 정보 기록매체
JP2001525151A (ja) * 1998-03-04 2001-12-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマークの検出
KR100302436B1 (ko) * 1998-03-24 2001-09-26 포만 제프리 엘 동화상 전자 워터마크 시스템
US6263087B1 (en) * 1998-06-26 2001-07-17 Signafy, Inc. Method of encoding bits in a signal
US6360000B1 (en) * 1998-11-09 2002-03-19 David C. Collier Method and apparatus for watermark detection for specific scales and arbitrary shifts
US6731774B1 (en) * 1998-11-30 2004-05-04 Sony Corporation Associated information adding apparatus and method, and associated information detecting apparatus and method
US6563935B1 (en) * 1998-12-02 2003-05-13 Hitachi, Ltd. Method of extracting digital watermark information and method of judging bit value of digital watermark information
US6522766B1 (en) * 1999-03-15 2003-02-18 Seiko Epson Corporation Watermarking with random zero-mean patches for copyright protection
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置

Also Published As

Publication number Publication date
US20030009674A1 (en) 2003-01-09
GB2376826A (en) 2002-12-24
EP1271401A3 (en) 2005-09-07
EP1271401A2 (en) 2003-01-02
US6954857B2 (en) 2005-10-11
JP2003101763A (ja) 2003-04-04
GB0114927D0 (en) 2001-08-08

Similar Documents

Publication Publication Date Title
US9558526B2 (en) Signal continuity assessment using embedded watermarks
US8369688B2 (en) Information burying device and detecting device
Oostveen et al. Visual hashing of digital video: applications and techniques
US7478242B2 (en) Increasing integrity of watermarks using robust features
Kalker System issues in digital image and video watermarking for copy protection
JP2008252891A (ja) 埋込データ及び埋込データを検出し、再生する方法及び装置
JP2001525151A (ja) ウォーターマークの検出
US8171294B2 (en) Additional-information detection processing apparatus and method, content playback processing apparatus and method, and computer program
JP4124325B2 (ja) データ検出方法及び装置
US8144870B2 (en) Encoding and detecting apparatus
JP2009540644A (ja) 符号化装置及び検出装置
US8315877B2 (en) Encoding and detecting apparatus
JP2982768B2 (ja) 不正複写防止方法および装置
EP0978840B1 (en) Method and system for controlling copy generations of digital data
US7620198B2 (en) Watermark coding method and recording medium thereof
US7706569B2 (en) Image processing device, image processing method thereof, computer program, and computer-readable storage medium
JP2005210687A (ja) 符号化装置及び検出装置
JPH11213554A (ja) コピー防止装置
US20030088773A1 (en) Method of and apparatus for preventing illicit copying of digital content
US8051290B2 (en) Increasing integrity of watermarks using robust features
Luo et al. JPEG domain watermarking
Zhang et al. Image watermarking algorithm based on the code division multiple access technique
JP2000333140A (ja) 情報処理装置およびその方法
GB2369944A (en) Apparatus for detecting and recovering data
JP2004252050A (ja) ディジタルオーディオデータ作成者認証装置、再生装置および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080514

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20080829

LAPS Cancellation because of no payment of annual fees