JP5373909B2 - 圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ - Google Patents

圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ Download PDF

Info

Publication number
JP5373909B2
JP5373909B2 JP2011523799A JP2011523799A JP5373909B2 JP 5373909 B2 JP5373909 B2 JP 5373909B2 JP 2011523799 A JP2011523799 A JP 2011523799A JP 2011523799 A JP2011523799 A JP 2011523799A JP 5373909 B2 JP5373909 B2 JP 5373909B2
Authority
JP
Japan
Prior art keywords
encoding
current block
suffix
list
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011523799A
Other languages
English (en)
Other versions
JP2012500565A (ja
Inventor
ゾウ,デクン
ブルーム,ジェフリー,アダム
ヘ,シャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2012500565A publication Critical patent/JP2012500565A/ja
Application granted granted Critical
Publication of JP5373909B2 publication Critical patent/JP5373909B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G06T1/0035Output size adaptive watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

(相互参照)
本特許出願は、「CHANGEABLE BLOCK LIST」と題する、西暦2008年8月19日付出願の米国特許仮出願第61/189430号の利益及び優先権を主張する。上記仮出願は、全ての目的でその全体を参照により、本明細書及び特許請求の範囲において明示的に援用する。
(技術分野)
本発明は、圧縮ビデオ・ストリームに施すことが可能な許容可能な透かしのリストを生成する方法に関する。
今日では、海賊行為阻止手法としてのディジタル透かし入れに対する需要は大きい。
海賊行為者が透かしを出し抜くことをより困難にするために、多くの潜在的な透かしが、提案され、使用されることが重要である。しかし、意図された視聴者にとって、意図された視聴体験を透かしが妨げることのないようにすることが重要である。そういうものとして、更に効率的な透かし入れ手法に対する必要性が存在している。
そういうものとして、本発明の目標は、CABAC/AVC(コンテキスト・ベースの適応的2進算術符号化/高度ビデオ圧縮)準拠であり、未だ、可視アーチファクトを生成しない、透かし入れに概括的に関連付けられた考えられる変更のリストを生成することである。
許容可能な透かしのリストを生成する方法は、符号化データにアクセスする工程と、符号化データに対する変更のリストにアクセスし、又は、上記リストを生成し、若しくは編集する工程と、要件を満たさない、例えば、アーチファクトをもたらす変更を除外し、それにより、フィルタリングされた変更のフィルタリングされたリストを生成する工程と、フィルタリングされたリストにおけるフィルタリングされた変更のうちの少なくとも1つを符号化リストに施す工程とを含む。符号化データは、CABAC符号化されたH.264/AVCビデオ・ストリームにあり得る圧縮ビデオ・データであり得る。フィルタリングされた変更は、許容可能な透かしであり得る。上記方法は、少なくとも1つの参照ブロックに対する動きベクトル差分を求める工程、及び少なくとも1つの参照ブロックに対する少なくとも1つの現在のブロックの動きベクトル差分を求める工程を含み得る。動きベクトル差分の比較は、変更をリストから除外するために使用することが可能である。上記方法は、現在のブロックに対する変更及び現在のブロックの構文要素を求める工程と、少なくとも3つのカテゴリ(第1のカテゴリは、ゼロに等しい値の場合であり、第2のカテゴリは、ゼロを上回り、最大値を下回る値の場合であり、第3のカテゴリは、第2のカテゴリにおける値を上回る値、乃至最大値の場合である)に動きベクトル差分値を設定する工程とを含み得る。更に、上記方法は、第2のカテゴリにおける動きベクトル差分値の構文要素にプリフィックス値を施す工程、及び第2のカテゴリにおける動きベクトル差分値の構文要素にサフィックス値を施す工程を含み得る。更に、上記方法は、現在のブロックに対する変更及び現在のブロックの符号化変数範囲を求める工程であって、符号化変数範囲は、特定のビット長について考えられる値である工程と、現在のブロックの動きベクトル差分値に対する変更の符号化変数範囲を比較する工程と、現在のブロックの動きベクトル差分値を含まない符号化変数範囲を有する変更をフィルタリングする工程と、現在のブロックに対する変更及び現在のブロックのビット長を求める工程とを含み得る。方法は、現在のブロックに対する変更、及び現在ブロックのビット長を比較する工程と、現在のブロックのビット長に等しくないビット長を有する変更をフィルタリングする工程であって、ビット長に基づいた変更のフィルタリングは、符号化変数の判定に基づいたフィルタリングと組み合わせて行うことが可能である工程とを含み得る。
ビデオ・データにアクセスする工程と、ビデオ・データに対する考えられる変更又は透かしのリストにアクセスし、又は前記リストを生成する工程と、透かしを有する現在のブロックの構文要素及び現在のブロックの構文要素を判定する工程と、透かしを有する現在のブロック及び現在のブロック間の構文要素における差に基づいて透かしを除去し、それにより、許容された透かしのフィルタリングされたリストを生成する工程とを含む方法を行うよう適合されたCABAC符号化エンジン等が提供される。エンジン等における除去工程は、更に、(1)リストからの透かしを有する現在ブロック及び現在ブロックの符号化変数範囲を求める工程と、リストからの透かしを有する現在のブロック及び現在のブロックの符号化変数範囲を比較する工程と、現在のブロックの符号化変数範囲外の範囲の符号化変数範囲をもたらす透かしを除去する工程を含み、(2)リストからの透かしを有する現在のブロック及び現在のブロックのビット長を求める工程と、リストからの透かしを有する現在のブロック及び現在のブロックのビット長を比較する工程と、現在のブロックのビット長に等しくないビット長をもたらす透かしを除去する工程とを含む。現在のブロックに施されると、十分にロバストでないか、又は、アーチファクトをもたらす許容可能な変更を除去する更なる除去工程を使用することが可能である。
符号化のシミュレーション、及び有効な別のmvdの後部サフィックス値の収集物を示す、本発明によるブロック図である。 符号化器ベースのCBCシステム・アーキテクチャを示す図である。 トランスコーダ・ベースの枠組みを示す図である。
次に、本発明は、添付図面を参照して、例により、説明する。
次に、本発明の実施例は、一般に、CABAC符号化H.264/AVCビデオ・ストリームのコンテキスト内で説明する。しかし、実施例は、より広い適用例を有し得る。
CABAC符号化H.264/AVCビデオ・ストリームは、符号化動きベクトル差分 (mvd)を含み得る。H.264では、画素値の多くのブロックは、まず、先行して符号化されたデータからその値を予測し、次いで、この予測と実際の値との間の差を符号化することによって符号化される。インター予測と呼ばれる予測の一手法は、参照フレームと呼ばれる別のフレームにおけるデータの同様な大きさのブロックから現在のブロックを予測する。前述の参照ブロックは、現在のブロックの位置と比較した参照ブロックの水平方向及び垂直方向のオフセットを示す動きベクトルの組及び参照フレームのインデクスによって識別される。
隣接ブロックの動きベクトルは、互いに相関化することが可能である。前述の相関を活用するために、H.264は動きベクトルに対して予測符号化を施すことが可能である。一ブロックの動きベクトルは、まず、先行して符号化されたデータからその値を予測し、次いで、この予測と実際の動きベクトル値との間の差を符号化することによって符号化される。
動きベクトル差分(mvd)と呼ばれる前述の差は、少なくとも1つの実現形態の主眼である。これは、構文要素の例でもある。
動きベクトル差分値0は単に、2進シンボル0で表す。前述の0は、コンテキスト・インデクスとともにCABAC書き込み装置に送出される。CABAC書き込み装置はコンテキスト及び2進シンボルを入力として使用し、コンテキストを修正する。なお、ゼロ値mvdを示す前述のシンボル0の符号化が、CABACコンテキストに影響を受け、同様に、CABACコンテキストに影響を及ぼす。他のmvdは全て、符号及び大きさで表される。大きさがまず符号化され、符号はこれに続く。大きさが1と8との間の動きベクトル差分は、mvdプリフィックスと呼ばれる単一の値で符号化することが可能である。より大きなmvdもmvdサフィックスを必要とする。前述の2つの値は後述するように別個に符号化される。
mvdプリフィックスの符号化に関し、mvdmと呼ばれる新たな値はabs(mvd)−1として定義される。0乃至7の間のmvdmの値の場合、mvdmは、プリフィックスにおいて続く2進数1のシンボルの数を示す。前述の1のシンボルは、2進数0のシンボルで終了する。mvdmが8以上の値の場合、1のシンボルが8つ、プリフィックスに書き込まれ、プリフィックスには、サフィックスが後続する。mvdプリフィックスの符号化は表1に要約する。
Figure 0005373909
Figure 0005373909
大きさ9以上のmvdは、前述の値が、符号化される対象のmvdサフィックスも有する旨を示すオール1のプリフィックスを有する。mvdプリフィックスにおけるシンボルはそれぞれ、対応するコンテキスト・インデクスとともにCABAC書き込み装置に送出される。
mvdサフィックスの符号化に関し、大きさ9以上のmvdは全て、符号化される対象のmvdサフィックスを必要とする。サフィックスは、値mvdm−8を符号化する。前述の符号化は、デコードバイパス・モードで行われる(H.264技術仕様、表9−25、ITU−T H.264標準: Advanced video coding for generic audiovisual services、2005/03を参照されたい)。前述のモードは、等確率ExGolomb(EpExGolomb)符号化を使用する。EpExGolombの重要な局面は、CABAC書き込み装置によって使用されるコンテキストがないという点である。同様に、シンボルのCABAC書き込みによって影響を受けるコンテキストがない。このことの示唆は、上述の出願に記載の通り、CABAC又はAVC復号化誤差を何らもたらさずに、等しい長さで別の値にmvdサフィックスを変更することが可能であり得るという点である。
mvdサフィックスは、mvdの絶対値が9を超える量を符号化するために使用される。これは、mvdm−8として表すことが可能である。前述の差は2進化され、2進シンボルは、EpExGolomb書き込み装置に送出される。
サフィックスの2進化は表2において要約する。ここで、xxxはmvdmの標準的な二進表現を表す。
Figure 0005373909
mvdの大きさの二進化処理全体を表3に要約する。
Figure 0005373909
CABAC符号化H.264/AVC符号化ストリームを修正するための1つ又は複数の実現形態が存在し得る。前述の少なくとも1つの実現手段は、2つのステップ(すなわち、変更のリストが生成される解析段階、及び変更が施される埋込段階)を伴う。解析段階は、リスト・フィルタリング処理の組が後続するリスト生成処理としておおよそ表すことが可能である。大きな問題は、リスト生成処理にある。前述の処理の出力は変更のリストであり、その何れも、ビットストリームのAVC/CABAC準拠性を妨げることなく、行うことが可能である。フィルタリング動作は、可視アーチファクトをもたらす変更を除去し、復元が難しくなる変更を除去し、ペイロード制約や他のアプリケーション制約などの外部の他の制約に準拠する変更の組を生成するよう企図される。そういうものとして、実施例は、リスト生成処理の実現形態に対処し、CABAC算術符号化器の一部分を使用して、有効な別の動きベクトル差分の後部サフィックスを識別する。
別のMVD収集物を伴う一例では、有効な別の動きベクトル差分の後部サフィックスの識別の全部又は一部は、前述のEpExGolomb符号化を行う機能の内部で実現される。この場合において特に関心があるのは、前述の機能が、mvdサフィックス値を符号化するために呼び出されることである。
サフィックス値毎に、CABAC又はAVC構文を妨げることなく、置き換えることが可能な別のサフィックス値を求めてサーチする。透かし入れの処理の前述の部分の目標は、CABAC/AVC準拠のままである、考えられる変更全てのリストを生成することである。後に、前述のリストは他の基準によってフィルタリングすることが可能である。まず、CBC(変更可能なブロック収集物)として別の値を収集する処理が定義される。CBCという語は、別のmvdの大きさの値を識別する処理を表すために使用される。
表2及び表3から、全てが同じ2進化長につながるmvdの範囲が存在することが分かり得る。例えば、17乃至32のmvdの大きさは全て、16個のシンボル、10個のプリフィックス・シンボル、及び6個のサフィックス・シンボルを含む2進化値を有する。8を上回る大きさの特定のmvdの場合、同じ2進長を有する他のmvdの組が存在している。組における前述の他のmvd大きさそれぞれは、特定のmvd大きさの潜在的な別の値である。本願に開示する方法は、一度に1つ、前述の他のmvdそれぞれを検査して、別の値としてその適切性を判定する。前述の判定は、符号化変数及び符号化ビット長に基づく。特に、検査される符号化変数は、「codLow」及び「bitOutstanding」である。これは、ITU−T H.264標準Advanced video coding for generic audiovisual services、 2005/03のH.264仕様、図9乃至図10を参照することにより、よりよく理解することが可能である。
上記例では、範囲17乃至32におけるmvdの大きさの場合、サフィックスが6シンボルを有するということを述べた。しかし、最初の2つのシンボルは、範囲内の組全体について10に固定される。最後の4シンボルのみが異なり得る。少なくとも1つの実際の実現形態は前述の2つの部分を別々に扱う。サフィックスの固定部分は前部サフィックスとして定義され、変数部分は後部サフィックスとして定義される。範囲9−16における8mvdの大きさの場合、後部サフィックスは3シンボル長である。範囲17−32における16mvdの大きさの場合、後部サフィックスは4シンボル長である。
上記方法はCABAC書き込み装置をブラック・ボックスとして扱う。潜在的な別の値はCABAC書き込み装置への入力として供給され、符号化ビット長、及び符号化変数に対する影響を観測又は考慮することが可能である。これらが、元の値で得られたものと同じである場合、別の値が、有効な代替値として受け入れられ、リストに保存される。さもなければ、これは、有効な代替値でなく、保存されない。
符号化変数「bitOutstanding」は、ITU−T H.264標準:Advanced video coding for generic audiovisual services、2005/03のH.264/AVC仕様(図9−10)による、バイパス符号化処理において利用可能である一方,ITU−T H.264標準:Advanced video coding for generic audiovisual services、2005/03のH.264/AVC仕様(図9−5)による、バイパス復号化処理では存在しない。これは本明細書及び特許請求の範囲において、この変数の値を検査することが可能なCABAC符号化器における現在の手法の実現形態に動機を与えている。
図1は、特定の元の値の有効な別のmvdの後部サフィックス値全てを収集するための実施例を示す。別個の2つのCABAC符号化エンジンが使用される。主CABAC符号化エンジン100は、後部サフィックス値のCABAC符号化前後の符号化変数の所要値を集めるために使用される。2次CABAC符号化エンジン121は、別の後部サフィックス値が使用される場合に符号化処理をシミュレートするために使用される。符号化変数の値を比較することにより、別の後部サフィックス値が有効であるか否かを結論付けることが可能である。
一手法では、まず、符号化前後の符号化変数を保存して、真の後部サフィックスを符号化し、次いで、代替値全ての符号化をシミュレートし、それらの符号化前の変数状態及び符号化後の変数状態を、保存された状態と比較する。少なくとも1つの実施例では、この手法をわずかに修正することが、より単純であることが明らかになった。前部サフィックスを符号化した後、真の後部サフィックスの符号化のシミュレーションが行われ、シミュレートされた符号化の前後に符号化変数が保存されている。代替値全ての符号化のシミュレーションが行われており、それらの符号化前及び符号化後の変数状態の、保存された状態との比較が行われている。これには、標準としての、真の後部サフィックスの符号化が後続している。
図1に具体的に表された手法は、まず、ブロック105において前部サフィックスを符号化し、続いて、ブロック110において後部サフィックスの符号化前の符号化変数を保存する。続いて、主CABAC符号化エンジン100において、ブロック115において元の後部サフィックスが符号化され、続いて、ブロック120において元のシンボル値の符号化後の新たな状態を保存する。副CABAC符号化エンジン121において巡回させるよう、ブロック125で表す考えられる後部サフィックス値全てをブロック130に供給する一方で、ブロック115における後部サフィックスの符号化前の保存された符号化変数を次いで、副CABAC符号化エンジン121に供給して、ブロック130において、後部サフィックスの符号化前のものと等しい符号化変数状態に設定する。次に、ブロック135において、符号化変数状態を、後部サフィックスの符号化前のものと等しく設定する。続いて、ブロック140において、ブロック120からの、元のシンボル値の符号化後の新たな状態を、ブロック135における符号化された別の後部サフィックス値と比較する。上記状態が同じ場合、別の後部サフィックス値が保存され、有効とみなされる。
次に、符号化器ベースのCBCにおける変更可能なブロック収集物(CBC)アーキテクチャに言及する。bitOutstandingがCABAC復号化器において利用可能でないという理由で、収集は、CABAC符号化処理においてのみ行うことが可能である。図2は、符号化器ベースのCBCシステム・アーキテクチャを示す。ベースバンド・ビデオ画像が利用可能な場合、有効な別の構文値全てを生成するCABAC符号化器CBCモジュールに入力される。ブロック205における圧縮ビデオ・データのみが利用可能な場合、復号化モジュールは、圧縮ビデオ・データを、ブロック220のベースバンド画像に、ブロック210において復号化するために使用される。次いで、H264/AVC符号化器は、ブロック230においてベースバンド画像を符号化し、好ましくはブロック250の有効な別の構文値又は構文要素リスト全てを識別するデータ・リストとともにブロック240のH.264/AVC圧縮ビットストリームを生成する。
次に、トランスコーダ・ベースの変更可能なブロック収集物(CBC)を次いで、図3を参照して記載する。圧縮処理は、計算論的に複雑であり、時間がかかる処理である。専門のオーサリング環境では、圧縮は費用がかかる処理である。ビデオがH.264/AVCを使用して既に圧縮されている場合(ブロック310に表す)、復号化及びH.264/AVC再圧縮全部は、変更可能なブロック情報を収集するための経済的なやり方でない。図3は、トランスコーダ・ベースの枠組みを示す。CABACエントロピ復号化ブロックは、CABACエントロピ復号化処理を行うに過ぎず、これは、圧縮ビデオ・データのブロック320に表している。復号化構文値は、ブロック330のCABACエントロピ符号化器に転送され、CABACエントロピ符号化器は、ブロック340の、有効な別の構文値又は構文要素リスト全てを識別するデータ・リストを生成する。
本明細書及び特許請求の範囲記載の実現形態及び構成のうちのいくつかは、H.264/MPEG−4AVC(AVC)標準の意味合いで使用することが可能である。しかし、前述の実現形態及び構成は、別の既存の標準又は将来の標準の意味合いで、又は標準が関係しない意味合いで使用することができる。本発明の用途の具体例を説明してきたが、構成は他の実現形態に対して適合することが可能である。
本明細書及び特許請求の範囲記載の用途は、例えば、方法若しくは処理、装置、ソフトウェア・プログラム、データストリーム、又は信号で実現することができる。単一の形式の実現形態の意味合いでしか記載されていない場合(例えば、方法としてしか記載されていない場合)でも、記載された実現形態又は構成は、他の形式(例えば、装置又はプログラム)で実現することもできる。装置は例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。上記方法は、例えば、コンピュータや他の処理装置などの装置において更に実現することが可能である。更に、上記方法は、処理装置又は他の装置によって行われる命令によって実現することができ、前述の命令は、集積回路、CDなどのコンピュータ読み取り可能な記憶媒体、若しくは他のコンピュータ読み取り可能な記憶装置に記憶することができる。更に、コンピュータ読み取り可能な媒体は、実現形態によって生成されるデータ値を記憶することが可能である。
当業者に分かるように、実現形態は、例えば、記憶又は伝送することができる情報を搬送するようフォーマッティングされた信号を生成することもできる。情報は例えば、前述の実現形態のうちの1つによって生成されるデータ、又は方法を行うための命令を含み得る。例として、信号は、例えば、透かしを入れたストリーム、透かしを入れていないストリーム、又は、透かしを入れる情報を搬送するようフォーマッティングすることができる。
更に、多くの用途は、符号化器、復号化器、復号化器からの後処理器処理出力、及び符号化器への入力を供給する前処理器のうちの1つ又は複数に適用することが可能である。
除去しようとする可視アーチファクトは、人間の視聴者が見るか、又は気付くことが可能な、表示されたビデオにおける変更であり得ることに留意する。前述のアーチファクトは不快であり得る。更に、許容可能であると認められる変更は、眼でビデオを単に確認することにより、人間の視聴者が検知するか、又は気付くことが可能でないほど微量の特徴(背景の草の方向における変化など)、及び/又は、色、若しくは強度における変化をもたらし得る。

Claims (9)

  1. 方法であって、
    CABAC符号化データにアクセスする工程と、
    前記符号化データの構文要素に適用可能な変更のリストを生成する工程であって、前記構文要素が、前記符号化データの動きベクトル差分のサフィックスである工程と、
    元の符号化データの前記構文要素の符号化に関連付けられた符号化変数codILow及びbitsOutstandingの値にアクセスする工程と、
    前記リストにおける前記変更毎に、前記変更された符号化データの前記構文要素の符号化に関連付けられた符号化変数codILow及びbitsOutstandingの値にアクセスする工程と、
    前記リストにおける前記変更毎に、前記元の符号化データと、前記変更された符号化データとの間で、符号化変数codILow及びbitsOutstandingの値を比較する工程と、
    前記符号化データに適用された場合、定義された少なくとも1つの基準を満たさない変更を除外し、それにより、フィルタリングされた変更のフィルタリングされたリストを生成する工程であって、前述の1つの基準は、変更された符号化データ及び前記元の符号化データにより、codILow及びbitsOutstandingの同じそれぞれの値が生成されるための基準である工程と、
    前記フィルタリングされたリストにおける前記フィルタリングされた変更の少なくとも1つを前記符号化データに適用する工程とを含む方法。
  2. 請求項1記載の方法であって、前記変更が透かしである方法。
  3. 請求項1記載の方法であって、前記定義された少なくとも1つの基準は、前記変更が適用された場合に可視アーチファクトがないことである方法。
  4. 請求項1記載の方法であって、
    前記符号化データに対する前記変更の動きベクトル差分サフィックス範囲を求める工程を更に含み、前記範囲は、特定のビット長について考えられる値全てである方法。
  5. 請求項4記載の方法であって、
    少なくとも1つの現在のブロックに対する前記変更のビット長と、前記少なくとも1つの現在のブロックのビット長とを比較する工程と、
    前記少なくとも1つの現在のブロックの前記ビット長に等しくないビット長をもたらす変更を除外する工程とを含む方法。
  6. 方法であって、
    CABAC符号化ビデオ・データにアクセスする工程と、
    前記ビデオ・データに対する透かしのリストを生成するか、又は編集する工程と、
    前記透かしを有する現在のブロックの構文要素及びビデオ・データの現在のブロックの構文要素を求める工程であって、前記構文要素が、前記符号化ビデオ・デ―タの動きベクトル差分のサフィックスである工程と、
    前記透かしを有する前記現在のブロック及び前記ビデオ・データの現在のブロックに関連付けられた符号化変数codILow及びbitsOutstandingの値にアクセスする工程と、
    前記リストにおける前記透かし毎に、前記透かしを有する前記現在のブロック及び前記ビデオ・データの現在のブロックとの間で、符号化変数codILow及びbitsOutstandingの値を比較する工程と、
    前記透かしを有する前記現在のブロックと、前記ビデオ・データの現在のブロックとの間での、符号化変数codILow及びbitsOutstandingにおける差に基づいて透かしを除外する工程とを含む方法。
  7. 請求項6記載の方法であって、
    前記除外する工程は更に、
    前記リストからの透かしを有する前記現在のブロック、及び前記ビデオ・データの現在のブロックのビット長を求める工程と、
    前記リストからの透かしを有する前記現在のブロック、及び前記ビデオ・データの現在のブロックのビット長を比較する工程と、
    前記現在のブロックの前記ビット長に等しくないビット長をもたらす透かしを除外する工程とを含む方法。
  8. 請求項6記載の方法であって、前記除外する工程が更に、
    前記現在のブロックに適用された場合、アーチファクトをもたらす、許容された透かしを除外し、それにより、フィルタリングされた許容された透かしの更にフィルタリングされたリストをもたらす工程とを含み、前記データが、CABAC符号化されたビデオ・ストリームである方法。
  9. 請求項6記載の方法であって、前記生成する工程が、
    前記構文要素の特定の元の値の有効な別の後部サフィックス値を収集する工程を含み、
    前記値にアクセスする工程が、
    前部サフィックスの元の値を符号化する工程と、
    元の後部サフィックスの符号化前に符号化変数状態を保存する工程と、
    後部サフィックスの元の値を符号化する工程と、
    後部サフィックスの元の値を符号化した後の新たな符号化変数状態を保存する工程と、
    考えられる後部サフィックスの別の値全てを巡回させる工程と、
    元の後部サフィックスの符号化前の符号化変数状態に等しく、考えられる後部サフィックスの別の値それぞれの前の符号化変数状態を設定する工程と、
    前記後部サフィックスの別の値を符号化する工程とを含み、
    前記比較する工程は、
    元の値の符号化後の状態、及び後部サフィックスの別の値の符号化後の状態を比較する工程を含み、
    前記除外する工程は、
    前記元の値の符号化後の状態及び前記別の値の符号化後の状態が異なる場合に、透かしを前記リストから除外する工程を含む方法。
JP2011523799A 2008-08-19 2009-08-17 圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ Expired - Fee Related JP5373909B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18943008P 2008-08-19 2008-08-19
US61/189,430 2008-08-19
PCT/US2009/004689 WO2010021682A1 (en) 2008-08-19 2009-08-17 Cabac/avc compliant watermarking of syntax elements in compressed video

Publications (2)

Publication Number Publication Date
JP2012500565A JP2012500565A (ja) 2012-01-05
JP5373909B2 true JP5373909B2 (ja) 2013-12-18

Family

ID=41478822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011523799A Expired - Fee Related JP5373909B2 (ja) 2008-08-19 2009-08-17 圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ

Country Status (7)

Country Link
US (1) US9113231B2 (ja)
EP (1) EP2319244A1 (ja)
JP (1) JP5373909B2 (ja)
KR (1) KR101611375B1 (ja)
CN (1) CN102187672B (ja)
BR (1) BRPI0918019B1 (ja)
WO (1) WO2010021682A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791328B2 (en) 2011-06-15 2020-09-29 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC
US11245902B2 (en) 2011-06-30 2022-02-08 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008118146A1 (en) 2007-03-23 2008-10-02 Thomson Licensing Modifying a coded bitstream
WO2008154041A1 (en) 2007-06-14 2008-12-18 Thomson Licensing Modifying a coded bitstream
WO2010041488A1 (ja) * 2008-10-10 2010-04-15 株式会社東芝 動画像符号化装置
PL3309969T3 (pl) * 2011-06-24 2023-09-18 Sun Patent Trust Sposób i urządzenie kodujące obraz
KR101727449B1 (ko) * 2011-06-28 2017-04-14 닛본 덴끼 가부시끼가이샤 영상 양자화 파라미터 복호 방법
US9621921B2 (en) 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
US10341673B2 (en) * 2013-05-08 2019-07-02 Integrated Device Technology, Inc. Apparatuses, methods, and content distribution system for transcoding bitstreams using first and second transcoders
US9830999B2 (en) 2014-06-05 2017-11-28 Micron Technology, Inc. Comparison operations in memory
EP2960854A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and device for determining a set of modifiable elements in a group of pictures
US9904515B2 (en) 2014-09-03 2018-02-27 Micron Technology, Inc. Multiplication operations in memory
US9898252B2 (en) 2014-09-03 2018-02-20 Micron Technology, Inc. Multiplication operations in memory
US9747961B2 (en) 2014-09-03 2017-08-29 Micron Technology, Inc. Division operations in memory
US9589602B2 (en) 2014-09-03 2017-03-07 Micron Technology, Inc. Comparison operations in memory
US10032493B2 (en) 2015-01-07 2018-07-24 Micron Technology, Inc. Longest element length determination in memory
US9583163B2 (en) 2015-02-03 2017-02-28 Micron Technology, Inc. Loop structure for operations in memory
US9741399B2 (en) 2015-03-11 2017-08-22 Micron Technology, Inc. Data shift by elements of a vector in memory
US9898253B2 (en) 2015-03-11 2018-02-20 Micron Technology, Inc. Division operations on variable length elements in memory
US10146537B2 (en) 2015-03-13 2018-12-04 Micron Technology, Inc. Vector population count determination in memory
EP3151189B1 (en) 2015-10-02 2021-12-15 ContentArmor Method for determining a modifiable block
US9892767B2 (en) 2016-02-12 2018-02-13 Micron Technology, Inc. Data gathering in memory
US9697876B1 (en) 2016-03-01 2017-07-04 Micron Technology, Inc. Vertical bit vector shift in memory
US9910637B2 (en) 2016-03-17 2018-03-06 Micron Technology, Inc. Signed division in memory
US10607665B2 (en) 2016-04-07 2020-03-31 Micron Technology, Inc. Span mask generation
US9659605B1 (en) 2016-04-20 2017-05-23 Micron Technology, Inc. Apparatuses and methods for performing corner turn operations using sensing circuitry
US10153008B2 (en) 2016-04-20 2018-12-11 Micron Technology, Inc. Apparatuses and methods for performing corner turn operations using sensing circuitry
US10042608B2 (en) 2016-05-11 2018-08-07 Micron Technology, Inc. Signed division in memory
US11029951B2 (en) 2016-08-15 2021-06-08 Micron Technology, Inc. Smallest or largest value element determination
US10043570B1 (en) 2017-04-17 2018-08-07 Micron Technology, Inc. Signed element compare in memory
US10147467B2 (en) 2017-04-17 2018-12-04 Micron Technology, Inc. Element value comparison in memory
CN109756738B (zh) * 2017-11-02 2021-04-16 北京金山云网络技术有限公司 数字水印添加、提取方法、装置、电子设备及存储介质
CN114615504B (zh) * 2020-12-04 2024-09-17 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置及设备

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
WO1996039788A1 (en) * 1995-06-06 1996-12-12 Globalstar L.P. Satellite repeater diversity resource management system
GB2308042B (en) * 1995-12-05 2000-02-16 Motorola Ltd Radio communication system
US6009176A (en) * 1997-02-13 1999-12-28 International Business Machines Corporation How to sign digital streams
JP3696723B2 (ja) * 1997-09-02 2005-09-21 ソニー株式会社 画像データ処理装置及び方法
US6373960B1 (en) * 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
JPH11331622A (ja) 1998-05-08 1999-11-30 Fuji Photo Film Co Ltd 画像データ構成方法および装置、画像データ変換方法および装置並びに画像データ変換システム
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
JPH11341450A (ja) 1998-05-26 1999-12-10 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置および電子透かし抽出装置
JP3156667B2 (ja) 1998-06-01 2001-04-16 日本電気株式会社 電子透かし挿入システム、電子透かし特性表作成装置
JP2001119557A (ja) 1999-10-19 2001-04-27 Nippon Hoso Kyokai <Nhk> 電子透かし埋め込み装置および方法
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
US6687384B1 (en) * 2000-03-27 2004-02-03 Sarnoff Corporation Method and apparatus for embedding data in encoded digital bitstreams
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
US7113612B2 (en) * 2001-03-22 2006-09-26 Victor Company Of Japan, Ltd. Apparatus for embedding and reproducing watermark into and from contents data
US20030070075A1 (en) * 2001-10-04 2003-04-10 Frederic Deguillaume Secure hybrid robust watermarking resistant against tampering and copy-attack
JP4276395B2 (ja) 2001-10-19 2009-06-10 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
JP4079620B2 (ja) 2001-10-30 2008-04-23 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにコンピュータ・プログラム
JP3854502B2 (ja) 2001-12-12 2006-12-06 興和株式会社 電子透かしの埋め込み方法および抽出方法
JP4107851B2 (ja) 2002-02-13 2008-06-25 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
US7715477B2 (en) * 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
US7003131B2 (en) * 2002-07-09 2006-02-21 Kaleidescape, Inc. Watermarking and fingerprinting digital content using alternative blocks to embed information
AU2003281133A1 (en) * 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
WO2004043068A1 (en) * 2002-11-04 2004-05-21 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product
JP4024153B2 (ja) 2003-01-10 2007-12-19 三洋電機株式会社 電子透かし埋め込み方法およびその方法を利用可能な符号化装置と復号装置
AU2003285681A1 (en) * 2003-01-23 2004-08-13 Koninklijke Philips Electronics N.V. Embedding multiple watermarks
FR2853792A1 (fr) * 2003-04-11 2004-10-15 France Telecom Procede de tatouage d'une sequence video a selection adaptative de la zone d'insertion du tatouage, procede de detection, dispositifs, support de donnees et programmes d'ordinateur correspondants
JP4726141B2 (ja) * 2003-06-25 2011-07-20 トムソン ライセンシング 圧縮されたビデオ・ビットストリームにおける電子透かしの挿入のための符号化方法および装置
US6894628B2 (en) * 2003-07-17 2005-05-17 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and methods for entropy-encoding or entropy-decoding using an initialization of context variables
US6900748B2 (en) * 2003-07-17 2005-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for binarization and arithmetic coding of a data value
US7188254B2 (en) * 2003-08-20 2007-03-06 Microsoft Corporation Peer-to-peer authorization method
EP1515506A1 (en) 2003-09-09 2005-03-16 Alcatel A method of establishing a data packet communication session between a terminal arrangements of a data packet network and an exchange therefore
US7646881B2 (en) * 2003-09-29 2010-01-12 Alcatel-Lucent Usa Inc. Watermarking scheme for digital video
US7286710B2 (en) * 2003-10-01 2007-10-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding of a syntax element contained in a pre-coded video signal
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US7693330B2 (en) * 2004-03-15 2010-04-06 Vincent So Anti-piracy image display methods and systems with sub-frame intensity compensation
KR100647948B1 (ko) * 2004-03-22 2006-11-17 엘지전자 주식회사 적응적 인트라 매크로 블록 리프레쉬 방법
US7706663B2 (en) * 2004-10-12 2010-04-27 Cyberlink Corp. Apparatus and method for embedding content information in a video bit stream
US7856116B2 (en) 2004-11-09 2010-12-21 Digimarc Corporation Authenticating identification and security documents
GB2421134A (en) * 2004-12-09 2006-06-14 Sony Uk Ltd Detection of payload data from a watermarked image by calculation of payload probability values
JP2006287364A (ja) 2005-03-31 2006-10-19 Toshiba Corp 信号出力装置及び信号出力方法
JP4498970B2 (ja) * 2005-04-15 2010-07-07 三菱電機株式会社 符号化データの変更装置、変更方法及び変更プログラム
US7630512B2 (en) * 2005-05-26 2009-12-08 Alcatel-Lucent Usa Inc. Method for performing recoverable video and image watermarking which survives block-based video and image compression
CN102176754B (zh) 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4360363B2 (ja) 2005-08-19 2009-11-11 日本電信電話株式会社 電子透かし埋め込み方法及び装置及びプログラム
US7778261B2 (en) * 2005-11-15 2010-08-17 ArcSoft (Shanghai) Technology Using PSTN to communicate IP address for point-to-point text, voice, video, or data communication
US8144923B2 (en) 2005-12-05 2012-03-27 Thomson Licensing Watermarking encoded content
JP4580898B2 (ja) 2006-06-05 2010-11-17 株式会社東芝 電子透かし埋め込み装置
US8559501B2 (en) * 2006-06-09 2013-10-15 Thomson Licensing Method and apparatus for adaptively determining a bit budget for encoding video pictures
US8401535B2 (en) * 2006-06-19 2013-03-19 Samsung Electronics Co., Ltd. System, a method, and an apparatus for sharing an updated content with peers
WO2008065814A1 (en) 2006-11-30 2008-06-05 Panasonic Corporation Coder
WO2008118146A1 (en) * 2007-03-23 2008-10-02 Thomson Licensing Modifying a coded bitstream
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
WO2008154041A1 (en) 2007-06-14 2008-12-18 Thomson Licensing Modifying a coded bitstream
KR101571573B1 (ko) 2007-09-28 2015-11-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 부가적인 정보 역량을 이용한 멀티미디어 코딩 및 디코딩
CN101236645A (zh) 2008-02-28 2008-08-06 上海交通大学 基于无损数字水印的图像篡改检测和定位方法
US8515123B2 (en) * 2008-07-03 2013-08-20 Verimatrix, Inc. Efficient watermarking approaches of compressed media
CN102132247B (zh) * 2008-08-19 2014-09-10 汤姆森特许公司 传播地图
JP5639056B2 (ja) * 2008-08-19 2014-12-10 トムソン ライセンシングThomson Licensing 輝度評価
WO2010021694A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Selection of watermarks for the watermarking of compressed video
DE102009004827B4 (de) * 2009-01-13 2017-02-02 Benteler Automobiltechnik Gmbh Stoßfänger
PL2866448T3 (pl) * 2010-07-30 2016-10-31 Sposób i urządzenie do czasowej synchronizacji wejściowego strumienia bitów dekodera wideo z przetworzoną sekwencją wideo dekodowaną przez dekoder wideo
GB2495469B (en) * 2011-09-02 2017-12-13 Skype Video coding
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791328B2 (en) 2011-06-15 2020-09-29 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC
US11665348B2 (en) 2011-06-15 2023-05-30 Sony Group Corporation Binarization of dQP using separate absolute value and sign (SAVS) in CABAC
US11245902B2 (en) 2011-06-30 2022-02-08 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC

Also Published As

Publication number Publication date
EP2319244A1 (en) 2011-05-11
US20110142419A1 (en) 2011-06-16
WO2010021682A1 (en) 2010-02-25
JP2012500565A (ja) 2012-01-05
CN102187672A (zh) 2011-09-14
BRPI0918019A2 (pt) 2015-11-17
KR20110050456A (ko) 2011-05-13
US9113231B2 (en) 2015-08-18
KR101611375B1 (ko) 2016-04-11
BRPI0918019B1 (pt) 2021-05-18
CN102187672B (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5373909B2 (ja) 圧縮ビデオにおける構文要素のcabac/avc準拠の透かし入れ
JP5892704B2 (ja) 符号化ビット・ストリームの修正
Celik et al. Lossless generalized-LSB data embedding
JP5277180B2 (ja) 符号化ビットストリームの修正
Zou et al. H. 264 stream replacement watermarking with CABAC encoding
US8594366B2 (en) Context-based adaptive binary arithmetic coding (CABAC) video stream compliance
JP4568732B2 (ja) デジタル画像を処理するための方法とそのシステム
EP2314073B1 (en) Selection of watermarks for the watermarking of compressed video
JP2002330279A (ja) 画像へのデータ埋め込み方法及び当該データの抽出方法
CN102724494B (zh) 一种嵌入可逆水印的方法、提取方法以及装置和系统
JP2006121460A (ja) 電子透かしの埋め込み方法および抽出方法
Zou et al. Data hiding in film grain
Kumar et al. Image Error-Concealment for JPEG & PICT Format

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130517

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130919

R150 Certificate of patent or registration of utility model

Ref document number: 5373909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees