JP4875024B2 - 画像情報伝送装置 - Google Patents

画像情報伝送装置 Download PDF

Info

Publication number
JP4875024B2
JP4875024B2 JP2008123757A JP2008123757A JP4875024B2 JP 4875024 B2 JP4875024 B2 JP 4875024B2 JP 2008123757 A JP2008123757 A JP 2008123757A JP 2008123757 A JP2008123757 A JP 2008123757A JP 4875024 B2 JP4875024 B2 JP 4875024B2
Authority
JP
Japan
Prior art keywords
stream
information
unit
parallel
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008123757A
Other languages
English (en)
Other versions
JP2009273036A (ja
Inventor
竜広 鈴村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008123757A priority Critical patent/JP4875024B2/ja
Priority to US12/407,425 priority patent/US8335264B2/en
Publication of JP2009273036A publication Critical patent/JP2009273036A/ja
Application granted granted Critical
Publication of JP4875024B2 publication Critical patent/JP4875024B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

本発明は、符号化ストリームデータを並列化して伝送する画像情報伝送装置に関し、特にＨ．２６４規格に基づいて適応算術符号化されたＣＡＢＡＣストリームデータを並列化して伝送する画像情報伝送装置に関すものである。
従来、ストリーム送信装置は、Ｈ．２６４規格に基づいてコンテキスト適応算術符号化(以下、CABAC：Context-Adaptive Binary Arithmetic Codingの略)されたＣＡＢＡＣストリームデータ(以下、単にＣＡＢＡＣストリームと呼ぶことがある)を送信する際には、このＣＡＢＡＣストリームを一本のストリームとしてＣＡＢＡＣ復号部へ送信する。受信側のＣＡＢＡＣ復号部では、この一本のＣＡＢＡＣストリームを受信してリアルタイムに復号処理することが必要とされる。
一般にＣＡＢＡＣストリームを復号する場合、符号化ストリームのビット列中の、ある復号ポイントの復号動作は、過去の復号動作の中で連続的に変化してきたコンテキスト情報に依存する。従って、ＣＡＢＡＣで符号化されたストリームのビット列を復号する場合、ビット列の先頭から順次、コンテキスト情報を更新しつつ復号していく必要がある。このことは、ＣＡＢＡＣ復号プロセスの並列化を妨げ、画像復号装置の復号処理全体の処理能力を低下させる要因となっている。
従来のこのようなＣＡＢＡＣストリームを並列復号処理する情報処理装置として、複数の算術復号手段がメモリ領域に記憶されたヘッダ情報を個別に参照して複数のスライスデータの算術復号処理を独立して行うよう制御する装置がある（例えば、特許文献１参照）。
しかしながら、特許文献１の装置では、符号化ストリームデータをスライス単位に分割して並列復号処理するものであり、符号化ストリームデータを任意の位置で分割して並列送信したり並列復号処理するものではなかった。
特開２００７−２９５３９２号公報
そこで、本発明は上記の問題に鑑み、並列復号できるように符号化ストリームデータを任意の位置で分割して並列送信し、結果として画像伝送及び画像復号の処理を高速化することが可能な画像情報伝送装置を提供することを目的とするものである。
本願発明の一態様によれば、符号化ストリームデータを出力するストリーム送信部と、 分割ポイント情報を生成して前記符号化ストリームデータの分割ポイントを指示するための分割指示部と、前記ストリーム送信部より出力される符号化ストリームデータ及び該符号化ストリームデータに基づいて抽出される、ストリーム途中からの復号に必要なサイド情報を、前記分割ポイント情報にて指示された分割ポイントで所定数に分割し、並列化して、受信側のストリーム復号部へ送信する並列ストリーム送信部と、を具備し、前記並列ストリーム送信部は、入力される符号化ストリームデータを、前記分割指示部からの分割ポイント情報にて指示された分割ポイントで所定数に分割して順次出力すると同時に、該符号化ストリームデータに基づいて抽出される前記分割の数と同じ所定数に分割されたサイド情報を順次出力するストリーム分割部と、前記ストリーム分割部で順次分割された符号化ストリームデータ及びサイド情報を順次記憶する記憶部と、前記ストリーム分割部で符号化ストリームデータ及びサイド情報を順次分割して前記記億部に順次記憶させるための制御を行う並列コントローラと、前記記憶部に記憶した所定数の符号化ストリームデータ及びサイド情報を並列化して出力する出力部と、を備えたことを特徴とする画像情報伝送装置が提供される。
本発明によれば、並列復号できるように符号化ストリームデータを任意の位置で分割して並列伝送し、結果として画像伝送及び画像復号の処理を高速化することが可能な画像情報伝送装置を提供することができる。
図１３は本発明の関連技術の画像情報伝送装置の基本的なブロック図を示している。
図１３に示す画像情報伝送装置１００は、ストリーム送信部１０１と、受信側であるＣＡＢＡＣ復号部１０２とを備えている。
ストリーム送信部１０１はＣＡＢＡＣストリームを一本のストリームとしてＣＡＢＡＣ復号部１０２へ送信する。このようにストリーム送信部１０１が符号化ストリームデータのみを送信する場合、ＣＡＢＡＣ復号部１０２はコンテキスト適応であるため過去の復号状況を踏まえて現在の復号を行うことになり符号化ストリームデータを適当なところで分割し、並列にして送信することができない。この場合、ＣＡＢＡＣ復号部１０２が復号処理のスループットを制限する可能性がある。結果として画像処理装置全体の処理性能の低下につながり、要求時間内に処理が終了しない事態を招く。若しくは、要求時間内に処理を終了させるために画像処理装置の動作周波数の高速化が必要となり、消費電力増大、開発・製造コストの増大を招く。
以下、本発明の実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は本発明の第１の実施形態に係る画像情報伝送装置のブロック図を示している。
図１に示す画像情報伝送装置２００では、ＣＡＢＡＣストリームを生成して出力するストリーム送信部２０１と所定数(例えば３つ)に分けられたＣＡＢＡＣ復号部２０４ａ〜２０４ｃの間に並列ストリーム送信部２０２を設けている。並列ストリーム送信部２０２には、ストリーム送信部２０１からのＣＡＢＡＣストリームが入力する一方、分割指示部２０３からの分割ポイント情報が入力される。分割指示部２０３は、ＣＡＢＡＣストリームデータの分割ポイントを指示するための分割ポイント情報を生成する。
並列ストリーム送信部２０２は、ストリーム送信部２０１からのＣＡＢＡＣストリームを適宜な分割ポイントで分割し、並列化して送信する。並列ストリーム送信部２０２は、所定数(例えば３つ)に分割されたＣＡＢＡＣストリームを送信すると同時に、受信側のＣＡＢＡＣ復号部２０４ａ〜２０４ｃがストリーム途中からでも復号するためのサイド情報を送信する。このサイド情報は受信側のＣＡＢＡＣ復号部２０４ａ〜２０４ｃがＣＡＢＡＣストリームの途中から復号するために必要な情報群で、詳細は後述する。なお、分割指示部２０３としては、図示しない制御部内に設けられたものであってもよい。
ＣＡＢＡＣ復号部２０４ａ〜２０４ｃは、並列ストリーム送信部２０２で分割されるＣＡＢＡＣストリームの分割数(＝並列化数)と同じ数だけ受信側に設けられており、３つに分割されたＣＡＢＡＣストリームのそれぞれがＣＡＢＡＣ復号部２０４ａ〜２０４ｃのそれぞれに並列入力されて並列復号され、更に図示しない合成部にて３つのＣＡＢＡＣ復号されたストリームデータが合成されて一本の復号ストリームデータとして復元されて出力されることになる。
送信側のストリーム送信部２０１及び並列ストリーム送信部２０２と、受信側のＣＡＢＡＣ復号部２０４ａ〜２０４ｃとの関係は、符号化ストリームが放送ストリームである場合は、ストリーム送信部２０１及び並列ストリーム送信部２０２が放送局であり、ＣＡＢＡＣ復号部２０４ａ〜２０４ｃは一般家庭等の視聴者宅に設置される受信装置である。この場合、放送局では、ＣＡＢＡＣストリームを時間をかけて所定数に並列化し、その並列化状態で放送局内の記憶装置に蓄積した後、一気に並列化したストリームを送信する。視聴者宅では、この並列化送信されたストリームを同時に受信し、並列化数と同じ数のＣＡＢＡＣ復号部でリアルタイムに並列復号し更に合成処理して一本のストリームに復元することによってbinValストリームと呼ばれる復号ストリームを得、更に画像復号処理して視聴することになる。
或いは、他の用途として、ストリーム送信部２０１及び並列ストリーム送信部２０２を録画装置とし、録画装置が時間をかけて並列化したデータを、ユーザーが見たいときに録画装置から並列出力し、その並列出力を複数のＣＡＢＡＣ復号部２０４ａ〜２０４ｃで構成される復号装置でリアルタイムに並列復号し更に合成処理して一本のストリームに復元し視聴するようにしたセットトップボックス装置に応用することもできる。即ち、リアルタイムでは復号できないような時間的に長いスライスデータを含んでいるストリームの場合は、取り敢えずＨＤＤに蓄積しておいて、それを並列ストリーム送信部２０２で時間をかけて並列化処理を行い、並列化処理後に視聴可能となったときに、ユーザー操作又は自動的に並列復号処理を開始実行させてリアルタイムに並列復号処理し更に合成処理して一本のストリームに復元し視聴する。
図２は図１における並列ストリーム送信部２０２のブロック図を示している。
図２に示す並列ストリーム送信部２０２は、ストリーム分割部としてのストリーム分割部２１と、記憶部(以下、メモリという)２２〜２５と、並列コントローラ２６と、出力部としての出力コントローラ２７とを備えている。
ストリーム分割部としてのストリーム分割部２１は、入力されるＣＡＢＡＣストリームデータを、前述の分割指示部２０３からの分割ポイント情報にて指示された分割ポイントで所定数に分割して順次出力する一方、該ＣＡＢＡＣストリームデータに基づいて抽出される所定数(ここでは３つ)のサイド情報を順次出力する。
メモリ２２〜２５は、ストリーム分割部２１で順次出力された１つのストリームデータ及び所定数(ここでは３つ)のサイド情報を順次記憶する複数(ここでは４つ)の記憶装置(メモリ)で構成されている。或いは、複数(４つ)の記憶装置に代えて、１つの記憶装置における複数(４つ)の記憶領域で構成してもよい。メモリ２２〜２５は、分割された複数のＣＡＢＡＣストリームを記憶するためのＣＡＢＡＣストリーム用メモリ２２と、分割ポイント情報であるMBADDR/syntax情報を分割ＣＡＢＡＣストリームの分割数に対応させて記憶するためのMBADDR/syntax情報メモリ２３と、コンテキスト情報を分割ＣＡＢＡＣストリームの分割数に対応させて記憶するためのコンテキスト情報メモリ２４と、codIOffset/codIRangeを分割ＣＡＢＡＣストリームの分割数に対応させて記憶するためのcodIOffset/codIRange用メモリ２５とを備えている。なお、codIOffset/codIRangeは算術符号化するために必要な規格書で指定されている中間変数である。
並列コントローラ２６は、ストリーム分割部２１でストリームデータ及びサイド情報を順次分割してメモリ２２，２４，２５に順次記憶させるための制御を行う。
出力部としての出力コントローラ２７は、記憶部２２〜２５に記憶した複数(４つ)のストリームデータ及びサイド情報を並列化して出力する。
図３(a)は縦及び横に２次元的に配列されたマクロブロック(ＭＢ)のマクロブロックアドレス(MBADDR)を示している。図３(b)は図３(a)のマクロブロック配列を１次元的に並べた符号化ストリームデータを示している。符号化ストリームデータはマクロブロック(MB)部分の先頭部分にスライス(Slice)ヘッダ部分を付加して、全体としてスライス(Slice)部分を構成している。ＭＢ部分はMBADDR＝０，１，２，…と番号が付されている。
図４はストリームの分割方法を説明する図である。ストリームの分割のためにサイド情報を抽出する必要がありますが、このサイド情報の抽出ポイントは、例えば、ストリームＡ、Ｂ、Ｃに３分割する場合、図４(a)に示すように、
１．先頭
２．ストリームＡとストリームＢの間
３．ストリームＢとストリームＣの間
になる。
先頭のサイド情報は、初期値なので、わざわざ抽出する必要がないという構成も考えられる。このような構成の場合、サイド情報の抽出ポイントは、図４(b)に示すように、
１．ストリームＡとストリームＢの間
２．ストリームＢとストリームＣの間
になる。ただし、ＣＡＢＡＣ復号側で、ストリームの先頭のときはサイド情報の初期値を生成する動作が必要になる。
図５はＣＡＢＡＣストリームのマクロブロックストリーム部分を示している。ＣＡＢＡＣストリームのストリームデータについても、MBADDR＝０，１，２，……，２０，…，４０，…と番号が付されている。各々のマクロブロックは、複数のシンタックス要素で構成されている。ただし、図５に示すＣＡＢＡＣストリームの分割は、１スライス単位の中で所定数(例えば３つ)に分割する場合を示している。
本発明の実施形態では、このようなＣＡＢＡＣストリームデータを並列化して送信する際には、図５に示すように分割ポイントを示す分割ポイント情報としてマクロブロックアドレス及びシンタックス情報（MBADDR/Syntax）が用いられる。例えば、１回目の分割ポイントとしてMBADDRA＝２０／SyntaxA＝mb_typeが指定され、２回目の分割ポイントとしてMBADDRB＝４０／SyntaxB＝mvd_10[0][0][0]が指定されている場合を示している。このようにマクロブロックアドレスMBADDRのほかにシンタックス要素Syntaxを指定することにより、MBADDRA＝２０，４０それぞれのマクロブロック(斜線部分)の途中の位置に分割ポイントを指定することが可能となる。なお、図５のＣＡＢＡＣストリーム中の斜線にて示す２つの部分がそれぞれ、MBADDR＝２０，MBADDR＝４０のマクロブロックアドレスで示される各々のマクロブロックの範囲を示している。このようにして、１スライス単位の中でストリームデータを３分割する。
また、コンテキスト情報については、デコード毎に変化し、先頭から１回目の分割ポイントであるMBADDR＝２０／Syntax＝mb_typeまでの範囲に対応してコンテキスト情報Ａが指定され、１回目の分割ポイントの直後から２回目の分割ポイントであるMBADDR＝４０／Syntax＝mvd_10[0][0][0]までの範囲に対応してコンテキスト情報Ｂが指定され、２回目の分割ポイントの直後からスライスの最後尾までの範囲に対応してコンテキスト情報Ｃが指定される。
図６は図２におけるストリーム分割部２１のブロック図を示している。
図６に示すストリーム分割部２１は、ＣＡＢＡＣ復号化部３１と、サイド情報抽出部３２と、抽出コントローラ３３とを備えている。
ＣＡＢＡＣ復号化部３１は、ＣＡＢＡＣ符号の復号動作を行うもので、入力されるストリームデータを内部情報のコンテキスト情報を基に復号する。ＣＡＢＡＣ復号化部３１は、抽出コントローラ３３からの停止信号で停止することができ、また消費ビット数やシンタックス名を出力する。更に、ＣＡＢＡＣ復号化部３１は、内部情報としてコンテキスト情報及びcodIOffset/codIRangeを保持している。
サイド情報抽出部３２は、ＣＡＢＡＣ復号化部３１が内部情報として保持しているコンテキスト情報及びcodIOffset/codIRangeを抽出する。
抽出コントローラ３３は、入力されるＣＡＢＡＣストリームを、分割指示部２０３からの分割ポイント情報とＣＡＢＡＣ復号化部３１からのシンタックス名及び消費ビット数情報に基づいて分割して出力する。
次に、動作を説明する。
図２に示す並列ストリーム送信部２０２においては、まず、外部より分割したいポイントの情報をMBADDR/Syntax情報としてMBADDR/Syntax情報メモリ２３へ入力し記憶する。このとき分割したいポイント数分のMBADDR/Syntax情報をメモリ２３へ入力しておく。本実施形態では、メモリ２３の３つの記憶領域０〜２にそれぞれ３つの分割ポイントを入力しておく。メモリ２３に記憶したMBADDR/Syntax情報は並列コントローラ２６を介してストリーム分割部２１に供給されるようになっている。
並列ストリーム送信部２０２へＣＡＢＡＣストリームを入力すると、ストリーム分割部２１は、並列コントローラ２６から入力される分割ポイント情報をもとにストリームを分割し、ＣＡＢＡＣストリーム用メモリ２２へ分割単位に格納する。同時に、ストリーム分割部２１は、コンテキスト情報、codIOffset/codIRangeを抽出し、それぞれのメモリ２４，２５へ格納し終了信号を出力する。本実施形態では、ストリームを3つに分割している。ストリームの並列化処理が終了すると、並列コントローラ２６は終了信号を出力する。出力コントローラ２７は、この終了信号を受信した後、外部からの出力要求に応え、並列ストリームを送出する。
ここで、上記の動作を図５を参照して具体的に説明する。並列コントローラ２６は、MBADDR/Syntax情報メモリ２３から得られるMBADDR＝２０／Syntax＝mb_typeをストリーム分割部２１に対して１回目の分割ポイントとして指示し、入力されるＣＡＢＡＣストリームがMBADDR＝２０／Syntax＝mb_typeに達するまで、その入力ストリームを１回目の分割ＣＡＢＡＣストリームＡとしてＣＡＢＡＣストリーム用メモリ２２の記憶領域０に格納する。同時に、１回目のコンテキスト情報及びcodIOffset/codIRangeを抽出し、それぞれのメモリ２４，２５へ格納する。このとき、ストリーム分割部２１は、入力したＣＡＢＡＣストリームをMBADDR＝２０／Syntax＝mb_typeまで読み込みＣＡＢＡＣストリーム用メモリ２２に出力したら、その旨を１回目の終了信号で並列コントローラ２６に通知する。すると、並列コントローラ２６は、次のMBADDR＝４０／Syntax＝mvd_10[0][0][0]をMBADDR/Syntax情報メモリ２３から得て、ストリーム分割部２１に２回目の分割ポイント情報として指示し、入力されるＣＡＢＡＣストリームがMBADDR＝４０／Syntax＝mvd_10[0][0][0]に達するまで、その入力ストリームを２回目の分割ＣＡＢＡＣストリームＢとしてＣＡＢＡＣストリーム用メモリ２２の記憶領域１に格納する。同時に、２回目のコンテキスト情報及びcodIOffset/codIRangeを抽出し、それぞれのメモリ２４，２５へ格納する。このとき、ストリーム分割部２１は、入力したＣＡＢＡＣストリームをMBADDR＝４０／Syntax＝mvd_10[0][0][0]まで読み込みＣＡＢＡＣストリーム用メモリ２２に出力したら、その旨を２回目の終了信号で並列コントローラ２６に通知する。同様にして、３回目の分割ＣＡＢＡＣストリームＣをＣＡＢＡＣストリーム用メモリ２２の記憶領域２に格納し、同時に３回目のコンテキスト情報及びcodIOffset/codIRangeを抽出し、それぞれのメモリ２４，２５へ格納する。このようにして並列化処理が進んでいく。
さらに、ストリーム分割部２１の動作を図６を参照して説明する。
図６のストリーム分割部２１に示すように、ＣＡＢＡＣストリームが入力されると、ＣＡＢＡＣ復号化部３１は内部情報のコンテキスト情報をもとに復号動作を行う。この動作については通常のＣＡＢＡＣ復号動作と同様である。ＣＡＢＡＣ復号化部３１は、シンタックスの復号を終えるごとに、デコードしたシンタックス名と、ストリームにおいて消費したビット数を抽出コントローラ３３へ出力する。
抽出コントローラ３３は、逐次、デコードしたシンタックス名の判断処理を行い、入力された分割ポイント情報としてのMBADDR/syntax情報に一致したポイントでＣＡＢＡＣ復号化部３１へ一時停止指令を出し、サイド情報抽出部３２へ抽出指令を出す。またこのとき抽出コントローラ３３は消費ビット数情報を基に、ＣＡＢＡＣストリームを分割してＣＡＢＡＣストリーム用メモリ２２へ送出する。
サイド情報抽出部３２は、抽出コントローラ３３からの抽出指令を受信すると、ＣＡＢＡＣ復号化部３１よりコンテキスト情報，codIOffset/codIRangeを抽出し、抽出した情報をそれぞれのメモリ２４，２５へ送出する。サイド情報抽出部３２がこれらの情報を送出し終わったところで、抽出コントローラ３３は終了信号を出力する。終了信号は並列コントローラ２６へ送られる。この一連の流れによりＣＡＢＡＣストリームを分割し、並列化することができる。
図７は図１における並列ストリーム送信部の変形例を示し、図８は図７における圧縮部の構成例を示している。
図７に示す並列ストリーム送信部２０２Ａは、図２に示した並列ストリーム送信部２０２に対して、コンテキスト情報を圧縮するための圧縮部２８を追加した構成となっている。圧縮部２８で圧縮されたコンテキスト情報は圧縮情報としてコンテキスト情報メモリ２４に格納される。図５のメモリ２４の記憶状態は、圧縮部２８を図８の構成とした場合の動作に基づくものである。なお、圧縮部の追加は、コンテキスト情報以外の情報を圧縮するのに用いることも可能であるが、ここでコンテキスト情報のみを圧縮するために圧縮部２８を設けている理由はコンテキスト情報の情報量が他の情報の量に比べて多いためである。
なお、図７の構成は、ストリーム分割部２１が出力するコンテキスト情報を圧縮してメモリ２４に記憶する以外は図２と同様である。
圧縮部２８は、例えば図８のように構成することができる。圧縮部２８は、前回(直前)のコンテキスト情報を記憶するメモリ４１と、今回入力したコンテキスト情報を保持するメモリ４２と、減算器４３とを備えている。
圧縮部２８は、メモリ４１のコンテキスト情報とメモリ４２のコンテキスト情報との差分情報のみを減算器４３で取得してコンテキスト情報メモリ２４に格納する。今回のコンテキスト情報が１回目のコンテキスト情報Ａであれば、前回(直前)のコンテキスト情報は無し(クリアされている)であるので、差分情報としてコンテキスト情報Ａがメモリ２４の記憶領域０に格納され、今回のコンテキスト情報が２回目のコンテキスト情報Ｂで、前回(直前)のコンテキスト情報が１回目のコンテキスト情報Ａであれば、圧縮情報として差分情報１が得られてメモリ２４の記憶領域１に格納され、今回のコンテキスト情報が３回目のコンテキスト情報Ｃで、前回(直前)のコンテキスト情報が２回目のコンテキスト情報Ｂであれば、圧縮情報として差分情報２が得られてメモリ２４の記憶領域２に格納される。なお、得られた差分情報１，２をさらに圧縮する構成としてもよい。
なお、圧縮部２８は、圧縮されたデータの情報量を少なくして、コンテキスト情報メモリ２４の記憶容量を少なくしたり又は並列ストリーム送信部２０２Ａから外部へ送信される伝送容量を少なくするために設けられているので、後段のリアルタイム動作が必要なＣＡＢＡＣ復号部２０４ａ〜２０４ｃで復号処理を行う前の段階に伸張部を設けて圧縮されたデータを伸張する必要がある。伸張部を配設する位置としては、出力コントローラ２７の直前又は直後に設けてもよいし、或いは、受信側であるＣＡＢＡＣ復号部２０４ａ〜２０４ｃの前端又は直前に設けてもよい。
第１の実施形態によれば、入力されるＣＡＢＡＣストリームデータを、分割ポイント情報に基づいて１スライス単位の中で所定数に分割することができ、算術復号化処理を並列化することで、動作周波数を増大することなく、消費電力低減、開発・生産コスト低減、および市場訴求力向上を図ることができる。１スライス単位の中で細かく分割することも可能となるので、分割数を多目にとって、画像高精細化に伴って要求される画像復号処理能力を向上させることもできる。
ところで、以上の図２，図６及び図７に示される第１の実施形態の画像情報伝送装置は、入力されるＣＡＢＡＣストリームデータを、分割ポイント情報(MBADDR/Syntax)に基づいて１スライス単位の中で所定数に分割するものであった。
これに対して、以下に説明する第２の実施形態の画像情報伝送装置は、入力されるＣＡＢＡＣストリームデータを、分割ポイント情報(MBADDR/Syntax/Slice)に基づいて複数スライスに跨って所定数に分割するものである。
［第２の実施形態］
本発明の第２の実施形態の画像情報伝送装置の全体的な構成は、図１と同様である。また、第２の実施形態の画像情報伝送装置における並列ストリーム送信部２０２，２０２Ａ、及びストリーム分割部２１の各構成もそれぞれ、第１の実施形態の図２，図７、及び図６の構成と同様である。
第２の実施形態で、第１の実施形態と異なる点は、図９に示すように、入力されるＣＡＢＡＣストリームデータを複数スライスに跨って所定数(例えば３つ)に分割することである。分割ポイント情報としては、マクロブロックアドレス／シンタックス情報(MBADDR/Syntax)のほかにスライス番号(Slice)が必要となり、マクロブロックアドレス／シンタックス／スライス情報（MBADDR/Syntax/Slice）の３つのパラメータを用いて分割ポイントを指定することになる。
図１０は並列ストリーム送信部２０２を示している。図２と異なる点は、入力される分割ポイント情報が３つのパラメータからなるMBADDR/Syntax/Sliceであり、メモリ２３の３つの記憶領域０〜２にはそれぞれ分割指示部２０３から３つの分割ポイント情報であるMBADDRA/SyntaxA/SliceA，MBADDRB/SyntaxB/SliceB，MBADDRC/SyntaxC/SliceCが並列化処理を行う前に予め格納されることである。
図１１はストリーム分割部２１を示している。図６と異なる点は、抽出コントローラ３３に入力する分割ポイント情報が３つのパラメータからなるMBADDR/Syntax/Sliceである点である。それ以外は、図６と同様である。
図１２はコンテキスト情報を圧縮する圧縮部２８を備えた並列ストリーム送信部２０２Ａを示している。図７と異なる点も、メモリ２３に予め設定しておく分割ポイント情報が３つのパラメータからなるMBADDR/Syntax/Sliceである点である。メモリ２３の３つの記憶領域０〜２にはそれぞれ分割指示部２０３から３つの分割ポイント情報MBADDRA/SyntaxA/SliceA，MBADDRB/SyntaxB/SliceB，MBADDRC/SyntaxC/SliceCが並列化処理を行う前に格納される。それ以外は、図７と同様である。
第２の実施形態によれば、入力されるＣＡＢＡＣストリームデータを、分割ポイント情報に基づいて複数スライスに跨って所定数に分割することができ、算術復号化処理を並列化することで、動作周波数を増大することなく、消費電力低減、開発・生産コスト低減、および市場訴求力向上を図ることができる。複数スライスに跨って大きく分割することも可能となるので、分割数を少な目にして、画像復号装置の数を少なくすることもできる。
以上述べた本発明によれば、今後の画像高精細化に伴いますます画像復号装置処理能力が要求される環境の中で、画像復号装置処理能力の律速要因となる算術復号化処理を並列化することで、大幅な動作周波数増加を招くことなく、これを解消することができる。また、この動作周波数低減効果は、消費電力低減、開発・生産コスト低減、および市場訴求力向上に寄与する。
本発明の第１の実施形態に係る画像情報伝送装置を示すブロック図。 第１の実施形態の並列ストリーム送信部の構成を示すブロック図。 符号化ストリームデータとしてのスライスデータを説明する図。 ストリームの分割方法を説明する図。 本発明の第１の実施形態の画像情報伝送装置の動作を説明する説明図。 第１の実施形態のストリーム分割部の構成を示すブロック図。 第１の実施形態の並列ストリーム送信部の変形例を示すブロック図。 図７における圧縮部の構成例を示すブロック図。 本発明の第２の実施形態の画像情報伝送装置の動作を説明する説明図。 第２の実施形態の並列ストリーム送信部の構成を示すブロック図。 第２の実施形態のストリーム分割部の構成を示すブロック図。 第２の実施形態の並列ストリーム送信部の変形例を示すブロック図。 本発明の関連技術の画像情報伝送装置の基本的なブロック図。
符号の説明
２１…ストリーム分割部
２２〜２５…メモリ
２６…並列コントローラ
２７…出力部(出力コントローラ)
３１…ＣＡＢＡＣ復号化部
３２…サイド情報抽出部
３３…抽出コントローラ
２０１…ストリーム送信部
２０２，２０２Ａ…並列ストリーム送信部
２０３…分割指示部
２０４ａ〜２０４ｃ…ＣＡＢＡＣ復号部

Claims (6)

  1. 符号化ストリームデータを出力するストリーム送信部と、
    分割ポイント情報を生成して前記符号化ストリームデータの分割ポイントを指示するための分割指示部と、
    前記ストリーム送信部より出力される符号化ストリームデータ及び該符号化ストリームデータに基づいて抽出される、ストリーム途中からの復号に必要なサイド情報を、前記分割ポイント情報にて指示された分割ポイントで所定数に分割し、並列化して、受信側のストリーム復号部へ送信する並列ストリーム送信部と、を具備し、
    前記並列ストリーム送信部は、
    入力される符号化ストリームデータを、前記分割指示部からの分割ポイント情報にて指示された分割ポイントで所定数に分割して順次出力すると同時に、該符号化ストリームデータに基づいて抽出される前記分割の数と同じ所定数に分割されたサイド情報を順次出力するストリーム分割部と、
    前記ストリーム分割部で順次分割された符号化ストリームデータ及びサイド情報を順次記憶する記憶部と、
    前記ストリーム分割部で符号化ストリームデータ及びサイド情報を順次分割して前記記億部に順次記憶させるための制御を行う並列コントローラと、
    前記記憶部に記憶した所定数の符号化ストリームデータ及びサイド情報を並列化して出力する出力部と、
    を備えたことを特徴とする画像情報伝送装置。
  2. 前記並列ストリーム送信部は、前記ストリーム分割部で順次分割されたサイド情報を圧縮し、圧縮済みのサイド情報を記憶部に出力する圧縮部を備えたことを特徴とする請求項１に記載の画像情報伝送装置。
  3. 前記圧縮部は、直前のサイド情報を記憶する直前サイド情報記憶部と、入力されたサイド情報と前記直前のサイド情報との差分を求める減算器とを備え、前記減算器の出力を圧縮済みのサイド情報として出力することを特徴とする請求項２に記載の画像情報伝送装置。
  4. 前記ストリーム分割部は、
    入力される符号化ストリームデータを、内部情報のコンテキスト情報を基に復号するＣＡＢＡＣ復号化部と、
    前記ＣＡＢＡＣ復号化部よりコンテキスト情報及びcodIOffset/codIRangeを抽出するサイド情報抽出部と、
    前記分割ポイント情報と、前記ＣＡＢＡＣ復号化部からのシンタックス情報及び消費ビット数情報とに基づいて、前記符号化ストリームデータの分割動作及び前記サイド情報抽出部の抽出動作を制御する抽出コントローラと、
    を備えたことを特徴とする請求項１に記載の画像情報伝送装置。
  5. 前記並列ストリーム送信部は、入力される符号化ストリームデータを、前記分割ポイント情報に基づいて１スライス単位の中で所定数に分割することを特徴とする請求項１に記載の画像情報伝送装置。
  6. 前記並列ストリーム送信部は、入力される符号化ストリームデータを、前記分割ポイント情報に基づいて複数スライスに跨って所定数に分割することを特徴とする請求項１に記載の画像情報伝送装置。
JP2008123757A 2008-05-09 2008-05-09 画像情報伝送装置 Expired - Fee Related JP4875024B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008123757A JP4875024B2 (ja) 2008-05-09 2008-05-09 画像情報伝送装置
US12/407,425 US8335264B2 (en) 2008-05-09 2009-03-19 Image information transmission apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008123757A JP4875024B2 (ja) 2008-05-09 2008-05-09 画像情報伝送装置

Publications (2)

Publication Number Publication Date
JP2009273036A JP2009273036A (ja) 2009-11-19
JP4875024B2 true JP4875024B2 (ja) 2012-02-15

Family

ID=41266848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008123757A Expired - Fee Related JP4875024B2 (ja) 2008-05-09 2008-05-09 画像情報伝送装置

Country Status (2)

Country Link
US (1) US8335264B2 (ja)
JP (1) JP4875024B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100127904A1 (en) * 2008-11-26 2010-05-27 Horizon Semiconductors Ltd. Implementation of a rapid arithmetic binary decoding system of a suffix length
US8638850B2 (en) * 2009-05-06 2014-01-28 Advanced Micro Devices, Inc. Execution units for context adaptive binary arithmetic coding (CABAC)
EP2264604A1 (en) * 2009-06-15 2010-12-22 Thomson Licensing Device for real-time streaming of two or more streams in parallel to a solid state memory device array
KR101631944B1 (ko) * 2009-10-30 2016-06-20 삼성전자주식회사 복호화 가속화를 위한 엔트로피 부호화 방법과 그 장치 및 엔트로피 복호화 방법과 그 장치
US8487791B2 (en) * 2010-02-18 2013-07-16 Research In Motion Limited Parallel entropy coding and decoding methods and devices
EP2381685B1 (en) * 2010-04-13 2019-01-02 BlackBerry Limited Methods and devices for load balancing in parallel entropy coding and decoding
US8174414B2 (en) 2010-04-13 2012-05-08 Research In Motion Limited Methods and devices for load balancing in parallel entropy coding and decoding
WO2011135829A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 符号化方法及び復号方法
WO2011143780A1 (en) 2010-05-21 2011-11-24 Research In Motion Limited Methods and devices for reducing sources in binary entropy coding and decoding
WO2012006738A1 (en) 2010-07-13 2012-01-19 Research In Motion Limited Methods and devices for data compression using context-based coding order
CA2798125C (en) 2010-07-28 2016-04-05 Research In Motion Limited Method and device for compression of binary sequences by grouping multiple symbols
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
KR101181478B1 (ko) * 2010-10-28 2012-09-10 삼성에스디에스 주식회사 데이터 전송 장치 및 방법, 데이터 수신 장치 및 방법, 그리고 데이터 송수신 시스템
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2977111A1 (fr) 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
TWI514851B (zh) * 2012-02-15 2015-12-21 Novatek Microelectronics Corp 影像編碼／解碼系統與其方法
CN103260023A (zh) * 2012-02-21 2013-08-21 联咏科技股份有限公司 图像编码/解码系统与其方法
US9124872B2 (en) 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
US10009606B2 (en) * 2012-10-11 2018-06-26 Nvidia Corporation Low power context adaptive binary arithmetic decoder engine
US9596279B2 (en) * 2013-02-08 2017-03-14 Dell Products L.P. Cloud-based streaming data receiver and persister
US9141680B2 (en) 2013-02-11 2015-09-22 Dell Products L.P. Data consistency and rollback for cloud analytics
US9191432B2 (en) 2013-02-11 2015-11-17 Dell Products L.P. SAAS network-based backup system
US9442993B2 (en) 2013-02-11 2016-09-13 Dell Products L.P. Metadata manager for analytics system
US10275425B2 (en) * 2017-02-14 2019-04-30 Henry Edward Kernan Method for compressing, slicing, and transmitting image files for display and interpretation

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6438866A (en) * 1987-08-05 1989-02-09 Hitachi Ltd Document editing device
KR970001905B1 (ko) * 1987-08-28 1997-02-18 혼다 기껜 고오교오 가부시기가이샤 정보처리 시스템 및 그것을 사용한 편집장치
FR2679353B1 (fr) * 1991-07-17 1997-01-03 Bull Sa Procede de mise en page de documents structures.
JPH0594433A (ja) * 1991-10-02 1993-04-16 Fuji Xerox Co Ltd 文書処理装置
JP2579397B2 (ja) * 1991-12-18 1997-02-05 インターナショナル・ビジネス・マシーンズ・コーポレイション 文書画像のレイアウトモデルを作成する方法及び装置
US5701500A (en) * 1992-06-02 1997-12-23 Fuji Xerox Co., Ltd. Document processor
US5422743A (en) * 1992-12-23 1995-06-06 Xerox Corporation Operator invoked document defect repair templates
US6002798A (en) * 1993-01-19 1999-12-14 Canon Kabushiki Kaisha Method and apparatus for creating, indexing and viewing abstracted documents
US5848184A (en) * 1993-03-15 1998-12-08 Unisys Corporation Document page analyzer and method
US5848186A (en) * 1995-08-11 1998-12-08 Canon Kabushiki Kaisha Feature extraction system for identifying text within a table image
US5727220A (en) * 1995-11-29 1998-03-10 International Business Machines Corporation Method and system for caching and referencing cached document pages utilizing a presentation data stream
JPH11120185A (ja) * 1997-10-09 1999-04-30 Canon Inc 情報処理装置及びその方法
US6562077B2 (en) * 1997-11-14 2003-05-13 Xerox Corporation Sorting image segments into clusters based on a distance measurement
US5999664A (en) * 1997-11-14 1999-12-07 Xerox Corporation System for searching a corpus of document images by user specified document layout components
US6456738B1 (en) * 1998-07-16 2002-09-24 Ricoh Company, Ltd. Method of and system for extracting predetermined elements from input document based upon model which is adaptively modified according to variable amount in the input document
JP3879350B2 (ja) * 2000-01-25 2007-02-14 富士ゼロックス株式会社 構造化文書処理システム及び構造化文書処理方法
AU2001264928A1 (en) * 2000-05-25 2001-12-03 Kanisa Inc. System and method for automatically classifying text
US6941521B2 (en) * 2002-03-29 2005-09-06 Intel Corporation Method for dynamically generating a user interface from XML-based documents
JP4658598B2 (ja) * 2002-07-01 2011-03-23 マイクロソフト コーポレーション ストリームに埋め込まれた反復オブジェクトに対するユーザ制御を提供するシステムおよび方法
US7761787B2 (en) * 2002-12-02 2010-07-20 Siemens Medical Solutions Usa, Inc. Document generation system and user interface for producing a user desired document
US8056001B2 (en) * 2003-04-10 2011-11-08 Hewlett-Packard Development Company, L.P. Method and apparatus for classifying elements of a document
JP4014160B2 (ja) * 2003-05-30 2007-11-28 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、プログラム、及び記録媒体
US20050067482A1 (en) * 2003-09-26 2005-03-31 Wu Daniel Huong-Yu System and method for data capture and management
US7613351B2 (en) * 2004-05-21 2009-11-03 Broadcom Corporation Video decoder with deblocker within decoding loop
JP2006086964A (ja) * 2004-09-17 2006-03-30 Toshiba Corp ビットレート変換装置およびビットレート変換方法
DE102005032046A1 (de) * 2005-07-08 2007-01-11 Océ Document Technologies GmbH Verfahren, System und Computerprogramm-Produkt zum Übertragen von Daten aus einer Dokumentenanwendung in eine Datenanwendung
US9348799B2 (en) * 2005-12-09 2016-05-24 Adobe Systems Incorporated Forming a master page for an electronic document
JP4211780B2 (ja) * 2005-12-27 2009-01-21 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
GB2448275A (en) * 2006-01-03 2008-10-08 Kyos Systems Inc Document analysis system for integration of paper records into a searchable electronic database
US8064096B2 (en) * 2006-02-22 2011-11-22 Xerox Corporation Document template derived from variable data print file
JP2007295392A (ja) 2006-04-26 2007-11-08 Toshiba Corp 情報処理装置、復号処理方法、およびプログラム
US7656326B2 (en) * 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
JP4660433B2 (ja) * 2006-06-29 2011-03-30 株式会社東芝 符号化回路、復号回路、エンコーダ回路、デコーダ回路、ｃａｂａｃ処理方法
US7554468B2 (en) * 2006-08-25 2009-06-30 Sony Computer Entertainment Inc, Entropy decoding methods and apparatus using most probable and least probable signal cases
JP5042568B2 (ja) * 2006-09-07 2012-10-03 富士通株式会社 Ｍｐｅｇデコーダ及びｍｐｅｇエンコーダ
US8189920B2 (en) * 2007-01-17 2012-05-29 Kabushiki Kaisha Toshiba Image processing system, image processing method, and image processing program
US8351706B2 (en) * 2007-07-24 2013-01-08 Sharp Kabushiki Kaisha Document extracting method and document extracting apparatus
US8290272B2 (en) * 2007-09-14 2012-10-16 Abbyy Software Ltd. Creating a document template for capturing data from a document image and capturing data from a document image
US7925653B2 (en) * 2008-02-27 2011-04-12 General Electric Company Method and system for accessing a group of objects in an electronic document

Also Published As

Publication number Publication date
US8335264B2 (en) 2012-12-18
JP2009273036A (ja) 2009-11-19
US20090279613A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
JP4875024B2 (ja) 画像情報伝送装置
CN107018424B (zh) 图像处理装置和图像处理方法
JP4789265B2 (ja) 圧縮ビデオの高速チャンネル変更を可能にする復号化方法および装置
JPWO2018061837A1 (ja) 画像処理装置および方法
WO2013100694A1 (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치
CN104662916A (zh) 在图片及子图片时序补充增强信息消息中发信的经译码图片缓冲器移除时间
US9706230B2 (en) Data encoding and decoding
US9924163B2 (en) Image processing apparatus and image processing method
CN107087204A (zh) 图像解码方法及使用其的装置
US9326011B2 (en) Method and apparatus for generating bitstream based on syntax element
US9723308B2 (en) Image processing apparatus and image processing method
WO2012005106A1 (ja) 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
US8660188B2 (en) Variable length coding apparatus, and method and integrated circuit of the same
WO2018152749A1 (en) Coding block bitstream structure and syntax in video coding systems and methods
EP2863644A1 (en) Display apparatus and method for channel changing
US20150319460A1 (en) Image processing device and method
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image
JP4366591B2 (ja) 映像再生装置
KR100988622B1 (ko) 영상 부호화 방법, 복호화 방법, 영상 표시 장치 및 그기록 매체
JP4762340B2 (ja) 信号処理装置及び信号処理方法
JP2011109390A (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法
KR102459734B1 (ko) 영상처리장치 및 그 제어방법
JP6382728B2 (ja) 復号方法及び復号装置
JP5819754B2 (ja) 画像符号化装置
CN104243993A (zh) 图像处理装置和图像处理方法、程序和成像设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees