JP5177400B2 - エンコーダ - Google Patents

エンコーダ Download PDF

Info

Publication number
JP5177400B2
JP5177400B2 JP2008113430A JP2008113430A JP5177400B2 JP 5177400 B2 JP5177400 B2 JP 5177400B2 JP 2008113430 A JP2008113430 A JP 2008113430A JP 2008113430 A JP2008113430 A JP 2008113430A JP 5177400 B2 JP5177400 B2 JP 5177400B2
Authority
JP
Japan
Prior art keywords
data
processing unit
unit
upper data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008113430A
Other languages
English (en)
Other versions
JP2009267668A (ja
Inventor
正弘 森山
祐次郎 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2008113430A priority Critical patent/JP5177400B2/ja
Publication of JP2009267668A publication Critical patent/JP2009267668A/ja
Application granted granted Critical
Publication of JP5177400B2 publication Critical patent/JP5177400B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化処理を実行するエンコーダにおいて、符号化処理の負担を減少させるとともに、符号化処理の効率を向上させる技術に関する。
エンコーダは、入力画像を入力して、圧縮画像を出力する。最初に、エンコーダは、入力画像を入力して、入力画像について周波数変換を実行して、直流成分および交流成分を生成する。次に、エンコーダは、直流成分および交流成分について量子化を実行して、量子化された直流成分および交流成分を生成する。最後に、エンコーダは、量子化された直流成分および交流成分について符号化を実行して、圧縮画像を出力する。
量子化された直流成分および交流成分のうち、上位ビットの符号化率は高いが、下位ビットの符号化率は低い。そのため、エンコーダが上位ビットについて符号化を実行するとともに、下位ビットについて符号化を実行する方法では、符号化処理の負担は増大する。そして、エンコーダが上位ビットについて符号化を実行するが、下位ビットについて符号化を実行しない方法では、符号化処理の負担は減少する。非特許文献1および非特許文献2が開示する画像圧縮技術は、後者の方法により符号化処理の負担を減少できる。
"HD Photo−Photographic Still Image File Format"、[online]、平成18年11月7日、Microsoft Corporation、[平成20年4月14日検索]、インターネット<URL:http://www.microsoft.com/whdc/xps/hdphotodpk.mspx> "Coding of Still Pictures"、[online]、平成19年12月19日、International Organisation for Standardisation and International Electrotechnical Commission、[平成20年4月14日検索]、インターネット<URL:http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc>
図10は、従来技術における交流成分符号化部14Bの構成要素を示すブロック図である。図11は、従来技術における符号化処理の流れを示すタイムチャートである。図10および図11において、エンコーダの処理単位は、4×4の画像領域から構成されて、1個の直流成分および15個の交流成分を生成する。
図10において、交流成分符号化部14Bは、メモリ141B、上位データ処理部142B、下位データ処理部143B、バッファ144Bなどから構成される。
メモリ141Bは、処理単位の全体データを、交流成分符号化部14Bの外部から入力して格納する。ここで、全体データとは、量子化された交流成分のうち、上位ビットのデータおよび下位ビットのデータをともに合わせたデータである。
上位データ処理部142Bは、処理単位の上位データを、メモリ141Bから読み出して処理する。そして、上位データ処理部142Bは、処理された処理単位の上位データを、バッファ144Bに書き込む。ここで、上位データとは、量子化された交流成分のうち、上位ビットのデータである。具体的には、上位データ処理部142Bは、15個の上位データを係数スキャンにより配列するとともに、15個の上位データを符号化する。
下位データ処理部143Bは、処理単位の下位データを、メモリ141Bから読み出して処理する。そして、下位データ処理部143Bは、処理された処理単位の下位データを、バッファ144Bに書き込む。ここで、下位データとは、量子化された交流成分のうち、下位ビットのデータである。具体的には、下位データ処理部143Bは、15個の下位データを通常スキャンにより配列するが、15個の下位データを符号化しない。
バッファ144Bは、処理された処理単位の上位データを、上位データ処理部142Bから入力して格納するとともに、処理された処理単位の下位データを、下位データ処理部143Bから入力して格納する。そして、バッファ144Bは、処理された処理単位の上位データおよび下位データを、交流成分符号化部14Bの外部に混成させずに出力する。
ここで、バッファ144Bは、FIFO(First−In First−Out)である。すなわち、バッファ144Bは、処理された処理単位の上位データを入力した後に、処理された処理単位の下位データを入力する。そして、バッファ144Bは、処理された処理単位の上位データを出力した後に、処理された処理単位の下位データを出力する。これにより、バッファ144Bは、処理された処理単位の上位データおよび下位データを混成させずに出力する。
図11において、横軸方向に、時間の経過が左端から右端まで記載されている。縦軸方向に、期間、クロック、全体データの入力処理、上位データの処理、下位データの処理、出力データの出力処理が、以上の順序により上端から下端まで記載されている。1期間は1クロック周期に対応する。ここで、1クロック分の時間内に、1個の交流成分が処理される。すなわち、15クロック分の時間内に、処理単位の交流成分が処理される。
期間T101から期間T115までの15期間において、第1処理単位の全体データがメモリ141Bに格納される。期間T201から期間T215までの15期間において、第2処理単位の全体データがメモリ141Bに格納される。期間T301から15期間において、第3処理単位の全体データがメモリ141Bに格納される。
期間T103から期間T202までの15期間において、第1処理単位の上位データが上位データ処理部142Bにより処理されて、バッファ144Bに格納される。期間T104から期間T203までの15期間において、第1処理単位の上位データがバッファ144Bから出力される。
ここで、第1処理単位の上位データおよび第1処理単位の下位データが、混成されて出力されることがないようにする必要がある。そのため、期間T103から期間T202までの15期間において、第1処理単位の下位データが下位データ処理部143Bにより処理されることはなく、バッファ144Bに格納されることはない。
期間T203から期間T302までの15期間において、第1処理単位の下位データが下位データ処理部143Bにより処理されて、バッファ144Bに格納される。期間T204から期間T303までの15期間において、第1処理単位の下位データがバッファ144Bから出力される。
ここで、第1処理単位の下位データおよび第2処理単位の上位データが、混成されて出力されることがないようにする必要がある。そのため、期間T203から期間T302までの15期間において、第2処理単位の上位データが上位データ処理部142Bにより処理されることはなく、バッファ144Bに格納されることはない。
以上の処理が繰り返し実行される。すなわち、ある処理単位について、上位データおよび下位データが、異なる期間において処理される。そして、その処理単位について、上位データおよび下位データが、混成されることなく出力される。そのため、符号化処理の負担は減少されるが、符号化処理の効率は向上されない。
そこで、本発明は前記問題点に鑑み、符号化処理を実行するエンコーダにおいて、符号化処理の負担を減少させるとともに、符号化処理の効率を向上させる技術を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明は、入力画像から周波数変換画像を生成する周波数変換部と、前記周波数変換画像から量子化画像を生成する量子化部と、前記量子化画像から符号化データを生成する符号化部と、を備えるエンコーダであって、前記符号化部は、前記量子化画像の各画素値データを、所定上位ビット数の各上位データと、所定下位ビット数の各下位データと、に分割する画素値データ分割部と、符号化処理単位の各上位データを配列して符号化することにより、上位符号化データを生成する上位データ処理部と、符号化処理単位の各下位データを符号化せず配列することにより、下位符号化データを生成する下位データ処理部と、前記上位データ処理部により生成された上位符号化データを格納する上位データ用バッファと、前記下位データ処理部により生成された下位符号化データを格納する下位データ用バッファと、前記上位符号化データと前記下位符号化データを混成させないように、前記上位データ用バッファに格納された上位符号化データと前記下位データ用バッファに格納された下位符号化データを前記符号化部の外部に出力するセレクタ部と、を含み、前記生成された上位符号化データが前記上位データ用バッファに書き込まれる期間に、前記生成された下位符号化データが前記下位データ用バッファに書き込まれることを特徴とする。
請求項2記載の発明は、請求項1に記載のエンコーダにおいて、前記セレクタ部は、前記上位符号化データのうち各上位データに対応するデータのビット数より大きく、かつ、前記下位符号化データのうち各下位データに対応するデータのビット数より大きい出力バス幅を有することを特徴とする。
請求項3記載の発明は、請求項1または請求項2に記載のエンコーダにおいて、前記符号化部は、符号化処理単位の各上位データが前記上位データ処理部に出力される前に、符号化処理単位の各上位データを格納する上位データ用メモリと、符号化処理単位の各下位データが前記下位データ処理部に出力される前に、符号化処理単位の各下位データを格納する下位データ用メモリと、を含むことを特徴とする。
請求項4記載の発明は、請求項3に記載のエンコーダにおいて、前記画素値データ分割部は、前記上位データ処理部が符号化処理単位の各上位データを配列する順序に関係なく、符号化処理単位の各上位データを前記上位データ用メモリに書き込む上位データ書込部、を含み、前記上位データ処理部は、前記上位データ書込部が符号化処理単位の各上位データを前記上位データ用メモリに書き込む順序に関係なく、符号化処理単位の各上位データを配列する順序に従って、符号化処理単位の各上位データを前記上位データ用メモリから読み出す上位データ読出部、を含むことを特徴とする。
請求項5記載の発明は、請求項3に記載のエンコーダにおいて、前記画素値データ分割部は、前記上位データ処理部が符号化処理単位の各上位データを配列する順序に従って、符号化処理単位の各上位データを前記上位データ用メモリに書き込む上位データ書込部、を含み、前記上位データ処理部は、前記上位データ書込部が符号化処理単位の各上位データを前記上位データ用メモリに書き込む順序に従って、符号化処理単位の各上位データを前記上位データ用メモリから読み出す上位データ読出部、を含むことを特徴とする。
請求項6記載の発明は、請求項3ないし請求項5のいずれかに記載のエンコーダにおいて、前記上位データ用メモリは、2個の上位データ用シングルポートメモリ、を含み、前記下位データ用メモリは、2個の下位データ用シングルポートメモリ、を含むことを特徴とする。
請求項7記載の発明は、請求項3ないし請求項5のいずれかに記載のエンコーダにおいて、前記上位データ用メモリは、読み出しアクセスと書き込みアクセスを同時に実行可能な1個の上位データ用同時アクセス可能メモリ、を含み、前記下位データ用メモリは、読み出しアクセスと書き込みアクセスを同時に実行可能な1個の下位データ用同時アクセス可能メモリ、を含むことを特徴とする。
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載のエンコーダにおいて、前記周波数変換部は、任意の階層数の周波数変換を実行する階層周波数変換部、を含み、前記量子化部は、各階層の交流成分と最下位階層の直流成分をそれぞれ量子化する階層量子化部、を含み、前記符号化部は、各階層の交流成分と前記最下位階層の直流成分をそれぞれ符号化することを特徴とする。
請求項9記載の発明は、請求項1ないし請求項7のいずれかに記載のエンコーダにおいて、前記周波数変換部は、2階層の周波数変換を実行する2階層周波数変換部、を含み、前記量子化部は、第1階層の交流成分と、第2階層の交流成分と、前記第2階層の直流成分と、をそれぞれ量子化する2階層量子化部、を含み、前記符号化部は、前記第1階層の交流成分と、前記第2階層の交流成分と、前記第2階層の直流成分と、をそれぞれ符号化することを特徴とする。
本発明におけるエンコーダは、周波数変換部、量子化部、符号化部を備える。符号化部は、画素値データ分割部、上位データ処理部、下位データ処理部、上位データ用バッファ、下位データ用バッファ、セレクタ部を備える。
画素値データ分割部は、全体データを上位データおよび下位データに分割する。上位データ処理部および下位データ処理部は、それぞれ、上位データおよび下位データを処理する。上位データ用バッファおよび下位データ用バッファは、それぞれ、上位データおよび下位データを格納する。セレクタ部は、処理単位の上位データおよび下位データを混成させないように、処理単位の上位データおよび下位データを出力する。
符号化部は、上位データ用バッファおよび下位データ用バッファを備えることにより、ある処理単位について、上位データおよび下位データを、同一の期間において処理できる。符号化部は、セレクタ部を備えることにより、その処理単位について、上位データおよび下位データを、混成させることなく出力できる。本発明におけるエンコーダは、符号化処理の負担を減少できるとともに、符号化処理の効率を向上できる。
{エンコーダの構成要素および処理内容}
以下、図面を参照しつつ、本発明の実施の形態について説明する。図1は、エンコーダ1の構成要素を示すブロック図である。エンコーダ1は、入力画像を入力して、圧縮画像を出力する。エンコーダ1は、周波数変換部11、周波数変換部12、量子化部13、符号化部14などから構成される。
周波数変換部11は、第1階層の周波数変換を実行する。すなわち、周波数変換部11は、エンコーダ1の外部から入力画像を入力して、量子化部13に第1階層の交流成分を出力して、周波数変換部12に第1階層の直流成分を出力する。
周波数変換部12は、第2階層の周波数変換を実行する。すなわち、周波数変換部12は、周波数変換部11から第1階層の直流成分を入力して、量子化部13に第2階層の直流成分および交流成分を出力する。
量子化部13は、周波数変換部11から第1階層の交流成分を入力して、周波数変換部12から第2階層の直流成分および交流成分を入力して、これらの成分について量子化を実行する。そして、量子化部13は、符号化部14に量子化係数を出力する。
符号化部14は、量子化部13から量子化された第1階層の交流成分、量子化された第2階層の直流成分および交流成分を入力して、これらの成分について符号化を実行する。そして、符号化部14は、エンコーダ1の外部に圧縮画像を出力する。
エンコーダ1は、各階層の周波数変換を実行して、各階層における各成分について量子化および符号化を実行する。エンコーダ1は、効率的な画像圧縮を実行できる。
図2(a)は、第1階層の直流成分および交流成分を示す概念図である。周波数変換部11は、4×4の画像領域を処理単位として、第1階層の周波数変換を実行する。
具体的には、周波数変換部11は、入力画像を入力して、4×4の画像領域を形成する。そして、周波数変換部11は、この4×4の画像領域について周波数変換を実行して、直流成分A01、交流成分B01、B02、・・・、B14、B15を出力する。
周波数変換部11は、上述以外の4×4の画像領域について周波数変換を実行して、(直流成分A02、交流成分B16)、(直流成分A03、交流成分B17)、・・・、(直流成分A15、交流成分B29)、(直流成分A16、交流成分B30)を出力する。
量子化部13および符号化部14は、図2(a)に示した4×4の画像領域を処理単位として、第1階層の交流成分について、量子化および符号化を実行する。具体的には、量子化部13および符号化部14は、1処理単位として交流成分B01、B02、・・・、B14、B15について、量子化および符号化を実行する。
図2(b)は、第2階層の直流成分および交流成分を示す概念図である。周波数変換部12は、4×4の画像領域を処理単位として、第2階層の周波数変換を実行する。
具体的には、周波数変換部12は、直流成分A01、A02、・・・、A15、A16を入力して、4×4の画像領域を形成する。そして、周波数変換部12は、この4×4の画像領域について周波数変換を実行して、直流成分C01、交流成分D01、D02、・・・、D14、D15を出力する。
量子化部13および符号化部14は、図2(b)に示した4×4の画像領域を処理単位として、第2階層の直流成分および交流成分について、量子化および符号化を実行する。具体的には、量子化部13および符号化部14は、1処理単位として直流成分C01、交流成分D01、D02、・・・、D14、D15について、量子化および符号化を実行する。
{交流成分符号化部の構成要素および処理内容}
図3は、本発明における交流成分符号化部14Aの構成要素を示すブロック図である。交流成分符号化部14Aは、符号化部14の構成要素であり、第1階層および第2階層の交流成分について符号化を実行する。
交流成分符号化部14Aは、第1階層の交流成分について符号化を実行するときには、具体例として、図2(a)に示した交流成分B01、B02、・・・、B14、B15を処理単位として、符号化を実行する。
交流成分符号化部14Aは、第2階層の交流成分について符号化を実行するときには、具体例として、図2(b)に示した交流成分D01、D02、・・・、D14、D15を処理単位として、符号化を実行する。
以下の説明において、全体データとは、量子化された交流成分のうち、上位ビットのデータおよび下位ビットのデータをともに合わせたデータである。上位データとは、量子化された交流成分のうち、上位ビットのデータである。下位データとは、量子化された交流成分のうち、下位ビットのデータである。
交流成分符号化部14Aは、全体データ分割部141A、上位データ用メモリ142A、上位データ処理部143A、上位データ用バッファ144A、下位データ用メモリ145A、下位データ処理部146A、下位データ用バッファ147A、セレクタ部148Aなどから構成される。
全体データ分割部141Aは、処理単位の全体データを、交流成分符号化部14Aの外部から入力して、処理単位の上位データおよび下位データに分割する。そして、全体データ分割部141Aは、処理単位の上位データを、上位データ用メモリ142Aに書き込み、処理単位の下位データを、下位データ用メモリ145Aに書き込む。全体データ分割部141Aにおける処理の流れについては、図4を用いて詳述する。
上位データ用メモリ142Aは、処理単位の上位データを、全体データ分割部141Aから入力して格納する。上位データ用メモリ142Aは、処理単位の下位データについては、全体データ分割部141Aから入力して格納することはない。
上位データ処理部143Aは、処理単位の上位データを、上位データ用メモリ142Aから読み出して処理する。そして、上位データ処理部143Aは、処理された処理単位の上位データを、上位データ用バッファ144Aに書き込む。上位データ処理部143Aにおける処理の流れについては、図6を用いて詳述する。
上位データ用バッファ144Aは、処理された処理単位の上位データを、上位データ処理部143Aから入力して格納する。上位データ用バッファ144Aは、処理された処理単位の下位データについては、格納することはない。
ここで、上位データ用バッファ144Aは、FIFOである。すなわち、上位データ用バッファ144Aは、処理されたある処理単位の上位データを入力した後に、処理された次の処理単位の上位データを入力する。そして、上位データ用バッファ144Aは、処理された当該ある処理単位の上位データを出力した後に、処理された当該次の処理単位の上位データを出力する。
下位データ用メモリ145Aは、処理単位の下位データを、全体データ分割部141Aから入力して格納する。下位データ用メモリ145Aは、処理単位の上位データについては、全体データ分割部141Aから入力して格納することはない。
下位データ処理部146Aは、処理単位の下位データを、下位データ用メモリ145Aから読み出して処理する。そして、下位データ処理部146Aは、処理された処理単位の下位データを、下位データ用バッファ147Aに書き込む。下位データ処理部146Aにおける処理の流れについては、図8を用いて詳述する。
下位データ用バッファ147Aは、処理された処理単位の下位データを、下位データ処理部146Aから入力して格納する。下位データ用バッファ147Aは、処理された処理単位の上位データについては、格納することはない。
ここで、下位データ用バッファ147Aは、FIFOである。すなわち、下位データ用バッファ147Aは、処理されたある処理単位の下位データを入力した後に、処理された次の処理単位の下位データを入力する。そして、下位データ用バッファ147Aは、処理された当該ある処理単位の下位データを出力した後に、処理された当該次の処理単位の下位データを出力する。
セレクタ部148Aは、処理された処理単位の上位データおよび下位データを、それぞれ、上位データ用バッファ144Aおよび下位データ用バッファ147Aから入力して、交流成分符号化部14Aの外部に出力する。
ここで、セレクタ部148Aは、処理された処理単位の上位データを入力して出力するときには、処理された処理単位の下位データを入力して出力することはない。また、セレクタ部148Aは、処理された処理単位の下位データを入力して出力するときには、処理された処理単位の上位データを入力して出力することはない。
すなわち、セレクタ部148Aは、処理された処理単位の上位データを入力して出力した後に、処理された処理単位の下位データを入力して出力することにより、処理された処理単位の上位データおよび下位データを混成させずに出力する。
さらに、セレクタ部148Aの出力バス幅は、処理された1個の上位データのビット数、および、処理された1個の下位データのビット数より大きい。すなわち、セレクタ部148Aは、処理された処理単位の上位データを出力するときには、処理された1個の上位データのビット数より多いビット数のデータを同時に出力できる。また、セレクタ部148Aは、処理された処理単位の下位データを出力するときには、処理された1個の下位データのビット数より多いビット数のデータを同時に出力できる。
{全体データを分割する流れ}
図4は、全体データ分割部141Aにおける、全体データを分割する流れを示すフローチャートである。全体データ分割部141Aは、処理単位の全体データを、交流成分符号化部14Aの外部から入力する。そして、全体データ分割部141Aは、処理単位の全体データを、処理単位の上位データおよび下位データに分割する(ステップS1)。
処理単位の上位データは、処理単位の画像特性を反映する程度が高い。そのため、処理単位の上位データは、符号化を実行されるならば符号化率が高い。処理単位の下位データは、処理単位の画像特性を反映する程度が低い。そのため、処理単位の下位データは、符号化を実行されるならば符号化率が低い。
そこで、全体データ分割部141Aは、処理単位の全体データの符号化率を総合的に考慮することにより、処理単位の上位データおよび下位データのビット数を設定する。そして、上位データ処理部143Aは、処理単位の上位データについて、符号化を実行する。しかし、下位データ処理部146Aは、処理単位の下位データについて、符号化を実行しない。そのため、交流成分符号化部14Aは、符号化処理の負担を減少できる。
全体データ分割部141Aは、処理単位のデータを分割するときには(ステップS1)、分割前の処理単位のデータに含まれる正負の符号情報が、分割後の処理単位のデータにも含まれるようにする(ステップS2からステップS4まで)。
処理単位の上位データが0であり(ステップS2においてYES)、処理単位の下位データが0でない(ステップS3においてNO)ときについて考える。全体データ分割部141Aは、処理単位の上位データに正負の符号情報が含まれていないと判断するため、正負の符号情報を示す符号ビットを、処理単位の下位データに付加する(ステップS4)。
処理単位の上位データが0でない(ステップS2においてNO)ときについて考える。全体データ分割部141Aは、処理単位の上位データに正負の符号情報が含まれていると判断するため、正負の符号情報を示す符号ビットを、処理単位の下位データに付加することはない。処理単位の下位データが0であるときにも0でないときにも同様である。
処理単位の上位データが0であり(ステップS2においてYES)、処理単位の下位データが0である(ステップS3においてYES)ときについて考える。全体データ分割部141Aは、処理単位の全体データが元来0であると判断するため、正負の符号情報を示す符号ビットを、処理単位の下位データに付加することはない。
全体データ分割部141Aは、処理単位の上位データを、通常スキャンにより、上位データ用メモリ142Aに書き込む(ステップS5)。通常スキャンは、図5に示したように実行される。通常スキャンは、交流成分が低周波成分であるか高周波成分であるかに依存せず、交流成分をラインスキャンなどによりスキャンすることである。通常スキャンは、例えば、交流成分Y01、Y02、Y03、Y04、Y05、Y06、Y07、Y08、Y09、Y10、Y11、Y12、Y13、Y14、Y15の順序により、4×4の画像領域を処理単位として実行される。直流成分X01は、交流成分符号化部14Aにおいて、通常スキャンを実行されることはない。
全体データ分割部141Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B02、B03、B04、B05、B06、B07、B08、B09、B10、B11、B12、B13、B14、B15の上位データを、以上の順序により上位データ用メモリ142Aに書き込む。
全体データ分割部141Aは、第2階層の交流成分を取り扱うときには、例えば、交流成分D01、D02、D03、D04、D05、D06、D07、D08、D09、D10、D11、D12、D13、D14、D15の上位データを、以上の順序により上位データ用メモリ142Aに書き込む。
全体データ分割部141Aは、処理単位の下位データを、通常スキャンにより、下位データ用メモリ145Aに書き込む(ステップS6)。通常スキャンは、図5に示したように実行される。すなわち、処理単位の上位データおよび下位データに対して、通常スキャンは同様に実行される。
全体データ分割部141Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B02、B03、B04、B05、B06、B07、B08、B09、B10、B11、B12、B13、B14、B15の下位データを、以上の順序により下位データ用メモリ145Aに書き込む。
全体データ分割部141Aは、第2階層の交流成分を取り扱うときには、例えば、交流成分D01、D02、D03、D04、D05、D06、D07、D08、D09、D10、D11、D12、D13、D14、D15の下位データを、以上の順序により下位データ用メモリ145Aに書き込む。
{上位データを処理する流れ}
図6は、上位データ処理部143Aにおける、上位データを処理する流れを示すフローチャートである。上位データ処理部143Aは、処理単位の上位データを、係数スキャンにより、上位データ用メモリ142Aから読み出す(ステップS11)。すなわち、処理単位の上位データは、上位データメモリ142Aに書き込まれた順序とは関係なく、上位データ用メモリ142Aから読み出される。
係数スキャンは、図7に示したように実行される。係数スキャンは、交流成分が低周波成分であるか高周波成分であるかに依存して、交流成分をジグザグスキャンなどによりスキャンすることである。係数スキャンは、例えば、交流成分Y01、Y04、Y08、Y05、Y02、Y03、Y06、Y09、Y12、Y13、Y10、Y07、Y11、Y14、Y15の順序により、4×4の画像領域を処理単位として実行される。係数スキャンは、処理単位の上位データの種類に適応して、以上の順序とは異なる順序により、4×4の画像領域を処理単位として実行されてもよい。直流成分X01は、交流成分符号化部14Aにおいて、係数スキャンを実行されることはない。
上位データ処理部143Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B04、B08、B05、B02、B03、B06、B09、B12、B13、B10、B07、B11、B14、B15の上位データを、以上の順序により上位データ用メモリ142Aから読み出す。
上位データ処理部143Aは、第2階層の交流成分を取り扱うときには、例えば、交流成分D01、D04、D08、D05、D02、D03、D06、D09、D12、D13、D10、D07、D11、D14、D15の上位データを、以上の順序により上位データ用メモリ142Aから読み出す。
上位データ処理部143Aは、処理単位の上位データを、上位データ用メモリ142Aから読み出した順序により配列する(ステップS12)。そして、上位データ処理部143Aは、処理単位の上位データについて、エントロピー符号化を実行して(ステップS13)、上位データ用バッファ144Aに書き込む(ステップS14)。
{下位データを処理する流れ}
図8は、下位データ処理部146Aにおける、下位データを処理する流れを示すフローチャートである。下位データ処理部146Aは、処理単位の下位データを、通常スキャンにより、下位データ用メモリ145Aから読み出す(ステップS21)。すなわち、処理単位の下位データは、下位データ用メモリ145Aに書き込まれた順序に従って、下位データ用メモリ145Aから読み出される。
下位データ処理部146Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B02、B03、B04、B05、B06、B07、B08、B09、B10、B11、B12、B13、B14、B15の下位データを、以上の順序により下位データ用メモリ145Aから読み出す。
下位データ処理部146Aは、第2階層の交流成分を取り扱うときには、例えば、交流成分D01、D02、D03、D04、D05、D06、D07、D08、D09、D10、D11、D12、D13、D14、D15の下位データを、以上の順序により下位データ用メモリ145Aから読み出す。
下位データ処理部146Aは、処理単位の下位データを、下位データ用メモリ145Aから読み出した順序により配列する(ステップS22)。そして、下位データ処理部146Aは、処理単位の下位データについて、エントロピー符号化を実行することなく、下位データ用バッファ147Aに書き込む(ステップS23)。
{符号化処理の流れ}
図9は、本発明における符号化処理の流れを示すタイムチャートである。横軸方向に、時間の経過が左端から右端まで記載されている。縦軸方向に、期間、クロック、全体データの入力処理、上位データの処理、下位データの処理、出力データの出力処理が、以上の順序により上端から下端まで記載されている。1期間は1クロック周期に対応する。ここで、1クロック分の時間内に、1個の交流成分が処理される。すなわち、15クロック分の時間内に、処理単位の交流成分が処理される。
期間T101から期間T115までの15期間において、第1処理単位の全体データについて、ステップS1からステップS6までの処理が実行される。期間T201から期間T215までの15期間において、第2処理単位の全体データについて、ステップS1からステップS6までの処理が実行される。期間T301から15期間において、第3処理単位の全体データについて、ステップS1からステップS6までの処理が実行される。
期間T103から期間T202までの15期間において、第1処理単位の上位データについて、ステップS11からステップS14までの処理が実行されて、第1処理単位の下位データについて、ステップS21からステップS23までの処理が実行される。
期間T203から期間T302までの15期間において、第2処理単位の上位データについて、ステップS11からステップS14までの処理が実行されて、第2処理単位の下位データについて、ステップS21からステップS23までの処理が実行される。
ある処理単位の上位データおよび下位データが、同一の期間において処理される理由について説明する。セレクタ部148Aは、その処理単位の上位データおよび下位データを、混成させることなく出力する必要がある。そして、上位データ用バッファ144Aおよび下位データ用バッファ147Aは、それぞれ、FIFOである。
しかし、上位データ用バッファ144Aおよび下位データ用バッファ147Aは、それぞれ、その処理単位の上位データおよび下位データについて、独立に用意されている。そのため、上位データ処理部143Aおよび下位データ処理部146Aは、それぞれ、その処理単位の上位データおよび下位データについて、上位データ用バッファ144Aおよび下位データ用バッファ147Aに並行して書き込める。
期間T104から期間T203までの15期間において、セレクタ部148Aは、第1処理単位の上位データについて、上位データ用バッファ144Aから読み出して、交流成分符号化部14Aの外部に出力する。
期間T204から期間T214までの15期間より短い期間において、セレクタ部148Aは、第1処理単位の下位データについて、下位データ用バッファ147Aから読み出して、交流成分符号化部14Aの外部に出力する。
第1処理単位の上位データが、15期間をかけて出力される理由について説明する。セレクタ部148Aの出力バス幅は、処理された1個の上位データのビット数より大きい。しかし、この期間の始めにおいて、第1処理単位の上位データは、上位データ処理部143Aにより、処理され始めたばかりである。そのため、セレクタ部148Aは、出力バス幅の大きさを生かして、高速に出力できない。
第1処理単位の下位データが、15期間より短い期間をかけて出力される理由について説明する。セレクタ部148Aの出力バス幅は、処理された1個の下位データのビット数より大きい。そして、この期間の始めにおいて、第1処理単位の下位データは、下位データ処理部146Aにより、処理され終えたところである。そのため、セレクタ部148Aは、出力バス幅の大きさを生かして、高速に出力できる。
以上の処理が繰り返し実行される。すなわち、ある処理単位について、上位データおよび下位データが、同一の期間において処理される。そして、その処理単位について、上位データおよび下位データが、混成されることなく高速に出力される。そのため、符号化処理の負担が減少されるとともに、符号化処理の効率が向上される。
図3に示した本発明における交流成分符号化部14Aは、図10に示した従来技術における交流成分符号化部14Bと比較して、以下の相違点を有する:(1)下流側に、上位データ用バッファ144A、下位データ用バッファ147A、セレクタ部148Aが用意されていること、(2)上流側に、全体データ分割部141A、上位データ用メモリ142A、下位データ用メモリ145Aが用意されていること。(1)の効果については、以上において説明した。(2)の効果については、以下において説明する。
ある処理単位の上位データおよび下位データが、それぞれ、異なるスキャン方法により、メモリから読み出されることは、本発明および従来技術において同様である。
図10に示した従来技術における交流成分符号化部14Bにおいては、その処理単位の上位データおよび下位データについて、単一のメモリ141Bのみが用意されている。そのため、異なるスキャン方法による並行読み出しは容易でない。
そして、全体データ分割部が用意されていない。そのため、上位データ処理部142Bは、その処理単位の上位データを、メモリ141Bから読み出すにあたり、その処理単位の下位データを破棄する必要がある。また、下位データ処理部143Bは、その処理単位の下位データを、メモリ141Bから読み出すにあたり、その処理単位の上位データを破棄する必要がある。
図3に示した本発明における交流成分符号化部14Aにおいては、その処理単位の上位データおよび下位データについて、それぞれ、上位データ用メモリ142Aおよび下位データ用メモリ145Aが独立に用意されている。そのため、異なるスキャン方法による並行読み出しは容易である。
そして、全体データ分割部141Aが用意されている。そのため、上位データ処理部143Aは、その処理単位の上位データを、上位データ用メモリ142Aから読み出すにあたり、その処理単位の下位データを破棄する必要がない。また、下位データ処理部146Aは、その処理単位の下位データを、下位データ用メモリ145Aから読み出すにあたり、その処理単位の上位データを破棄する必要がない。
{第1の変形例}
本実施の形態においては、エンコーダ1は、2個の周波数変換部11、12により、2個の階層数の周波数変換を実行する。第1の変形例においては、エンコーダ1は、任意の数の周波数変換部により、任意の階層数の周波数変換を実行する。
エンコーダ1が1階層の周波数変換を実行する具体例について説明する。第1階層の周波数変換部は、入力画像をエンコーダ1の外部から入力して、第1階層の直流成分および交流成分を量子化部13に出力する。交流成分符号化部14Aは、第1階層の交流成分について、本実施の形態において説明した符号化処理を実行する。
エンコーダ1が3階層の周波数変換を実行する具体例について説明する。第1階層の周波数変換部は、入力画像をエンコーダ1の外部から入力して、第1階層の交流成分を量子化部13に出力して、第1階層の直流成分を第2階層の周波数変換部に出力する。
第2階層の周波数変換部は、第1階層の直流成分を第1階層の周波数変換部から入力して、第2階層の交流成分を量子化部13に出力して、第2階層の直流成分を第3階層の周波数変換部に出力する。
第3階層の周波数変換部は、第2階層の直流成分を第2階層の周波数変換部から入力して、第3階層の直流成分および交流成分を量子化部13に出力する。交流成分符号化部14Aは、第1階層、第2階層、第3階層の交流成分について、本実施の形態において説明した符号化処理を実行する。
{第2の変形例}
本実施の形態においては、エンコーダ1は、交流成分符号化部14Aにより、交流成分について、本実施の形態において説明した符号化処理を実行する。第2の変形例においては、エンコーダ1は、さらに、直流成分符号化部により、直流成分について、本実施の形態において説明した符号化処理を実行する。
エンコーダ1が第2階層の直流成分について符号化処理を実行する具体例について説明する。直流成分符号化部は、図2(b)に示した直流成分C01について、全体データを上位データおよび下位データに分割する。直流成分符号化部は、上位データおよび下位データをそれぞれ処理して、上位データおよび下位データをそれぞれ混成させることなく出力する。直流成分符号化部は、他の4×4の処理単位についても、以上の処理を繰り返し実行する。
ここで、交流成分の符号化処理においては、4×4の処理単位について、15個の上位データおよび15個の下位データが、それぞれ混成されることなく出力される。しかし、直流成分の符号化処理においては、4×4の処理単位について、1個のみの上位データおよび1個のみの下位データが、それぞれ混成されることなく出力される。そのため、交流成分符号化部14Aによる効果は、直流成分符号化部による効果より大きくなる。
{第3の変形例}
本実施の形態においては、全体データ分割部141Aは、処理単位の上位データを、通常スキャンにより、上位データ用メモリ142Aに書き込む(ステップS5)。上位データ処理部143Aは、処理単位の上位データを、係数スキャンにより、上位データ用メモリ142Aから読み出す(ステップS11)。すなわち、処理単位の上位データは、上位データメモリ用142Aに書き込まれた順序とは関係なく、上位データ用メモリ142Aから読み出される。
第3の変形例においては、全体データ分割部141Aは、処理単位の上位データを、通常スキャンによらず、係数スキャンにより、上位データ用メモリ142Aに書き込む。上位データ処理部143Aは、処理単位の上位データを、係数スキャンによらず、通常スキャンにより、上位データ用メモリ142Aから読み出す。すなわち、処理単位の上位データは、上位データメモリ用142Aに書き込まれた順序に従って、上位データ用メモリ142Aから読み出される。
全体データ分割部141Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B04、B08、B05、B02、B03、B06、B09、B12、B13、B10、B07、B11、B14、B15の上位データを、以上の順序により上位データ用メモリ142Aに書き込む。
上位データ処理部143Aは、第1階層の交流成分を取り扱うときには、例えば、交流成分B01、B04、B08、B05、B02、B03、B06、B09、B12、B13、B10、B07、B11、B14、B15の上位データを、以上の順序により上位データ用メモリ142Aから読み出す。
{第4の変形例}
本実施の形態においては、上位データ用メモリ142Aおよび下位データ用メモリ145Aは、種類を限定されていない。本実施の形態の交流成分符号化部14Aに適用できる上位データ用メモリ142Aおよび下位データ用メモリ145Aとして、以下に示す3種類のメモリがあげられる。
第1に、上位データ用メモリ142Aおよび下位データ用メモリ145Aは、それぞれ、2個のシングルポートメモリであってもよい。このときには、一方のシングルポートメモリが読み出しアクセスをされているときには、他方のシングルポートメモリが書き込みアクセスをされているようにすればよい。
第2に、上位データ用メモリ142Aおよび下位データ用メモリ145Aは、それぞれ、1個のデュアルポートメモリであってもよい。第3に、上位データ用メモリ142Aおよび下位データ用メモリ145Aは、それぞれ、1個の2ポートメモリであってもよい。このときには、デュアルポートメモリまたは2ポートメモリに対して、読み出しアクセスおよび書き込みアクセスが同時に実行可能である。
上位データ用メモリ142Aは、全体データ分割部141Aから書き込みアクセスをされると同時に、上位データ処理部143Aから読み出しアクセスをされることができる。下位データ用メモリ145Aは、全体データ分割部141Aから書き込みアクセスをされると同時に、下位データ処理部146Aから読み出しアクセスをされることができる。エンコーダ1は、上流側における処理の効率をさらに向上できる。
エンコーダの構成要素を示すブロック図である。 各階層における各成分を示す概念図である。 本発明における交流成分符号化部の構成要素を示すブロック図である。 全体データを分割する流れを示すフローチャートである。 通常スキャンの定義を説明する図である。 上位データを処理する流れを示すフローチャートである。 係数スキャンの定義を説明する図である。 下位データを処理する流れを示すフローチャートである。 本発明における符号化処理の流れを示すタイムチャートである。 従来技術における交流成分符号化部の構成要素を示すブロック図である。 従来技術における符号化処理の流れを示すタイムチャートである。
符号の説明
1 エンコーダ
11、12 周波数変換部
13 量子化部
14 符号化部
14A 交流成分符号化部
141A 全体データ分割部
142A 上位データ用メモリ
143A 上位データ処理部
144A 上位データ用バッファ
145A 下位データ用メモリ
146A 下位データ処理部
147A 下位データ用バッファ
148A セレクタ部
14B 交流成分符号化部
141B メモリ
142B 上位データ処理部
143B 下位データ処理部
144B バッファ

Claims (9)

  1. 入力画像から周波数変換画像を生成する周波数変換部と、
    前記周波数変換画像から量子化画像を生成する量子化部と、
    前記量子化画像から符号化データを生成する符号化部と、
    を備えるエンコーダであって、
    前記符号化部は、
    前記量子化画像の各画素値データを、所定上位ビット数の各上位データと、所定下位ビット数の各下位データと、に分割する画素値データ分割部と、
    符号化処理単位の各上位データを配列して符号化することにより、上位符号化データを生成する上位データ処理部と、
    符号化処理単位の各下位データを符号化せず配列することにより、下位符号化データを生成する下位データ処理部と、
    前記上位データ処理部により生成された上位符号化データを格納する上位データ用バッファと、
    前記下位データ処理部により生成された下位符号化データを格納する下位データ用バッファと、
    前記上位符号化データと前記下位符号化データを混成させないように、前記上位データ用バッファに格納された上位符号化データと前記下位データ用バッファに格納された下位符号化データを前記符号化部の外部に出力するセレクタ部と、
    を含み、
    前記生成された上位符号化データが前記上位データ用バッファに書き込まれる期間に、前記生成された下位符号化データが前記下位データ用バッファに書き込まれることを特徴とするエンコーダ。
  2. 請求項1に記載のエンコーダにおいて、
    前記セレクタ部は、前記上位符号化データのうち各上位データに対応するデータのビット数より大きく、かつ、前記下位符号化データのうち各下位データに対応するデータのビット数より大きい出力バス幅を有することを特徴とするエンコーダ。
  3. 請求項1または請求項2に記載のエンコーダにおいて、
    前記符号化部は、
    符号化処理単位の各上位データが前記上位データ処理部に出力される前に、符号化処理単位の各上位データを格納する上位データ用メモリと、
    符号化処理単位の各下位データが前記下位データ処理部に出力される前に、符号化処理単位の各下位データを格納する下位データ用メモリと、
    を含むことを特徴とするエンコーダ。
  4. 請求項3に記載のエンコーダにおいて、
    前記画素値データ分割部は、
    前記上位データ処理部が符号化処理単位の各上位データを配列する順序に関係なく、符号化処理単位の各上位データを前記上位データ用メモリに書き込む上位データ書込部、
    を含み、
    前記上位データ処理部は、
    前記上位データ書込部が符号化処理単位の各上位データを前記上位データ用メモリに書き込む順序に関係なく、符号化処理単位の各上位データを配列する順序に従って、符号化処理単位の各上位データを前記上位データ用メモリから読み出す上位データ読出部、
    を含むことを特徴とするエンコーダ。
  5. 請求項3に記載のエンコーダにおいて、
    前記画素値データ分割部は、
    前記上位データ処理部が符号化処理単位の各上位データを配列する順序に従って、符号化処理単位の各上位データを前記上位データ用メモリに書き込む上位データ書込部、
    を含み、
    前記上位データ処理部は、
    前記上位データ書込部が符号化処理単位の各上位データを前記上位データ用メモリに書き込む順序に従って、符号化処理単位の各上位データを前記上位データ用メモリから読み出す上位データ読出部、
    を含むことを特徴とするエンコーダ。
  6. 請求項3ないし請求項5のいずれかに記載のエンコーダにおいて、
    前記上位データ用メモリは、
    2個の上位データ用シングルポートメモリ、
    を含み、
    前記下位データ用メモリは、
    2個の下位データ用シングルポートメモリ、
    を含むことを特徴とするエンコーダ。
  7. 請求項3ないし請求項5のいずれかに記載のエンコーダにおいて、
    前記上位データ用メモリは、
    読み出しアクセスと書き込みアクセスを同時に実行可能な1個の上位データ用同時アクセス可能メモリ、
    を含み、
    前記下位データ用メモリは、
    読み出しアクセスと書き込みアクセスを同時に実行可能な1個の下位データ用同時アクセス可能メモリ、
    を含むことを特徴とするエンコーダ。
  8. 請求項1ないし請求項7のいずれかに記載のエンコーダにおいて、
    前記周波数変換部は、
    任意の階層数の周波数変換を実行する階層周波数変換部、
    を含み、
    前記量子化部は、
    各階層の交流成分と最下位階層の直流成分をそれぞれ量子化する階層量子化部、
    を含み、
    前記符号化部は、各階層の交流成分と前記最下位階層の直流成分をそれぞれ符号化することを特徴とするエンコーダ。
  9. 請求項1ないし請求項7のいずれかに記載のエンコーダにおいて、
    前記周波数変換部は、
    2階層の周波数変換を実行する2階層周波数変換部、
    を含み、
    前記量子化部は、
    第1階層の交流成分と、第2階層の交流成分と、前記第2階層の直流成分と、をそれぞれ量子化する2階層量子化部、
    を含み、
    前記符号化部は、前記第1階層の交流成分と、前記第2階層の交流成分と、前記第2階層の直流成分と、をそれぞれ符号化することを特徴とするエンコーダ。
JP2008113430A 2008-04-24 2008-04-24 エンコーダ Expired - Fee Related JP5177400B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008113430A JP5177400B2 (ja) 2008-04-24 2008-04-24 エンコーダ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008113430A JP5177400B2 (ja) 2008-04-24 2008-04-24 エンコーダ

Publications (2)

Publication Number Publication Date
JP2009267668A JP2009267668A (ja) 2009-11-12
JP5177400B2 true JP5177400B2 (ja) 2013-04-03

Family

ID=41392978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008113430A Expired - Fee Related JP5177400B2 (ja) 2008-04-24 2008-04-24 エンコーダ

Country Status (1)

Country Link
JP (1) JP5177400B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059234A (ja) * 1998-08-10 2000-02-25 Mitsubishi Electric Corp 可変長符号処理装置
JP3575466B2 (ja) * 2002-02-21 2004-10-13 ソニー株式会社 エントロピ符号化/復号装置
JP4266195B2 (ja) * 2004-09-16 2009-05-20 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
US8311119B2 (en) * 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
JP2006350907A (ja) * 2005-06-20 2006-12-28 Ricoh Co Ltd Simd型マイクロプロセッサ、データ転送装置、及びデータ変換装置
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks

Also Published As

Publication number Publication date
JP2009267668A (ja) 2009-11-12

Similar Documents

Publication Publication Date Title
CN101908035B (zh) 视频编解码方法、gpu及其与cpu的交互方法及系统
CN104023235A (zh) 图像编码中的索引颜色历史
CN106030652B (zh) 提供输出面的方法、系统和合成显示控制器及计算机介质
US10225569B2 (en) Data storage control apparatus and data storage control method
CN103581678B (zh) 通过使用多个解码器信道来改良解码器性能的方法与系统
US20120033738A1 (en) Virtual frame buffer system and method
US20110096833A1 (en) Software video decoder display buffer underflow prediction and recovery
JP4101034B2 (ja) 符号化装置及び方法
WO2020115471A1 (en) Bit plane encoding of data arrays
GB2561152A (en) Data processing systems
CN110913219A (zh) 一种视频帧预测方法、装置及终端设备
TWI325274B (en) Method for mapping memory addresses, memory accessing apparatus and method thereof
CN106162192A (zh) 处理视频数据的方法和装置
WO2021056214A1 (zh) 编码方法、解码方法、编码器、解码器以及存储介质
JP5177400B2 (ja) エンコーダ
KR20140121356A (ko) 그래픽 애플리케이션을 위한 타일 기반 압축 및 압축 해제
EP2985995B1 (en) Information processing device, control method, program, and recording medium
Poola et al. A mixed parallel and pipelined efficient architecture for intra prediction scheme in HEVC
CN110191341A (zh) 一种深度数据的编码方法和解码方法
CN103034455B (zh) 基于预先解码分析的数据信息缓存管理方法及系统
CN109005410A (zh) 一种系数存取方法和装置及机器可读介质
Jung et al. A fast h. 264 intra frame encoder with serialized execution of 4× 4 and 16× 16 predictions and early termination
Yang et al. An effective dictionary-based display frame compressor
KR20170107350A (ko) 그래픽 처리 장치 및 방법
JP2021174404A (ja) データ生成装置、訓練装置及びデータ生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121225

R150 Certificate of patent or registration of utility model

Ref document number: 5177400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees