JP5580541B2 - 画像復号化装置および画像復号化方法 - Google Patents

画像復号化装置および画像復号化方法 Download PDF

Info

Publication number
JP5580541B2
JP5580541B2 JP2009054265A JP2009054265A JP5580541B2 JP 5580541 B2 JP5580541 B2 JP 5580541B2 JP 2009054265 A JP2009054265 A JP 2009054265A JP 2009054265 A JP2009054265 A JP 2009054265A JP 5580541 B2 JP5580541 B2 JP 5580541B2
Authority
JP
Japan
Prior art keywords
pixel
decoding
memory
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009054265A
Other languages
English (en)
Other versions
JP2010212817A (ja
Inventor
達郎 重里
琢麻 千葉
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2009054265A priority Critical patent/JP5580541B2/ja
Publication of JP2010212817A publication Critical patent/JP2010212817A/ja
Application granted granted Critical
Publication of JP5580541B2 publication Critical patent/JP5580541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Description

本発明は、符号化された画像データに対し動き補償を伴う復号化を行う画像復号化装置および画像復号化方法に関する。

近年、画像データのデジタル化が進むに伴い、膨大なデータ量を必要とする動画データに対して画像符号化を行ってそのデータ量を低減して記録、伝送されるようになってきている。

ここで画像符号化方式としては、MPEG2およびMPEG4 AVC/H.264(以下、H.264と略す)等の高い効率の画像圧縮符号化方式がよく用いられる。

これらの符号化方式では、マクロブロックと呼ばれる矩形単位(通常水平16画素、垂直16画素で構成される)毎に符号化する。

また圧縮効率を高めるために、マクロブロックの符号化の際に、当該マクロブロックの絵柄と類似する絵柄を、それ以前に符号化した他のフィールドまたはフレームから探し出して取り出し、当該マクロブロックの画素値との差分値を符号化する処理を行う。

このような処理を動き補償と呼ぶが、画像符号化時にはどの位置の画素値を取り出したかを示すベクトル情報を動きベクトルとして同時に符号化する。

次に動き補償を用いて符号化されたデータを復号化する画像復号化装置の構成例を図7を用いて説明する。

図7は、従来の画像復号化装置の構成の一例を示すブロック図である。

図7に示す従来の画像復号化装置400は、入力部401、可変長復号化部403、画素値復号化部404、動きベクトル検出部405、動き補償部406、出力部407、およびメモリ408を備える。

入力部401から入力された、画像符号化されたデータは、マクロブロック単位で可変長復号化部403により可変長復号化される。検出部405は、可変長復号化されたデータの中から当該マクロブロックに対する動きベクトルを抽出する。動き補償部406は、この動きベクトルを用いてメモリ408に記憶されている復号化済みの画素データの中から動き補償に必要な画素値を読み出して、動き補償画素を生成する。

また、画素値復号化部404は、可変長復号化部403により復号化されたデータを用いて上記マクロブロックに対する動き補償差分データを生成する。画素値復号化部404はさらに、動き補償差分データと、動き補償部406から得られる動き補償値とを加算することで復号化された画素データを生成する。

この復号化された画素データは一旦メモリ408に記憶されてから、TV等の再生タイミングに合わせて出力部407から出力される。またメモリ408に記憶された復号化された画素データは他のマクロブロックについての動き補償にも利用される。

ここで、画像符号化されたデータは、図7に示す画像復号化装置400の構成によって動画データに復号することが可能になるが、上記動き補償についてはマクロブロックまたはその分割された単位のブロック毎に過去に復号化されたピクチャ内の任意の位置の画素を参照することができる。

このため動き補償を実行するために、マクロブロック毎にランダムな位置の画素値をメモリ408から読み出す必要が生じる。

一般に画像復号化により得られた画像データは非常に大きなデータ量を有するため、上記メモリ408は外付けのDRAMで構成される。また、DRAMはマクロブロックのような小さな矩形単位でランダムに読み出すと大きなオーバーヘッドが発生し、高速な読み出しが困難である。

このためハイビジョン画像のような高速かつ大容量の動画像を復号化するためには、高価な高速DRAMを多数並列に利用する必要が発生し、大きな回路コストと消費電力がかかってしまう。

このような課題を改善する画像復号化装置についての技術が特許文献1に開示されている。具体的には、特許文献1には、H.264符号化されたデータの復号化の際の外部DRAMのメモリアクセスを削減する技術が開示されている。

ここで、H.264では画像情報を削減するために、動き補償以外にフレーム内予測技術が用いられる。フレーム内予測とは、符号化するマクロブロックの画素値をそのマクロブロックに隣接する既に符号化されたマクロブロックの画素値を用いて補間画素を生成してその差分値を符号化する技術である。

特許文献1に記載の画像復号化装置では、フレーム内予測を用いて画像符号化されたデータを復号化する際に、復号化するマクロブロックに隣接する既に復号化が終了したマクロブロックの画素値をキャッシュメモリに記憶しておく。

これによって各マクロブロックのフレーム内予測の補間画素を生成する際に、外部DRAMから直接データを読み込むことなく、キャッシュメモリに記憶されたデータを用いて復号化処理を実現できる。
特開2008−47178号公報

しかしながら、上記特許文献1に記載の技術は、フレーム内予測の補間画素を生成するためにキャッシュメモリを利用する技術であり、動き補償時の補間画素を生成するためのDRAMアクセスを低減するために利用することはできない。

具体的には、イントラ予測では、復号化の対象のマクロブロックに隣接するマクロブロックの画素のみを利用する。そのため、キャッシュメモリに記憶すべきデータの量が少なく、また記憶すべき画素の位置も固定化されている。

これに対して動き補償で必要な参照画素は、画像の動きが大きい場合には、動き補償に必要となる参照画素が存在する範囲も非常に大きく、しかもマクロブロック毎に大きくばらつく可能性がある。そのため、DRAMから読み出す画素位置を予め予測しておくことができない。

従って、従来の画像復号化装置では、各マクロブロックの復号化処理毎に、DRAMから動き補償用の参照画素を読み出す必要が生じる。そのため、DRAMへのアクセス量、具体的には、ランダムな位置からの読み出しの回数が非常に多くなる。

その結果、従来では、上述のように高価な高速DRAMを多数実装する必要が生じ、回路コストや消費電力が大きくなるという課題がある。

本発明は、係る課題を解決するためになされたものであり、外部メモリアクセス量を低減して、回路コストおよび消費電力の小さい画像復号化装置および画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明の画像復号化装置は、符号化ストリームに対し動き補償を伴う復号化を行う画像復号化装置であって、前記符号化ストリームに含まれるピクチャのブロック単位実施される復号化処理に先行して、予め前記ピクチャ内の複数のブロックごとの動きベクトル関連情報から、前記ピクチャについての動き補償に使用される参照画素を含む範囲であって、動き補償の対象の1つのブロックを基準とする、参照ピクチャ内の参照画素の存在範囲である参照範囲を特定する参照範囲特定部と、前記参照ピクチャを構成する画素の画素値を含む復号化済みの画素データを記憶する復号化画素メモリと、動き補償に使用される参照画素データを保持するための参照画素バッファと、前記参照範囲特定部によって特定された参照範囲を含む領域の画素データであって前記参照ピクチャの一部の連続する画素データを、前記復号化画素メモリから前記参照画素バッファにコピーする読み出し制御部と、前記読み出し制御部により前記参照画素バッファにコピーされた画素データに含まれる参照画素データを用いた動き補償により、補間画素データを生成する動き補償部と、前記動き補償部により生成された補間画素データを用いて復号化済みの画素データを生成する画素値復号化部とを備える。

この構成により、復号化における動き補償に用いられる参照画素データは、参照ピクチャの一部の連続する画素データに含まれて、復号化画素メモリから参照画素バッファに事前にコピーされる。また、その後の動き補償の際には、参照画素バッファにコピーされた参照画素データが用いられる。

これにより、例えば復号化画素メモリ内において隣接する所定の単位のデータを順次読み出すことで、動き補償に使用される参照画素データを参照画素バッファに取り込むことができる。

従って、例えば外部DRAMにより復号化画素メモリを実現した場合に、効率よくデータの読み出しが行われる。具体的には、従来、外部DRAMからの参照画素データの読み出しにおいて発生していたオーバーヘッドの発生が抑制される。また、参照画素データの読み出しに係る消費電力量も抑制される。

つまり、ハイビジョン画像のような高速かつ大容量の動画像を復号化する場合であっても、高速で高価なDRAMを複数備えることなく、効率のよい復号化処理を行うことができる。

また、参照ピクチャの一部の画素データが参照画素バッファにコピーされるため、参照画素バッファの必要容量も抑えることができる。

また、前記符号化ストリームは、算術符号化を伴う符号化により得られたものであり、前記画像復号化装置はさらに、前記符号化ストリームを算術復号化することで算術復号化データを生成する算術復号化部と、前記算術復号化部により生成された算術復号化データを記憶する復号化データメモリと、前記復号化データメモリから前記算術復号化データを読み出して復号化する算術復号化データ復号化部とを備え、前記参照範囲特定部は、前記算術復号化部により生成された算術復号化データから、前記複数のブロックごとの動きベクトル関連情報を取得し、前記動き補償部は、前記算術復号化データ復号化部による復号化により得られる動きベクトルと、前記参照画素バッファに記憶されている前記参照画素データとを用いて前記補間画素データを生成し、前記画素値復号化部は、前記算術復号化データ復号化部による復号化により得られる残差画素データと、前記動き補償部により生成される補間画素データとを用いて前記復号化済みの画素データを生成するとしてもよい。

この構成により、本発明の画像復号化装置を、参照画素データのメモリからの読み出しを効率よく行いつつ、算術符号化されたデータを効率よく復号化する装置として実現できる。

具体的には、算術符号を復号化することにより得られた算術復号化データは、一旦復号化データメモリに記憶され、その後マクロブロック単位の画像復号化処理に同期して読み出されて処理される。

ここで、当該画像復号化装置では、復号化データメモリへの記憶と同時に、算術復号化データから複数のマクロブロックごとの動きベクトル関連情報を取得して、参照範囲を特定する。

つまり、算術復号化処理に伴い必然的に発生する遅延期間を利用して、効率よく、参照範囲の特定等の処理が行われる。そのため、これら処理のために復号化処理全体を遅延させることがない。

また、前記符号化ストリームは、システム符号化を伴う符号化により得られたものであり、前記画像復号化装置はさらに、前記符号化ストリームをシステム復号化することでシステム復号化データを生成するシステム復号化部と、前記システム復号化部により生成されたシステム復号化データを記憶する復号化データメモリと、前記復号化データメモリから前記システム復号化データを読み出して可変長復号化する可変長復号化部とを備え、前記参照範囲特定部は、前記システム復号化部により生成されたシステム復号化データから前記複数のブロックごとの動きベクトル関連情報を取得し、前記動き補償部は、前記可変長復号化部による復号化により得られる動きベクトルと、前記参照画素バッファに記憶されている前記参照画素データとを用いて前記補間画素データを生成し、前記画素値復号化部は、前記可変長復号化部による復号化により得られる残差画素データと、前記動き補償部により生成される補間画素データとを用いて前記復号化済みの画素データを生成するとしてもよい。

この構成により、本発明の画像復号化装置を、参照画素データのメモリからの読み出しを効率よく行いつつ、システム符号化されたデータを効率よく復号化する装置として実現できる。

具体的には、システム復号化することにより得られたシステム復号化データは、一旦復号化データメモリに記憶され、その後マクロブロック単位の画像復号化処理に同期して読み出されて処理される。

ここで、当該画像復号化装置では、復号化データメモリへの記憶と同時に、システム復号化データから複数のマクロブロックごとの動きベクトル関連情報を取得して、参照範囲を特定する。

つまり、システム復号化処理に伴い必然的に発生する遅延期間を利用して、効率よく、参照範囲の特定等の処理が行われる。そのため、これら処理のために復号化処理全体を遅延させることがない。

本発明によれば、復号化における動き補償に使用される参照画素データは、当該動き補償の前に、復号化画素メモリから読み出され、参照画素バッファに記憶される。

また、この復号化画素メモリからの参照画素データの読み出しの際、参照ピクチャの一部の連続する画素データに含まれて読み出される。

そのため、例えば外部DRAMにより復号化画素メモリを実現した場合であっても、当該DRAMからのデータ読み出しは効率よく行われ、また、参照画素バッファの必要容量は抑えられる。

従って、本発明は、外部メモリアクセス量を低減して、回路コストおよび消費電力の小さい画像復号化装置および画像復号化方法を提供することができる。

以下に、本発明の実施の形態について、図面を参照して説明する。

(実施の形態1)
図1は、本発明の実施の形態1に係る画像復号化装置100の主要な構成を示すブロック図である。

図1に示すように、本発明の実施の形態1に係る画像復号化装置100は、復号化部120、入力部101、出力部107、第二メモリ108、および第一メモリ109を備える。

また、復号化部120は、算術符号復号化部102、2値データ復号化部103、画素値復号化部104、動きベクトル検出部105、動き補償部106、参照範囲特定部110、参照画素読み出し制御部111、および参照画素バッファ112を有する。

なお、復号化部120を、例えば集積回路により実現した場合、第一メモリ109および第二メモリ108のそれぞれは、その集積回路の外部に配置され、例えば「外部メモリ」と呼ばれる。

また、第一メモリ109は、本発明の画像復号化装置における復号化データメモリの一例であり、第二メモリ108は、本発明の画像復号化装置における復号化画素メモリの一例である。また、2値データ復号化部103は、本発明の画像復号化装置における算術復号化データ復号化部の一例である。

以上のように構成された画像復号化装置100の動作について図2を参照しながら説明する。

図2は、実施の形態1に係る画像復号化装置100の動作の流れを示すフロー図である。

入力部101に入力された符号化ストリームに含まれる、算術符号化された画像データは、まず、算術符号復号化部102で算術符号を復号化されて算術復号化データに変換される(S10)。

この復号化により得られた算術復号化データは、第一メモリ109に記憶される(S11)。

ここで、H.264符号化により得られたデータを復号化する場合、上記の算術復号化データは2値データとも呼ばれる。通常算術符号の復号化処理はその処理時間に大きなムラが発生するため、マクロブロック単位で処理する画素値の復号化処理と同期して処理することができない。

つまり、算術符号復号化部102の処理と、2値データ復号化部103以降の処理とを同期して行わせることができない。

このため、十分なマクロブロック数分の算術復号化データが、一旦メモリ(本実施の形態では第一メモリ109)に記憶される。さらに、その後のマクロブロック単位の復号化処理に同期して当該メモリから算術復号化データが読み出されて処理される。

次に、算術復号化データは、第一メモリ109に記憶されるのと平行して、参照範囲特定部110に入力される。参照範囲特定部110では、複数のマクロブロックについての動きベクトルおよび動きベクトルに関連する情報を含む動き関連情報が検出される。

なお、動きベクトルに関連する情報とは、例えば、動きベクトルの符号化を必要としないスキップやダイレクト・モードが適用されるマクロブロックを特定する情報などである。またダイレクト・モードが適用されるかどうかは、現在算術復号化しているピクチャのマクロブロックが参照するピクチャの動きベクトルに関する情報が必要であるため、これらの情報がメモリ(第一メモリまたは第二メモリまたはその他のメモリ)に待避されている場合には、前記メモリから該当する情報を読み出して利用する。

参照範囲特定部110はさらに、動き関連情報を用いて、当該ピクチャについての動き補償に使用される参照画素を含む範囲であって、動き補償の対象の1つのマクロブロックを基準とする、参照ピクチャ内の参照画素の存在範囲である参照範囲を特定する(S12)。

参照画素読み出し制御部111は、第二メモリ108から、参照範囲特定部110により特定された参照範囲に基づき、その参照範囲を含む領域の画素データであって当該参照ピクチャ一部の連続する画素データ(参照画素領域のデータ)を参照画素バッファ112にコピーする(S13)。

つまり、参照画素読み出し制御部111は、第二メモリ108に記憶されている既に復号化された画素データから動き補償に必要となる可能のある画素を特定して、これら画素を含む、参照ピクチャの一部の画素データを第二メモリ108から参照画素バッファ112にコピーする。

参照画素読み出し制御部111が、第二メモリ108から参照画素バッファ112にコピーする参照画素領域の例を図3および図4を用いて説明する。

図3は、参照範囲特定部110により特定される参照範囲と、参照画素バッファ112に取り込まれる参照画素領域の関係の一例を示す模式図である。

参照画素読み出し制御部111は、図3に示すように、例えば、参照範囲特定部110により特定された参照範囲を含む、参照ピクチャ内の一部の連続する画素データを、参照画素領域として第二メモリ108から参照画素バッファ112にコピーする。

ここで、動き補償に用いられる動きベクトルが指し示す参照画素の位置は、上述のように、マクロブロック毎に異なる方向である可能性があり、かつ、その大きさも大きく変動する可能性がある。

そこで参照範囲特定部110は、具体的には、複数のマクロブロックそれぞれについて、動きベクトルが指し示す相対的な参照画素位置を特定する。さらに、これら特定された位置の参照画素を網羅する範囲を、動き補償の対象のマクロブロックを基準とする参照範囲として特定する。

図4は、参照範囲特定部110により特定された参照範囲の一例を示す模式図である。

図4に示すように、復号化対象のピクチャには、それぞれの動きベクトルの方向および大きさが互いに異なる複数のマクロブロックが含まれることが一般的である。

そのため、参照範囲特定部110は、例えば、復号化対象のピクチャに含まれる全てのマクロブロックそれぞれの動きベクトルを抽出する。これにより、複数のマクロブロックのそれぞれについての参照画素位置が特定される。

参照範囲特定部110はさらに、これら複数の参照画素位置を網羅する範囲を、動き補償の対象のマクロブロックを基準とする参照範囲として特定する。

つまり、複数のマクロブロックを同一位置に置いたとした場合に、これらマクロブロックについての動きベクトルが指し示す参照画素位置を網羅する範囲が、参照範囲として特定される。

このようにして特定された参照範囲は、参照画素読み出し制御部111に通知される。参照画素読み出し制御部111は、この参照範囲を含む領域のデータを、第二メモリ108から参照画素バッファ112にコピーする。

図3および図4に示す例では、斜線で塗られている小さい矩形がマクロブロックの位置を示している。また、そのマクロブロックを囲む破線の四角が参照範囲(即ちこのマクロブロックが動き補償時に参照する可能性がある参照画素が存在する最大範囲)を示している。

ここで、参照画素バッファ112には、上述のように参照範囲を含む参照画素領域のデータが第二メモリ108からコピーされる。

本実施の形態においては、参照画素読み出し制御部111は、図3に示すように、参照範囲を含み、参照ピクチャを横断的にカバーする領域を参照画素バッファ112に書き込む。

このように、参照画素読み出し制御部111は、連続する画素データを第二メモリ108から読み出す。つまり、参照画素読み出し制御部111は、第二メモリ108内のランダムな位置からの参照画素データの読み出しを行うことなく、動き補償に必要な参照画素データを含む参照画素領域のデータを読み出す。第二メモリ108から読み出された参照画素領域のデータは、参照画素バッファ112に格納される。

また、マクロブロック毎の復号化処理が進むに度に、参照画素読み出し制御部111は、参照画素バッファ112に新たな参照画素データをコピーしていく。

具体的には、あるマクロブロックの復号化処理が終了する前に、少なくとも次のマクロブロックについての参照範囲に含まれる画素データが、参照画素バッファ112に格納されているように、参照画素読み出し制御部111は、順次、第二メモリ108から読み出した画素データを参照画素バッファ112に追加する。

また、このとき、第二メモリ108からは、隣接するマクロブロックの画素データが順次読み出される。そのため、ランダムな位置からの読み出しに伴うオーバーヘッドは抑制される。

以上のように、実施の形態1の画像復号化装置100では、参照画素バッファ112に事前に参照範囲特定部110で特定された参照範囲を常に含む画素データを記憶しておく。

これにより、マクロブロック単位の動き補償処理に必要な参照画素データを、例えば外部DRAMとして実現される第二メモリ108から、直接読み込む必要がなくなる。

次に、第一メモリ109に記憶された算術復号化データ(2値データ)は、2値データ復号化部103にマクロブロック単位で読み出されて、2値データに対する復号化が実施される(S14)。

この復号化により、当該2値データに対応するマクロブロックの動きベクトルおよび残差画素データ等を含むデータが得られる。

2値データ復号化部103により得られたデータから、動きベクトル検出部105は、当該マクロブロックに対する動きベクトルを検出する。動き補償部106は、検出された動きベクトルに基づき、参照画素バッファ112から動き補償に用いる参照画素データを読み出す(S15)。

動き補償部106は、参照画素バッファ112から読み出した参照画素データを用いた動き補償により、補間画素のデータである補間画素データを生成する(S16)。

画素値復号化部104は、2値データ復号化部103から得られるデータに含まれる残差画素データを逆量子化、逆直交変換して差分画素値に変換し、動き補償部106で生成される補間画素データと加算して画素値を復号化する(S17)。画素値復号化部104はさらに、この一連の処理により得られたデータである、復号化済みの画素データを第二メモリ108に書き込む(S18)。

第二メモリ108に記憶された復号化済みの画素データは、TV等の、画像復号化装置100に接続された機器に同期して出力部107から出力される(S19)。

なお、上記一連の処理において特定された参照範囲(S12)は、当該復号化の対象のピクチャに含まれるマクロブロックについてのみ共通して用いられる。そのため、次のピクチャを復号化する際には、当該次のピクチャについて、参照範囲の特定(S12)を含む一連の処理が実行される。

以上のように、実施の形態1の画像復号化装置100は、算術復号化と平行して複数のマクロブロックに対する動きベクトルを事前に取得して、動き補償に必要な参照画素の範囲を決定する。さらに決定した範囲を含み、かつ、連続する画素データである参照画素領域データを第二メモリ108から参照画素バッファ112にコピーしておく。

つまり、マクロブロック単位の動き補償処理を実行する際に、参照画素領域データとして追加すべき画素データを第二メモリ108から順次読み出して、参照画素バッファ112に記憶させておけばよい。

従って、第二メモリ108を外部DRAMとして実現した場合であっても、ランダムな位置からのデータの読み出しに伴うオーバーヘッドは抑制され、かつ、消費電力量も抑制される。

ここで、上記処理を実現するためには、マクロブロック単位の画素値の復号化処理に先立って、複数のマクロブロックに対する動きベクトルを取得するために、算術復号化データを一旦第一メモリ109に記憶する必要がある。

つまり、従来の画像復号化装置と比較すると、実施の形態1の画像復号化装置100は、事前の動きベクトル検出のための遅延が発生し、その遅延を吸収するために、従来の構成に加えて第一メモリ109が必要なようにも思われる。

しかしながら、算術復号化処理は、上述のように、その処理時間に非常に大きなバラツキがある処理であり、マクロブロック単位の画素値復号化処理と同期した処理ができない。

このため、算術復号化処理を行う従来の画像復号化装置では、大きなバッファを設けて、1〜数画面分程度遅延させてからマクロブロック単位の復号化処理を実施することが一般に行われている。

つまり、従来の画像復号化装置の構成を利用して、実施の形態1の画像復号化装置100を実現する場合、従来の画像復号化装置が備える当該バッファを、第一メモリ109として使用することで、新たなメモリを追加することなく実現することが可能である。

また、参照範囲の特定(図2のS12)および、参照範囲を含むデータの参照画素バッファ112へのコピー(図2のS13)は、算術復号化処理に伴う遅延期間に行うことができる。

つまり、算術復号化処理に伴い必然的に発生する遅延期間を利用して、効率よく、参照範囲の特定等の処理が行われる。そのため、これら処理のために復号化処理全体を遅延させることがない。

なお、本実施の形態では第一メモリ109および第二メモリ108は、物理的に2つのメモリである。しかしながら、第一メモリ109および第二メモリ108が同一のメモリに含まれてもよい。つまり第一メモリ109および第二メモリ108を物理的に1つのメモリで実現してもよい。

また、本実施の形態では、参照範囲特定部110は、復号化対象のピクチャに含まれる全てのマクロブロックそれぞれの動きベクトルを抽出し、これらから参照範囲を特定するとした。

これにより、これら全てのマクロブロックそれぞれについての動き補償処理において、必要な参照画素データは、それぞれの動き補償処理の際には、参照画素バッファ112に記憶されていることになる。

しかしながら、参照範囲特定部110は、復号化対象のピクチャに含まれる一部のマクロブロックについての動きベクトルのみを考慮して参照範囲を特定してもよい。

例えば、復号化対象のピクチャに含まれる全てのマクロブロックそれぞれの動きベクトルのうち、極端に大きな1以上の動きベクトルを無視し、他の動きベクトルから参照範囲を特定してもよい。

また例えば、単に、全ての動きベクトルのうちの所定の数の動きベクトルを無視し、他の動きベクトルから参照範囲を特定してもよい。

これらの場合、無視された動きベクトルに対応するマクロブロックに対する動き補償の際に、参照画素バッファ112に、参照画素データが存在しないことも考えられる。そのため、直接、第二メモリ108から参照画素データを読み出す必要が生じることになる。

しかし、このような処理を実行した場合であっても、第二メモリ108からのデータ読み出しにおけるランダムな位置からのデータ読み出し回数は、従来よりも減少する。そのため、従来よりもオーバーヘッドの発生は抑制される。

また、極端に大きな動きベクトルを無視することで、参照範囲の大きさを抑制することができる。そのため、例えば、参照画素バッファ112の記憶容量を、全ての動きベクトルを考慮する場合よりも、小さくすることができる。

(実施の形態2)
図5は、本発明の実施の形態2に係る画像復号化装置300の主要な構成を示すブロック図である。

画像復号化装置300は、H.264に準拠した伝送システム符号化(以下、「システム符号化」という。)により符号化されたデータを含むトランスポートストリーム(以下、「TS」という。)を受信し、復号化する装置である。

図5に示すように、本発明の実施の形態2に係る画像復号化装置300は、復号化部130、入力部101、出力部107、第二メモリ108、および第一メモリ109を備える。

また、復号化部130は、TS分離部302、第一可変長復号化部303、第二可変長復号化部304、画素値復号化部104、動きベクトル検出部105、動き補償部106、参照範囲特定部110、参照画素読み出し制御部111、および参照画素バッファ112を有する。

なお、TS分離部302は、本発明の画像復号化装置におけるシステム復号化部の一例であり、第二可変長復号化部304は、本発明の画像復号化装置における可変長復号化部の一例である。

図5に示すように、画像復号化装置300は、図1に示す本発明の実施の形態1に係る画像復号化装置100が具備する各構成要素(ブロック)の内、算術符号復号化部102が、TS分離部302および第一可変長復号化部303に置き換えられ、2値データ復号化部103が、第二可変長復号化部304に置き換えられた構成となっている。

また、これら以外の各構成要素は、画像復号化装置100が具備する各構成要素とほぼ同様の処理を行う構成要素である。

そのため、図1に示す各構成要素とほぼ同様の処理を行う構成要素については同じ符号を付し、ここでは一部の説明を省略する。

次に、以上のように構成された画像復号化装置300の動作について説明する。

入力部101に入力されたTSにシステム符号化された画像データは、まず、TS分離部302で画像データと音声データとに分離される。

また、TS分離部302は、この分離により得られた画像データをシステム復号化データに変換し、システム復号化データは第一メモリ109に記憶される。

ここで、通常TS等のシステム符号データに対するシステム復号化処理はその処理時間に大きなムラが発生するため、マクロブロック単位で処理する画素値の復号化処理と同期して処理することができない。

このため、十分なマクロブロック数分のシステム復号化データが、一旦メモリ(本実施の形態では第一メモリ109)に記憶される。さらに、その後マクロブロック単位の復号化処理に同期して当該メモリからシステム復号化データが読み出されて処理される。

次に、参照範囲特定部110は、TS分離部302により生成されたシステム復号化データから、複数のマクロブロックについての動き関連情報を取得する。

具体的には、TS分離部302により生成されたシステム復号化データは、第一メモリ109に記憶されるのと平行して、第一可変長復号化部303で可変長復号化処理がなされ、処理後のデータが参照範囲特定部110に入力される。

参照範囲特定部110では、第一可変長復号化部303から受け取ったデータから、複数のマクロブロックについての動きベクトルおよび動きベクトルに関連する情報を含む動き関連情報が検出される。

参照範囲特定部110はさらに、動き関連情報を用いて、動き補償の対象のマクロブロックを基準とする参照範囲を特定する。

なお、この参照範囲の特定処理は、実施の形態1と同様である。例えば、参照範囲特定部110は、図4に示すように、複数の動きベクトルが指し示す位置の参照画素を網羅する範囲を、動き補償の対象の1つのマクロブロックを基準とする参照範囲として特定する。

また、参照画素読み出し制御部111は、この参照範囲を含む参照画素領域のデータを、第二メモリ108から参照画素バッファ112にコピーする。

次に、第一メモリ109に記憶されたシステム復号化データは、第二可変長復号化部304にマクロブロック単位で読み出されて、可変長符号の復号化が実施される。

ここで復号化されたデータに対して、動きベクトル検出部105は、このマクロブロックに対する動きベクトルを検出して、参照画素バッファ112から動き補償に用いる参照画素を読み出す。

動き補償部106は、参照画素バッファ112から読み出した参照画素データを用いた動き補償により、補間画素データを生成する。

画素値復号化部104では、2値データ復号化部103から得られるデータに含まれる残差画素データを逆量子化、逆直交変換して差分画素値に変換し、動き補償部106で生成される動き補償の補間画素と加算して画素値を復号化し、第二メモリ108に書き込む。

第二メモリ108に記憶された復号化済みの画素データは、TV等の、画像復号化装置100に接続された機器に同期して出力部107から出力される。

なお、上記一連の処理において特定された参照範囲は、実施の形態1と同じく、当該復号化の対象のピクチャに含まれるマクロブロックについてのみ共通して用いられる。そのため、次のピクチャを復号化する際には、当該次のピクチャについて、参照範囲の特定を含む一連の処理が実行される。

また、TS分離部302から得られる音声データは、図示しない音声復号化部により復号化され、例えば出力部107からTV等の画像復号化装置100に出力される。

また、第一可変長復号化部303は、参照範囲特定部110による動きベクトル等の情報の検出が可能なように可変長復号化処理を行えばよく、第二可変長復号化部304と同等の機能を有する必要はない。

以上のように、実施の形態2の画像復号化装置300は、TS復号等のシステム復号化と平行して複数のマクロブロックに対する動きベクトルを事前に取得して、動き補償に必要な参照画素範囲を決定する。さらに決定した範囲を含み、かつ、連続する画素データである参照画素領域データを第二メモリ108から参照画素バッファ112にコピーしておく。

従って、第二メモリ108を外部DRAMとして実現した場合であっても、ランダムな位置からのデータの読み出しに伴うオーバーヘッドは抑制され、かつ、消費電力量も抑制される。

ここで、上記処理を実現するためには、マクロブロック単位の画素値の復号化処理に先立って、複数のマクロブロックに対する動きベクトルを取得するために、システム復号化データを一旦第一メモリ109に記憶する必要がある。

つまり、従来の画像復号化装置と比較すると、実施の形態2の画像復号化装置300は、事事前の動きベクトル検出のための遅延が発生し、その遅延を吸収するために、従来の構成に加えて第一メモリ109が必要なようにも思われる。

しかしながら、システム復号化処理はその処理時間に非常に大きなバラツキがある処理であり、マクロブロック単位の画素値復号化処理と同期した処理ができない。

このため、システム復号化を行う従来の画像復号化装置では、大きなバッファを設けて、1〜数画面分程度遅延させてからマクロブロック単位の復号化処理を実施することが一般に行われている。

つまり、従来の画像復号化装置の構成を利用して、実施の形態2の画像復号化装置300を実現する場合、従来の画像復号化装置が備える当該バッファを、第一メモリ109として使用することで、新たなメモリを追加することなく実現することが可能である。

また、参照範囲の特定および、参照範囲を含むデータの参照画素バッファ112へのコピーは、システム復号化処理に伴う遅延期間に行うことができる。

つまり、システム復号化処理に伴い必然的に発生する遅延期間を利用して、参照範囲の特定等の処理が行われる。

このように、実施の形態2の画像復号化装置300は、形態1の画像復号化装置100と同じく、他の処理が行われている期間を利用して、参照範囲の特定等の処理を行うため、これら処理のために復号化処理全体を遅延させることがない。

なお、実施の形態2においても、第一メモリ109および第二メモリ108は、物理的に2つのメモリであるとした。しかしながら、第一メモリ109および第二メモリ108が同一のメモリに含まれてもよい。つまり第一メモリ109および第二メモリ108を物理的に1つのメモリで実現してもよい。

また、実施の形態2における参照範囲特定部110は、実施の形態1における参照範囲特定部110と同じく、復号化対象のピクチャに含まれる一部のマクロブロックについての動きベクトルのみを考慮して参照範囲を特定してもよい。

(実施の形態1および2についての補足事項)
本発明の実施の形態1および2においては、H.264を例にとって説明した。しかしながら、本発明は、MPEG2等動き補償を用いる全ての画像符号化に対応する復号化処理に適用可能である。

また、本発明は、本発明の実施の形態1または2における各部などの構成要素を備える画像復号化装置として提供することができるばかりでなく、この画像復号化装置が具備する各構成要素の処理を各ステップとする画像復号化方法、およびその画像復号化方法をコンピュータに実行させる画像復号化プログラムとして提供することも可能である。

そして、その画像復号化プログラムは、CD−ROM(Compact Disc―Read Only Memory)などの記録媒体やインターネットなどの通信ネットワークを介して流通させることができる。

また、実施の形態1の画像復号化装置100および実施の形態2の画像復号化装置300のそれぞれの構成の一部または全部を、1つまたは複数の集積回路で実現することもできる。

図6は、実施の形態1の画像復号化装置100における集積回路化の一例を示す図である。

図6に示すLSI140は、画像復号化装置100が備える複数の機能ブロックを含む集積回路の一例である。

なお、これら複数の機能ブロックは1つのLSIではなく、複数のLSIに分散して含まれてもよい。

また、実施の形態2の画像復号化装置300においても、それらが有する機能ブロックの一部または全部を集積回路化することができる。

また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)または、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、実施の形態1および2に記載の複数の技術内容をそれぞれ組み合わせてもよい。

例えば、実施の形態2の画像復号化装置300が、実施の形態1における算術符号復号化部102等を備えてもよい。これにより、TSが算術符号化データを含む場合であっても、適切に復号化処理を行うことができる。

本発明に係る画像復号化装置および画像復号化方法は、従来よりも、外部メモリアクセス量を低減して、回路コストおよび消費電力を抑制することができる。従って、本発明は、デジタルテレビ、デジタルカメラ、デジタルビデオカメラおよびデジタルビデオレコーダなどに実装される復号化装置および復号化方法として有用である。

本発明の実施の形態1に係る画像復号化装置の主要な構成を示すブロック図である。 実施の形態1に係る画像復号化装置の動作の流れを示すフロー図である。 実施の形態1における、参照範囲特定部により特定される参照範囲と、参照画素バッファに取り込まれる参照画素領域の関係の一例を示す模式図である。 実施の形態1における参照範囲特定部により特定された参照範囲の一例を示す模式図である。 本発明の実施の形態2に係る画像復号化装置の主要な構成を示すブロック図である。 実施の形態1の画像復号化装置における集積回路化の一例を示す図である。 従来の画像復号化装置の構成の一例を示すブロック図である。

100、300 画像復号化装置
101 入力部
102 算術符号復号化部
103 2値データ復号化部
104 画素値復号化部
105 動きベクトル検出部
106 動き補償部
107 出力部
108 第二メモリ
109 第一メモリ
110 参照範囲特定部
111 参照画素読み出し制御部
112 参照画素バッファ
120、130 復号化部
140 LSI
302 TS分離部
303 第一可変長復号化部
304 第二可変長復号化部

Claims (2)

  1. 符号化ストリームに対し動き補償を伴う復号化を行う画像復号化装置であって、
    前記符号化ストリームを算術復号化し、符号化時に用いられた動きベクトルおよび動きベクトルに関連する情を含む動き関連情報を検出し、算術復号化の結果として得られる2値データを生成する算術復号化部と、
    前記2値データを蓄積するとともに、既に復号化済みのピクチャであって動き補償時に利用される参照ピクチャを蓄積するメモリと、
    前記算術復号化部が検出した前記動き関連情報に基づいて、前記メモリに蓄積される前記参照ピクチャが有する画素データのうちの一部の画素データを特定する参照画素読み出し制御部と、
    少なくとも前記参照画素読み出し制御部が特定する画素データを蓄積するバッファであって、前記メモリよりも高速に読み出し可能なバッファである参照画素バッファと、
    復号化過程において生成される前記動き関連情報に基づき特定される画素データを、前記参照画素バッファに蓄積される画素データから読み出し、読みだした画素データに基づいて前記メモリに蓄積される2値データを所定のブロック毎に復号化する復号化部と、を備え、
    前記復号化部は、前記算術復号化部が実際に前記符号化ストリームを復号化処理して出力する2値データよりも前に出力された2値データを、前記メモリから読み出すことにより復号化し、
    前記参照画素読み出し制御部は、前記算術復号化部が2値データを出力してから、前記2値データが前記メモリに蓄積され、前記復号化部において、前記メモリから読み出された前記2値データが処理されるまでの遅延期間を利用して、前記復号化部が動き補償時に利用する画素データを少なくとも特定し、
    前記参照画素バッファは、前記参照画素読み出し制御部が特定した画素データを、前記復号化処理における動き補償前に、前記メモリから読みだして蓄積する、
    画像復号化装置。
  2. 符号化ストリームに対し動き補償を伴う復号化を行う画像復号化装置で実行する画像復号化方法であって、
    前記画像復号化装置は、
    前記符号化ストリームを算術復号化し、符号化時に用いられた動きベクトルおよび動きベクトルに関連する情を含む動き関連情報を検出し、算術復号化の結果として得られる2値データを生成する算術復号化部と、
    前記2値データを蓄積するとともに、既に復号化済みのピクチャであって動き補償時に利用される参照ピクチャを蓄積するメモリと、
    前記算術復号化部が検出した前記動き関連情報に基づいて、前記メモリに蓄積される前記参照ピクチャが有する画素データのうち一部の画素データを特定する参照画素読み出し制御部と、
    少なくとも前記参照画素読み出し制御部が特定する画素データを蓄積するバッファであって、前記メモリよりも高速に読み出し可能なバッファである参照画素バッファと、
    復号化過程において生成される前記動き関連情報に基づき特定される画素データを、前記参照画素バッファに蓄積される画素データから読み出し、読みだした画素データに基づいて前記メモリに蓄積される2値データを所定のブロック毎に復号化する復号化部と、を備え、
    前記画像復号化方法は、
    前記復号化部が、前記算術復号化部が実際に前記符号化ストリームを復号化処理して出力する2値データよりも前に出力された2値データを、前記メモリから読み出すことにより復号化し、
    前記参照画素読み出し制御部が、前記算術復号化部が2値データを出力してから、前記2値データが前記メモリに蓄積され、前記復号化部において、前記メモリから読み出された前記2値データが処理されるまでの遅延期間を利用して、前記復号化部が動き補償時に利用する画素データを少なくとも特定し、
    前記参照画素バッファが、前記参照画素読み出し制御部が特定した画素データを、前記復号化処理における動き補償前に、前記メモリから読みだして蓄積する、
    画像復号化方法。
JP2009054265A 2009-03-06 2009-03-06 画像復号化装置および画像復号化方法 Active JP5580541B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009054265A JP5580541B2 (ja) 2009-03-06 2009-03-06 画像復号化装置および画像復号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009054265A JP5580541B2 (ja) 2009-03-06 2009-03-06 画像復号化装置および画像復号化方法
US12/717,367 US8406306B2 (en) 2009-03-06 2010-03-04 Image decoding apparatus and image decoding method

Publications (2)

Publication Number Publication Date
JP2010212817A JP2010212817A (ja) 2010-09-24
JP5580541B2 true JP5580541B2 (ja) 2014-08-27

Family

ID=42678249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009054265A Active JP5580541B2 (ja) 2009-03-06 2009-03-06 画像復号化装置および画像復号化方法

Country Status (2)

Country Link
US (1) US8406306B2 (ja)
JP (1) JP5580541B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213932A1 (en) * 2010-02-22 2011-09-01 Takuma Chiba Decoding apparatus and decoding method
US9172960B1 (en) * 2010-09-23 2015-10-27 Qualcomm Technologies, Inc. Quantization based on statistics and threshold of luminanceand chrominance
CN102595022A (zh) * 2011-01-10 2012-07-18 联咏科技股份有限公司 多媒体装置及其移动补偿方法
KR20170032598A (ko) * 2015-09-15 2017-03-23 디지털인사이트 주식회사 스크린 콘텐츠 코딩을 위한 메모리 관리 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0710028A3 (en) * 1994-10-28 2000-01-19 Kabushiki Kaisha Toshiba Image decoding apparatus
JPH08130741A (ja) * 1994-10-28 1996-05-21 Toshiba Ave Corp 画像復号化装置
US5926647A (en) * 1996-10-11 1999-07-20 Divicom Inc. Processing system with dynamic alteration of a color look-up table
US5953691A (en) * 1996-10-11 1999-09-14 Divicom, Inc. Processing system with graphics data prescaling
US6088355A (en) * 1996-10-11 2000-07-11 C-Cube Microsystems, Inc. Processing system with pointer-based ATM segmentation and reassembly
US6311204B1 (en) * 1996-10-11 2001-10-30 C-Cube Semiconductor Ii Inc. Processing system with register-based process sharing
KR19980068686A (ko) * 1997-02-22 1998-10-26 구자홍 엠펙 디코더(MPEG Decoder)의 레터 박스(Letter Box) 처리방법
JP4264571B2 (ja) * 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
JP2000175199A (ja) * 1998-12-04 2000-06-23 Sony Corp 画像処理装置及び方法、並びに提供媒体
JP3861607B2 (ja) * 2001-02-22 2006-12-20 セイコーエプソン株式会社 画像信号復号装置
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
MXPA05000335A (es) * 2002-07-09 2005-03-31 Nokia Corp Metodo y sistema para seleccionar tipo de filtro de interpolacion en codificacion de video.
US7301485B2 (en) * 2003-10-29 2007-11-27 Nec Corporation Decoding device or encoding device having intermediate buffer interposed between an arithmetic code decoder or encoder and a reverse binarization device or binarization device
US7965773B1 (en) * 2005-06-30 2011-06-21 Advanced Micro Devices, Inc. Macroblock cache
WO2007055013A1 (ja) 2005-11-11 2007-05-18 Fujitsu Limited 画像復号化装置および方法、画像符号化装置
JP4584871B2 (ja) * 2006-06-09 2010-11-24 パナソニック株式会社 画像符号化記録装置および画像符号化記録方法
JP4755624B2 (ja) * 2007-04-23 2011-08-24 ルネサスエレクトロニクス株式会社 動き補償装置
JP4884290B2 (ja) * 2007-05-07 2012-02-29 パナソニック株式会社 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム

Also Published As

Publication number Publication date
US20100226439A1 (en) 2010-09-09
JP2010212817A (ja) 2010-09-24
US8406306B2 (en) 2013-03-26

Similar Documents

Publication Publication Date Title
JP5756537B2 (ja) 適応型走査を用いる動画像復号化方法
ES2698438T3 (es) Procedimiento para interrumpir de manera selectiva la predicción en la codificación de vídeo
KR102117800B1 (ko) 화상 처리 장치 및 화상 처리 방법
US8279942B2 (en) Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
US8908763B2 (en) Fragmented reference in temporal compression for video coding
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
KR100232992B1 (ko) 동화상 디코딩 회로
CN101160971B (zh) 用于储存中间环路过滤数据之暂存存储器
JP4722125B2 (ja) 画像復号化装置及び画像復号化方法
KR101540168B1 (ko) 전이 영역 내의 샘플들의 식별
US7881541B2 (en) Coding apparatus, decoding apparatus, coding method and decoding method
US8218640B2 (en) Picture decoding using same-picture reference for pixel reconstruction
US8218641B2 (en) Picture encoding using same-picture reference for pixel reconstruction
US7881542B2 (en) Coding apparatus, decoding apparatus, coding method and decoding method
JP3966524B2 (ja) 改善された効率のためにスキュードタイル記憶フォーマットを用いる動き補償を行うシステム及び方法
JP5390773B2 (ja) オーバーラップスムージングおよびインループデブロッキングの区分的な処理
RU2573257C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
US20180213230A1 (en) Video encoder and method of operating the same
AU2013228045A1 (en) Method, apparatus and system for encoding and decoding video data
US20110026593A1 (en) Image processing apparatus, image processing method, program and integrated circuit
US7760809B2 (en) Deblocking filter apparatus and methods using sub-macro-block-shifting register arrays
JP4789200B2 (ja) 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
US20120033731A1 (en) Video encoding apparatus and video decoding apparatus
US8009740B2 (en) Method and system for a parametrized multi-standard deblocking filter for video compression systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140304

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140711

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250