JP5152190B2 - 符号化装置、符号化方法、符号化プログラムおよび符号化回路 - Google Patents

符号化装置、符号化方法、符号化プログラムおよび符号化回路 Download PDF

Info

Publication number
JP5152190B2
JP5152190B2 JP2009535933A JP2009535933A JP5152190B2 JP 5152190 B2 JP5152190 B2 JP 5152190B2 JP 2009535933 A JP2009535933 A JP 2009535933A JP 2009535933 A JP2009535933 A JP 2009535933A JP 5152190 B2 JP5152190 B2 JP 5152190B2
Authority
JP
Japan
Prior art keywords
encoding
refresh area
sub
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009535933A
Other languages
English (en)
Other versions
JPWO2009044475A1 (ja
Inventor
洋介 山口
隆登 大橋
紀昭 佃
和博 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2009044475A1 publication Critical patent/JPWO2009044475A1/ja
Application granted granted Critical
Publication of JP5152190B2 publication Critical patent/JP5152190B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、段階的リフレッシュ方式を用いて、動画像を符号化する符号化装置、符号化方法、符号化プログラムおよび符号化回路に関し、特に、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector） Ｒｅｃ．Ｈ．２６４／ＡＶＣ（Advanced Video Coding）符号化方式（以下、「Ｈ．２６４符号化方式」という）をベースとして、動画像を符号化する符号化装置、符号化方法、符号化プログラムおよび符号化回路に関するものである。
従来、図１５に示すように、カメラで撮影した映像をリアルタイム動画像としてモニタに表示する符号化装置を含む画像伝送システムでは、符号化情報量を低減するために、ＩフレームやＢフレームを定期的に挿入する符号化方式（図１６参照）により動画像を符号化していた。近年では、映像をモニタで表示するまでの初期遅延時間（VBVDelay）を短くすることを目的として、図１７に示すように、符号化情報量の大きいイントラ符号化を行う領域（リフレッシュ領域）をフレーム毎に変更する段階的リフレッシュ方式が用いられている（例えば、特許文献１を参照）。
具体的には、ＩフレームやＢフレームを定期的に挿入する符号化方式では、図１８に示すように、各フレームの符号化情報量にばらつきがあるので、安定したストリームの受け渡しをするためには送受信バッファの容量を大きく設計する必要があり、その結果、初期遅延時間が長くなる。それに対して、段階的リフレッシュ方式を用いた符号化方式では、図１９に示すように、各フレームの符号化情報量を均一にできるので、送受信バッファの容量を大きく設計しなくても安定したストリームの受け渡しが可能になる。これにより、送受信バッファに蓄積するデータが少なくなり、復号開始までの初期遅延時間を短くすることができる。
ここで、現在代表的な符号化技術の１つであるＨ．２６４符号化方式において、段階的リフレッシュ方式により動画像の符号化を行うと、ブロック境界の歪みを除去するデブロッキングフィルタ処理を行っても、ブロック境界の歪みを十分に除去することができなくなるという問題がある。
具体的には、デブロッキングフィルタは、隣接するマクロブロックの画素値を用いて所定の計算を行ってブロック境界の歪みを平滑化するが、符号化情報量の大きいリフレッシュ領域と、符号化情報量の小さい未リフレッシュ領域との境界にデブロッキングフィルタ処理が行われると、リフレッシュ領域のマクロブロックを平滑化する際の計算において、未リフレッシュ領域のマクロブロックの画素値が用いられるため（以下、リフレッシュ領域のマクロブロックを平滑化する際の計算において、未リフレッシュ領域のマクロブロックの画素値が用いられることを「漏れこみ」という）、ブロック境界の歪みを十分に除去することができない。
例えば、図２０に示すように、リフレッシュ領域と未リフレッシュ領域との境界である同図中（１）のブロック境界にデブロッキングフィルタ処理が行われたとする。このとき、同図中（２）列の画素値を図２１に示す。図２１は、図２０に示した（２）列におけるデブロッキングフィルタ処理前の画素値とデブロッキングフィルタ処理後の画素値を示す図である。図２１に示したデブロッキングフィルタ処理後の画素値「Ｓ０」は、「Ｓ０＝（（ｓ２×１）＋（ｓ１×２）＋（ｓ０×２）＋（ｔ０×２）＋（ｔ１×１）＋４）／８」という計算式から求められる。
すなわち、デブロッキングフィルタ処理後の画素値「Ｓ０」は、未リフレッシュ領域の画素値「ｔ０」および「ｔ１」を用いて計算される。リフレッシュ領域の画素値「Ｓ０」が、画質の劣化の激しい未リフレッシュ領域の画素値「ｔ０」および「ｔ１」を用いて求められると、リフレッシュ領域のブロック境界の歪みを十分に除去できない。
このように、デブロッキングフィルタによりブロック境界の歪みを十分に除去できないと、ブロック境界の歪みがある状態で動き補償処理が行われることになり、画質の劣化が次のフレーム以降に伝播するという問題が発生する。
そこで、この種の問題を解決するために、以下に示すような手法により「漏れこみ」を防止することが考えられる。１つ目の手法は、デブロッキングフィルタ処理機能をフレーム全体に対して適用しないようにする手法である。Ｈ．２６４符号化方式では、パラメータを変更してデブロッキングフィルタ処理機能を適用しないように設定することができる。したがって、段階的リフレッシュ方式を用いて動画像を符号化する場合のみ、デブロッキングフィルタ処理機能を適用しないように設定することで、「漏れこみ」を防止することができる。
２つ目の手法は、リフレッシュ領域と未リフレッシュ領域との境界に対してのみ、デブロッキングフィルタ処理機能を適用しないようにする手法である。具体的には、１つのフレームを２つ以上のフレームに分割するスライス分割機能をリフレッシュ領域と未リフレッシュ領域との境界に適用して、スライス境界に対してのみデブロッキングフィルタ処理機能を適用しないように設定する。これにより、スライス境界以外の領域にデブロッキングフィルタ処理機能を適用しつつ、「漏れこみ」を防止することができる。
図２２は、スライス分割機能を用いて漏れこみを防止する手法を説明するための図である。同図の例では、符号化装置が、入力された動画像信号を時系列に複数のフレーム１１〜１５に分割して、フレーム１１、フレーム１２、フレーム１３、・・、フレーム１４、フレーム１５の順に符号化する場合を示している。なお、フレーム１３とフレーム１４との間には、他のフレームが存在するが、ここでは図示せずに説明を省略する。
同図に示すように、符号化装置は、各フレーム１１〜１５をマクロブロックに分割して、マクロブロックの集合体であるマクロブロックラインに区切り、リフレッシュ領域にするマクロブロックラインをフレーム毎に変更する。具体的には、フレーム１１では、マクロブロックライン１１ａをリフレッシュ領域の対象とし、次に処理するフレーム１２では、マクロブロックライン１２ａをリフレッシュ領域の対象とする。このように、同図に示した例では、符号化装置は、リフレッシュ領域をフレーム毎に順次変更する段階的リフレッシュ方式により動画像を符号化している。
なお、マクロブロックライン群１１ｂは、マクロブロックライン１１ａと同一の高さのマクロブロックラインに区切られるが、区切りのイメージを図示せず、本明細書中では、「マクロブロックライン群」と呼ぶこととする。このことは、マクロブロックライン群１２ｃ、１３ｂ、１３ｃ、１４ｂおよび１５ｂについても同様である。
同図中に「イントラ＋インター」と示されたマクロブロックライン（例えば、マクロブロックライン群１１ｂ）は、マクロブロック毎に、イントラ符号化またはインター符号化のうち、符号化情報量の小さい方によって符号化されることを示す。一般的に、符号化情報量は、イントラ符号化よりインター符号化の方が小さくなると考えられるが、Ｈ．２６４符号化方式では、ブロック間の画素相関を利用して圧縮率を向上させるイントラ予測機能（「フレーム内予測機能」とも呼ばれる）を用いることで、インター符号化よりイントラ符号化の方が、符号化情報量が小さくなる場合もある。
このイントラ予測機能には、複数の予測モードがあり、予測モードによって符号化情報量が異なる。符号化装置は、リフレッシュ領域をイントラ符号化する場合、最も符号化効率が良い予測モードによって符号化し、未リフレッシュ領域をイントラ符号化する場合、符号化情報量の小さい予測モードによって符号化する。
このように段階的リフレッシュ方式により動画像を符号化する場合、フレームにデブロッキングフィルタ処理を行うと、符号化情報量の大きいリフレッシュ領域に対して、符号化情報量の小さい未リフレッシュ領域からの漏れこみが発生する。図２２に示した例では、フレーム１１の場合、リフレッシュ領域のマクロブロックライン１１ａに対して、未リフレッシュ領域のマクロブロックライン群１１ｂからの漏れこみが発生する。
このような漏れこみを防止するために、図２２に示した例では、スライス分割機能を、リフレッシュ領域と未リフレッシュ領域との境界に適用して、スライス境界に対してのみデブロッキングフィルタ処理を行わないようにする。例えば、フレーム１１の場合、マクロブロックライン１１ａとマクロブロックライン群１１ｂとの境界をスライス分割し、スライス境界１１ｓに対してのみデブロッキングフィルタ処理を行わない。同様にして、フレーム１２の場合、スライス境界１２ｓに対してのみデブロッキングフィルタ処理を行わない。
特開２００５−１２４０４１号公報
しかしながら、上述したフレーム全体に対してデブロッキングフィルタ処理を適用しないようにする従来の手法は、そもそもデブロッキングフィルタ処理の目的であるブロック境界の歪みの平滑化を行うことができなくなるという問題があった。このことは、復号化される動画像にブロック歪みが顕著に現れて、画質が劣化するという問題を招いていた。
また、スライス分割機能を用いて、スライス境界に対してのみデブロッキングフィルタ処理機能を適用しないようにする従来の手法は、スライスヘッダを付加することでオーバヘッドが発生するので画質が劣化するという問題があった。具体的には、スライスヘッダを付加するために所定の情報量が必要となり、それに伴って符号化に割り当てる情報量を減らさなければならなくなることから、復号化される動画像の画質が劣化する。
また、スライス分割機能を用いると、イントラ予測機能をスライス分割により分割されたフレーム間に適用できないため、符号化の圧縮効率が低下するという問題があった。このことは、効率的な符号化を行うことができないことになり、その結果、復号化される動画像の画質が劣化するという問題を招いていた。
以上のことから、段階的リフレッシュ方式を用いて動画像を、デブロッキングフィルタ処理機能を備えるＨ．２６４符号化方式等によって符号化する場合、復号化される動画像の画質をいかにして劣化させないように符号化するかが重要な課題となっている。
本発明は、上述した従来技術による問題点（課題）を解消するためになされたものであり、段階的リフレッシュ方式を用いて初期遅延時間を短くしつつ、復号化される動画像の画質を劣化させないように、デブロッキングフィルタ処理機能を備えるＨ．２６４符号化方式等によって動画像を符号化することができる符号化装置、符号化方法、符号化プログラムおよび符号化回路を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一つの態様では、入力された動画データをフレーム毎に分割してデブロッキングフィルタ処理するとともに、前記フレームをマクロブロックラインに分割して、特定のマクロブロックラインに他のマクロブロックラインよりも符号化情報量を大きく割り当てるリフレッシュ領域をフレーム毎にずらして変更しながら前記動画データを符号化する符号化装置であって、符号化処理している現フレームのリフレッシュ領域に加えて、次に符号化処理するフレームでリフレッシュ領域とするマクロブロックに対応する現フレーム内のマクロブロックを、現フレームの二つ目のリフレッシュ領域であることを示す次回リフレッシュ領域にすることを決定するリフレッシュ領域決定部と、前記リフレッシュ領域及び前記次回リフレッシュ領域を、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化する符号化部とを備えることを特徴とする。
また、本発明の他の態様では、上記の発明の態様において、前記符号化部は、前記次回リフレッシュ領域をイントラ符号化することを特徴とする。
これらの発明の態様によれば、次に処理するフレーム内のインター符号化されるマクロブロックラインが、漏れこみの発生しているマクロブロックラインを参照することはない。これにより、漏れこみが発生しているフレームを参照することで画質の劣化が次のフレーム以降に伝播するという問題を解消することができる。すなわち、段階的リフレッシュ方式を用いて初期遅延時間を短くしつつ、復号化される動画像の画質を劣化させないように動画像をＨ．２６４符号化方式によって符号化することができる。
また、本発明の他の態様では、上記の発明の態様において、前記符号化部は、前記次回リフレッシュ領域をサブブロックの集合体であるサブブロックラインに分割し、前記リフレッシュ領域に隣接するサブブロックラインである隣接サブブロックラインを、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化し、前記リフレッシュ領域に隣接しないサブブロックラインである非隣接サブブロックラインを、前記隣接サブブロックラインよりも符号化情報量を小さく割り当てて符号化することを特徴とする。
また、本発明の他の態様では、上記の発明の態様において、前記符号化部は、前記隣接サブブロックラインと前記非隣接サブブロックラインとを、イントラ符号化することを特徴とする。
また、本発明の他の態様では、上記の発明の態様において、前記符号化部は、前記隣接サブブロックラインと前記非隣接サブブロックラインとを、インター符号化することを特徴とする。
また、本発明の他の態様では、上記の発明の態様において、前記符号化部は、前記隣接サブブロックラインをインター符号化し、前記非隣接サブブロックラインに、一つ前に符号化処理した前フレームの符号化情報を用いることを示す情報を設定することを特徴とする。
これらの発明の態様によれば、漏れこみを防止するために最低限必要な領域に対してのみ大きい符号化情報量を割り当てることになり、１つのフレームに割り当てることができる符号化情報量がやや少ない場合であっても、漏れこみを防止することができる。
また、本発明の他の態様では、上記の発明の態様において、前記次回リフレッシュ領域をどのように符号化するかを示す符号化方式を記憶する符号化方式記憶部をさらに備え、前記符号化部は、前記符号化方式記憶部に記憶されている符号化方式に基づいて、前記次回リフレッシュ領域を符号化することを特徴とする。
この発明の態様によれば、符号化方式記憶部を更新するだけで、符号化方式を容易に変更することができる。
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
本発明の一つの態様によれば、段階的リフレッシュ方式を用いて初期遅延時間を短くしつつ、復号化される動画像の画質を劣化させないように動画像をＨ．２６４符号化方式によって符号化することができるという効果を奏する。
図１は、実施例１に係る符号化装置による符号化処理の概要を説明するための図である。 図２は、実施例１に係る符号化装置の回路構成を示す図である。 図３は、図２に示した符号化モード決定回路の構成を示す機能ブロック図である。 図４は、図３に示した符号化モード決定回路による符号化モード決定処理手順を示すフローチャートである。 図５は、実施例２に係る符号化装置による符号化処理の概要を説明するための図である。 図６は、実施例２に係る符号化モード決定回路の構成を示す機能ブロック図である。 図７は、図６に示した符号化モード決定回路による符号化モード決定処理手順を示すフローチャートである。 図８は、サブブロックラインをインター符号化する場合における符号化装置による符号化処理の概要を説明するための図である。 図９は、サブブロックラインをインター符号化する場合における符号化モード決定回路による符号化モード決定処理手順を示すフローチャートである。 図１０は、非隣接サブブロックラインをスキップブロックに割り当てる場合における符号化装置による符号化処理の概要を説明するための図である。 図１１は、非隣接サブブロックラインをスキップブロックに割り当てる場合における符号化モード決定回路による符号化モード決定処理手順を示すフローチャートである。 図１２は、実施例３に係る符号化モード決定回路の構成を示す機能ブロック図である。 図１３は、符号化方式記憶部の一例を示す図である。 図１４は、符号化プログラムを実行するコンピュータを示す機能ブロック図である。 図１５は、画像伝送システムを示す図である。 図１６は、通常の符号化処理を示す図である。 図１７は、段階的リフレッシュ方式の符号化処理を示す図である。 図１８は、通常のバッファモデルを示す図である。 図１９は、段階的リフレッシュ方式のバッファモデルを示す図である。 図２０は、マクロブロック境界へのデブロッキングフィルタ処理を示す図である。 図２１は、図２０に示した（２）列におけるデブロッキングフィルタ処理前の画素値とデブロッキングフィルタ処理後の画素値を示す図である。 図２２は、スライス分割機能を用いて漏れこみを防止する手法を説明するための図である。
符号の説明
１１〜１５、２１〜２５、３１〜３５、４１〜４５、５１〜５５ フレーム
１１ａ、１２ａ、１２ｂ、１３ａ、１４ａ、１４ｃ、１５ａ マクロブロックライン
２１ａ、２１ｂ、２２ａ〜２２ｃ、２３ａ、２３ｂ、２４ａ、２４ｂ、２５ａ マクロブロックライン
３１ａ、３２ａ、３２ｄ、３３ａ、３４ａ、３５ａ マクロブロックライン
４１ａ、４２ａ、４２ｄ、４３ａ、４４ａ、４５ａ マクロブロックライン
５１ａ、５２ａ、５２ｄ、５３ａ、５４ａ、５５ａ マクロブロックライン
１１ｂ、１２ｃ、１３ｂ、１３ｃ、１４ｂ、１５ｂ マクロブロックライン群
２１ｃ、２２ｄ、２３ｃ、２３ｄ、２４ｃ、２５ｃ マクロブロックライン群
３１ｄ、３２ｅ、３３ｄ、３３ｅ、３４ｄ、３５ｄ マクロブロックライン群
４１ｄ、４２ｅ、４３ｄ、４３ｅ、４４ｄ、４５ｄ マクロブロックライン群
５１ｄ、５２ｅ、５３ｄ、５３ｅ、５４ｄ、５５ｄ マクロブロックライン群
３１ｂ、３１ｃ、３２ｂ、３２ｃ、３３ｂ、３３ｃ、３４ｂ、３４ｃ サブブロックライン
４１ｂ、４１ｃ、４２ｂ、４２ｃ、４３ｂ、４３ｃ、４４ｂ、４４ｃ サブブロックライン
５１ｂ、５１ｃ、５２ｂ、５２ｃ、５３ｂ、５３ｃ、５４ｂ、５４ｃ サブブロックライン
１００ 符号化装置
１０１ 符号化モード決定回路
１０２ 減算回路
１０３ イントラ予測回路
１０４ 直交変換回路
１０５ 量子化回路
１０６ 可変長符号化回路
１０７ ストリーム多重化回路
１０８ 逆量子化回路
１０９ 逆直交変換回路
１１０ 加算回路
１１１ デブロッキングフィルタ
１１２ フレームメモリ
１１３ 動き探索回路
１１４ 動き補償回路
１１５ 動きベクトル符号化回路
１１６ 統計情報取得回路
２０１ 分割部
２０２ リフレッシュ領域決定部
２０３ 複雑度算出部
２０４ 統計情報分析部
２０５ 符号化モード決定部
２０６ サブブロック分割部
２０７ 符号化方式記憶部
１０００ コンピュータ
１０１０ ＣＰＵ
１０２０ 入力装置
１０３０ モニタ
１０４０ 媒体読取り装置
１０５０ ネットワークインターフェース装置
１０６０ ＲＡＭ
１０６１ 符号化プロセス
１０７０ ハードディスク装置
１０７１ 符号化プログラム
１０８０ バス
以下に、本発明に係る符号化装置、符号化方法、符号化プログラムおよび符号化回路の実施例を図面に基づいて詳細に説明する。なお、以下の実施例では、本発明を、Ｈ．２６４符号化方式により動画像を符号化する符号化装置に適用した場合を例にして説明する。
まず、実施例１に係る符号化装置による符号化処理の概要について説明する。実施例１に係る符号化装置は、段階的リフレッシュ方式においてリフレッシュ領域になるマクロブロックラインに加えて、次に処理するフレームでリフレッシュ領域とするマクロブロックラインに対応するマクロブロックラインについてもリフレッシュ領域にする。
図１を用いて具体的に説明する。図１は、実施例１に係る符号化装置による符号化処理の概要を説明するための図である。同図に示すように、実施例１に係る符号化装置は、フレーム２１を符号化する場合、段階的リフレッシュ方式においてリフレッシュ領域になるマクロブロックライン２１ａに加えて、次に処理するフレーム２２でリフレッシュ領域とするマクロブロックライン２２ａに対応するマクロブロックライン２１ｂについてもリフレッシュ領域（以下、次に処理するフレームでリフレッシュ領域になるマクロブロックラインに対応する現フレーム内のマクロブロックラインをリフレッシュ領域の対象にする場合、リフレッシュ領域の対象とするこの領域を「次回リフレッシュ領域」という）にする。
リフレッシュ領域に指定されたマクロブロックライン２１ａとマクロブロックライン２１ｂは、符号化情報量を大きく割り当てられてイントラ符号化されるので、マクロブロックライン２１ａとマクロブロックライン２１ｂとの間で漏れこみは発生しない。これにより、フレーム２２のマクロブロックライン２２ｃがインター符号化される場合であっても、マクロブロックライン２２ｃは、漏れこみの発生していないマクロブロックライン２１ａを参照する。
同様にして、実施例１に係る符号化装置は、フレーム２２を符号化する場合、マクロブロックライン２２ａをリフレッシュ領域にするとともに、マクロブロックライン２２ｂを次回リフレッシュ領域にする。これにより、フレーム２３のマクロブロックライン群２３ｃがインター符号化される場合であっても、マクロブロックライン群２３ｃは、漏れこみの発生していないマクロブロックライン２２ａおよび２２ｃを参照する。
なお、フレーム２１では、マクロブロックライン２１ｂに対してマクロブロックライン群２１ｃからの漏れこみが発生する。しかし、フレーム２２のマクロブロックライン群２２ｄがインター符号化される場合、マクロブロックライン群２２ｄは、漏れこみが発生しているマクロブロックライン２１ｂを参照することはない。
また、フレーム２２において、マクロブロックライン２２ｃがインター符号化される場合であっても、マクロブロックライン２２ａに対して、マクロブロックライン２２ｃからの漏れこみが発生することはない。漏れこみは、デブロッキングフィルタ処理時に、リフレッシュ領域の画素値を、画質の劣化が激しい未リフレッシュ領域の画素値を用いて求めることで発生するが、マクロブロックライン２２ｃは、リフレッシュ領域であるマクロブロックライン２１ａを参照するので、画質の劣化が少ないからである。
このように、実施例１に係る符号化装置は、段階的リフレッシュ方式におけるリフレッシュ領域に加えて、次に処理するフレームでリフレッシュ領域とするマクロブロックラインに対応するマクロブロックラインを次回リフレッシュ領域にするので、次に処理するフレーム内のインター符号化されるマクロブロックラインが、漏れこみの発生しているマクロブロックラインを参照することはない。これにより、漏れこみが発生しているフレームを参照することで画質の劣化が次のフレーム以降に伝播するという問題を解消することができる。また、デブロッキングフィルタ処理機能をフレーム全体に適用するので、ブロック境界の歪みを平滑化することができ、復号化される動画像にブロック歪みが現れることを低減することができる。また、スライス分割機能を適用しないので、スライスヘッダを付加することで画質が劣化するという問題や、スライス分割機能により分割されたフレーム間にイントラ予測機能を適用できなくなるという問題が発生しない。これらのことから、実施例１に係る符号化装置は、段階的リフレッシュ方式を用いて初期遅延時間を短くしつつ、復号化される動画像の画質を劣化させないように動画像をＨ．２６４符号化方式によって符号化することができる。
次に、実施例１に係る符号化装置１００の回路構成について説明する。図２は、実施例１に係る符号化装置１００の回路構成を示す図である。同図に示すように、符号化装置１００は、符号化モード決定回路１０１と、減算回路１０２と、イントラ予測回路１０３と、直交変換回路１０４と、量子化回路１０５と、可変長符号化回路１０６と、ストリーム多重化回路１０７と、逆量子化回路１０８と、逆直交変換回路１０９と、加算回路１１０と、デブロッキングフィルタ１１１と、フレームメモリ１１２と、動き探索回路１１３と、動き補償回路１１４と、動きベクトル符号化回路１１５と、統計情報取得回路１１６とを有する。なお、以下では、「現フレーム信号」は、現に処理するフレーム信号を示し、「前フレーム信号」は、現フレーム信号より前に処理したフレーム信号を示し、「後フレーム信号」は、現フレーム信号より後に処理するフレーム信号を示すこととする。
符号化モード決定回路１０１は、入力された動画像信号を、時系列に複数のフレームに分割した後、各フレームをマクロブロックに分割し、マクロブロック毎にイントラ符号化モードまたはインター符号化モードのいずれによって符号化するかを決定する回路である。そして、符号化モード決定回路１０１は、どのマクロブロックをどの符号化モードによって符号化するかを示す情報を含むフレーム信号を、減算回路１０２へ出力する。なお、符号化モード決定回路１０１による詳細な処理については後述する。
減算回路１０２は、符号化モード決定回路１０１から入力されたフレーム信号の冗長性を取り除く回路である。具体的には、減算回路１０２は、符号化モード決定回路１０１によりインター符号化することが決定されたマクロブロックに対してのみ処理を行い、処理対象のマクロブロックと、動き補償回路１１４から入力された前フレーム信号との画素値の差分値を求め、減算処理後のフレーム信号をイントラ予測回路１０３へ出力する。
イントラ予測回路１０３は、ブロック間の画素相関を利用してフレーム内予測を行う回路である。具体的には、イントラ予測回路１０３は、符号化モード決定回路１０１によりイントラ符号化かつイントラ予測することが決定されたマクロブロックに対してのみ処理を行い、処理対象のマクロブロックを、符号化モード決定回路１０１により決定された予測モードによってフレーム内予測を行い、フレーム内予測後のフレーム信号を直交変換回路１０４へ出力する。
直交変換回路１０４は、フレーム内の冗長性を取り除いて符号化する回路である。具体的には、直交変換回路１０４は、イントラ予測回路１０３から入力されたフレーム信号を、例えば、離散コサイン変換（ＤＣＴ（Discrete Cosine Transform））などにより所定の大きさのブロック毎に周波数成分に変換し、直交変換した結果の変換係数を量子化回路１０５へ出力する。
量子化回路１０５は、直交変換回路１０４から入力された変換係数を量子化する回路であり、量子化した結果の符号を可変長符号化回路１０６および逆量子化回路１０８へ出力する。
可変長符号化回路１０６は、量子化回路１０５から入力された量子化後の符号を可変長符号化する回路であり、可変長符号化した符号をマクロブロック単位にストリーム多重化回路１０７へ出力する。
ストリーム多重化回路１０７は、可変長符号化回路１０６から入力された可変長符号化後の符号から符号化ビットストリームを形成する回路である。具体的には、ストリーム多重化回路１０７は、イントラ符号化されたマクロブロックの場合は、可変長符号化回路１０６から入力された可変長符号化後の符号に所定のヘッダを付加した符号化ビットストリームを形成し、インター符号化されたマクロブロックの場合は、可変長符号化回路１０６から入力された可変長符号化後の符号と、動きベクトル符号化回路１１５から入力された符号化信号とに所定のヘッダを付加した符号化ビットストリームを形成し、形成した符号化ビットストリームを受信バッファへ出力する。
逆量子化回路１０８は、量子化回路１０５から入力された量子化後の符号を元の周波数成分の変換係数へ逆量子化する回路であり、逆量子化した変換係数を逆直交変換回路１０９へ出力する。
逆直交変換回路１０９は、逆量子化回路１０８から入力された周波数成分の変換係数をフレーム信号へと逆直交変換する回路であり、逆直交変換したフレーム信号を加算回路１１０へ出力する。
加算回路１１０は、逆直交変換回路１０９から入力されたフレーム信号を再生する回路である。具体的には、加算回路１１０は、インター符号化されたマクロブロックに対してのみ処理を行い、処理対象のマクロブロックに、動き補償回路１１４から入力された動き補償後のフレーム信号を加算してフレーム信号を再生し、再生したフレーム信号をデブロッキングフィルタ１１１へ出力する。
デブロッキングフィルタ１１１は、ブロック単位で行われる符号化処理時に発生するブロック間の歪みを減少させる回路であり、加算回路１１０から入力された画像信号に対してデブロッキングフィルタ処理を行い、デブロッキングフィルタ処理後のフレーム信号をフレームメモリ１１２へ出力する。
フレームメモリ１１２は、デブロッキングフィルタ１１１から入力されたフレーム信号を順次蓄積する記憶素子である。フレームメモリ１１２に蓄積されたフレーム信号は、統計情報取得回路１１６によって順次読み出され、また、インター符号化される場合に、必要に応じて、動き探索回路１１３および動き補償回路１１４によって読み出される。
動き探索回路１１３は、フレーム間の画像の動きの大きさおよび方向を表す動きベクトルを所定の単位毎に検出する回路である。具体的には、動き探索回路１１３は、インター符号化されたマクロブロックに対してのみ処理を行い、現フレーム信号と、フレームメモリ１１２から読み出した前フレーム信号または後フレーム信号とから動きベクトルを検出し、検出した動きベクトルを、動き補償回路１１４および動きベクトル符号化回路１１５へ出力する。
動き補償回路１１４は、フレームメモリ１１２からフレーム信号を読み出したフレーム信号から、動きのある部分をその動きに応じて、処理するフレームの位置に動き補償する回路である。具体的には、動き補償回路１１４は、インター符号化されたマクロブロックに対してのみ処理を行い、動き探索回路１１３から入力された動きベクトルを用いて所定の単位毎に動き補償をし、動き補償したフレーム信号を、減算回路１０２と、加算回路１１０とへ出力する。
統計情報取得回路１１６は、フレームメモリ１１２から前フレーム信号を読み出して、読み出した前フレーム信号を、マクロブロック毎に解析し、各マクロブロックがイントラ符号化またはインター符号化のいずれによって符号化されたかを示す情報と、符号化された場合における符号化情報量とを含む統計情報を、符号化モード決定回路１０１へ出力する。
次に、図２に示した符号化モード決定回路１０１の構成について説明する。図３は、図２に示した符号化モード決定回路１０１の構成を示す機能ブロック図である。同図に示すように、符号化モード決定回路１０１は、分割部２０１と、リフレッシュ領域決定部２０２と、複雑度算出部２０３と、統計情報分析部２０４と、符号化モード決定部２０５とを有する。
分割部２０１は、入力された動画像信号を、時系列に複数のフレームに分割した後、各フレームを「１６×１６」画素のマクロブロックに分割して、マクロブロック分割後のフレーム信号をリフレッシュ領域決定部２０２へ出力する処理部である。
リフレッシュ領域決定部２０２は、分割部２０１によりマクロブロックに分割されたフレーム信号を、マクロブロックの集合体であるマクロブロックラインの単位に区切り、どのマクロブロックラインをリフレッシュ領域または次回リフレッシュ領域にするかを決定する処理部である。具体的には、リフレッシュ領域決定部２０２は、段階的リフレッシュ方式においてリフレッシュ領域になるマクロブロックラインをリフレッシュ領域にするとともに、次に処理するフレームでリフレッシュ領域とするマクロブロックラインに対応するマクロブロックラインを次回リフレッシュ領域にすることを決定する。そして、リフレッシュ領域決定部２０２は、どのマクロブロックラインがリフレッシュ領域または次回リフレッシュ領域であるかを示す情報を含むフレーム信号を、複雑度算出部２０３、統計情報分析部２０４および符号化モード決定部２０５へ出力する。
複雑度算出部２０３は、リフレッシュ領域決定部２０２から入力されたフレーム信号のリフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎に複雑度を示す特徴量を算出し、算出した特徴量を符号化モード決定部２０５へ出力する処理部である。
統計情報分析部２０４は、リフレッシュ領域決定部２０２から入力されたフレーム信号のリフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎に、イントラ符号化またはインター符号化のいずれによって符号化すれば少ない符号化情報量によって符号化することができるかを分析し、分析結果を符号化モード決定部２０５へ出力する処理部である。このとき、統計情報分析部２０４は、統計情報取得回路１１６から入力された統計情報に基づいて分析する。
符号化モード決定部２０５は、リフレッシュ領域決定部２０２、複雑度算出部２０３および統計情報分析部２０４から入力された情報に基づいて、フレーム信号について、マクロブロック毎に、イントラ符号化モードまたはインター符号化モードのいずれによって符号化するかを決定する処理部である。
具体的には、符号化モード決定部２０５は、まず、リフレッシュ領域決定部２０２によってリフレッシュ領域または次回リフレッシュ領域にすると決定されたマクロブロックラインを符号化情報量の大きいイントラ符号化モードにより符号化することを決定する。また、符号化モード決定部２０５は、イントラ予測機能を適用するか否かを決定し、イントラ予測機能を適用する場合は、どの予測モードによってイントラ予測を行うかについても決定する。
そして、符号化モード決定部２０５は、リフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎にイントラ符号化モードまたはインター符号化モードのいずれによって符号化するかを決定する。このとき、符号化モード決定部２０５は、複雑度算出部２０３から入力された特徴量と、統計情報分析部２０４から入力された分析結果とに基づいて、イントラ符号化モードまたはインター符号化モードのうち、符号化情報量が少なくなる符号化モードを選択する。また、符号化モード決定部２０５は、イントラ符号化モードを選択する場合は、イントラ予測機能を適用するか否かを決定する。
次に、図３に示した符号化モード決定回路１０１による符号化モード決定処理について説明する。図４は、図３に示した符号化モード決定回路１０１による符号化モード決定処理手順を示すフローチャートである。なお、この処理手順は、符号化装置１００に動画像信号が入力される度に実行される。
同図に示すように、符号化装置１００に動画像信号が入力されると、符号化モード決定回路１０１内の分割部２０１は、動画像信号を時系列に複数のフレームに分割した後、各フレームをマクロブロックに分割して、マクロブロック分割後のフレーム信号をリフレッシュ領域決定部２０２へ出力する（ステップＳ３０１）。
フレーム信号を入力されたリフレッシュ領域決定部２０２は、フレーム信号を、マクロブロックの集合体であるマクロブロックラインの単位に区切り、段階的リフレッシュ方式においてリフレッシュ領域になるマクロブロックラインをリフレッシュ領域にするとともに、次に処理するフレームでリフレッシュ領域とするマクロブロックラインに対応するマクロブロックラインを次回リフレッシュ領域にすることを決定する（ステップＳ３０２）。そして、リフレッシュ領域決定部２０２は、どのマクロブロックラインがリフレッシュ領域または次回リフレッシュ領域であるかを示す情報を含むフレーム信号を、複雑度算出部２０３、統計情報分析部２０４および符号化モード決定部２０５へ出力する。
リフレッシュ領域決定部２０２からフレーム信号を入力された複雑度算出部２０３は、リフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎に複雑度を示す特徴量を算出し、算出した特徴量を符号化モード決定部２０５へ出力する（ステップＳ３０３）。
また、リフレッシュ領域決定部２０２からフレーム信号を入力された統計情報分析部２０４は、リフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎に、イントラ符号化またはインター符号化のいずれによって符号化すれば少ない符号化情報量によって符号化することができるかを、統計情報取得回路１１６から入力された統計情報に基づいて分析し、分析結果を符号化モード決定部２０５へ出力する（ステップＳ３０４）。
そして、符号化モード決定部２０５は、リフレッシュ領域決定部２０２から入力されたフレーム信号を解析し、マクロブロックライン単位に処理を行う。具体的には、処理するマクロブロックラインが、リフレッシュ領域決定部２０２によってリフレッシュ領域または次回リフレッシュ領域にすることを決定されたマクロブロックラインである場合（ステップＳ３０５肯定）、符号化モード決定部２０５は、該当のマクロブロックラインを符号化情報量の大きいイントラ符号化モードにより符号化することを決定する（ステップＳ３０６）。
一方、符号化モード決定部２０５は、処理するマクロブロックラインが、リフレッシュ領域または次回リフレッシュ領域にすることを決定されたマクロブロックラインでない場合（ステップＳ３０５否定）、該当のマクロブロックラインについて、マクロブロック毎に、イントラ符号化モードまたはインター符号化モードのいずれによって符号化するかを決定する（ステップＳ３０７）。
上述してきたように、実施例１に係る符号化装置１００は、段階的リフレッシュ方式におけるリフレッシュ領域に加えて、次に処理するフレームでリフレッシュ領域とするマクロブロックラインに対応するマクロブロックラインを次回リフレッシュ領域にするように構成したので、次に処理するフレーム内のインター符号化されるマクロブロックラインが漏れこみの発生しているマクロブロックラインを参照することはない。これにより、漏れこみが発生しているフレームを参照することで画質の劣化が次のフレーム以降に伝播するという問題を解消することができる。したがって、実施例１に係る符号化装置１００は、段階的リフレッシュ方式を用いて初期遅延時間を短くしつつ、復号化される動画像の画質を劣化させないように動画像をＨ．２６４符号化方式によって符号化することができる。
上記実施例１では、次回リフレッシュ領域を符号化情報量の大きいイントラ符号化モードにより符号化する例を示したが、実施例２では、次回リフレッシュ領域をサブブロック分割して、リフレッシュ領域に隣接するサブブロックを符号化情報量の大きいイントラ符号化モードにより符号化する例を示す。
図５は、実施例２に係る符号化装置による符号化処理の概要を説明するための図である。同図に示すように、実施例２に係る符号化装置は、次回リフレッシュ領域のマクロブロックラインをサブブロック分割する。サブブロック分割とは、Ｈ．２６４符号化方式で採用されているブロック分割機能であり、フレームを「８×８」画素や「４×４」画素等のブロックに分割する。
実施例２に係る符号化装置は、サブブロック分割された次回リフレッシュ領域を、サブブロックの集合体であるサブブロックラインに区切って処理を行う。図５に示した例では、フレーム３１の次回リフレッシュ領域を、サブブロックライン３１ｂとサブブロックライン３１ｃとに区切り、フレーム３２の次回リフレッシュ領域を、サブブロックライン３２ｂとサブブロックライン３２ｃとに区切っている。
そして、実施例２に係る符号化装置は、リフレッシュ領域に隣接するサブブロックライン（以下、リフレッシュ領域に隣接するサブブロックラインを「隣接サブブロックライン」という）を、符号化情報量の大きいイントラ符号化モードにより符号化し、リフレッシュ領域に隣接しないサブブロックライン（以下、リフレッシュ領域に隣接しないサブブロックラインを「非隣接サブブロックライン」という）を符号化情報量の小さいイントラ符号化モードにより符号化する。
図５に示した例では、フレーム３１の場合、リフレッシュ領域（マクロブロックライン３１ａ）に隣接するサブブロックライン３１ｂを符号化情報量の大きいイントラ符号化モードにより符号化し、リフレッシュ領域に隣接しないサブブロックライン３１ｃを符号化情報量の小さいイントラ符号化モードにより符号化する。これにより、マクロブロックライン３１ａに対して、サブブロックライン３１ｂからの漏れこみを防止することができる。
このように、実施例２に係る符号化装置は、次回リフレッシュ領域をサブブロック分割して、リフレッシュ領域に隣接するサブブロックラインのみ符号化情報量の大きいイントラ符号化モードにより符号化するので、漏れこみを防止するために最低限必要な領域に対してのみ大きい符号化情報量を割り当てることになり、１つのフレームに割り当てることができる符号化情報量がやや少ない場合であっても、漏れこみを防止することができる。
次に、実施例２に係る符号化モード決定回路１０１の構成について説明する。図６は、実施例２に係る符号化モード決定回路１０１の構成を示す機能ブロック図である。なお、実施例２に係る符号化装置１００の回路構成は、図２に示した回路構成と同様である。図６に示すように、実施例２に係る符号化モード決定回路１０１は、実施例１に係る符号化モード決定回路１０１（図３参照）と比較して、サブブロック分割部２０６を新たに有する。
サブブロック分割部２０６は、リフレッシュ領域決定部２０２により次回リフレッシュ領域にすることが決定されたマクロブロックラインをサブブロック分割し、サブブロック分割後のフレーム信号を符号化モード決定部２０５へ出力する処理部である。
サブブロック分割部２０６からフレーム信号を入力された符号化モード決定部２０５は、サブブロック分割された次回リフレッシュ領域を、サブブロックの集合体であるサブブロックラインに区切って処理を行う。そして、符号化モード決定部２０５は、リフレッシュ領域決定部２０２によってリフレッシュ領域と決定されたマクロブロックラインと、隣接サブブロックラインとを符号化情報量の大きいイントラ符号化モードにより符号化することを決定するとともに、非隣接サブブロックラインを符号化情報量の小さいイントラ符号化モードにより符号化することを決定する。
また、符号化モード決定部２０５は、リフレッシュ領域および次回リフレッシュ領域以外のマクロブロックラインについて、マクロブロック毎にイントラ符号化またはインター符号化のいずれによって符号化するかを決定する。
次に、図６に示した符号化モード決定回路１０１による符号化モード決定処理について説明する。図７は、図６に示した符号化モード決定回路１０１による符号化モード決定処理手順を示すフローチャートである。なお、同図に示した処理手順と、図４に示した符号化モード決定処理手順と同様の処理手順（ステップＳ４０１〜Ｓ４０４）は、その説明を省略する。
図７に示すように、サブブロック分割部２０６は、リフレッシュ領域決定部２０２により次回リフレッシュ領域にすることが決定されたマクロブロックラインをサブブロック分割し、サブブロック分割後のフレーム信号を符号化モード決定部２０５へ出力する（ステップＳ４０５）。
そして、符号化モード決定部２０５は、サブブロック分割部２０６から入力されたフレーム信号を解析し、マクロブロックライン単位に処理を行う。具体的には、処理するマクロブロックラインが、リフレッシュ領域決定部２０２によってリフレッシュ領域にすることを決定されたマクロブロックラインである場合（ステップＳ４０６肯定）、該当のマクロブロックラインを符号化情報量の大きいイントラ符号化モードにより符号化することを決定する（ステップＳ４０７）。
一方、符号化モード決定部２０５は、処理するマクロブロックラインが、リフレッシュ領域決定部２０２によって次回リフレッシュ領域にすることを決定されたマクロブロックラインである場合（ステップＳ４０６否定、ステップＳ４０８肯定）、該当のマクロブロックラインをサブブロックの集合体であるサブブロックラインに区切って処理を行う。
そして、処理するサブブロックラインが隣接サブブロックラインである場合（ステップＳ４０９肯定）、符号化モード決定部２０５は、該当のサブブロックラインを符号化情報量の大きいイントラ符号化モードにより符号化することを決定する（ステップＳ４１０）。一方、符号化モード決定部２０５は、処理するサブブロックラインが非隣接サブブロックラインである場合（ステップＳ４０９否定）、該当のサブブロックラインを符号化情報量の小さいイントラ符号化モードにより符号化することを決定する（ステップＳ４１１）。
一方、符号化モード決定部２０５は、処理するマクロブロックラインがリフレッシュ領域でもなく（ステップＳ４０６否定）、次回リフレッシュ領域でもない場合（ステップＳ４０８否定）、該当のマクロブロックラインをマクロブロック毎に、イントラ符号化またはインター符号化のいずれによって符号化するかを決定する（ステップＳ４１２）。
上述してきたように、実施例２に係る符号化装置１００は、次回リフレッシュ領域をサブブロック分割し、リフレッシュ領域に隣接する隣接サブブロックラインのみ符号化情報量の大きいイントラ符号化モードにより符号化するように構成したので、漏れこみを防止するために最低限必要な領域に対してのみ大きい符号化情報量を割り当てることになり、１つのフレームに割り当てることができる符号化情報量がやや少ない場合であっても、漏れこみを防止することができる。
なお、上記実施例２に係る符号化装置１００は、隣接サブブロックラインを符号化情報量の大きいインター符号化モードにより符号化し、非隣接サブブロックラインを符号化情報量の小さいインター符号化モードにより符号化するように構成してもよい。隣接サブブロックラインを符号化情報量の大きいインター符号化することで、符号化情報量の大きいイントラ符号化する場合とほぼ同様の効果が得られる。これにより、隣接サブブロックラインを符号化情報量の大きいイントラ符号化すると、１つのフレームに割り当てることができる符号化情報量を超えてしまうような場合であっても、可能な限り漏れこみを防止することができる。
図８は、サブブロックラインをインター符号化する場合における符号化装置１００による符号化処理の概要を説明するための図である。同図に示すように、符号化装置は、隣接サブブロックラインを符号化情報量の大きいインター符号化モードにより符号化し、非隣接サブブロックラインを符号化情報量の小さいインター符号化モードにより符号化する。例えば、フレーム４１の場合、サブブロックライン４１ｂを符号化情報量の大きいインター符号化モードにより符号化し、サブブロックライン４１ｃを符号化情報量の小さいインター符号化モードにより符号化する。
図９は、サブブロックラインをインター符号化する場合における符号化モード決定回路１０１による符号化モード決定処理手順を示すフローチャートである。なお、同図に示した処理手順と、図７に示した符号化モード決定処理手順と同様の処理手順（ステップＳ５０１〜Ｓ５０８およびＳ５１２）は、その説明を省略する。
図９に示すように、符号化モード決定部２０５は、処理するサブブロックラインが隣接サブブロックラインである場合（ステップＳ５０９肯定）、該当のサブブロックラインを符号化情報量の大きいインター符号化モードにより符号化することを決定する（ステップＳ５１０）。一方、符号化モード決定部２０５は、処理するサブブロックラインが非隣接サブブロックラインである場合（ステップＳ５０９否定）、該当のサブブロックラインを符号化情報量の小さいインター符号化モードにより符号化することを決定する（ステップＳ５１１）。
また、上記実施例２に係る符号化装置１００は、隣接サブブロックラインを符号化情報量の大きいインター符号化モードにより符号化し、非隣接サブブロックラインをスキップブロックに割り当てるように構成してもよい。スキップブロックとは、１つ前に処理したフレームの符号化情報をそのまま用いることを示す情報のみが付加されているブロックである。復号化装置は、スキップブロックを復号化する場合、１つ前に処理したフレームの画像をそのまま適用する。
非隣接サブブロックラインをスキップブロックに割り当てることで、１つのフレームの符号化情報量をより小さくすることができる。したがって、１つのフレームに割り当てることができる符号化情報量が非常に小さい場合であっても可能な限り漏れこみを防止することができる。なお、スキップブロックに割り当てる非隣接サブブロックラインは、次に処理するフレームでリフレッシュ領域となるので、復号化された後の動画像の画質は、ほとんど劣化しない。
図１０は、非隣接サブブロックラインをスキップブロックに割り当てる場合における符号化装置１００による符号化処理の概要を説明するための図である。同図に示すように、符号化装置は、隣接サブブロックラインを符号化情報量の大きいインター符号化モードにより符号化し、非隣接サブブロックラインをスキップブロックに割り当てる。例えば、フレーム５１の場合、サブブロックライン５１ｂを符号化情報量の大きいインター符号化し、サブブロックライン５１ｃをスキップブロックに割り当てている。
図１１は、非隣接サブブロックラインをスキップブロックに割り当てる場合における符号化モード決定回路１０１による符号化モード決定処理手順を示すフローチャートである。なお、同図に示した処理手順と、図９に示した符号化モード決定処理手順と同様の処理手順（ステップＳ６０１〜Ｓ６０８およびＳ６１２）は、その説明を省略する。
図１１に示すように、符号化モード決定部２０５は、処理するマクロブロックライン中のサブブロックラインが隣接サブブロックラインである場合（ステップＳ６０９肯定）、該当のサブブロックラインを符号化情報量の大きいインター符号化モードにより符号化することを決定する（ステップＳ６１０）。一方、符号化モード決定部２０５は、処理するマクロブロックライン中のサブブロックラインが非隣接サブブロックラインである場合（ステップＳ６０９否定）、該当のサブブロックラインをスキップブロックに割り当てる（ステップＳ６１１）。
上記実施例１および２では、次回リフレッシュ領域または隣接サブブロックラインをイントラ符号化したりインター符号化したりする例を示したが、実施例３では、上記実施例１および２で説明した複数の符号化方式を所定の記憶部しておき、記憶部に記憶されている符号化方式に基づいて符号化する例を示す。
図１２は、実施例３に係る符号化モード決定回路１０１の構成を示す機能ブロック図である。なお、実施例３に係る符号化装置１００の回路構成は、図２に示した回路構成と同様である。図１２に示すように、実施例３に係る符号化モード決定回路１０１は、実施例２に係る符号化モード決定回路１０１（図６参照）と比較して、符号化方式記憶部２０７を新たに有する。
符号化方式記憶部２０７は、上記実施例１および２で説明した複数の符号化方式を記憶する。図１３は、符号化方式記憶部２０７の一例を示す図である。同図に示すように、符号化方式記憶部２０７は、設定内容と符号化方式選択とを記憶する。
設定内容は、上記実施例１および２で説明した複数の符号化方式を記憶する。同図に示した例では、設定内容に記憶されている「通常方式」は、上記実施例１および２で説明した符号化方式ではなく、従来の段階的リフレッシュ方式により符号化処理を行う場合を示し、「第一の符号化方式」は、図１に示した符号化方式を示し、「第二の符号化方式」は、図５に示した符号化方式を示し、「第三の符号化方式」は、図８に示した符号化方式を示し、「第四の符号化方式」は、図１０に示した符号化方式を示すこととする。
符号化方式選択は、どの符号化方式により符号化処理を行うかを記憶する。同図に示した例では、符号化装置１００は、符号化方式選択に「１」が設定されている「第一の符号化方式」によって符号化処理を行う。この符号化方式選択を更新するだけで、符号化装置１００にどのような符号化方式によって符号化処理を行わせるかを容易に変更することができる。
サブブロック分割部２０６は、符号化方式記憶部２０７において、「第二の符号化方式」、「第三の符号化方式」または「第四の符号化方式」にいずれかが選択されている場合に、次回リフレッシュ領域をサブブロック分割する。そして、符号化モード決定部２０５は、符号化方式記憶部２０７において選択されている符号化方式に基づいて符号化モード決定処理を行う。
なお、符号化装置１００が、１つのフレームに割り当てられている符号化情報量や、入力された動画像信号の複雑度等に基づいて、符号化方式選択を自動的に更新するようにしてもよい。これにより、状況に応じて最適な符号化方式により符号化処理を行うことができ、１フレームに割り当てられている符号化情報量が小さい場合であっても、極力漏れこみを防止することができる。
また、図１２では、符号化モード決定回路１０１が符号化方式記憶部２０７を有する例を示したが、符号化方式記憶部２０７は、符号化装置１００内の不揮発性メモリやハードディスク装置等に記憶されてもよい。
上述してきたように、実施例３に係る符号化装置１００は、複数の符号化方式を符号化方式記憶部２０７に記憶しておき、符号化方式記憶部２０７において選択されている符号化方式に従って符号化処理を行うので、符号化方式記憶部２０７を更新するだけで、符号化方式を容易に変更することができる。
なお、上記実施例１〜３では、符号化装置１００について説明したが、図２に示した符号化装置１００の構成は、本発明の要旨を逸脱しない範囲で種々に変更することができる。例えば、符号化装置１００が有する機能をソフトウェアとして実装し、これをコンピュータで実行することにより、符号化装置１００と同等の機能を実現することもできる。以下に、符号化装置１００が有する機能をソフトウェアとして実装した符号化プログラム１０７１を実行するコンピュータの一例を示す。
図１４は、符号化プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。
そして、ハードディスク装置１０７０には、図２に示した符号化装置１００が有する機能と同様の機能を有する符号化プログラム１０７１が記憶される。ＣＰＵ１０１０が符号化プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、符号化プログラム１０７１は、符号化プロセス１０６１として機能するようになる。
なお、上記の符号化プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。
以上のように、本発明にかかる符号化装置、符号化方法、符号化プログラムおよび符号化回路は、段階的リフレッシュ方式を用いてＨ．２６４符号化方式によって動画像を符号化する場合に有用であり、特に、復号化される動画像の画質を劣化させないように動画像を符号化することが必要な場合に適している。

Claims (8)

  1. 入力された動画データをフレーム毎に分割してデブロッキングフィルタ処理するとともに、前記フレームをマクロブロックラインに分割して、特定のマクロブロックラインに他のマクロブロックラインよりも符号化情報量を大きく割り当てるリフレッシュ領域をフレーム毎にずらして変更しながら前記動画データを符号化する符号化装置であって、
    符号化処理している現フレームのリフレッシュ領域に加えて、次に符号化処理するフレームでリフレッシュ領域とするマクロブロックに対応する現フレーム内のマクロブロックを、現フレームの二つ目のリフレッシュ領域であることを示す次回リフレッシュ領域にすることを決定するリフレッシュ領域決定部と、
    前記次回リフレッシュ領域をサブブロックの集合体であるサブブロックラインに分割し、前記リフレッシュ領域に隣接するサブブロックラインである隣接サブブロックラインを、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化し、前記リフレッシュ領域に隣接しないサブブロックラインである非隣接サブブロックラインを、前記隣接サブブロックラインよりも符号化情報量を小さく割り当てて符号化する符号化部と
    を備えることを特徴とする符号化装置。
  2. 前記符号化部は、前記隣接サブブロックラインと前記非隣接サブブロックラインとを、イントラ符号化することを特徴とする請求項１に記載の符号化装置。
  3. 前記符号化部は、前記隣接サブブロックラインと前記非隣接サブブロックラインとを、インター符号化することを特徴とする請求項１に記載の符号化装置。
  4. 前記符号化部は、前記隣接サブブロックラインをインター符号化し、前記非隣接サブブロックラインに、一つ前に符号化処理した前フレームの符号化情報を用いることを示す情報を設定することを特徴とする請求項１に記載の符号化装置。
  5. 前記次回リフレッシュ領域をどのように符号化するかを示す符号化方式を記憶する符号化方式記憶部をさらに備え、
    前記符号化部は、前記符号化方式記憶部に記憶されている符号化方式に基づいて、前記次回リフレッシュ領域を符号化することを特徴とする請求項１に記載の符号化装置。
  6. 入力された動画データをフレーム毎に分割してデブロッキングフィルタ処理するとともに、前記フレームをマクロブロックラインに分割して、特定のマクロブロックラインに他のマクロブロックラインよりも符号化情報量を大きく割り当てるリフレッシュ領域をフレーム毎にずらして変更しながら前記動画データを符号化する符号化方法であって、
    符号化処理している現フレームのリフレッシュ領域に加えて、次に符号化処理するフレームでリフレッシュ領域とするマクロブロックに対応する現フレーム内のマクロブロックを、現フレームの二つ目のリフレッシュ領域であることを示す次回リフレッシュ領域にすることを決定するリフレッシュ領域決定工程と、
    前記次回リフレッシュ領域をサブブロックの集合体であるサブブロックラインに分割し、前記リフレッシュ領域に隣接するサブブロックラインである隣接サブブロックラインを、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化し、前記リフレッシュ領域に隣接しないサブブロックラインである非隣接サブブロックラインを、前記隣接サブブロックラインよりも符号化情報量を小さく割り当てて符号化する符号化工程と
    を含んだことを特徴とする符号化方法。
  7. 入力された動画データをフレーム毎に分割してデブロッキングフィルタ処理するとともに、前記フレームをマクロブロックラインに分割して、特定のマクロブロックラインに他のマクロブロックラインよりも符号化情報量を大きく割り当てるリフレッシュ領域をフレーム毎にずらして変更しながら前記動画データを符号化する符号化プログラムであって、
    符号化処理している現フレームのリフレッシュ領域に加えて、次に符号化処理するフレームでリフレッシュ領域とするマクロブロックに対応する現フレーム内のマクロブロックを、現フレームの二つ目のリフレッシュ領域であることを示す次回リフレッシュ領域にすることを決定するリフレッシュ領域決定手順と、
    前記次回リフレッシュ領域をサブブロックの集合体であるサブブロックラインに分割し、前記リフレッシュ領域に隣接するサブブロックラインである隣接サブブロックラインを、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化し、前記リフレッシュ領域に隣接しないサブブロックラインである非隣接サブブロックラインを、前記隣接サブブロックラインよりも符号化情報量を小さく割り当てて符号化する符号化手順と
    をコンピュータに実行させることを特徴とする符号化プログラム。
  8. 入力された動画データをフレーム毎に分割してデブロッキングフィルタ処理するとともに、前記フレームをマクロブロックラインに分割して、特定のマクロブロックラインに他のマクロブロックラインよりも符号化情報量を大きく割り当てるリフレッシュ領域をフレーム毎にずらして変更しながら前記動画データを符号化する符号化回路であって、
    符号化処理している現フレームのリフレッシュ領域に加えて、次に符号化処理するフレームでリフレッシュ領域とするマクロブロックに対応する現フレーム内のマクロブロックを、現フレームの二つ目のリフレッシュ領域であることを示す次回リフレッシュ領域にすることを決定するリフレッシュ領域決定部と、
    前記次回リフレッシュ領域をサブブロックの集合体であるサブブロックラインに分割し、前記リフレッシュ領域に隣接するサブブロックラインである隣接サブブロックラインを、前記他のマクロブロックラインよりも符号化情報量を大きく割り当てて符号化し、前記リフレッシュ領域に隣接しないサブブロックラインである非隣接サブブロックラインを、前記隣接サブブロックラインよりも符号化情報量を小さく割り当てて符号化する符号化部と
    を備えることを特徴とする符号化回路。
JP2009535933A 2007-10-04 2007-10-04 符号化装置、符号化方法、符号化プログラムおよび符号化回路 Expired - Fee Related JP5152190B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/069468 WO2009044475A1 (ja) 2007-10-04 2007-10-04 符号化装置、符号化方法、符号化プログラムおよび符号化回路

Publications (2)

Publication Number Publication Date
JPWO2009044475A1 JPWO2009044475A1 (ja) 2011-02-03
JP5152190B2 true JP5152190B2 (ja) 2013-02-27

Family

ID=40525908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009535933A Expired - Fee Related JP5152190B2 (ja) 2007-10-04 2007-10-04 符号化装置、符号化方法、符号化プログラムおよび符号化回路

Country Status (3)

Country Link
US (1) US8605792B2 (ja)
JP (1) JP5152190B2 (ja)
WO (1) WO2009044475A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5353532B2 (ja) 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
JP5995622B2 (ja) * 2012-09-19 2016-09-21 株式会社メガチップス 動画像符号化装置、動画像符号化方法およびプログラム
JP5999773B2 (ja) * 2013-09-03 2016-09-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN104219527A (zh) * 2014-09-19 2014-12-17 广州盈可视电子科技有限公司 面向嵌入式设备的4k超高清视频的编码方法和系统
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
JPWO2018105410A1 (ja) * 2016-12-07 2019-10-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法
CN107622760B (zh) * 2017-10-31 2023-04-04 歌尔科技有限公司 Lcd显示方法及lcd驱动电路
WO2019124042A1 (ja) * 2017-12-18 2019-06-27 ソニー株式会社 画像処理装置および方法
JP7403128B2 (ja) 2018-03-28 2023-12-22 パナソニックＩｐマネジメント株式会社 符号化装置、復号装置、符号化方法、および復号方法
JP2020108077A (ja) * 2018-12-28 2020-07-09 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
WO2021044974A1 (ja) * 2019-09-06 2021-03-11 株式会社ソニー・インタラクティブエンタテインメント 送信装置、受信装置、送信方法、受信方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236464A (ja) * 1992-02-24 1993-09-10 Sony Corp ビデオ信号の伝送方法
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2005117449A1 (en) * 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050497B2 (en) * 2001-03-28 2006-05-23 Thomson Licensing Process and device for the video coding of high definition images
JP2005124041A (ja) 2003-10-20 2005-05-12 Nec Corp 画像符号化装置および方法
JP4724061B2 (ja) * 2006-07-06 2011-07-13 株式会社東芝 動画像符号化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236464A (ja) * 1992-02-24 1993-09-10 Sony Corp ビデオ信号の伝送方法
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2005117449A1 (en) * 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Method and device for encoding digital video data

Also Published As

Publication number Publication date
WO2009044475A1 (ja) 2009-04-09
US20100189184A1 (en) 2010-07-29
US8605792B2 (en) 2013-12-10
JPWO2009044475A1 (ja) 2011-02-03

Similar Documents

Publication Publication Date Title
JP5152190B2 (ja) 符号化装置、符号化方法、符号化プログラムおよび符号化回路
KR101252704B1 (ko) 디블로킹 처리 방법, 디블로킹 처리 장치, 디블로킹 처리 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN104052995B (zh) 图像解码方法
JP5073824B2 (ja) 加重値予測を利用した映像符号化、復号化方法及び装置
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
TWI387348B (zh) 解區塊濾波處理裝置及解區塊濾波處理方法
US7738564B2 (en) Filter for eliminating discontinuity of block-based encoded image, and method thereof
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
US10349050B2 (en) Image coding apparatus, image coding method and recording medium
KR20060004060A (ko) 다 해상도 기반의 움직임 벡터 추정 방법과 이를 구현하기위한 프로그램이 기록된 기록 매체
RU2734616C1 (ru) Способ декодирования видео с предсказанием и устройство декодирования видео с предсказанием
US9106917B2 (en) Video encoding apparatus and video encoding method
KR100580194B1 (ko) 비트 정밀도를 낮춘 부화소 움직임 추정방법 및 장치
JP4571955B2 (ja) 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
JPWO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
JPWO2008136164A1 (ja) 復号化回路、復号化方法及び画像再生装置
JP2009089267A (ja) イントラ予測符号化装置、イントラ予測符号化方法及びプログラム
JP5410638B2 (ja) 量子化制御装置及び方法、及び量子化制御プログラム
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
JP4958825B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP4510701B2 (ja) 動画像符号化装置
JP5389205B2 (ja) 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
JPWO2017082304A1 (ja) 情報圧縮装置、情報圧縮方法、情報圧縮プログラム、及び、符号化装置
JP2008311824A (ja) 画像符号化装置および画像符号化プログラム
JP2010035025A (ja) 符号化装置およびその方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5152190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees