JP5559139B2 - 映像の符号化、復号化の方法及び装置 - Google Patents

映像の符号化、復号化の方法及び装置 Download PDF

Info

Publication number
JP5559139B2
JP5559139B2 JP2011500694A JP2011500694A JP5559139B2 JP 5559139 B2 JP5559139 B2 JP 5559139B2 JP 2011500694 A JP2011500694 A JP 2011500694A JP 2011500694 A JP2011500694 A JP 2011500694A JP 5559139 B2 JP5559139 B2 JP 5559139B2
Authority
JP
Japan
Prior art keywords
prediction block
block
prediction
region
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011500694A
Other languages
English (en)
Other versions
JP2011515940A (ja
Inventor
ハン,ウ−ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011515940A publication Critical patent/JP2011515940A/ja
Application granted granted Critical
Publication of JP5559139B2 publication Critical patent/JP5559139B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像の符号化、復号化の方法及び装置に係り、さらに詳細には、現在ブロックの予測ブロックを複数個の領域に分割し、複数個の領域別に、予測ブロック内の画素値の平均値を補償する映像の符号化方法及び装置、その復号化方法及び装置に関する。
MPEG(moving picture coding coding experts group)−1、MPEG−2、MPEG−4、H.264/MPEG−4 AVC(advanced video coding)のような映像圧縮方式では、映像を符号化するために、1つのピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能なあらゆる符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化にかかるビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とによって、符号化モードを一つ選択してマクロブロックを符号化する。
イントラ予測は、符号化しようとする現在ブロックと空間的に隣接した画素値を利用し、符号化しようとする現在ブロックに係わる予測値を計算した後、この予測値と実際画素値との差を符号化することを言う。インター予測は、現在符号化されるピクチャの前方または後方に位置した少なくとも1つの参照ピクチャを利用し、現在符号化されるブロックと類似した参照ピクチャの領域を検索して動きベクトルを生成し、生成された動きベクトルを利用した動き補償を行って得られる予測ブロックと現在ブロックとの差分を符号化することを言う。しかし、内外的要因によって、時間的に連続したフレーム間にも、照度(illumination)が変化しうるので、インター予測を利用した符号化時に、以前に符号化された参照フレームから獲得される予測ブロックの照度と、符号化される現在ブロックの照度との差が発行しうる。かような参照フレームと現在フレームとの照度変化は、現在ブロックと、現在ブロックの予測符号化に利用される参照ブロックとの相関度を低下させるために、効率的な符号化を阻害する要因になる。
本発明が解決しようとする課題は、現在ブロックの予測ブロックを複数個の領域に分割し、分割された領域別に予測ブロックと現在ブロックとの平均値を補償し、現在ブロックと予測ブロック間の照度変化を減少させることによって、映像の予測効率を向上させる映像の符号化方法及び装置、その復号化方法及び装置を提供することである。
本発明の課題を解決するために、本発明による映像符号化方法は、符号化される現在ブロックの第1予測ブロックを決定する段階と、前記決定された第1予測ブロックを複数個の領域に分割する段階と、前記分割された第1予測ブロックと同一に、前記現在ブロックを複数個の領域に分割し、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との差値を計算する段階と、前記差値を利用し、前記分割された第1予測ブロックの各領域を補償し、第2予測ブロックを生成する段階と、前記第2予測ブロックと前記現在ブロックとの差値を符号化する段階と、を含むことを特徴とする。
本発明の課題を解決するために本発明による映像の符号化装置は、符号化される現在ブロックの第1予測ブロックを決定する予測部と、前記決定された第1予測ブロックを複数個の領域に分割する分割部と、前記分割された第1予測ブロックと同一に、前記現在ブロックを複数個の領域に分割し、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との差値を計算する補償値計算部と、前記差値を利用し、前記分割された第1予測ブロックの各領域を補償し、第2予測ブロックを生成する予測ブロック補償部と、前記第2予測ブロックと前記現在ブロックとの差値を符号化する符号化遂行部と、を含むことを特徴とする。
本発明の課題を解決するために本発明による映像の復号化方法は、入力ビットストリームから、復号化される現在ブロックの予測モード、前記現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出する段階と、前記抽出された予測モードによって、前記現在ブロックの第1予測ブロックを生成する段階と、前記抽出された領域の個数情報によって、前記第1予測ブロックを複数個の領域に分割する段階と、前記抽出された補償値情報を利用し、前記分割された第1予測ブロックの各領域を補償し、第2予測ブロックを生成する段階と、前記第2予測ブロックと前記ビットストリームに備わった残差値とを加算し、前記現在ブロックを復号化する段階と、を含むことを特徴とする。
本発明の課題を解決するために本発明による映像復号化装置は、入力ビットストリームから、復号化される現在ブロックの予測モード、前記現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出するエントロピ復号化部と、前記抽出された予測モードによって、前記現在ブロックの第1予測ブロックを生成する予測部と、前記抽出された領域の個数情報によって、前記第1予測ブロックを複数個の領域に分割する分割部と、前記抽出された補償値情報を利用し、前記分割された第1予測ブロックの各領域を補償し、第2予測ブロックを生成する補償部と、前記第2予測ブロックと前記ビットストリームに備わった残差値とを加算し、前記現在ブロックを復号化する加算部と、を含むことを特徴とする。
本発明によれば、予測ブロックを複数個の領域に分割して補償を行うことによって、現在ブロックと予測ブロックとの誤差を減少させ、映像の予測効率を向上させることができる。これによって、符号化された映像のPSNR(peak signal to noise ratio)を向上させることができる。
本発明による映像符号化装置の構成を示したブロック図である。 本発明の一実施形態によって予測ブロックを分割する過程について説明するための参照図である。 本発明の他の実施形態によって予測ブロックを分割する過程について説明するための参照図である。 本発明の他の実施形態によって予測ブロックを分割する過程について説明するための参照図である。 本発明の他の実施形態によって予測ブロックを分割する過程について説明するための参照図である。 図1の補償値計算部で補償値を計算する過程、及び予測ブロック補償部で予測ブロックの分割された各領域を補償する過程の一例について説明するための参照図である。 本発明による映像符号化方法を示したフローチャートである。 本発明による映像復号化装置の構成を示したブロック図である。 本発明による映像復号化方法を示したフローチャートである。
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
図1は、本発明による映像符号化装置の構成を示したブロック図である。図1を参照すれば、本発明による映像符号化装置100は、動き予測部111と動き補償部112とイントラ予測部113とから構成された予測部110;分割部115;補償値計算部120;予測ブロック補償部130;減算部140;変換及び量子化部151とエントロピコーディング部152とから構成された符号化遂行部150;逆変換及び逆量子化部160;加算部170;保存部180を含む。
予測部110は、入力映像を所定サイズのブロックに分割し、分割された各ブロックに対して、インター予測またはイントラ予測を介して、予測ブロックを生成する。具体的には、動き予測部111は、以前に符号化された後で復元された参照ピクチャの所定探索範囲内で、現在ブロックと類似した領域を指す動きベクトルを生成する動き予測を行う。動き補償部112は、生成された動きベクトルが指す参照ピクチャの対応領域データを獲得し、現在ブロックの予測ブロックを生成する動き補償過程を介して、インター予測を行う。また、イントラ予測部113は、現在ブロックに隣接した周辺ブロックのデータを利用し、予測ブロックを生成するイントラ予測を行う。インター予測及びイントラ予測は、従来H.264などの映像圧縮標準内で利用される方式がそのまま利用されたり、変更された多様な予測方式が適用されうる。
分割部115は、現在ブロックの予測ブロックを複数個の領域に分割する。さらに具体的には、動き予測部111及び動き補償部112によって、以前に符号化された参照ピクチャの所定探索領域範囲内で、現在ブロックと最も類似したブロックとして探索された参照ピクチャの領域の予測ブロックを複数個の領域に分割する。以下、分割部115で予測ブロックを分割する実施形態について説明する。
図2は、本発明の一実施形態によって予測ブロックを分割する過程について説明するための参照図である。
本発明の一実施形態による予測ブロックの分割過程は、予測ブロック内に存在するエッジを検出し、検出されたエッジを基準に予測ブロックを分割するのである。
図2を参照すれば、分割部115は、所定のエッジ検出アルゴリズムを利用し、動き予測及び補償を介して、決定された参照ピクチャの予測ブロック20に存在するエッジを検出し、検出されたエッジを基準に、予測ブロックを複数個の領域21,22,23に分割できる。ここで、エッジ検出アルゴリズムとして、ソーベル(Sobel)マスク、プレウィット(Prewitt)マスク、ロバート(Robert)マスク、ラプラシアン(Laplacian)マスクのような多様なコンボリューション(convolution)マスクを利用したり、簡単に、予測ブロックに備わった互いに隣接した画素間の画素値の差を計算し、隣接した画素と、所定臨界値以上の差を有する画素とを検出することによって、エッジを検出できる。それ以外にも、多様なエッジ検出アルゴリズムが適用され、かようなエッジ検出アルゴリズムは、本発明が属する技術分野で当業者に周知されているので、具体的な説明は省略する。
図3Aないし図3Cは、本発明の他の実施形態によって予測ブロックを分割する過程について説明するための参照図である。ここで、図3Aは、現在ブロックの予測ブロックの一例を示し、図3Bは、図3Aの予測ブロックの画素の画素値を、大きく2つの代表値に量子化するベクトル量子化を介して、予測ブロックを2個の領域に分割した例を示し、図3Cは、図3Aの予測ブロックの画素の画素値を、大きく4つの代表値に量子化するベクトル量子化を介して、予測ブロックを4個の領域に分割した例を示している。
図3Aないし図3Cを参照すれば、分割部115は、現在ブロックに係わる動き予測を介して、参照ピクチャに備わった現在ブロックの予測ブロックが決定されれば、予測ブロック内の画素の画素値の分布を考慮し、所定個数の代表値を決定する。そして、分割部115は、各代表値と所定臨界分以下の差値を有する画素を、代表値に置換するベクトル量子化を介して、予測ブロックを所定個数の領域に分割できる。
また、分割部115は、あらかじめ分割する領域の個数を決定した後、予測ブロック内の画素のうち類似した画素値を有する画素を、同一領域に含まれるように量子化することにより、予測ブロックを分割できる。図3Aに図示されているような予測ブロックの各画素が、0〜N(Nは正の整数)間の画素値を有し、予測ブロックを2個の領域に分割すると決定された場合、分割部115は、図3Bに図示されているように、0〜(N/2−1)間の画素値を有する予測ブロック内の画素を第1領域、(N/2)〜N−1間の画素値を有する予測ブロック内の画素を第2領域に分割できる。また、分割部115は、図3Aに図示されているような予測ブロックを、4個の領域に分割しようとする場合には、図3Cに図示されているように、分割部115は、0〜(N/4)−1間の画素値を有する予測ブロック内の画素を第1領域、(N/4)〜(N/2)−1間の画素値を有する予測ブロック内の画素を第2領域、(N/2)〜(N/4)−1間の画素値を有する予測ブロック内の画素を第3領域、(N/4)〜N−1間の画素値を有する予測ブロック内の画素を第4領域に分割できる。例えば、1つの画素の画素値を、8ビットで表現する場合、画素値は、0〜255間の値を有する。このとき、分割部115は、予測ブロックを4個の領域に分割すると設定すれば、予測ブロック内の画素のうち、0〜63の画素値を有する画素を第1領域、64〜127の画素値を有する画素を第2領域、128〜191の画素値を有する画素を第3領域、192〜255の画素値を有する画素を第4領域に含まれるように、予測ブロックを分割する。
それ以外にも、分割部115は、MPEG(moving picture coding coding experts group)−7などの映像検索分野で、映像内に類似した画素を結合して映像を所定個数の領域に分割する多様な映像分割アルゴリズムを適用し、予測ブロックを分割できる。
再び図1を参照すれば、補償値計算部120は、分割された予測ブロックと同一に、現在ブロックを複数個の領域に分割し、各領域別に、予測ブロックの画素の平均値と、対応する現在ブロックの画素の平均値との差値を計算する。具体的には、分割部115によって、予測ブロックがm個の領域に分割され、予測ブロックのi番目の分割領域をPi(iは、1〜m間の整数)、予測ブロックと同じ形態に分割された現在ブロックの領域のうち、Piに対応する現在ブロックのi番目の領域をCiと仮定する。それにより、補償値計算部120は、予測ブロックの分割領域Piに備わった画素の平均値mPiと、現在ブロックの分割領域Ciに備わった画素の平均値mCiとを計算する。そして、補償値計算部120は、各領域別平均値の差、すなわち、mPi−mCiを計算する。この差値mPi−mCi(または、「Di」という)は、予測ブロックのi番目領域内の画素を補償するための補償値として利用される。予測ブロック補償部130は、各領域別に計算された差値Diを、予測ブロックのi番目領域の各画素に加えることによって、予測ブロックの各領域を補償する。
図4は、本発明によって図1の補償値計算部120で補償値を計算する過程、及び予測ブロック補償部130で予測ブロックの分割された各領域を補償する過程の一例について説明するための参照図である。
図4を参照すれば、分割部115によって、予測ブロック40が、図示されているように、3個の領域に分割されたと仮定する。この場合、補償値計算部120は、現在ブロックを、図4に図示されている予測ブロックの分割形態と同一に分割する。そして、補償値計算部120は、予測ブロック40の第1領域41に備わった画素の平均値であるmP1、第2領域42に備わった画素の平均値であるmP2、第3領域43に備わった画素の平均値であるmP3を計算する。また、補償値計算部120は、予測ブロック40と同じ形態に分割された現在ブロックの第1領域ないし第3領域に備わった画素の平均値であるmC1,mC2及びmC3を計算する。次に、補償値計算部120は、各領域別補償値であるmP1−mC1,mP2−mC2,mP3−mC3を計算する。各領域別補償値が計算されれば、予測ブロック補償部130は、予測ブロック40の第1領域41の各画素にmP1−mC1を加え、第2領域42の各画素にmP2−mC2を加え、第3領域43の各画素にmP3−mC3を加えることによって、予測ブロック40を補償する。
再び図1を参照すれば、減算部140は、補償された予測ブロックと現在ブロックとの差である残差(residual)を生成する。
変換及び量子化部151は、残差に係わる周波数変換を行った後、変換された残差を量子化する。周波数変換の一例として、DCT(discrete cosine transform)を行うことができる。
エントロピ・コーディング部152は、量子化された残差に係わる可変長符号化を行うことによって、ビットストリームを生成する。このとき、エントロピ・コーディング部152は、符号化の結果として生成されたビットストリームに、予測ブロックの分割された各領域の補償のために利用された補償値に係わる情報と、予測ブロックを分割した領域の個数に係わる情報とを付加する。これは、復号化装置で、符号化装置と同一に、予測ブロックを所定個数の領域に分割して補償を行うことによって、補償された予測ブロックを生成できるようにするためである。また、エントロピ・コーディング部152は、符号化されたブロックのヘッダ情報に、現在ブロックが、本発明の一実施形態によって各領域別に補償された予測ブロックを利用して符号化されたか否かを示す所定の二進情報を付加することにより、復号化装置で、現在ブロックの予測ブロックを分割して補償する必要があるか否かを判断することができる。例えば、本発明の適用いかんを示す1ビットをビットストリームに付加し、「0」であるならば、本発明による予測ブロックの補償なしに、従来技術によって符号化されたブロックを示し、「1」であるならば、本発明によって、予測ブロックの補償を介して補償された予測ブロックを利用して符号化されたブロックであることを識別させられる。
逆変換及び逆量子化部160は、量子化された残差信号に係わる逆量子化及び逆変換を行って残差信号を復元し、加算部170は、復元された残差信号と、補償された予測ブロックとを加えて現在ブロックを復元する。復元された現在ブロックは、保存部180に保存された後、次のブロックの予測ブロックを生成するのに利用される。
前述の本発明による映像符号化装置では、予測ブロックの各領域別平均値と、現在ブロックの各領域別平均値との差を利用し、予測ブロックを補償したが、これに限定されるものではなく、予測ブロックの各領域を周波数ドメインに変換した後、DC(direct current)成分以外の他の周波数成分を基準に、予測ブロックの各領域の画素値と、現在ブロックの各領域の画素値との差を計算し、この差値を補償値として利用できる。また、符号化時に、補償値を簡略に伝送するために、まず、補償値の符号情報(+,−)だけを伝送し、補償値のサイズ情報は、スライス・レベルまたはシーケンス・レベルで統合して伝送できる。
図5は、本発明による映像符号化方法を示したフローチャートである。
図5を参照すれば、段階510で、符号化される現在ブロックの第1予測ブロックを決定する。ここで、第1予測ブロックは、後述する補償された予測ブロックと区別するためのものであり、一般的な動き予測を介して決定された現在ブロックの予測ブロックを意味する。
段階520で、第1予測ブロックを複数個の領域に分割する。前述の通り、第1予測ブロック内に存在するエッジを基準に、予測ブロックを分割したり、第1予測ブロック内に存在する画素のうち、類似した画素を同一領域に含ませるベクトル量子化を介して、第1予測ブロックを複数個の領域に分割する。
段階530で、分割された第1予測ブロックと同一に、現在ブロックを複数個の領域に分割し、第1予測ブロックの各領域の画素の平均値と、対応する現在ブロックの各領域の画素の平均値との差値を計算する。
段階540で、各領域別に計算された差値を利用し、分割された第1予測ブロックの各領域を補償し、補償された第1予測ブロックの第2予測ブロックを生成する。
段階550で、第2予測ブロックと現在ブロックとの差値である残差を変換、量子化及びエントロピ符号化し、ビットストリームを生成する。このとき、復号化のために生成されたビットストリームの所定領域に、本発明によって分割された領域別に補償された予測ブロックを利用したか否かを示す所定の予測モード情報、予測ブロックの各領域別補償値情報、及び予測ブロックを分割した領域の個数情報を、ビットストリームに付加する。もし符号化器と復号化器とで、あらかじめ予測ブロックを分割した領域の個数を設定した場合には、領域の個数情報は、ビットストリームに付加する必要がない。
図6は、本発明による映像復号化装置の構成を示したブロック図である。図6を参照すれば、本発明による映像復号化装置600は、エントロピ復号化部610、予測部620、分割部630、予測ブロック補償部640、逆量子化及び逆変換部650、加算部660及び保存部670を含む。
エントロピ復号化部610は、入力されたビットストリームを受信し、エントロピ復号化を行うことによって、ビットストリームに備わった現在ブロックの予測モード、現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出する。また、エントロピ復号化部610は、ビットストリームから、符号化時に、現在ブロックの補償された予測ブロックと入力された現在ブロックとの差値を、変換及び量子化した残差を抽出する。
逆量子化及び逆変換部650は、現在ブロックの残差に係わる逆量子化及び逆変換を行って、残差を復元する。
予測部620は、抽出された予測モードによって、現在ブロックに係わる予測ブロックを生成する。例えば、現在ブロックが、イントラ予測されたブロックである場合には、以前に復元された同一フレームの周辺データを利用し、現在ブロックの予測ブロックを生成し、現在ブロックが、インター予測されたブロックである場合には、ビットストリームに備わった動きベクトル及び参照ピクチャ情報を利用し、参照ピクチャから現在ブロックの予測ブロックを獲得する。
分割部630は、抽出された領域の個数情報を利用し、予測ブロックを所定個数の領域に分割する。このとき、分割部630の動作は、ビットストリームに備わった領域の個数情報、または符号化器と復号化器とで同一にあらかじめ設定された領域の個数情報を利用するという点を除き、図1の分割部115の動作と同じであり、具体的な説明は省略する。
予測ブロック補償部640は、抽出された補償値情報を利用し、分割された予測ブロックの各領域の画素に補償値を加え、補償された予測ブロックを生成する。
加算部660は、補償された予測ブロックと復元された残差とを加算し、現在ブロックを復号化する。復元された現在ブロックは、保存部670に保存され、次のブロックの復号化のために利用される。
図7は、本発明による映像復号化方法を示したフローチャートである。図7を参照すれば、段階710で、入力ビットストリームから、復号化される現在ブロックの予測モード、現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出する。
段階720で、抽出された予測モードによって、現在ブロックの第1予測ブロックを生成する。ここで、第1予測ブロックは、後述する補償された予測ブロックと区別するためのものであり、一般的な動き予測過程を介して生成される予測ブロックを意味する。
段階730で、抽出された領域の個数情報によって、第1予測ブロックを複数個の領域に分割する。
段階740で、抽出された補償値情報を利用し、分割された第1予測ブロックの各領域を補償し、補償された第1予測ブロックの第2予測ブロックを生成する。具体的には、分割された第1予測ブロックの各領域別に計算された補償値を、各領域内に備わった画素に加算することによって、各領域の平均値を補償する。
段階750で、第2予測ブロックと、ビットストリームに備わった残差値とを加算し、現在ブロックを復号化する。
以上のように本発明は、たとえ限定された実施形態と図面とによって説明されたとしても、本発明が前記の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によてのみ把握されるものであり、それと均等であるか、等価的な変形は、いずれも本発明の思想の範疇に属するするものである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ROM(read-only memory)、RAM(random-access memory)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、またキャリアウェーブ(例えばインターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

Claims (24)

  1. 映像の符号化方法において、
    符号化される現在ブロックの第1予測ブロックを決定する段階と、
    前記決定された第1予測ブロックを複数個の領域に前記第1予測ブロックの画像の特徴に基づいて分割する段階と、
    前記分割された第1予測ブロックの複数個の領域と同一に、前記現在ブロックを複数個の領域に分割し、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との第1差値を計算する段階と、
    前記第1差値を利用し、前記分割された第1予測ブロックの各領域のピクセル値を変更し、第2予測ブロックを生成する段階と、
    前記第2予測ブロックと前記現在ブロックとの第2差値を符号化する段階と、を含むことを特徴とする映像符号化方法。
  2. 前記第1予測ブロックを決定する段階は、
    以前に符号化された参照ピクチャの所定領域内で、前記現在ブロックと最も類似したブロックを探索する動き予測及び補償を介して、決定されることを特徴とする請求項1に記載の映像符号化方法。
  3. 前記第1予測ブロックを複数個の領域に分割する段階は、
    所定のエッジ検出アルゴリズムを利用し、前記第1予測ブロックから検出されたエッジを基準に、前記第1予測ブロックを分割することを特徴とする請求項1又は2に記載の映像符号化方法。
  4. 前記第1予測ブロックを複数個の領域に分割する段階は、
    前記第1予測ブロック内に備わった画素のうち、類似した画素値を有する画素を、同一領域に含めるベクトル量子化過程を介して行われることを特徴とする請求項1乃至3のいずれか一項に記載の映像符号化方法。
  5. 前記第2予測ブロックを生成する段階は、
    前記各領域別に計算された第1差値を、前記第1予測ブロックの対応領域に備わった各画素に加算し、前記第1予測ブロックの各領域の画素の平均値を補償することによって、生成されることを特徴とする請求項1乃至4のいずれか一項に記載の映像符号化方法。
  6. 前記符号化する段階は、
    前記符号化の結果として生成されたビットストリームに、前記第1予測ブロックを分割した領域の個数に係わる情報を付加する段階をさらに含むことを特徴とする請求項1乃至5のいずれか一項に記載の映像符号化方法。
  7. 前記符号化する段階は、
    前記符号化の結果として生成されたビットストリームに、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との第1差値に係わる情報を付加する段階をさらに含むことを特徴とする請求項1乃至6のいずれか一項に記載の映像符号化方法。
  8. 映像の符号化装置において、
    符号化される現在ブロックの第1予測ブロックを決定する予測部と、
    前記決定された第1予測ブロックを複数個の領域に前記第1予測ブロックの画像の特徴に基づいて分割する分割部と、
    前記分割された第1予測ブロックの複数個の領域と同一に、前記現在ブロックを複数個の領域に分割し、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との第1差値を計算する補償値計算部と、
    前記第1差値を利用し、前記分割された第1予測ブロックの各領域のピクセル値を変更し、第2予測ブロックを生成する予測ブロック補償部と、
    前記第2予測ブロックと前記現在ブロックとの第2差値を符号化する符号化部と、を含むことを特徴とする映像符号化装置。
  9. 前記予測部は、
    以前に符号化された参照ピクチャの所定領域内で、前記現在ブロックと最も類似したブロックを探索する動き予測及び補償を行い、前記第1予測ブロックを決定することを特徴とする請求項8に記載の映像符号化装置。
  10. 前記分割部は、
    所定のエッジ検出アルゴリズムを利用し、前記第1予測ブロックから検出されたエッジを基準に、前記第1予測ブロックを分割することを特徴とする請求項8又は9に記載の映像符号化装置。
  11. 前記分割部は、
    前記第1予測ブロック内に備わった画素のうち、類似した画素値を有する画素を、同一領域に含めるベクトル量子化を行い、前記第1予測ブロックを分割することを特徴とする請求項8乃至10のいずれか一項に記載の映像符号化装置。
  12. 前記予測ブロック補償部は、
    前記各領域別に計算された第1差値を、前記第1予測ブロックの対応領域に備わった各画素に加算し、前記第1予測ブロックの各領域の画素の平均値を補償することを特徴とする請求項8乃至11のいずれか一項に記載の映像符号化装置。
  13. 前記符号化部は、
    前記符号化の結果として生成されたビットストリームに、前記第1予測ブロックを分割した領域の個数に係わる情報を付加することを特徴とする請求項8乃至12のいずれか一項に記載の映像符号化装置。
  14. 前記符号化部は、
    前記符号化の結果として生成されたビットストリームに、前記第1予測ブロックの各領域の画素の平均値と、対応する前記現在ブロックの各領域の画素の平均値との第1差値に係わる情報を付加することを特徴とする請求項8乃至13のいずれか一項に記載の映像符号化装置。
  15. 映像復号化方法において、
    入力ビットストリームから、復号化される現在ブロックの予測モード、前記現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出する段階と、
    前記抽出された予測モードによって、前記現在ブロックの第1予測ブロックを生成する段階と、
    前記抽出された領域の個数情報によって、前記第1予測ブロックを複数個の領域に前記第1予測ブロックの画像の特徴に基づいて分割する段階と、
    前記抽出された補償値情報を利用し、前記分割された第1予測ブロックの各領域のピクセル値を変更し、第2予測ブロックを生成する段階と、
    前記第2予測ブロックと前記ビットストリームに備わった残差値とを加算し、前記現在ブロックを復号化する段階と、を含むことを特徴とする映像復号化方法。
  16. 前記第1予測ブロックを生成する段階は、
    前記ビットストリームに備わった前記現在ブロックの動きベクトルを利用し、以前に符号化された参照ピクチャの所定領域内で、前記現在ブロックと最も類似したブロックを探索する動き補償を介して、前記第1予測ブロックを生成することを特徴とする請求項15に記載の映像復号化方法。
  17. 前記第1予測ブロックを複数個の領域に分割する段階は、
    所定のエッジ検出アルゴリズムを利用し、前記第1予測ブロックから検出されたエッジを基準に、前記第1予測ブロックを分割することを特徴とする請求項15又は16に記載の映像復号化方法。
  18. 前記第1予測ブロックを複数個の領域に分割する段階は、
    前記第1予測ブロック内に備わった画素のうち、類似した画素値を有する画素を同一領域に含めるベクトル量子化過程を介して、前記第1予測ブロックを分割することを特徴とする請求項15乃至17のいずれか一項に記載の映像復号化方法。
  19. 前記第2予測ブロックを生成する段階は、
    前記第1予測ブロックの各領域に備わった各画素に、前記抽出された補償値を加算し、前記第1予測ブロックの各領域の画素の平均値を補償することを特徴とする請求項15乃至18のいずれか一項に記載の映像復号化方法。
  20. 映像復号化装置において、
    入力ビットストリームから、復号化される現在ブロックの予測モード、前記現在ブロックの予測ブロックを分割した領域の個数情報、及び補償値に係わる情報を抽出するエントロピ復号化部と、
    前記抽出された予測モードによって、前記現在ブロックの第1予測ブロックを生成する予測部と、
    前記抽出された領域の個数情報によって、前記第1予測ブロックを複数個の領域に前記第1予測ブロックの画像の特徴に基づいて分割する分割部と、
    前記抽出された補償値情報を利用し、前記分割された第1予測ブロックの各領域のピクセル値を変更し、第2予測ブロックを生成する補償部と、
    前記第2予測ブロックと、前記ビットストリームに備わった残差値とを加算し、前記現在ブロックを復号化する加算部と、を含むことを特徴とする映像復号化装置。
  21. 前記予測部は、
    前記ビットストリームに備わった前記現在ブロックの動きベクトルを利用し、以前に符号化された参照ピクチャの所定領域内で、前記現在ブロックと最も類似したブロックを探索する動き補償を介して、前記第1予測ブロックを生成することを特徴とする請求項20に記載の映像復号化装置。
  22. 前記分割部は、
    所定のエッジ検出アルゴリズムを利用し、前記第1予測ブロックから検出されたエッジを基準に、前記第1予測ブロックを分割することを特徴とする請求項20又は21に記載の映像復号化装置。
  23. 前記分割部は、
    前記第1予測ブロック内に備わった画素のうち、類似した画素値を有する画素を、同一領域に含めるベクトル量子化過程を介して、前記第1予測ブロックを分割することを特徴とする請求項20乃至22のいずれか一項に記載の映像復号化装置。
  24. 前記補償部は、
    前記第1予測ブロックの各領域に備わった各画素に、前記抽出された前記補償値を加算し、前記第1予測ブロックの各領域の画素の平均値を補償することを特徴とする請求項20乃至23のいずれか一項に記載の映像復号化装置。
JP2011500694A 2008-03-18 2009-03-12 映像の符号化、復号化の方法及び装置 Expired - Fee Related JP5559139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2008-0024872 2008-03-18
KR1020080024872A KR20090099720A (ko) 2008-03-18 2008-03-18 영상의 부호화, 복호화 방법 및 장치
PCT/KR2009/001222 WO2009116745A2 (en) 2008-03-18 2009-03-12 Method and apparatus for encoding and decoding image

Publications (2)

Publication Number Publication Date
JP2011515940A JP2011515940A (ja) 2011-05-19
JP5559139B2 true JP5559139B2 (ja) 2014-07-23

Family

ID=41088907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011500694A Expired - Fee Related JP5559139B2 (ja) 2008-03-18 2009-03-12 映像の符号化、復号化の方法及び装置

Country Status (6)

Country Link
US (1) US20090238283A1 (ja)
EP (1) EP2263382A4 (ja)
JP (1) JP5559139B2 (ja)
KR (1) KR20090099720A (ja)
CN (1) CN101978698B (ja)
WO (1) WO2009116745A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101426271B1 (ko) * 2008-03-04 2014-08-06 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN106412600B (zh) * 2010-01-12 2019-07-16 Lg电子株式会社 视频信号的处理方法和设备
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム
CN102972023B (zh) * 2011-07-13 2016-09-28 松下知识产权经营株式会社 图像压缩装置、图像解压缩装置以及图像处理装置
FR2980068A1 (fr) * 2011-09-13 2013-03-15 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
CN103200406B (zh) * 2013-04-12 2016-10-05 华为技术有限公司 深度图像的编解码方法和编解码装置
KR20150045819A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 움직임 보상을 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN106233725B (zh) * 2014-03-31 2019-08-02 英迪股份有限公司 用于对图像进行解码的装置及其方法
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
CN110710209A (zh) * 2018-04-02 2020-01-17 北京大学 运动补偿的方法、装置和计算机系统
US11575896B2 (en) * 2019-12-16 2023-02-07 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114066914A (zh) * 2020-07-30 2022-02-18 华为技术有限公司 一种图像处理方法以及相关设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2608285B2 (ja) * 1987-04-28 1997-05-07 キヤノン株式会社 画像処理装置
JPH0310488A (ja) * 1989-06-07 1991-01-18 Nippon Steel Corp 輝度分割領域の動きベクトル検出法
JPH03145392A (ja) * 1989-10-31 1991-06-20 Nec Corp 動き補償フレーム間符号化・復号化方法とその符号化装置・復号化装置
JPH03270324A (ja) * 1990-03-20 1991-12-02 Fujitsu Ltd 可変長符号化制御方式
JPH0698305A (ja) * 1992-09-10 1994-04-08 Sony Corp 高能率符号化装置
JPH0738760A (ja) * 1993-06-28 1995-02-07 Nec Corp 直交変換基底生成方式
JPH08205172A (ja) * 1995-01-26 1996-08-09 Mitsubishi Electric Corp 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
KR100281099B1 (ko) * 1997-07-30 2001-04-02 구자홍 동영상의부호화에따른블록화현상제거방법
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US8135073B2 (en) * 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
CN1757237A (zh) * 2003-03-03 2006-04-05 皇家飞利浦电子股份有限公司 视频编码
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
CN1254112C (zh) * 2003-09-09 2006-04-26 北京交通大学 一种任意形状区域分割的分形图像编解码方法
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
US20060209950A1 (en) * 2005-03-16 2006-09-21 Broadcom Advanced Compression Group, Llc Method and system for distributing video encoder processing
JP2007006216A (ja) * 2005-06-24 2007-01-11 Toshiba Corp 映像中のテロップを抽出するための画像処理装置及び画像処理方法
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Also Published As

Publication number Publication date
CN101978698B (zh) 2013-01-02
CN101978698A (zh) 2011-02-16
WO2009116745A2 (en) 2009-09-24
JP2011515940A (ja) 2011-05-19
US20090238283A1 (en) 2009-09-24
EP2263382A4 (en) 2015-12-23
EP2263382A2 (en) 2010-12-22
WO2009116745A3 (en) 2010-02-04
KR20090099720A (ko) 2009-09-23

Similar Documents

Publication Publication Date Title
JP5559139B2 (ja) 映像の符号化、復号化の方法及び装置
KR102469145B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
KR101366093B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
JP5524625B2 (ja) インター予測符号化/復号化方法及び装置
US8503532B2 (en) Method and apparatus for inter prediction encoding/decoding an image using sub-pixel motion estimation
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
US20120027092A1 (en) Image processing device, system and method
US20130070845A1 (en) Motion picture encoding apparatus and method thereof
US8781004B1 (en) System and method for encoding video using variable loop filter
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
WO2011124157A1 (zh) 一种局部亮度补偿的视频编解码方法及装置
US20080159389A1 (en) Method and apparatus for determining coding for coefficients of residual block, encoder and decoder
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CA2815642A1 (en) Video coding using vector quantized deblocking filters
US8306115B2 (en) Method and apparatus for encoding and decoding image
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR100928325B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP2010258576A (ja) シーンチェンジ検出装置および映像記録装置
US6928116B2 (en) Motion estimation method using multilevel successive elimination algorithm
US20040013200A1 (en) Advanced method of coding and decoding motion vector and apparatus therefor
KR20080035390A (ko) 영상 예측 모드 결정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140605

R150 Certificate of patent or registration of utility model

Ref document number: 5559139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees