JP5727398B2 - 動画像符号化方法,動画像符号化装置および動画像符号化プログラム - Google Patents
動画像符号化方法,動画像符号化装置および動画像符号化プログラム Download PDFInfo
- Publication number
- JP5727398B2 JP5727398B2 JP2012014062A JP2012014062A JP5727398B2 JP 5727398 B2 JP5727398 B2 JP 5727398B2 JP 2012014062 A JP2012014062 A JP 2012014062A JP 2012014062 A JP2012014062 A JP 2012014062A JP 5727398 B2 JP5727398 B2 JP 5727398B2
- Authority
- JP
- Japan
- Prior art keywords
- coding
- picture
- encoding
- area
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
Description
本発明は,通常の符号化方法と,発生符号量と演算量が小さい簡易符号化方法とを切り替えて動画像を符号化する動画像符号化方法,動画像符号化装置および動画像符号化プログラムに関するものである。
双方向通信における映像符号化では,低遅延を実現するために仮想バッファのサイズを非常に小さくする。そのため,エンコード開始時やシーンチェンジ時のイントラピクチャとそれ以降のインターピクチャにおいて,バッファアンダーフローが生じやすい。
このような状況において,イントラピクチャ挿入時とそれに続くインターピクチャに,例えば特許文献1に記載されている技術を適用することで,バッファアンダーフローの可能性を低減できる。この方法では,各ブロックを符号化する際に,それまでの累積発生符号量が小さい場合には通常符号化を行い,大きい場合には強制的に発生符号量が非常に小さい簡易符号化を行う。
ここで,通常符号化とは,動き探索/モード判定/量子化制御などで求まった符号化パラメータ(動きベクトル等)を利用した符号化であり,簡易符号化とは,動き探索/モード判定/量子化制御などの結果を利用せず,発生符号量が小さくなるように強制的に決められたパラメータを利用した符号化である。例えば,簡易符号化では,動きベクトルを0,量子化ステップを最大とした符号化を行う。すなわち,簡易符号化は,通常符号化よりも符号化パラメータの値の制限が大きい符号化である。符号化パラメータとは,符号化の対象となる数値データであり,マクロブロックモード番号,量子化パラメータ,動きベクトル,予測残差量子化値などを表す。
図9は,従来の動画像符号化装置の一例を示す図である。ブロック符号化制御部201は,符号化対象のピクチャ(画像)を入力すると,符号化単位であるブロックに分割し,各ブロックについて,それまでの累積発生符号量から累積発生符号量が所定の閾値より小さい場合には,通常符号化部202で通常符号化を行い,大きい場合には,簡易符号化部203で簡易符号化を行う。量子化制御部204は,通常符号化部202および簡易符号化部203から発生符号量の通知を受け,通常符号化を行うときの量子化ステップを決定し,通常符号化部202へ通知する。
図10は,従来技術の処理フローチャートである。各入力ピクチャに対して,ステップS401〜S408の処理を繰り返す。また,ピクチャを分割した各ブロックごとに,ステップS402〜S407の処理を繰り返す。ステップS403では,符号化済みブロック数に応じた累積符号量発生閾値を設定する。ステップS404では,それまでの累積発生符号量が,ステップS403で設定した累積発生符号量閾値より小さいかどうかを判定し,小さい場合には,ステップS405へ進み,大きい場合には,ステップS406へ進む。ステップS405では,符号化対象ブロックについて通常符号化を行う。ステップS406では,符号化対象ブロックについて簡易符号化を行う。以上の処理をピクチャ内の全ブロックについて繰り返し,1ピクチャについての符号化が終了したならば,次のピクチャについて同様に処理を繰り返す。
前述した従来技術の通常符号化と簡易符号化とを切り分けて符号化する方法を,低ビットレートで仮想バッファが小さい条件下で発動させると,イントラピクチャの大部分が簡易符号化されることになる。このイントラピクチャは,次に符号化されるインターピクチャの参照ピクチャとなるが,ピクチャの大部分が簡易符号化されているので著しく画質が悪い。したがって,インターピクチャにおいて通常符号化を行う場合,動き補償において大量の予測残差が発生するため,多くの符号量を発生する。これにより,累積発生符号量が多くなってしまい,インターピクチャの一部分のみしか通常符号化できなくなり,大部分が簡易符号化される状況に陥る。この状況は,同様の原理で,次以降のインターピクチャにも継続するため,ピクチャの大部分が簡易符号化されている状態から,ピクチャ全体が通常符号化される状態に移行しない(画質が回復しない)場合がある。
この状況の概念図を図11に示す。図11において,ハッチング部分のR1が通常符号化領域,他の部分のR2が簡易符号化領域である。前述のようにイントラピクチャ(図11のピクチャ1)の大部分が簡易符号化されると,その次のインターピクチャ(ピクチャ2 )の符号化においては,大部分が簡易符号化されたピクチャ1を参照ピクチャとする。したがって,ピクチャ2において,ピクチャ1で簡易符号化された領域を参照して動き補償を行う通常符号化ブロックにおいて大量の予測残差が発生するため,大量の発生符号量を消費してしまい,結果的にピクチャ2についても,大部分が簡易符号化される場合がある。これが次以降のピクチャにおいても継続し,画質が回復しない場合がある。
本発明は,上記課題の解決を図り,イントラピクチャ挿入後等における簡易符号化が多用される状態からでも効率よく画質を回復できるようにすることを目的としている。
本発明は,上記課題を解決するため,以下のような方法を用いる。
[方法1]
(1)イントラピクチャにおいて,所定の領域を通常符号化領域に設定し,それ以外の領域については簡易符号化領域に設定する。
(2)後続のピクチャにおいては,通常符号化領域を前ピクチャの通常符号化領域を包含する,より大きい領域に設定し,それ以外の領域については簡易符号化領域に設定する(図1に例を示す)。
(3)各ピクチャにおいて,通常符号化領域のブロックでは通常符号化を行い,簡易符号化領域のブロックについては簡易符号化を行う。
(1)イントラピクチャにおいて,所定の領域を通常符号化領域に設定し,それ以外の領域については簡易符号化領域に設定する。
(2)後続のピクチャにおいては,通常符号化領域を前ピクチャの通常符号化領域を包含する,より大きい領域に設定し,それ以外の領域については簡易符号化領域に設定する(図1に例を示す)。
(3)各ピクチャにおいて,通常符号化領域のブロックでは通常符号化を行い,簡易符号化領域のブロックについては簡易符号化を行う。
従来技術では,図11で説明したように,イントラピクチャでピクチャの大部分が簡易符号化されると,次以降のインターピクチャでも動き補償で簡易符号化領域が参照されることによって大量の予測残差が発生し,ピクチャの大部分が簡易符号化される状況が続く。
一方,本発明による方法では,イントラピクチャで通常符号化領域を設定し,さらに次以降のインターピクチャの通常符号化領域は前ピクチャの通常符号化領域を包含する。自然映像においては時間的に連続するピクチャの時間的な相関が高い。すなわち,符号化対象ピクチャの通常符号化領域における被写体は,前ピクチャの通常符号化領域に存在する可能性が高い。したがって,従来技術と異なり,符号化対象ピクチャにおける通常符号化領域では,動き補償において前ピクチャの通常符号化領域を参照して,予測残差を少なくすることができ,発生符号量を小さくできる。このため,ピクチャごとに通常符号化領域を拡大し,所定の周期でピクチャの全ブロックを通常符号化することができるので,所定の周期で全画面を通常符号化する状態にする(画質を回復させる)ことができる。
[方法2]
また,上記方法における(3)において,少なくとも通常符号化領域においては,インター符号化を行うブロックでは,前ピクチャの通常符号化領域のみ参照するようにすると,さらに画質が向上する。
また,上記方法における(3)において,少なくとも通常符号化領域においては,インター符号化を行うブロックでは,前ピクチャの通常符号化領域のみ参照するようにすると,さらに画質が向上する。
その理由は,以下のとおりである。方法1では,ピクチャの通常符号化領域の符号化において,参照ピクチャの簡易符号化領域を参照することが可能であるため,動き探索アルゴリズムによっては,簡易符号化領域を参照して画質の低下を招くおそれがある場合がある。方法2では,ピクチャの通常符号化領域の符号化では,必ず参照ピクチャの通常符号化領域を参照するため,簡易符号化領域を参照することによる画質の低下を防ぎ,画質を向上させることができる。
[方法3]
また,上記方法において,イントラピクチャにおける簡易符号化においては,各ブロックの変換係数のうち,DC成分を最大の量子化ステップで符号化し,それ以外の変換係数は符号化しないようにすると,バッファアンダーフローの抑制に効果的である。
また,上記方法において,イントラピクチャにおける簡易符号化においては,各ブロックの変換係数のうち,DC成分を最大の量子化ステップで符号化し,それ以外の変換係数は符号化しないようにすると,バッファアンダーフローの抑制に効果的である。
上記方法において,イントラピクチャの簡易符号化の具体的方法として,例えば,量子化ステップの最大化をすることが容易に類推できるが,このような方法の場合には,入力映像によっては発生符号量が多いため,低ビットレート,バッファサイズが小さい条件下ではバッファアンダーフローを起こす可能性が高い。方法3では,イントラピクチャの簡易符号化の具体的方法として,各ブロックの変換係数のうち,DC成分のみ最大の量子化ステップで符号化する。このため,どのような入力映像においても,各ブロックについて一つの変換係数しか符号化しないため,前述した方法よりもバッファアンダーフローを抑制することができる。
[方法4]
また,上記方法において,インターピクチャにおける簡易符号化領域においては,各ブロックをスキップモードで符号化すると,さらにバッファアンダーフローを抑制することができるようになる。
また,上記方法において,インターピクチャにおける簡易符号化領域においては,各ブロックをスキップモードで符号化すると,さらにバッファアンダーフローを抑制することができるようになる。
上記方法において,インターピクチャの簡易符号化の具体的方法として,例えば,量子化ステップの最大化をすることが容易に類推できるが,このような方法の場合には,入力映像によっては発生符号量が多いため,低ビットレート,バッファサイズが小さい条件下ではバッファアンダーフローを起こす可能性が高い。方法4では,インターピクチャの簡易符号化の具体的方法として,スキップモードで符号化する。このため,入力映像によらず,最小の発生符号量で符号化できるため,前述した方法と比較してバッファアンダーフローを抑制することができる。
[方法5]
また,上記方法における(3)において,符号化対象ピクチャの通常符号化領域のうち,少なくとも,前ピクチャの簡易符号化領域と同じ位置のブロックについては,イントラ符号化する。これにより,演算量を削減することができる。
また,上記方法における(3)において,符号化対象ピクチャの通常符号化領域のうち,少なくとも,前ピクチャの簡易符号化領域と同じ位置のブロックについては,イントラ符号化する。これにより,演算量を削減することができる。
前述した方法において一般的なモード判定(符号化モードのレート歪コストの比較)を行った場合,符号化対象ピクチャの通常符号化領域のうち,前ピクチャの簡易符号化領域と同じ位置の領域のブロックは多くの場合イントラ符号化される。これは,符号化対象ピクチャの当該領域の被写体は前ピクチャの同じ位置に写っていることが多いが,前ピクチャの当該領域は簡易符号化されていて画質が著しく悪く,インター符号化する場合のレート歪コストが大きくなるからである。
一方で,方法5では,符号化対象ピクチャの通常符号化領域のうち,前ピクチャの簡易符号化領域と同じ位置の領域のブロックについてはイントラ符号化するため,当該ブロックについてインター符号化を行ってレート歪コストを算出する処理をなくすことができる。このため,方法1などと比較して演算量を削減できる。
[方法6]
また,上記方法における量子化制御において,符号化対象ピクチャの量子化ステップを決定する際に,符号化済みピクチャの通常符号化領域の発生符号量と量子化ステップだけを利用する。
また,上記方法における量子化制御において,符号化対象ピクチャの量子化ステップを決定する際に,符号化済みピクチャの通常符号化領域の発生符号量と量子化ステップだけを利用する。
前述した方法において,量子化制御方法は任意であるとし,一般的な量子化制御を行った場合,符号化対象ピクチャの量子化ステップを決定する際に符号化済みピクチャの全画面分の発生符号量と量子化ステップを利用することになる。符号化済みピクチャの簡易符号化領域は,ピクチャの複雑さによらず,発生符号量を抑えている場合があるため,量子化ステップを極度に小さくする場合があり,バッファアンダーフローの可能性を高める。これに対し,方法6を用いると,符号化対象ピクチャの量子化ステップを決定する際に符号化済みピクチャの通常符号化領域の発生符号量と量子化ステップを利用する。このため,符号化対象ピクチャの量子化ステップを極度に小さくすることを防止することができ,前述した方法と比較してバッファアンダーフローを抑制することができる。
本発明によれば,イントラピクチャ挿入後における簡易符号化が多用される状態から,従来技術よりも早期に画質を回復できるという効果がある。
さらに,ピクチャの通常符号化領域の符号化で,必ず参照ピクチャの通常符号化領域を参照することにより,画質を向上させることができる。
また,イントラピクチャの簡易符号化の具体的方法として,各ブロックの変換係数のうち,DC成分のみ最大の量子化ステップで符号化する方法を用いることにより,バッファアンダーフローを抑制することができる。
また,インターピクチャの簡易符号化の具体的方法として,スキップモードで符号化する方法を用いることにより,さらにバッファアンダーフローを抑制することができる。
また,符号化対象ピクチャの通常符号化領域のうち,前ピクチャの簡易符号化領域と同じ位置の領域のブロックについてはイントラ符号化することにより,演算量を削減することができる。
また,符号化対象ピクチャの量子化ステップを決定する際に符号化済みピクチャの通常符号化領域の発生符号量と量子化ステップを利用することにより,効果的にバッファアンダーフローを抑制することができる。
以下,図面を用いながら,本発明の実施の形態について説明する。
本発明の典型的な利用シーンであるテレビ(TV)会議での利用を考える。このようなシステムでは,時間的な発生符号量の推移を平滑化するため,イントラピクチャは最初に符号化するピクチャのみとすることが多い。そして,送信先でパケットロスが生じた場合に限りイントラピクチャを挿入する。本発明は,このようにイントラピクチャが挿入された時点で発動し,通常符号化領域をピクチャごとに拡大し,ピクチャの全画面を通常符号化するまで継続する。
本発明は,極めて低ビットレートでバッファサイズが小さく,イントラピクチャの大部分が通常符号化できない条件下において,効果を奏する。このような条件下においては,イントラピクチャの通常符号化領域を小さくし,少しずつ通常符号化領域を拡大していく必要がある。これはピクチャの解像度,フレームレート,ビットレート,バッファサイズに依存するもので,これらの具体的条件に対して,予め通常符号化領域の大きさを決めて,本発明に適用するものとする。
本発明を適用する典型的な例として,以下のような条件を考える。
・ピクチャ解像度:幅1280画素/高さ720画素
・フレームレート:毎秒30ピクチャ
・ビットレート:500kbps
・バッファサイズ:50kbits(バッファ遅延は100msec程度となり,低遅延となる)
図1は,本発明の実施形態の概要を説明する図である。図1に示す各ピクチャにおいて,ハッチング部分のR1は通常符号化領域,その他の部分のR2は簡易符号化領域を表している。
・ピクチャ解像度:幅1280画素/高さ720画素
・フレームレート:毎秒30ピクチャ
・ビットレート:500kbps
・バッファサイズ:50kbits(バッファ遅延は100msec程度となり,低遅延となる)
図1は,本発明の実施形態の概要を説明する図である。図1に示す各ピクチャにおいて,ハッチング部分のR1は通常符号化領域,その他の部分のR2は簡易符号化領域を表している。
通常符号化領域R1は,図1に示すように,ピクチャの左からマクロブロック列(マクロブロックは16×16画素のブロックである)を連続させたものとする。上記の条件化においては,H.264に基づく符号化を利用する場合には,各ピクチャで2マクロブロック列ごとに通常符号化領域を拡大することで,バッファ破綻を起こさずに40フレーム(約1.3秒)でピクチャの全画面が通常符号化されている状態にできることが期待できる。
このような通常符号化領域の設定例の概念図を図2に示す。図2において,A,B,C,D,E,F,…は,マクロブロックである。
[実施例1]
図3は,本発明の実施例に係る装置構成図である。なお,他の実施例についても,基本的な装置構成は実施例1と同様である。
図3は,本発明の実施例に係る装置構成図である。なお,他の実施例についても,基本的な装置構成は実施例1と同様である。
通常符号化領域設定部101は,ピクチャ番号に応じて,どのマクロブロックが通常符号化を行うブロックかを決定し,その情報を通常符号化領域情報として,ブロック符号化制御部102に出力する。本実施例では,前述のように,ピクチャごとに2マクロブロック列ずつ通常符号化領域を拡大する。また,最初のピクチャ(ピクチャ番号が0)のみイントラピクチャとなる。したがって,ピクチャ番号が40のピクチャからは全マクロブロックにおいて通常符号化することになる。
ブロック符号化制御部102は,ピクチャを入力し,さらに当該ピクチャに対応する通常符号化領域情報を入力する。そして,ラスタスキャン順に,当該ピクチャのマクロブロックが通常符号化領域内であれば通常符号化部103に出力し,簡易符号化領域内であれば簡易符号化部104に出力する。
通常符号化部103は,一般的なH.264エンコーダであるとし,入力されたマクロブロックを通常符号化する。すなわち,符号化対象ピクチャがイントラピクチャであれば,イントラ予測モードの判定,予測残差信号の直交変換/量子化,エントロピー符号化を行う。符号化対象ピクチャがインターピクチャであれば,動き探索,モード判定,予測残差信号の直交変換/量子化,エントロピー符号化を行う。いずれにおいても,量子化においては,ビットレートと仮想バッファのバッファサイズに応じた一般的な量子化制御に基づいて決定された量子化ステップを利用する。
簡易符号化部104は,入力されたマクロブロックを簡易符号化する。符号化対象ピクチャがイントラピクチャであれば,イントラ予測モードは16×16画素の平均値予測とし,マクロブロックの直交変換係数のDC成分のみ,最大の量子化ステップで符号化する。一方,符号化対象ピクチャがインターピクチャであれば,マクロブロックはスキップモードとする。
量子化制御部105は,従来からある一般的な量子化制御を行うものとし,発生符号量を入力として,マクロブロック単位の量子化ステップを通常符号化部に出力する。
実施例1の符号化処理の流れを,図4に示すステップS101〜S110に従って説明する。
まず,最初のピクチャ(ピクチャ番号0)の処理から説明する。通常符号化領域設定部101は,ピクチャ番号が0でイントラピクチャであることから,ピクチャの左端の2マクロブロック列について通常符号化領域と決定し,通常符号化領域情報としてブロック符号化制御部に出力する(S102,S103)。
ブロック符号化制御部102には,ピクチャ番号0のピクチャが入力され,通常符号化領域情報に基づいて,ラスタスキャン順にマクロブロックを処理する。最初は図2のマクロブロックAを処理する。マクロブロックAは通常符号化領域内であるため,マクロブロックAを通常符号化部103に出力する。通常符号化部103はマクロブロックAを通常符号化する。
次に,マクロブロックBも同様の処理を行う。次に処理するマクロブロックCについては,通常符号化領域に属さないので(簡易符号化領域に属するので),簡易符号化部104に出力する。なお,符号化対象ピクチャはイントラピクチャなので,簡易符号化部104は,イントラ予測モードは16×16画素の平均値予測とし,マクロブロックの直交変換係数のDC成分のみ,最大の量子化ステップで符号化する。上端のマクロブロック行の処理が完了したならば,マクロブロックDから同様に処理を行う(S106,S107,S108)。
次のピクチャ(ピクチャ番号1)の処理について説明する。通常符号化領域設定部101は,ピクチャ番号が1であることから,ピクチャの左端の4マクロブロック列について通常符号化領域と決定し,通常符号化領域情報としてブロック符号化制御部102に出力する(S102,S103)。
ブロック符号化制御部102には,ピクチャ番号1のピクチャが入力され,通常符号化領域情報に基づいて,ラスタスキャン順にマクロブロックを処理する。マクロブロックA〜Dについては,通常符号化領域内であるため通常符号化部103にマクロブロックを出力し,通常符号化部103が通常符号化を行う。次のマクロブロックEについては,通常符号化領域に属さないので,簡易符号化部104に出力する。なお,符号化対象ピクチャはインターピクチャであるので,簡易符号化部104は当該マクロブロックをスキップモードとして符号化する。上端のマクロブロック行の処理が完了したならば,マクロブロックFから同様に処理を行う(S106,S107,S108)。
[実施例2]
実施例2の基本的な流れは実施例1と同様であるが,通常符号化部103の動作が若干異なる。具体的には,ブロックのインター符号化時の動作が異なる。
実施例2の基本的な流れは実施例1と同様であるが,通常符号化部103の動作が若干異なる。具体的には,ブロックのインター符号化時の動作が異なる。
一般的なH.264エンコーダでは,ブロックのインター符号化時の動き探索においては,参照ピクチャにおける通常符号化領域と簡易符号化領域とを考慮しないため,簡易符号化領域を参照してインター符号化してしまう場合がある。一般的に,動き探索では,所定の探索中心を中心とした所定の探索範囲を探索する。図5(A)に,その例を示す。H.264エンコーダでは,予測ベクトルを探索中心とする場合があり,この場合,探索範囲が参照ピクチャの簡易符号化領域に包含されてしまい,このブロックについては簡易符号化領域を参照して符号化するため予測残差が多く発生する。なお,予測ベクトルとしては,符号化対象ブロックの周辺の動きベクトルのメディアンとすることが多い。
実施例2の通常符号化部103では,ブロックのインター符号化時に次の動作をすることによって,これを回避する。
図6に,実施例2のフローチャートを示す。まずは,イントラ予測を行う(S201)。インター予測に先立ち,ブロックの動き探索時に予測ベクトルと探索範囲を算出し,探索範囲が簡易符号化領域と重複するかを判定する(S202)。重複しない場合には,そのまま動き探索を行ってインター予測を行い,符号化処理を進める(S203,S205)。一方で,重複する場合には(図5の(B)参照),探索範囲が簡易符号化領域と重複しない領域まで,探索範囲を水平に移動する(図5の(C)参照)。そして,移動された探索範囲にて動き探索を行ってインター予測を行い,符号化処理を進める(S204,S205)。
[実施例3]
実施例3の基本的な流れは実施例1と同様であるが,通常符号化部103の動作が若干異なる。具体的には,符号化対象ピクチャの通常符号化領域のマクロブロックのうち,参照ピクチャの簡易符号化領域と同位置のマクロブロックの符号化の動作が異なる。このようなマクロブロックは,例えば,図2のピクチャ1におけるマクロブロックCおよびDが該当する。
実施例3の基本的な流れは実施例1と同様であるが,通常符号化部103の動作が若干異なる。具体的には,符号化対象ピクチャの通常符号化領域のマクロブロックのうち,参照ピクチャの簡易符号化領域と同位置のマクロブロックの符号化の動作が異なる。このようなマクロブロックは,例えば,図2のピクチャ1におけるマクロブロックCおよびDが該当する。
マクロブロックの符号化においては,一般的にはモード判定を行う。モード判定では,イントラ符号化した場合のレート歪コストとインター符号化した場合のレート歪コストとを比較し,レート歪コストを最小にする符号化方法を選択する。
実施例3のフローチャートを図7に示す。まず,イントラ予測を行う(S301)。実施例3の通常符号化部103では,符号化対象マクロブロックが参照ピクチャの通常符号化領域と同位置かを判定する(S302)。符号化対象マクロブロックが参照ピクチャの通常符号化領域と同位置の場合,インター予測を行った後(S303),イントラ符号化とインター符号化に関するモード判定を行って決定した符号化方法で符号化を行い,符号化ストリームを出力する(S304)。一方で,符号化対象マクロブロックが参照ピクチャの簡易符号化領域と同位置の場合,モード判定を行わずにイントラ符号化に基づく符号化ストリームを出力する(S305)。
[実施例4]
前述した実施例1では,量子化制御部105は従来からある一般的な量子化制御を行うものとしたが,実施例4では,量子化制御部105の動作が異なる。従来からある一般的な量子化制御では,符号化対象ピクチャの目標符号量,符号化対象ピクチャの複雑さ指標値から符号化対象ピクチャの量子化ステップを導出する。具体的には,以下の処理を行う。
前述した実施例1では,量子化制御部105は従来からある一般的な量子化制御を行うものとしたが,実施例4では,量子化制御部105の動作が異なる。従来からある一般的な量子化制御では,符号化対象ピクチャの目標符号量,符号化対象ピクチャの複雑さ指標値から符号化対象ピクチャの量子化ステップを導出する。具体的には,以下の処理を行う。
符号化対象ピクチャの目標符号量をTとする。目標符号量Tは,目標ビットレート,これまでの発生符号量等に基づいて決定する。符号化対象ピクチャの複雑さ指標値Xは,次式に基づいて求められる。
X=G×Qave
Gは最も最近符号化した同じピクチャタイプのピクチャの発生符号量である。一方で,Qave は同符号化済みピクチャの平均量子化ステップである。符号化対象ピクチャの量子化ステップQは,次式で決定される。
Gは最も最近符号化した同じピクチャタイプのピクチャの発生符号量である。一方で,Qave は同符号化済みピクチャの平均量子化ステップである。符号化対象ピクチャの量子化ステップQは,次式で決定される。
Q=X/T
マクロブロック単位の量子化ステップは,累積発生符号量に基づき,Qを変動させて決定する。実施例1では,GとQave の計算に簡易符号化領域の発生符号量と量子化ステップも利用される。この場合,簡易符号化領域はピクチャの複雑さに関わらず発生符号量を極端に抑えるため,Xは符号化対象ピクチャの複雑さを表していないおそれがある。
マクロブロック単位の量子化ステップは,累積発生符号量に基づき,Qを変動させて決定する。実施例1では,GとQave の計算に簡易符号化領域の発生符号量と量子化ステップも利用される。この場合,簡易符号化領域はピクチャの複雑さに関わらず発生符号量を極端に抑えるため,Xは符号化対象ピクチャの複雑さを表していないおそれがある。
実施例4では,次のように複雑さ指標値Xを求める。符号化対象ピクチャの直前の同ピクチャタイプの符号化済みピクチャにおける通常符号化領域の面積をAn ,ピクチャの面積をAとし,A_Ratioを以下のように表す。
A_Ratio=An /A
量子化制御部105は通常符号化部103から入力された符号化済みピクチャの発生符号量Ga と当該ピクチャに関するA_Ratioから,以下のようにGを求める。
量子化制御部105は通常符号化部103から入力された符号化済みピクチャの発生符号量Ga と当該ピクチャに関するA_Ratioから,以下のようにGを求める。
G=Ga /A_Ratio
そして,Qave は,通常符号化領域のマクロブロックで利用された量子化ステップの平均値として計算する。それ以降の処理は,前述の通りである。
そして,Qave は,通常符号化領域のマクロブロックで利用された量子化ステップの平均値として計算する。それ以降の処理は,前述の通りである。
以上の動画像符号化の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
図8に,図3に示す装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU50と,CPU50がアクセスするプログラムやデータが格納されるRAM等のメモリ51と,カメラ等からの符号化対象の映像信号を入力する映像信号入力部52(ディスク装置等による映像信号を記憶する記憶部でもよい)と,動画像符号化プログラム531を記憶するプログラム記憶装置53と,符号化ストリーム出力部54(ディスク装置等による符号化ストリームを記憶する記憶部でもよい)とが,バスで接続された構成になっている。
CPU50は,プログラム記憶装置53からメモリ51にロードされた動画像符号化プログラム531を実行することにより,映像信号入力部52により入力された入力映像信号を符号化し,符号化結果の符号化ストリームを,符号化ストリーム出力部54を介してネットワーク等に出力する。
以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。
101 通常符号化領域設定部
102 ブロック符号化制御部
103 通常符号化部
104 簡易符号化部
105 量子化制御部
102 ブロック符号化制御部
103 通常符号化部
104 簡易符号化部
105 量子化制御部
Claims (8)
- 第1符号化方法と,前記第1符号化方法よりも符号化パラメータの値の制限が大きい第2符号化方法とを切り替えて動画像を符号化する動画像符号化方法であって,
イントラピクチャにおいて,所定の領域を第1符号化領域に設定し,それ以外の領域については第2符号化領域に設定する過程と,
前記イントラピクチャに後続のピクチャにおいては,前記第1符号化領域を,前のピクチャの第1符号化領域を包含する,より大きい領域に設定し,それ以外の領域については第2符号化領域に設定する過程と,
各ピクチャにおける前記第1符号化領域のブロックについては前記第1符号化方法を用いて符号化を行う過程と,
各ピクチャにおける前記第2符号化領域のブロックについては前記第2符号化方法を用いて符号化を行う過程とを有する
ことを特徴とする動画像符号化方法。 - 前記第1符号化方法を用いて符号化を行う過程では,
少なくとも前記第1符号化領域におけるインター符号化を行うブロックについて,前のピクチャの第1符号化領域だけを参照する
ことを特徴とする請求項1に記載の動画像符号化方法。 - 前記第2符号化方法を用いて符号化を行う過程では,
イントラピクチャにおける各ブロックの変換係数のうち,DC成分を最大の量子化ステップで符号化し,それ以外の変換係数は符号化しない
ことを特徴とする請求項1または請求項2に記載の動画像符号化方法。 - 前記第2符号化方法を用いて符号化を行う過程では,
インターピクチャにおける第2符号化領域においては,各ブロックをスキップモードで符号化する
ことを特徴とする請求項1,請求項2または請求項3に記載の動画像符号化方法。 - 前記第1符号化方法を用いて符号化を行う過程では,
符号化対象ピクチャの第1符号化領域のうち,少なくとも,前のピクチャの第2符号化領域と同じ位置のブロックについてはイントラ符号化する
ことを特徴とする請求項1から請求項4までのいずれか1項に記載の動画像符号化方法。 - 前記第1符号化方法を用いて符号化を行う過程では,
量子化制御において符号化済みピクチャの前記第1符号化領域の発生符号量と量子化ステップだけを利用して決定された量子化ステップを用いて符号化する
ことを特徴とする請求項1から請求項5までのいずれか1項に記載の動画像符号化方法。 - 第1符号化方法と,前記第1符号化方法よりも符号化パラメータの値の制限が大きい第2符号化方法とを切り替えて動画像を符号化する動画像符号化装置であって,
イントラピクチャにおいて,所定の領域を第1符号化領域に設定し,それ以外の領域については第2符号化領域に設定するとともに,前記イントラピクチャに後続のピクチャにおいては,前記第1符号化領域を,前のピクチャの第1符号化領域を包含する,より大きい領域に設定し,それ以外の領域については第2符号化領域に設定する手段と,
各ピクチャにおける前記第1符号化領域のブロックについては前記第1符号化方法を用いて符号化を行う手段と,
各ピクチャにおける前記第2符号化領域のブロックについては前記第2符号化方法を用いて符号化を行う手段とを備える
ことを特徴とする動画像符号化装置。 - 請求項1から請求項6までのいずれか1項に記載の動画像符号化方法を,コンピュータに実行させるための動画像符号化プログラム。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012014062A JP5727398B2 (ja) | 2012-01-26 | 2012-01-26 | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム |
CN201380005640.5A CN104041037B (zh) | 2012-01-26 | 2013-01-22 | 运动图像编码方法、装置 |
US14/368,466 US10051270B2 (en) | 2012-01-26 | 2013-01-22 | Video encoding method using at least two encoding methods, device and computer program |
KR1020147019718A KR101678138B1 (ko) | 2012-01-26 | 2013-01-22 | 동화상 부호화 방법, 장치 및 프로그램 |
EP18197475.9A EP3531699B1 (en) | 2012-01-26 | 2013-01-22 | Video encoding method, device, and program |
CA2862701A CA2862701A1 (en) | 2012-01-26 | 2013-01-22 | Video encoding method, device, and program |
ES18197475T ES2850776T3 (es) | 2012-01-26 | 2013-01-22 | Método, dispositivo y programa de codificación de vídeo |
BR112014017478A BR112014017478A8 (pt) | 2012-01-26 | 2013-01-22 | método para codificação de vídeo, dispositivo e programa |
RU2014129006A RU2014129006A (ru) | 2012-01-26 | 2013-01-22 | Способ, устройство и программа для видеокодирования |
EP13740619.5A EP2787729A4 (en) | 2012-01-26 | 2013-01-22 | VIDEO PROCESSING, DEVICE AND PROGRAM |
PCT/JP2013/051193 WO2013111747A1 (ja) | 2012-01-26 | 2013-01-22 | 動画像符号化方法、装置およびプログラム |
TW102102592A TWI493942B (zh) | 2012-01-26 | 2013-01-24 | 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012014062A JP5727398B2 (ja) | 2012-01-26 | 2012-01-26 | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013153387A JP2013153387A (ja) | 2013-08-08 |
JP5727398B2 true JP5727398B2 (ja) | 2015-06-03 |
Family
ID=48873467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012014062A Active JP5727398B2 (ja) | 2012-01-26 | 2012-01-26 | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム |
Country Status (11)
Country | Link |
---|---|
US (1) | US10051270B2 (ja) |
EP (2) | EP2787729A4 (ja) |
JP (1) | JP5727398B2 (ja) |
KR (1) | KR101678138B1 (ja) |
CN (1) | CN104041037B (ja) |
BR (1) | BR112014017478A8 (ja) |
CA (1) | CA2862701A1 (ja) |
ES (1) | ES2850776T3 (ja) |
RU (1) | RU2014129006A (ja) |
TW (1) | TWI493942B (ja) |
WO (1) | WO2013111747A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160127196A1 (en) * | 2014-10-29 | 2016-05-05 | Xiaomi Inc. | Device connection prompt |
JP6943628B2 (ja) * | 2017-05-24 | 2021-10-06 | Nttエレクトロニクス株式会社 | 映像符号化装置および映像符号化方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001559A (en) | 1989-10-12 | 1991-03-19 | International Business Machines Corporation | Transform coding using coefficient prediction techniques |
KR0152034B1 (ko) * | 1994-06-29 | 1998-10-15 | 김광호 | 인트라부호화방법 |
US5929916A (en) * | 1995-12-26 | 1999-07-27 | Legall; Didier J. | Variable bit rate encoding |
EP0903042B1 (en) | 1997-02-08 | 2002-05-29 | Matsushita Electric Industrial Co., Ltd. | Quantization matrix for still and moving picture coding |
US6256423B1 (en) * | 1998-09-18 | 2001-07-03 | Sarnoff Corporation | Intra-frame quantizer selection for video compression |
JP2001008212A (ja) * | 1999-06-18 | 2001-01-12 | Hitachi Ltd | 画像伝送方法 |
JP3858520B2 (ja) * | 1999-06-22 | 2006-12-13 | 日本ビクター株式会社 | 動画像符号化装置及びその方法 |
JP4215197B2 (ja) | 2002-04-12 | 2009-01-28 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
FI114679B (fi) * | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
JP3513148B1 (ja) | 2002-10-11 | 2004-03-31 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
US8040949B2 (en) * | 2003-01-09 | 2011-10-18 | The Regents Of The University Of California | Video encoding methods and devices |
JP4532980B2 (ja) | 2004-05-12 | 2010-08-25 | キヤノン株式会社 | 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP4361435B2 (ja) | 2004-07-14 | 2009-11-11 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置 |
CN101160976B (zh) | 2005-04-13 | 2010-05-19 | 株式会社Ntt都科摩 | 运动图像编码装置及其方法、运动图像解码装置及其方法 |
JP4384130B2 (ja) * | 2006-03-28 | 2009-12-16 | 株式会社東芝 | 動画像復号方法及び装置 |
JP2008258953A (ja) * | 2007-04-05 | 2008-10-23 | Ibex Technology Co Ltd | 符号化装置、符号化プログラムおよび符号化方法 |
JP2007267414A (ja) * | 2007-05-24 | 2007-10-11 | Toshiba Corp | フレーム内画像符号化方法及びその装置 |
JP4817263B2 (ja) * | 2007-09-14 | 2011-11-16 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5437807B2 (ja) * | 2007-09-18 | 2014-03-12 | 富士通株式会社 | 動画像符号化装置および動画像復号装置 |
US8861879B2 (en) * | 2009-09-17 | 2014-10-14 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image based on skip mode |
JP2011172039A (ja) * | 2010-02-19 | 2011-09-01 | Sony Corp | 復号装置および方法 |
JP5581854B2 (ja) | 2010-07-02 | 2014-09-03 | 株式会社リコー | 定着装置及び画像形成装置 |
-
2012
- 2012-01-26 JP JP2012014062A patent/JP5727398B2/ja active Active
-
2013
- 2013-01-22 US US14/368,466 patent/US10051270B2/en active Active
- 2013-01-22 CN CN201380005640.5A patent/CN104041037B/zh active Active
- 2013-01-22 KR KR1020147019718A patent/KR101678138B1/ko active IP Right Grant
- 2013-01-22 ES ES18197475T patent/ES2850776T3/es active Active
- 2013-01-22 CA CA2862701A patent/CA2862701A1/en not_active Abandoned
- 2013-01-22 RU RU2014129006A patent/RU2014129006A/ru not_active Application Discontinuation
- 2013-01-22 EP EP13740619.5A patent/EP2787729A4/en not_active Ceased
- 2013-01-22 BR BR112014017478A patent/BR112014017478A8/pt not_active IP Right Cessation
- 2013-01-22 WO PCT/JP2013/051193 patent/WO2013111747A1/ja active Application Filing
- 2013-01-22 EP EP18197475.9A patent/EP3531699B1/en active Active
- 2013-01-24 TW TW102102592A patent/TWI493942B/zh active
Also Published As
Publication number | Publication date |
---|---|
JP2013153387A (ja) | 2013-08-08 |
KR101678138B1 (ko) | 2016-11-21 |
ES2850776T3 (es) | 2021-08-31 |
TWI493942B (zh) | 2015-07-21 |
CN104041037B (zh) | 2017-07-07 |
US20150010061A1 (en) | 2015-01-08 |
KR20140110950A (ko) | 2014-09-17 |
CA2862701A1 (en) | 2013-08-01 |
EP2787729A1 (en) | 2014-10-08 |
US10051270B2 (en) | 2018-08-14 |
WO2013111747A1 (ja) | 2013-08-01 |
EP2787729A4 (en) | 2015-08-19 |
CN104041037A (zh) | 2014-09-10 |
RU2014129006A (ru) | 2016-03-20 |
BR112014017478A8 (pt) | 2017-07-04 |
EP3531699B1 (en) | 2020-11-11 |
EP3531699A1 (en) | 2019-08-28 |
BR112014017478A2 (pt) | 2017-06-13 |
TW201338554A (zh) | 2013-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4752631B2 (ja) | 画像符号化装置、及び画像符号化方法 | |
US8000393B2 (en) | Video encoding apparatus and video encoding method | |
US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
JP2009182623A (ja) | 画像符号化方法 | |
JP2011528533A (ja) | 動き推定反復検索のための推測的開始点選択 | |
JP2007067469A (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体 | |
TWI511531B (zh) | 影像編碼裝置、影像編碼方法及影像編碼程式 | |
JP4732184B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP2007013298A (ja) | 画像符号化装置 | |
RU2734616C1 (ru) | Способ декодирования видео с предсказанием и устройство декодирования видео с предсказанием | |
JP2013115583A (ja) | 動画像符号化装置及びその制御方法並びにプログラム | |
JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
JP5748225B2 (ja) | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム | |
US20120294480A1 (en) | Image processing apparatus and image processing method | |
JP5727398B2 (ja) | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム | |
JP5100572B2 (ja) | 符号化装置 | |
JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
JP2005295215A (ja) | 動画像符号化装置 | |
JP2006197006A (ja) | 動画像符号化装置 | |
JP2012070152A (ja) | 動画像符号化装置、動画像符号化方法、およびプログラム | |
KR101145399B1 (ko) | 멀티-패스 인코딩 장치 및 방법 | |
JP5521859B2 (ja) | 動画像符号化装置および方法 | |
JP2007194935A (ja) | 動画像符号化装置および動画像符号化プログラム | |
JP2012060423A (ja) | 動画像符号化装置 | |
JP2008245237A (ja) | 画像処理方法、画像処理装置およびそれを用いた撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5727398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |