JP3889013B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents
動画像符号化装置及び動画像符号化方法 Download PDFInfo
- Publication number
- JP3889013B2 JP3889013B2 JP2004152915A JP2004152915A JP3889013B2 JP 3889013 B2 JP3889013 B2 JP 3889013B2 JP 2004152915 A JP2004152915 A JP 2004152915A JP 2004152915 A JP2004152915 A JP 2004152915A JP 3889013 B2 JP3889013 B2 JP 3889013B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- code amount
- encoding
- skip
- target code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御する
ことを特徴とする。
図1は、実施の形態1における動画像符号化装置の構成を示すブロック図である。図1に示す動画像符号化装置100は、有線通信や無線通信により伝送される画像信号がフレームとして入力され、この入力されるフレームに対する画像符号化処理を行うもので、入力されるフレームをマクロブロックに分割して符号化処理を行い、ビットストリームとして出力するものであり、入力端子11と、フレームメモリ1と、スイッチ2と、符号化器3と、バッファ4と、符号量検出部5と、出力端子12と、フレーム目標符号量設定部6と、入力画像解析部7と、フレームスキップ制御部8と、符号化制御部9とを備えている。
変化量抽出部22から出力されるフレーム間変化量VAが第1の閾値TV以上であれば、フレームスキップ挿入回数NAが「1」となり、フレーム間変化量VAが第1の閾値TV未満であれば、フレームスキップ挿入回数NAが「0」となる。
変化量抽出部22から出力されるフレーム間変化量VAはまた、そのまま出力端子28から出力される。
図示のようにこのフレーム目標符号量設定部6は、メモリ61と、目標符号量演算部62と、判定部63と、乗算部64と、選択部65とを有する。
目標符号量演算部62は、例えばメモリ61に記憶された所定の基準符号量QRと、同じくメモリ61に記憶された前フレームの目標符号量と、符号量検出部5で検出された前フレームの符号量(「発生符号量」とも言う)QBとに基づいて現フレームのための仮の目標符号量QTを算出する。
判定部63は、後述の判定を行って、フレームスキップ挿入回数NBを「1」とするか「0」とするかの判定、符号量の割増しを行うかどうかの判定を行う。
乗算部64は、仮の目標符号量QTに「1」より大きい係数kを掛けて割増した目標符号量k×QTを発生する。
選択部65は、判定部63から出力される割増しの要否を示す信号WMに従って、割増す前の目標符号量QT又は割増した目標符号量k×QTのいずれかを選択し、選択したものを最終の目標符号量QUとして出力する。(「最終の目標符号量」或いは「第2の目標符号量」と呼ぶのは、上記した「仮の目標符号量」或いは「第1の目標符号量」との区別のためであり、両者の混同が生じないときは単に「目標符号量」と呼ぶこともある。)
割増し要のときは、割増した目標符号量k×QTを選択し、割増し不要のときは、割増す前の目標符号量QTを選択する。
本例では、第2の閾値TWは第1の閾値TVよりも大きい。しかし、第2の閾値TWが第1の閾値よりも小さくても良く、また第2の閾値TWが第1の閾値TVと等しくても良い。
判定部63は、フレーム間変化量VAが第1の閾値以上で、第2の閾値TW未満であるとき、或いは、仮の目標符号量QTが閾値TM以上であるときは、フレームスキップ挿入回数NBを「0」とする。
判定部63は、さらにフレーム間変化量VAが第1の閾値TV以上であるが第2の閾値TW未満であるときは、割増し要否を示す信号WMを「1」(割増し要であることを示す値)にする。
より具体的には、フレームスキップ制御部8は、フレームスキップ挿入回数NAとフレームスキップ挿入回数NBの平均値を計算して小数点未満を切り捨て、その結果をフレームスキップ挿入可否情報SKとして出力する。
本例では、フレームスキップ挿入回数NA及びフレームスキップ挿入回数NBの両方が「1」であれば、フレームスキップ挿入可否情報SKが「1」となり、それ以外のときはフレームスキップ挿入可否情報SKは「0」となる。
また、フレームスキップ挿入可否情報SKによりフレームスキップを行ったときは、次のフレームでフレーム内符号化を指示する。フレームスキップ挿入可否情報SKによるフレームスキップを行わない場合にも、周期的に、即ち所定のフレーム数(「フレーム内符号化周期」と言うことがある)毎にフレーム内符号化を指示する。
フレーム間変化量VAが第1の閾値TV以上であると言う条件は満たされるものの、フレーム間変化量VAが第2の閾値TW未満であるか、仮の目標符号量QTが閾値TM以上であるときは、目標符号量の割増しを行って、フレーム間符号化を行う。
フレーム間変化量VAが第1の閾値TV未満のときはフレームスキップも目標符号量の割増しも行わず、フレーム間符号化を行う。
フレーム間変化量VAが第1の閾値TV未満である場合(ステップS5でNO)、フレーム間における映像の変化量が小さいと考えられるため、フレーム間符号化で符号量を増やす必要は無い。そこで、符号量を割り増しを行わず、フレーム目標符号量設定部6で定められた目標符号量に基づいて、さらに前フレームで用いた量子化パラメータを参照して新たに量子化パラメータを設定し、現フレームに対して符号化手段10でフレーム間符号化を行う(ステップS12)。
これにより、一つのフレームに対する処理が終わり、次のフレームに対する処理が始まる。
なお、フレームスキップ挿入回数NAは「1」に限らず、フレーム間変化量VAの大きさに応じてその数を増減させるようにすることもできる。また、フレームスキップ挿入回数NBは「1」に限らず、仮の目標符号量QTの大きさに応じてその数を増減させるようにすることもできる。
まず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ直後のフレームにすべて付加し、符号化を行うことができる。さらには、スキップ直後のフレームから数フレームに渡って符号量を均等に分配して付加することもできる。また、スキップ直後のフレームから数フレームに渡り、フレーム毎に異なる符号量を分配して付加することもできる。このとき、入力画像解析部7の出力を考慮して、フレーム間変化量VAが大きいときにより多くの符号量を分配することもできる。
まず、本実施の形態1における動画像符号化装置100の各部を統括して制御する上位の制御系(図示しない)により入力端子11を介して入力された一連のフレームが、順次フレームメモリ1に格納され、現フレームと前フレームとがそれぞれ領域1bと1aとに格納された状態が維持される(ステップS1)。
また、仮決定された目標符号量(仮の目標符号量)につき、入力画像解析部7から得られるフレーム間変化量VAを考慮にいれて、割増しを行って最終の目標符号量を定める。さらに、フレームスキップを行う判定を行い、フレームスキップ制御部8にフレームスキップ挿入回数NBを出力する。符号化制御部9では、目標符号量から量子化パラメータを算出し、符号化器3に量子化パラメータと符号化方法を出力する(ステップS3)。
この場合には、入力画像解析部7からフレームスキップ制御部8へ、フレームスキップ挿入回数NAを「0」として出力する(ステップS2)。また、入力画像解析部7から第1の閾値TVよりも小さいフレーム間変化量VAを入力したフレーム目標符号量設定部6は、符号量検出部5から前フレームの符号量QBに基づいて目標符号量を求め、求めた目標符号量を符号化制御部9へ伝え、さらに、フレームスキップ制御部8へフレームスキップ挿入回数NBを「0」として出力する(ステップS3)。
入力画像解析部7はフレーム間変化量VAが第1の閾値TVよりも大きいので、フレームスキップ制御部8へフレームスキップ挿入回数NAを「1」として出力する(ステップS2)。入力画像解析部7からフレーム間変化量VAを入力したフレーム目標符号量設定部6は、符号量検出部5から前フレームの符号量QBに基づいて目標符号量を求め、求めた目標符号量を符号化制御部9へ伝え、フレームスキップ制御部8へフレームスキップ挿入回数NBを「0」として出力する(ステップS3)。
入力画像解析部7はフレーム間変化量VAが第1の閾値TVよりも大きいので、フレームスキップ制御部8へフレームスキップ挿入回数NAを「1」として出力する(ステップS2)。入力画像解析部7からフレーム間変化量VAを入力したフレーム目標符号量設定部6は、フレーム間変化量VAが第2の閾値TWよりも大きく、かつ仮の目標符号量QTが閾値TM未満であるので、フレームスキップ制御部8へフレームスキップ挿入回数NBを「1」として出力する(ステップS3)。
上記の例では、フレームスキップ挿入回数NAがフレーム間変化量VAの大きさによって「0」、あるいは「1」を取ることとしたが、フレーム間変化量VAに基づいて回数を多段に設定させても良い。即ち、フレーム間変化量VAの大きさに応じてフレームスキップ挿入回数NAを増減させることとしても良い。
実施の形態1では、フレームスキップ挿入回数NBがフレーム間変化量VAと仮の目標符号量QTとを組み合わせて「0」あるいは「1」を取ることとしたが、フレーム間変化量VAと仮の目標符号量QTとの組み合わせに基づいてフレームスキップ挿入回数を多段に設定(複数の値のうちの一つを選択)しても良い。また、仮の目標符号量QTの大きさに応じてフレームスキップ挿入回数NBを増減させることとしても良い。
また、フレームスキップ挿入回数NAは常に「0」を取るものとし、フレームスキップ挿入回数NBのみを用いてもよく、その逆としてフレームスキップ挿入回数NBを常に「0」としてフレームスキップ挿入回数NAのみを用いても良い。
また、フレームスキップ挿入可否情報SKの決定において、実施の形態1ではフレームスキップ挿入回数NAとフレームスキップ挿入回数NBの平均値を計算し小数点未満の切り捨てを行ったが、それらの合計を求めてもよく、またはそれらの最大値を求めて良く、またはフレームスキップ挿入回数NA、NBを「0」あるいは「1」と限定しておき論理和演算などを行うことも可能である。これらはすべて本発明に包含される。
図7及び図9は、複数のフレームから成るフレームシーケンスの例と、該フレームシーケンスにおける前フレームに対するフレーム間変化量VA、各フレームに対して決定される符号化方法を示す。
図8及び図10は、上記フレームシーケンスの各時点における目標符号量を棒グラフとして、符号化方法とともに示したものである。
フレーム間変化量VAに対する閾値TW、TVはそれぞれTW=80、TV=20と設定されている。
最初に、図7において、時点T=a0からT=a1にかけてフレーム間変化量VAが0/pixelであり、第1の閾値TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。したがって、図8で示すように同フレームでは、割増し無しのフレーム目標符号量で(割増し無しのフレーム目標符号量を最終の目標符号量として)フレーム間符号化を行っている。
最初に、時点T=b0からT=b1にかけてフレーム間変化量VAが15/pixelであり、第1の閾値TV未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図10で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。
つまり、フレーム間変化量VAが大きくなるフレームの次フレームは、前フレームとの相関性が低くなり、過去のフレームの量子化パラメータを参照する必要性は少ないことから、前フレームとは独立に次フレームに適切な量子化パラメータを与え、フレーム内符号化を行うことで、画質の劣化の少ない符号化を行う。一般的に、フレーム内符号化はフレーム間符号化よりも多い符号量を要するが、前フレームで意図的にフレームスキップを行ったため利用可能な符号量が減っておらず、その分の符号量を次フレームの符号化に付加することができ、次フレームでフレーム内符号化を行っても画質の劣化が少なくなる十分な符号量を割当てることができる。
まず、時点T=Iaは、周期的に挿入されるフレーム内符号化に用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
次に、実施の形態2を説明する。実施の形態2の動画像符号化装置の構成を図12に示す。図12の装置は、図1の装置と概して同じであるが、入力画像解析部7及びフレームスキップ制御部8の構成が異なる。図13は、図12の入力画像解析部7の構成を示す。
図13に示される入力画像解析部7はさらに、入力端子26から入力された現フレーム画像の複雑度FHを抽出する複雑度抽出部51と、閾値(複雑度閾値)THを設定する閾値設定部52と、複雑度抽出部51から出力されたフレーム内複雑度を閾値設定部52から出力された閾値THと比較してフレームスキップ挿入回数NCを出力する比較器53と、比較器24から出力されたフレームスキップ挿入回数NAと比較器53から出力されたフレームスキップ挿入回数NCを入力とし、これらに基づいてフレームスキップ挿入回数NDを決定して出力するフレームスキップ挿入回数仮決定部54と、フレームスキップ挿入回数NDを出力する出力端子29とを備える。
出力端子27から出力されるフレームスキップ挿入回数NAと出力端子29に出力されるフレームスキップ挿入回数NDとがフレームスキップ制御部8に供給される。
エッジ抽出部72は、入力端子71から入力された現フレーム画像のエッジ抽出する。即ち、各画素についてエッジの有無を検出する。和加算部73は、エッジ抽出部72により抽出されたエッジを入力として加算する。即ち、エッジとして検出された画素の数を求める。平均演算部74は、和演算部73から出力されるエッジ総数をフレーム内の画素数で割り、それを100倍した値を出力する。100倍するのは、取り扱いの容易な数値とするためである。平均演算部74から出力される値は、現フレームに含まれるエッジの割合、即ち1画素当たりのエッジ数に比例した値(1画素当たりのエッジ数を100倍した値)を表すものであり、これがフレーム内複雑度FHを表す信号として出力端子75から出力される。
まず、本実施の形態1と同様、動画像符号化装置100の各部を統括して制御する上位の制御系により入力されたフレームが、フレームメモリ1に一時的に蓄積される。
まず、時点T=c0からT=c1にかけてフレーム間変化量VAが15/pixelで閾値TVよりも小さく、フレーム内複雑度FHが3/pixelであり閾値THよりも小さい。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図15に示すように、同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。
まず、時点T=Icは、周期的に挿入されるフレーム内符号化に用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。
Claims (22)
- 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2の目標符号量を決定し、
前記フレーム目標符号量設定手段は、
前記フレーム間変化量が第1の変化量閾値以上のときに、前記第2の目標符号量を前記第1の目標符号量よりも大きな量とし、前記フレーム間変化量が第1の変化量閾値未満のときに、前記第1の目標符号量を前記第2の目標符号量とし、
前記符号化手段は、
前記入力された動画像をフレーム内符号化またはフレーム間符号化により符号化する符号化器と、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップを行うかどうか、及び符号化をフレーム内符号化で行うかフレーム間符号化で行うかを決定し、前記第2の目標符号量に基づいて量子化パラメータを設定し、これらの決定及び設定に基づいて前記符号化器を制御する符号化制御部と
を有し、
前記符号化制御部は、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップを行ったときは、次のフレームでフレーム内符号化で行うことを指示し、
フレーム間符号化されるフレームについて、前記第2の目標符号量に基づいて、量子化パラメータを定め、
前記符号化器は、前記符号化制御部が定めた量子化パラメータを用いて前記入力された動画像のフレーム間符号化を行う
ことを特徴とする動画像符号化装置。 - 前記フレーム目標符号量設定手段は、前記フレーム間変化量が前記第2の変化量閾値以上であり、かつ前記第1の目標符号量が所定の符号量閾値未満であるとき、前記第2のフレームスキップ挿入回数を「1」とすることを特徴とする請求項1に記載の動画像符号化装置。
- 前記符号化制御部は、現フレームがフレーム間符号化されるフレームである場合、現フレームの前記第2の目標符号量と前フレームの量子化パラメータとに基づいて現フレームの量子化パラメータを定めることを特徴とする請求項1に記載の動画像符号化装置。
- 前記フレームスキップ制御手段は、決定されたフレームスキップ挿入回数だけフレームスキップを行わせるように前記フレームスキップ挿入可否情報の内容を定める
ことを特徴とする請求項1に記載の動画像符号化装置。 - 前記入力画像解析手段は、前記フレーム間変化量が大きいほど前記第1のフレームスキップ挿入回数を多くすることを特徴とする請求項4に記載の動画像符号化装置。
- 前記入力画像解析手段は、前記フレーム間変化量が前記第1の変化量閾値以上であるとき、前記第1のフレームスキップ挿入回数を「1」とすることを特徴とする請求項5に記載の動画像符号化装置。
- 前記フレーム目標符号量設定手段において、前記フレーム間変化量が、前記第2の変化量閾値以上であり、かつ前記第1の目標符号量が所定の符号量閾値未満であると判定されたときに、前記フレームスキップ制御手段は現フレームの符号化をスキップさせるように前記フレームスキップ挿入可否情報を設定する
ことを特徴とする請求項1に記載の動画像符号化装置。 - 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御し、
前記符号化手段は、前記フレームスキップ挿入可否情報に基づいてスキップしたフレームの次のフレームをフレーム内符号化で符号化を行う
ことを特徴とする動画像符号化装置。 - 前記符号化手段は、フレーム内符号化を行うときは、前フレームの量子化パラメータを参照せずに量子化パラメータを設定することを特徴とする請求項8に記載の動画像符号化装置。
- 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定手段は、スキップしたフレームへの割り当てが予定されていたフレーム目標符号量を、スキップ直後のフレームに対して付加的に割り当てることを特徴とする動画像符号化装置。 - 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定手段は、スキップしたフレームへの割り当てが予定されていたフレーム目標符号量を、スキップ後の数フレームにわたって付加的に割り当てる
ことを特徴とする動画像符号化装置。 - 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析ステップと、
前記入力された動画像を符号化する符号化ステップと、
前記符号化ステップから出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定ステップと、
前記符号化ステップにおける符号化をフレーム単位でスキップさせるフレームスキップ制御ステップと
を備えた動画像符号化方法において、
前記入力画像解析ステップが、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御ステップが、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化ステップにおける符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定ステップが前記フレーム間変化量及び前記第1の目標符号量に基づいて第2の目標符号量を決定し、
前記フレーム目標符号量設定ステップは、
前記フレーム間変化量が第1の変化量閾値以上のときに、前記第2の目標符号量を前記第1の目標符号量よりも大きな量とし、前記フレーム間変化量が第1の変化量閾値未満のときに、前記第1の目標符号量を前記第2の目標符号量とし、
前記符号化ステップは、
前記入力された動画像をフレーム内符号化またはフレーム間符号化により符号化する符号化ステップと、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップを行うかどうか、及び符号化をフレーム内符号化で行うかフレーム間符号化で行うかを決定し、前記第2の目標符号量に基づいて量子化パラメータを設定し、これらの決定及び設定に基づいて前記符号化ステップを制御する符号化制御ステップと
を有し、
前記符号化制御ステップは、
前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップを行ったときは、次のフレームでフレーム内符号化で行うことを指示し、
フレーム間符号化されるフレームについて、前記第2の目標符号量に基づいて、量子化パラメータを定め、
前記符号化ステップは、前記符号化制御ステップが定めた量子化パラメータを用いて前記入力された動画像のフレーム間符号化を行う
ことを特徴とする動画像符号化方法。 - 前記フレーム目標符号量設定ステップは、前記フレーム間変化量が前記第2の変化量閾値以上であり、かつ前記第1の目標符号量が所定の符号量閾値未満であるとき、前記第2のフレームスキップ挿入回数を「1」とすることを特徴とする請求項12に記載の動画像符号化方法。
- 前記符号化制御ステップは、現フレームがフレーム間符号化されるフレームである場合、現フレームの前記第2の目標符号量と前フレームの量子化パラメータとに基づいて現フレームの量子化パラメータを定めることを特徴とする請求項12に記載の動画像符号化方法。
- 前記フレームスキップ制御ステップは、決定されたフレームスキップ挿入回数だけフレームスキップを行わせるように前記フレームスキップ挿入可否情報の内容を定める
ことを特徴とする請求項12に記載の動画像符号化方法。 - 前記入力画像解析ステップは、前記フレーム間変化量が大きいほど前記第1のフレームスキップ挿入回数を多くすることを特徴とする請求項15に記載の動画像符号化方法。
- 前記入力画像解析ステップは、前記フレーム間変化量が前記第1の変化量閾値以上であるとき、前記第1のフレームスキップ挿入回数を「1」とすることを特徴とする請求項16に記載の動画像符号化方法。
- 前記フレーム目標符号量設定ステップにおいて、前記フレーム間変化量が、前記第2の変化量閾値以上であり、かつ前記第1の目標符号量が所定の符号量閾値未満であると判定されたときに、前記フレームスキップ制御ステップは現フレームの符号化をスキップさせるように前記フレームスキップ挿入可否情報を設定する
ことを特徴とする請求項12に記載の動画像符号化方法。 - 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析ステップと、
前記入力された動画像を符号化する符号化ステップと、
前記符号化ステップから出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定ステップと、
前記符号化ステップにおける符号化をフレーム単位でスキップさせるフレームスキップ制御ステップと
を備えた動画像符号化方法において、
前記入力画像解析ステップが、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御ステップが、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化ステップにおける符号化のフレーム単位でのスキップを制御し、
前記符号化ステップは、前記フレームスキップ挿入可否情報に基づいてスキップしたフレームの次のフレームをフレーム内符号化で符号化を行う
ことを特徴とする動画像符号化方法。 - 前記符号化ステップは、フレーム内符号化を行うときは、前フレームの量子化パラメータを参照せずに量子化パラメータを設定することを特徴とする請求項20に記載の動画像符号化方法。
- 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析ステップと、
前記入力された動画像を符号化する符号化ステップと、
前記符号化ステップから出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定ステップと、
前記符号化ステップにおける符号化をフレーム単位でスキップさせるフレームスキップ制御ステップと
を備えた動画像符号化方法において、
前記入力画像解析ステップが、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御ステップが、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化ステップにおける符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定ステップは、スキップしたフレームへの割り当てが予定されていたフレーム目標符号量を、スキップ直後のフレームに対して付加的に割り当てることを特徴とする動画像符号化方法。 - 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析ステップと、
前記入力された動画像を符号化する符号化ステップと、
前記符号化ステップから出力された符号化データの発生符号量と所定の基準符号量とにより、第1の目標符号量を決定するフレーム目標符号量設定ステップと、
前記符号化ステップにおける符号化をフレーム単位でスキップさせるフレームスキップ制御ステップと
を備えた動画像符号化方法において、
前記入力画像解析ステップが、フレーム間変化量に基づいて第1のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが前記フレーム間変化量及び前記第1の目標符号量に基づいて第2のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定ステップが、前記フレーム間変化量が大きいほど前記第2のフレームスキップ挿入回数を多くなるように、かつ前記第1の目標符号量が小さいほど前記第2のフレームスキップ挿入回数を多くなるように、前記第2のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御ステップが、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の平均値を求め、小数点未満を切り捨てる演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の合計を求める演算、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数の最大値を求める演算、或いは、前記第1のフレームスキップ挿入回数と前記第2のフレームスキップ挿入回数が「0」または「1」である場合に、これらの論理和又は論理積を求める演算により、フレームスキップ挿入可否情報を設定し、これにより前記符号化ステップにおける符号化のフレーム単位でのスキップを制御し、
前記フレーム目標符号量設定ステップは、スキップしたフレームへの割り当てが予定されていたフレーム目標符号量を、スキップ後の数フレームにわたって付加的に割り当てることを特徴とする動画像符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152915A JP3889013B2 (ja) | 2004-05-24 | 2004-05-24 | 動画像符号化装置及び動画像符号化方法 |
PCT/JP2005/000645 WO2005115008A1 (ja) | 2004-05-24 | 2005-01-20 | 動画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152915A JP3889013B2 (ja) | 2004-05-24 | 2004-05-24 | 動画像符号化装置及び動画像符号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005167721A Division JP4073444B2 (ja) | 2005-06-08 | 2005-06-08 | 動画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005340896A JP2005340896A (ja) | 2005-12-08 |
JP3889013B2 true JP3889013B2 (ja) | 2007-03-07 |
Family
ID=35428690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004152915A Expired - Fee Related JP3889013B2 (ja) | 2004-05-24 | 2004-05-24 | 動画像符号化装置及び動画像符号化方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP3889013B2 (ja) |
WO (1) | WO2005115008A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100463526C (zh) * | 2006-12-11 | 2009-02-18 | 陈耀武 | 视频延时自适应矫正的解码装置 |
JP2008236333A (ja) * | 2007-03-20 | 2008-10-02 | Toshiba Corp | 映像符号化装置及び映像符号化方法 |
JP5342391B2 (ja) * | 2009-09-25 | 2013-11-13 | 株式会社メガチップス | 画像処理装置 |
JP5451487B2 (ja) * | 2010-03-31 | 2014-03-26 | 株式会社メガチップス | 画像符号化装置 |
JP6066561B2 (ja) * | 2012-01-26 | 2017-01-25 | キヤノン株式会社 | 映像処理装置、映像処理方法およびプログラム |
JP5635673B2 (ja) * | 2013-12-05 | 2014-12-03 | 株式会社メガチップス | 画像符号化装置 |
WO2016002140A1 (ja) * | 2014-07-03 | 2016-01-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
CN111193927B (zh) * | 2018-11-14 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 编码数据处理方法、装置、计算机设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3055153B2 (ja) * | 1990-07-20 | 2000-06-26 | ケイディディ株式会社 | 可変レートビデオ符号化制御方式 |
JP2514115B2 (ja) * | 1991-02-15 | 1996-07-10 | 株式会社グラフィックス・コミュニケーション・テクノロジーズ | 画像信号符号化装置 |
JPH06268997A (ja) * | 1993-03-16 | 1994-09-22 | Olympus Optical Co Ltd | 動画像圧縮装置 |
JP3206413B2 (ja) * | 1995-12-15 | 2001-09-10 | ケイディーディーアイ株式会社 | 可変フレームレート動画像符号化方法 |
JPH1023433A (ja) * | 1996-06-27 | 1998-01-23 | Sanyo Electric Co Ltd | 目標符号量計算装置及び符号量制御装置 |
JP3946804B2 (ja) * | 1997-02-13 | 2007-07-18 | 日本電信電話株式会社 | 画像符号化制御方法 |
JP2902386B2 (ja) * | 1997-10-17 | 1999-06-07 | ケイディディ株式会社 | 動画像の圧縮符号化装置 |
JP2002101418A (ja) * | 2000-09-25 | 2002-04-05 | Canon Inc | 画像符号化装置及び方法並びに記憶媒体 |
JP3753371B2 (ja) * | 2001-11-13 | 2006-03-08 | Kddi株式会社 | 動画像圧縮符号化レート制御装置 |
-
2004
- 2004-05-24 JP JP2004152915A patent/JP3889013B2/ja not_active Expired - Fee Related
-
2005
- 2005-01-20 WO PCT/JP2005/000645 patent/WO2005115008A1/ja not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
JP2005340896A (ja) | 2005-12-08 |
WO2005115008A1 (ja) | 2005-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3954656B2 (ja) | 画像符号化装置及び方法 | |
KR100335052B1 (ko) | 프레임 레벨 속도 제어 방법 | |
EP1833256B1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
JPH0898185A (ja) | 画像符号化装置 | |
JP2012502590A (ja) | 構成参照フレームを用いた動画符号化システムおよび方法 | |
JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
JP4764136B2 (ja) | 動画像符号化装置、及びフェードシーン検出装置 | |
WO2005115008A1 (ja) | 動画像符号化装置 | |
US8290041B2 (en) | Communication terminal | |
JP4073444B2 (ja) | 動画像符号化装置 | |
JP3508916B2 (ja) | 動画像可変ビットレート符号化方法および装置 | |
JP4362795B2 (ja) | 動画像符号化装置及びその方法 | |
US8792562B2 (en) | Moving image encoding apparatus and method for controlling the same | |
JP2001128179A (ja) | 動画像符号化装置および方法 | |
US7751474B2 (en) | Image encoding device and image encoding method | |
KR101519653B1 (ko) | 이미지 무손실 및 손실 압축 장치 | |
JP3480067B2 (ja) | 画像符号化装置及び方法 | |
JP4224662B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 | |
US6922490B2 (en) | Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate | |
JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法,装置,そのプログラムおよびその記録媒体 | |
JP4249218B2 (ja) | 画像符号化装置 | |
JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
JP3970267B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
JP2000013802A (ja) | フレーム間予測を用いた映像信号符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061128 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |