JP4211023B2 - Moving image processing method and moving image processing apparatus - Google Patents
Moving image processing method and moving image processing apparatus Download PDFInfo
- Publication number
- JP4211023B2 JP4211023B2 JP2002045815A JP2002045815A JP4211023B2 JP 4211023 B2 JP4211023 B2 JP 4211023B2 JP 2002045815 A JP2002045815 A JP 2002045815A JP 2002045815 A JP2002045815 A JP 2002045815A JP 4211023 B2 JP4211023 B2 JP 4211023B2
- Authority
- JP
- Japan
- Prior art keywords
- bit stream
- moving image
- statistical information
- compression
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、入力動画像を圧縮符号化処理したビットストリームを受信側に有線又は無線により送出し、又は磁気ディスクや光ディスク等の記録媒体に記録し、そのビットストリームを受信して復号化し、又は記録媒体から再生してビットストリームを復号化して、動画像を表示する為の動画像処理方式及び動画像処理装置に関する。
【0002】
【従来の技術】
動画像の圧縮符号化は、既に各種の方式が知られている。例えば、MPEG(Moving Picture Experts Group)方式としてのMPEG−1,2,4等が国際標準化されている。このMPEG方式は、画面を複数画素からなるブロックに分割し、ブロック単位で空間方向及び時間方向の圧縮処理を行って符号化したビットストリームを伝送或いは蓄積し、受信側或いは再生側は、ビットストリームを復号化して元の動画像に復元してディスプレイに表示する。
【0003】
動画像の圧縮符号化に於ける前述の空間方向の圧縮は、フレーム内の相関を用いた処理であり、前述のMPEG方式の場合、DCT(Discrete Cosine Transform)による直交変換と、量子化と、可変長符号化との処理を含むものである。例えば、画面を16×16画素からなるマクロブロック(MB)単位で符号化処理を行うものである。又DCT処理は、MBを4分割した8×8画素のブロックについて二次元DCTを施すものである。
【0004】
このDCT処理により、低周波成分に偏ったDCT係数が得られ、高周波成分は0が多くなる。このDCT係数を所定の量子化スケールで量子化し、その量子化係数を、ランレングスの二次元可変長符号を用いて符号化する。この場合、量子化係数も、低周波成分に偏るので、低周波成分から高周波成分側に順次走査して可変長符号化を行う。前述の空間方向の圧縮処理はフレーム内符号化と称されるものである。
【0005】
又時間方向の圧縮は、フレーム間動き予測を適用して発生情報を圧縮するもので、例えば、可変長符号化処理の前段の量子化処理による量子化係数を逆量子化処理し、DCT処理の逆の逆DCT処理を施して復号した局部復号画像と、入力動画像との差分を求める。即ち、フレーム間差分を求め、その差分情報を前述のDCT処理と量子化処理と可変長符号化処理とにより符号化してビットストリームとする。更に、フレーム間で各ブロックが既符号化画像(局部復号画像)のどの位置から移動したかを探す動き探索処理を行い、フレーム間差分が少ない位置を求め、その動き探索処理による動きベクトルと、その位置との差分ブロックを符号化する。
【0006】
復号化処理は、フレーム内符号化に対しては、可変長復号部で可変長符号を復号して量子化係数を復元し、逆量子化部によりDCT係数に復元し、逆DCT部により逆DCT処理を施して、フレームデータに復元する。又フレーム間符号化に対しては、可変長復号と、逆量子化と、逆DCTとの処理により各ブロックの差分情報を復元し、既に復号してフレームメモリに格納したフレームデータのブロックの中の動きベクトルで示される位置のブロックと加算することにより、動画像を復元することができる。
【0007】
【発明が解決しようとする課題】
従来の動画像の圧縮符号化処理は、動画像の空間方向及び時間方向の相関性が大きいことを利用しているものであるから、このような性質を持たない動画像に対しては、圧縮効率が低下して発生情報量が増加する。この圧縮効率を低下させないようにするには、量子化ステップを大きくする等の制御が必要となるが、それによって、再生画質が劣化し、望ましくない表示画質となる問題がある。又圧縮効率低下により発生情報量が増加し、それを回避する為の量子化ステップの制御等を行っても間に合わないような状態が発生する可能性もあり、その場合には圧縮符号化処理がハングアップする問題がある。
【0008】
例えば、強烈な光が照射するさざなみの水面を撮像した動画像の場合や、雪が降るような再生画面となるスノーノイズ等のランダムノイズの場合等に於いて、フレーム内の相関及びフレーム間の相関が殆どない状態、即ち、前述の空間方向及び時間方向の相関が小さくなる。従って、圧縮効率が低下して発生情報量が増加し、送信バッファのオーバーフローが発生するから、量子化ステップを大きくして発生情報量を低減する制御等が必要となる。又スノーノイズ等のノイズの生成画面は望ましくない画面である。
本発明は、圧縮効率の低下を回避し、且つ望ましくない再生画面とならないように制御することを目的とする。
【0009】
【課題を解決するための手段】
本発明の動画像処理方法は、図1を参照して説明すると、入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理方法であって、入力動画像の圧縮符号化過程に於けるフレーム輝度についての統計情報と、動きベクトルについての動きベクトル統計情報と、符号化発生情報量又は量子化値についての統計情報との少なくとも何れか一つから求めた統計情報と判定値とを比較して前記入力動画像が特定シーンか否かを判定し、特定シーンと判定した時に、この特定シーンのビットストリームを一つのストリームとして成立する単位、例えば、GOP(Group of Picture)単位で、予め蓄積してある所定のビットストリームにセレクタ部5等により切替えて出力する過程を含むものである。
【0010】
又入力動画像の圧縮符号化過程に於ける統計情報の動きベクトルの水平成分平均,水平成分分散,垂直成分平均,垂直成分分散の少なくとも何れか一つを求めて、予め設定した判定値と比較し、該判定値を超えた時に前記特定シーンと判定する過程を含むことができる。
【0011】
又本発明の動画像処理装置は、入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理装置であって、入力画像を圧縮符号化する符号化部1と、入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を取得する統計情報取得部2と、この統計情報取得部2により取得した統計情報と判定値とを比較して特定シーンか否かを判定するシーン判定部3と、所定のビットストリームを蓄積するビットストリームメモリ4と、シーン判定部3により特定シーンと判定した時に、符号化部1により圧縮符号化したビットストリームに対して、ビットストリームメモリ4に蓄積した所定のビットストリームを切替えて送出するセレクタ部5とを備えている。
【0012】
又統計情報取得部2は、入力動画像のフレーム輝度平均を求める統計情報取得器又は符号化部1に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器又は平均量子化スケール値,発生情報量を求める統計情報取得器の少なくとも何れか一つを含む構成とすることができる。又ビットストリームメモリ4は、静止画像又は動きのゆるやかな動画像を圧縮符号化かビットストリームに相当する所定のビットストリームを格納した構成とすることができる。
【0013】
【発明の実施の形態】
図1は本発明の原理説明図であり、符号化部1は、入力動画像を空間方向及び時間方向の相関性を用いた圧縮符号化処理を行うもので、前述のMPEG方式を適用することができる。又統計情報取得部2は、入力動画像のフレーム輝度平均を求める統計情報取得器、又は符号化部1に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器、又は平均量子化スケール値,発生情報を求める統計情報取得器等の少なくとも一つを含むものである。
【0014】
又シーン判定部3は、統計情報取得部2により取得した統計情報と判定値とを比較して特定シーンか否かを判定してセレクタ部5を制御する。又ビットストリームメモリ4に、例えば、静止画像或いは動きのゆるやかな動画像を圧縮符号化したビットストリームに相当する所定のビットストリームを格納する。そして、セレクタ部5により符号化部1からのビットストリームと、ビットストリームメモリ4からのビットストリームとを、シーン判定部3の判定に従って切替えて送出する。
【0015】
例えば、前述の強烈な光が照射するさざなみの水面の撮像画像に対しては、圧縮効率が低下するから、統計情報を基にシーン判定部3に於いて特定のシーンと判定し、例えば、水面の静止画像を圧縮符号化したビットストリームをビットストリームメモリ4から繰り返し読出して送出する。それにより、圧縮符号化処理に於ける圧縮効率の低下は問題でなくなり、且つ再生表示画面については安定な表示内容となる。又ビットストリームメモリ4に複数種類のビットストリームを格納し、シーン判定部3の判定結果に応じて、複数種類の中から選択した一つのビットストリームを送出するように制御することも可能である。
【0016】
図2は本発明の実施の形態の説明図であり、11はフレームメモリ、12は入力動画像統計情報取得器、13は動きベクトル統計情報取得器、14は符号化統計情報取得器、15はシーン判定器、16はビットストリームメモリ、17はセレクタ、18は原画MB部、19は参照ブロック部、20は動きベクトル探索器、21は予測判定器、22は減算器、23,25はセレクタ、24は加算器、26は離散コサイン変換器(DCT)、27は量子化器(Q)、28は逆量子化器(IQ)、29は逆離散コサイン変換器(IDCT)、30は可変長符号化器(VLC)を示す。
【0017】
図1の統計情報取得部2は、図2に於ける入力動画像統計情報取得器12と、動きベクトル統計情報取得器13と、符号化統計情報取得器14との少なくとも何れか一つを含む構成を有するもので、従って、全部を備えることもできる。又図2のシーン判定器15は、図1のシーン判定部3に相当し、又図2のビットストリームメモリ16は、図1のビットストリームメモリ4に相当し、又図2のセレクタ17は、図1のセレクタ部5に相当する。
【0018】
又図1の符号化部1は、図2に於けるフレームメモリ11や離散コサイン変換器26,量子化器27,逆量子化器28,逆離散コサイン変換器29,可変長符号化器30等を含む構成を有するものである。又フレームメモリ11は、入力動画像を蓄積し、且つ局部復号画像を蓄積するもので、原画MB部18は、入力動画像のマクロブロック(MB)を動きベクトル探索器20に入力し、局部復号画像から参照ブロック部19により参照ブロックを順次取り出して動きベクトル探索器20に入力して、動きベクトルを求める。
【0019】
セレクタ23により減算器22側を図示のように選択し、セレクタ25により加算器24側を図示のように選択している状態は、フレーム間符号化の場合であり、セレクタ23,25がその反対側を選択している状態は、フレーム内符号化の場合を示す。そして、離散コサイン変換器26により直交変換し、量子化器27により量子化し、可変長符号化器30により可変長符号に変換して、セレクタ17を介して送信又は蓄積する。又量子化器27による量子化係数を逆量子化器28によりDCT係数に戻し、逆離散コサイン変換器29により復号し、フレーム内符号化の場合は、局部復号画像としてフレームメモリ11に一時蓄積し、又フレーム間符号化の場合は、加算器24により予測判定器21を介したブロックと加算して局部復号画像とする。
【0020】
入力動画像統計情報取得器12に於いては、フレーム輝度平均を求めるもので、フレーム内の画素の集合をU、フレーム輝度平均をAveY、画素数をNum、画素の輝度をPixelとすると、
AveY=(ΣU Pixel i)/Num i …(1)
と表すことができる。
又フレーム輝度分散VarYは、
VarY=(ΣU (|Pixel i−A|))/Num i …(2)
と表すことができる。なお、(1),(2)式の累積加算のΣU の記号は、i⊂Uとして加算することを示す。
【0021】
又動きベクトル統計情報取得器13に於いては、各MB毎に求めた動きベクトルを累積し、その累積値をピクチャのMB数で除算することにより、動きベクトルの平均を求め、又各動きベクトルと動きベクトル平均との差の二乗和を求めてMB数で除算することにより、動きベクトルの分散を得ることができる。この場合、フレーム内のMB集合をV、動きベクトルの水平成分をVecH i、動きベクトルの垂直成分をVecV iとして、動きベクトルの水平成分平均AveHV、水平成分分散VerHV、垂直成分平均AveVV、垂直成分分散VerVVは、
AveHV=(ΣV VecH i)/Num i …(3)
VerHV=(ΣV |VecH i−AH|)/Num i …(4)
AveVV=(ΣV VecV i)/Num i …(5)
VerVV=(ΣV |VecV i−AV|)/Num i …(6)
と表すことができる。なお、(3)〜(6)式の累積加算のΣV の記号は、i⊂Vとして加算することを示す。
【0022】
又符号化統計情報取得器14に於いては、離散コサイン変換器26と量子化器27と可変長符号化器30とを含む符号化処理部に於ける発生情報量や量子化値の平均等を求めて符号化統計情報とすることができる。例えば、フレーム内のMB集合をV、各MBの発生情報量をBit i、ピクチャの発生情報量をSumB、各MBの量子化スケール値をQ i、平均量子化値をAveQとすると、
SumB=ΣV (Bit i) …(7)
AveQ=(ΣV Q i)/Num i …(8)
と表すことができる。なお、(7),(8)式の累積加算のΣV の記号は、i⊂Vとして加算することを示す。
【0023】
シーン判定器15に於いては、入力動画像統計情報取得器12、動きベクトル統計情報取得器13、符号化統計情報取得器14により得られた前述の統計情報と判定値α、β、χ、δ、εとを比較して特定のシーンを判定する。即ち、
VarY>α …(9)
AveHV>β …(10)
VarHV>χ …(11)
AveVV>δ …(12)
VarHV>ε …(13)
として判定することができる。そして、(9)〜(13)式の何れか一つの条件を満足する場合、或いは複数の条件を満足する場合、統計情報が判定値より大きい条件を満足することにより特定のシーンと判定する。シーン判定器15は、このような判定論理を設定するものである。
【0024】
シーン判定器15からの制御信号によるセレクタ17に於けるビットストリームの切替えは、フレーム間差分を考慮して、一つのストリームとして成立する単位とすることが考えれる。例えば、MPEG−2の場合、GOP(Group of Picture)単位とすることができる。又ビットストリームメモリ16から読出した所定のビットストリームを選択して送出している状態に於いても、圧縮符号化処理を継続し、シーン判定器15の判定結果に応じて、入力動画像の圧縮符号化によるビットストリームに切替えて送出できるように制御するものである。
【0025】
図3は本発明の実施の形態のフローチャートであり、入力動画像読込みを行い(A1)、ヘッダ生成(A2)、動き探索(A3)、MB符号化(A4)を行い、ピクチャEndか否かを判定し(A5)、ピクチャ単位の圧縮符号化が継続中の場合はステップ(A3)に移行し、終了の場合は必須情報取得を行い(A6)、判定条件を満たすか否かを判定する(A7)。
【0026】
又入力動画像の読込みを行って、入力動画像統計情報取得器12によりフレーム輝度平均等の統計情報を取得し(A11)、又動きベクトル探索器20による動き探索を行い、動きベクトル統計情報取得器13により動きベクトルの水平,垂直成分等の統計情報を取得し(A12)、又MB符号化の処理の過程に於いて符号化統計情報取得器14によりピクチャの発生情報量や平均量子化値等の統計情報を取得する(A13)。
【0027】
このような統計情報を取得して、シーン判定器15に於いて判定値と比較し、前述の統計情報が判定値より大きい条件を満たさない場合は、符号化結果のビットストリームを出力し(A8)、符号化が終了か否かを判定し(A9)、終了していない場合はステップ(A1)に移行し、終了した場合は、処理を終了する。又ステップ(A7)に於いて、シーン判定器15が判定条件を満たしていると判定した場合は、ビットストリームメモリ16に格納した所定のビットストリームを出力するようにセレクタ17を制御する。
【0028】
従って、ビットストリームを受信して復号再生して表示すると、スノーノイズ等の再生画面を回避して、安定した表示画面とすることができる。又圧縮符号化処理も、発生情報量が著しく増加した場合に、送信処理する必要がないので、送信バッファのオーバーフロー等を考慮する必要がなく、安定な圧縮符号化を継続することができ、且つ望ましくないような再生画面となることを回避できる。
【0029】
又ビットストリームの復号化側に於いて、復号化処理過程に於ける統計情報を基に特定のシーンか否かを判定し、特定のシーンの場合に、安定した再生画面を構成できる所定のビットストリームを、ビットストリームメモリから読出して復号化処理を行うことができる。それにより、スノーノイズ等の望ましくない再生画面となることを回避できる。
【0030】
図4は本発明の実施の形態の復号化部の説明図であり、図2に示す符号化部と組合せて使用するか、或いは、従来例の符号化部と組合せて使用することが可能である。同図に於いて、41はデコーダバッファ、42はビットストリームメモリ、43はセレクタ、44は復号化処理部、45は可変長復号化器(IVLC)、46は逆量子化器(IQ)、47は逆離散コサイン変換器(IDCT)、48はヘッダー情報抽出部、49はヘッダー情報取得器、50は復号化統計情報取得器、51はシーン判定器、52はセレクタ、53は加算器、54はフレームメモリを示す。
【0031】
セレクタ43はシーン判定器51により制御され、通常は図示のように、デコーダバッファ41側を選択している。又ビットストリームメモリ42は、ヘッダー情報を除いた単一種類又は選択可能の複数種類の所定のビットストリームを格納している。セレクタ43を介したビットストリームは、復号化処理部44の可変長復号化器45により固定長符号の量子化係数に復元し、逆量子化器46により元のDCT係数に復元し、逆離散コサイン変換器47により逆DCT処理を施して復号し、フレーム間符号化のビットストリームを復号化処理している時は、セレクタ52は図示の状態で、加算器53により、フレームメモリ54からのブロックと加算されて、フレームメモリ54に格納され、フレーム内符号化のビットストリームを復号化処理している時は、加算器53を介することなく、フレームメモリ54に格納され、このフレームメモリ54から図示を省略した表示部に再生画像が表示される。
【0032】
又ヘッダー情報抽出部48は、ビットストリームに付加されたヘッダーを抽出し、フレーム間符号化かフレーム内符号化かを識別して、セレクタ52を制御する。又復号化統計情報取得器50は、復号化処理部44に於ける動きベクトルの水平,垂直成分や量子化値等の統計情報を取得し、シーン判定器51は、前述の場合と同様に判定値と比較して、特定のシーンと判定すると、セレクタ43を制御して、ビットストリームメモリ42からのビットストリームを繰り返し読出して復号化処理部44に入力する。それにより、スノーノイズ等の望ましくない画面の代わりに、安定な画面を再生表示することができる。
【0033】
又ディジタル放送等のストリームに対しては、複数チャネルの番組を一つのストリームとしてシステムストリームを配信するもので、そのストリームの中に、各番組の情報を付加したテーブルが埋め込まれている。このテーブルを読込むことにより、例えば、暴力性の番組やアダルト番組を識別することができる。ヘッダー情報取得器49は、このようなヘッダー情報を取得し、子供に見せたくない番組については、シーン判定器51に、特定のシーンとしてヘッダー情報を設定しておくことにより、望ましくない画面として、セレクタ43を制御し、ビットストリームメモリ42側を選択させて、所定のビットストリームを復号化処理して再生表示することができる。
【0034】
この場合、適当な画像のストリーム或いは成人向け番組視聴禁止等のタイトル画像とすることができる。即ち、ビットストリームメモリ42には、復号化統計情報取得器50により取得した統計情報を基に、望ましくない再生画面となる場合と、ヘッダー情報取得器49により取得したヘッダー情報により、望ましくない再生画面と判定した場合とに於ける異なるビットストリームを選択できるように格納することができる。
【0035】
図5は本発明の実施の形態の復号化処理のフローチャートであり、ビットストリームのヘッダーを復号し(B1)、必要情報取得を行う(B2)。即ち、ヘッダー復号による統計情報取得(B11)による情報、或いは、前述の番組種別の情報を取得し、又復号化処理過程の統計情報取得(B12)による情報を取得する。そして、シーン判定器51により判定条件を満たすか否かを判定し(B3)、スノーノイズ等の望ましくない再生画面又は成人向け番組等の望ましくない画面等の特定のシーンと判定すると、所定のビットストリームをビットストリームメモリ42から読込み(B10)、又判定条件を満たさない場合は、受信したビットストリームを読込み(B4)、MB復号化(B5)、動き補償(B6)の復号化処理を行い、ピクチャEndか否かを判定し(B7)、終了でない場合はステップ(B5)に移行し、終了の場合は、復号化結果を出力し(B8)、復号化処理終了か否かを判定し(B9)、終了でない場合はステップ(B1)に移行し、終了の場合は、復号化処理を終了する。
【0036】
本発明は、前述の各実施の形態にのみ限定されるものではなく、種々付加変更することができるものであり、符号化処理は、MPEG−2以外の符号化処理とすることも可能である。
【0037】
(付記1)入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理方法に於いて、前記入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を基に前記入力動画像の特定シーンを判定し、該特定シーンと判定した時に、予め蓄積してある所定のビットストリームを選択出力する過程を含むことを特徴とする動画像処理方法。
(付記2)前記入力動画像の圧縮符号化過程に於ける統計情報の動きベクトルの水平成分平均,水平成分分散,垂直成分平均,垂直成分分散の少なくとも何れか一つを求めて、予め設定した判定値と比較し、該判定値を超えた時に前記特定シーンと判定する過程を含むことを特徴とする付記1記載の動画像処理方法。
【0038】
(付記3)入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理装置に於いて、前記入力画像を圧縮符号化する符号化部と、前記入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を取得する統計情報取得部と、該統計情報取得部により取得した統計情報と判定値とを比較して特定シーンか否かを判定するシーン判定部と、所定のビットストリームを蓄積するビットストリームメモリと、前記シーン判定部により特定シーンと判定した時に、前記符号化部により圧縮符号化したビットストリームに対して前記ビットストリームメモリに蓄積した所定のビットストリームを切替えて送出するセレクタ部とを備えたことを特徴とする動画像処理装置。
【0039】
(付記4)前記統計情報取得部は、前記入力動画像のフレーム輝度平均を求める統計情報取得器又は前記符号化部に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器又は平均量子化スケール値,発生情報量を求める統計情報取得器の少なくとも何れか一つを含むことを特徴とする付記3記載の動画像処理装置。
(付記5)前記ビットストリームメモリは、静止画像又は動きのゆるやかな動画像を圧縮符号化処理したビットストリームに相当する所定のビットストリームを格納した構成を有することを特徴とする付記3記載の動画像処理装置。
【0040】
(付記6)圧縮符号化処理したビットストリームを復号化する動画像処理装置に於いて、所定のビットストリームを格納したビットストリームメモリと、前記圧縮符号化処理したビットストリームのヘッダー情報又は復号化処理過程に於ける統計情報を取得して特定シーンか否かを判定するシーン判定器と、該シーン判定器により特定シーンと判定した時に前記ビットストリームメモリから所定のビットストリームを読出して前記復号化処理部に入力するセレクタとを備えたことを特徴とする動画像処理装置。
(付記7)前記ビットストリームメモリは、前記シーン判定器の判定内容に対して選択して読出す複数種類のビットストリームを格納した構成を有することを特徴とする付記6記載の動画像処理装置。
【0041】
【発明の効果】
以上説明したように、本発明は、所定のビットストリームをビットストリームメモリ16,42に格納しておき、統計情報やヘッダー情報を基に望ましくない再生画面となる場合をシーン判定器により判定して、符号化側はビットストリームメモリから読出した所定のビットストリームの送出し、復号化側はビットストリームメモリから読出した所定のビットストリームを復号するもので、符号化側では、スノーノイズ等の望ましくない再生画面となる場合の発生情報量の増大があっても、それを送信しないので、圧縮符号化処理を安定に継続することが可能となり、再生画面も安定な画面となる利点がある。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明の実施の形態の説明図である。
【図3】本発明の実施の形態のフローチャートである。
【図4】本発明の実施の形態の復号化部の説明図である。
【図5】本発明の実施の形態の復号化処理のフローチャートである。
【符号の説明】
1 符号化部
2 統計情報取得部
3 シーン判定部
4 ビットストリームメモリ
5 セレクタ部[0001]
BACKGROUND OF THE INVENTION
The present invention sends a bit stream obtained by compressing and encoding an input moving image to the receiving side by wire or wirelessly, or records it on a recording medium such as a magnetic disk or an optical disk, receives the bit stream, decodes it, or The present invention relates to a moving image processing method and a moving image processing apparatus for displaying a moving image by reproducing a bit stream from a recording medium.
[0002]
[Prior art]
Various methods are already known for compressing and encoding moving images. For example, MPEG-1, 2, 4 and the like as MPEG (Moving Picture Experts Group) systems have been internationally standardized. This MPEG system divides a screen into blocks composed of a plurality of pixels, and transmits or stores a bit stream encoded by performing compression processing in a spatial direction and a time direction in units of blocks. Is restored to the original moving image and displayed on the display.
[0003]
The above-described spatial compression in the compression encoding of a moving image is a process using correlation within a frame. In the case of the above-described MPEG system, orthogonal transformation by DCT (Discrete Cosine Transform), quantization, This includes processing with variable length coding. For example, the screen is encoded in units of macroblocks (MB) made up of 16 × 16 pixels. In the DCT process, two-dimensional DCT is performed on an 8 × 8 pixel block obtained by dividing MB into four.
[0004]
By this DCT processing, a DCT coefficient biased toward low frequency components is obtained, and 0 is increased for high frequency components. The DCT coefficients are quantized with a predetermined quantization scale, and the quantized coefficients are encoded using a run-length two-dimensional variable length code. In this case, since the quantization coefficient is also biased toward the low frequency component, variable length coding is performed by sequentially scanning from the low frequency component to the high frequency component side. The above-described compression processing in the spatial direction is called intra-frame coding.
[0005]
The compression in the time direction compresses generated information by applying inter-frame motion prediction. For example, the quantization coefficient obtained by the quantization process before the variable length coding process is inversely quantized, and the DCT process is performed. The difference between the locally decoded image decoded by performing the reverse DCT process and the input moving image is obtained. That is, an inter-frame difference is obtained, and the difference information is encoded by the above-described DCT processing, quantization processing, and variable length encoding processing to form a bit stream. Furthermore, a motion search process is performed to search from which position of the already-encoded image (local decoded image) each block has moved between frames, a position with a small inter-frame difference is obtained, a motion vector by the motion search process, The difference block from that position is encoded.
[0006]
In the decoding process, for intra-frame coding, the variable length decoding unit decodes the variable length code to restore the quantization coefficient, the inverse quantization unit restores the DCT coefficient, and the inverse DCT unit performs the inverse DCT. Processing is performed to restore the frame data. For interframe coding, variable length decoding, inverse quantization, and inverse DCT are used to restore the difference information of each block, and the frame data blocks that have already been decoded and stored in the frame memory. The moving image can be restored by adding the block at the position indicated by the motion vector.
[0007]
[Problems to be solved by the invention]
Since the conventional compression encoding process of moving images uses the fact that the correlation between the spatial direction and the temporal direction of the moving images is large, compression is not applied to moving images that do not have such properties. Efficiency decreases and the amount of generated information increases. In order not to decrease the compression efficiency, control such as increasing the quantization step is required, but this causes a problem that the reproduction image quality deteriorates and an undesirable display image quality is obtained. In addition, the amount of generated information increases due to a decrease in compression efficiency, and even if control of the quantization step to avoid it is performed, there may be a situation where it is not in time, in which case compression encoding processing is not performed. There is a problem that hangs up.
[0008]
For example, in the case of a moving image that picks up the rippled water surface irradiated with intense light, or in the case of random noise such as snow noise that results in a playback screen that snows, correlation within the frame and correlation between frames In other words, the correlation between the spatial direction and the time direction becomes small. Therefore, the compression efficiency is reduced, the amount of generated information is increased, and the overflow of the transmission buffer is generated. Therefore, it is necessary to control the amount of generated information to be reduced by increasing the quantization step. Also, a noise generation screen such as snow noise is an undesirable screen.
It is an object of the present invention to control so as to avoid a reduction in compression efficiency and to prevent an undesirable reproduction screen.
[0009]
[Means for Solving the Problems]
Referring to FIG. 1, the moving image processing method of the present invention is a moving image processing method for transmitting or accumulating a bit stream obtained by compressing and encoding an input moving image.Obtained from at least one of statistical information on frame luminance in the compression encoding process, motion vector statistical information on motion vectors, and statistical information on the amount of generated coding information or quantized values.StatisticsAnd the judgment valueInput videoButSpecific sceneor notIs determined, and when it is determined as a specific scene,A unit in which the bit stream of this specific scene is formed as one stream, for example, a GOP (Group of Picture) unit,Pre-stored bit streamSwitch to the
[0010]
In addition, at least one of the horizontal component average, horizontal component variance, vertical component average, and vertical component variance of the motion vector of the statistical information in the compression coding process of the input moving image is obtained and compared with a predetermined judgment value. In addition, a process of determining the specific scene when the determination value is exceeded may be included.
[0011]
The moving image processing apparatus according to the present invention is a moving image processing apparatus that transmits or stores a bit stream obtained by compressing and encoding an input moving image, the
[0012]
The statistical
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram for explaining the principle of the present invention. An
[0014]
The
[0015]
For example, since the compression efficiency is reduced for the above-described picked-up water surface image irradiated with intense light, the
[0016]
FIG. 2 is an explanatory diagram of an embodiment of the present invention, in which 11 is a frame memory, 12 is an input moving image statistical information acquisition unit, 13 is a motion vector statistical information acquisition unit, 14 is an encoded statistical information acquisition unit, and 15 is 16 is a bit stream memory, 17 is a selector, 18 is an original MB unit, 19 is a reference block unit, 20 is a motion vector searcher, 21 is a prediction determiner, 22 is a subtractor, 23 and 25 are selectors, 24 is an adder, 26 is a discrete cosine transformer (DCT), 27 is a quantizer (Q), 28 is an inverse quantizer (IQ), 29 is an inverse discrete cosine transformer (IDCT), and 30 is a variable length code. Figure 2 shows a generator (VLC).
[0017]
The statistical
[0018]
1 includes the
[0019]
The state in which the
[0020]
In the input moving image statistical
AveY = (ΣUPixel i) / Num i (1)
It can be expressed as.
Also, the frame luminance variance VarY is
VarY = (ΣU(| Pixel i-A |)) / Num i (2)
It can be expressed as. Note that the cumulative addition Σ in equations (1) and (2)UThe symbol of indicates that i⊂U is added.
[0021]
The motion vector statistical
AveHV = (ΣVVecH i) / Num i (3)
VerHV = (ΣV| VecH i-AH |) / Num i (4)
AveVV = (ΣVVecV i) / Num i (5)
VerVV = (ΣV| VecV i-AV |) / Num i (6)
It can be expressed as. In addition, Σ of cumulative addition in equations (3) to (6)VThe symbol of indicates that i⊂V is added.
[0022]
In the encoded statistical
SumB = ΣV(Bit i) (7)
AveQ = (ΣVQ i) / Num i (8)
It can be expressed as. Note that Σ of cumulative addition in equations (7) and (8)VThe symbol of indicates that i⊂V is added.
[0023]
In the
VarY> α (9)
AveHV> β (10)
VarHV> χ (11)
AveVV> δ (12)
VarHV> ε (13)
Can be determined. When any one of the conditions (9) to (13) is satisfied, or when a plurality of conditions are satisfied, it is determined that the scene is a specific scene when the statistical information satisfies a condition larger than the determination value. The
[0024]
The switching of the bit stream in the
[0025]
FIG. 3 is a flowchart according to the embodiment of the present invention. Input video is read (A1), header generation (A2), motion search (A3), MB coding (A4) is performed, and whether or not the picture is End. (A5), if compression encoding in units of pictures is continuing, the process proceeds to step (A3), and if completed, essential information is acquired (A6), and it is determined whether the determination condition is satisfied. (A7).
[0026]
Also, the input moving image is read, the input moving image statistical
[0027]
Such statistical information is acquired and compared with the determination value in the
[0028]
Therefore, when a bit stream is received, decoded and reproduced and displayed, a reproduction screen such as snow noise can be avoided and a stable display screen can be obtained. In addition, since the compression encoding process does not need to be transmitted when the amount of generated information is remarkably increased, it is not necessary to consider the overflow of the transmission buffer, etc., and stable compression encoding can be continued. It is possible to avoid an undesirable reproduction screen.
[0029]
Also, on the bitstream decoding side, it is determined whether or not the scene is a specific scene based on statistical information in the decoding process, and in the case of a specific scene, a predetermined bit that can constitute a stable playback screen The stream can be read from the bitstream memory and decoded. Thereby, it is possible to avoid an undesirable reproduction screen such as snow noise.
[0030]
FIG. 4 is an explanatory diagram of the decoding unit according to the embodiment of the present invention, which can be used in combination with the encoding unit shown in FIG. 2 or in combination with the conventional encoding unit. is there. In the figure, 41 is a decoder buffer, 42 is a bit stream memory, 43 is a selector, 44 is a decoding processor, 45 is a variable length decoder (IVLC), 46 is an inverse quantizer (IQ), 47. Is an inverse discrete cosine transformer (IDCT), 48 is a header information extraction unit, 49 is a header information acquisition unit, 50 is a decoding statistical information acquisition unit, 51 is a scene determination unit, 52 is a selector, 53 is an adder, and 54 is Indicates a frame memory.
[0031]
The
[0032]
The header
[0033]
For streams such as digital broadcasting, a system stream is distributed as a single stream of programs of a plurality of channels, and a table to which information on each program is added is embedded in the stream. By reading this table, for example, violent programs and adult programs can be identified. The header
[0034]
In this case, it can be a suitable image stream or a title image for prohibiting viewing of an adult program. That is, in the
[0035]
FIG. 5 is a flowchart of the decoding process according to the embodiment of the present invention. The header of the bit stream is decoded (B1) and necessary information is acquired (B2). That is, information by statistical information acquisition by header decoding (B11) or information of the above-mentioned program type is acquired, and information by statistical information acquisition (B12) in the decoding process is acquired. Then, it is determined whether or not the determination condition is satisfied by the scene determination unit 51 (B3), and if it is determined as a specific scene such as an undesired reproduction screen such as snow noise or an undesired screen such as an adult program, a predetermined bit The stream is read from the bit stream memory 42 (B10), and when the determination condition is not satisfied, the received bit stream is read (B4), MB decoding (B5), and motion compensation (B6) are decoded. It is determined whether or not the picture is End (B7). If it is not finished, the process proceeds to Step (B5). If it is finished, the decoding result is output (B8), and it is determined whether or not the decoding process is finished ( B9) If not finished, the process proceeds to step (B1). If finished, the decoding process is finished.
[0036]
The present invention is not limited to the above-described embodiments, and various additions and modifications can be made. The encoding process can be an encoding process other than MPEG-2. .
[0037]
(Supplementary Note 1) In a moving image processing method for transmitting or storing a bit stream obtained by compressing and encoding an input moving image, the input is based on statistical information of the input moving image or statistical information in a compression encoding process. A moving image processing method comprising: determining a specific scene of a moving image, and selecting and outputting a predetermined bitstream stored in advance when the specific scene is determined.
(Supplementary Note 2) At least one of horizontal component average, horizontal component variance, vertical component average, and vertical component variance of the motion vector of the statistical information in the compression coding process of the input moving image is obtained and set in advance. 2. The moving image processing method according to
[0038]
(Supplementary note 3) In a moving image processing apparatus for transmitting or storing a bit stream obtained by compressing and encoding an input moving image, an encoding unit for compressing and encoding the input image, and statistical information or compression of the input moving image A statistical information acquisition unit that acquires statistical information in the encoding process, a scene determination unit that compares the statistical information acquired by the statistical information acquisition unit with a determination value, and determines whether the scene is a specific scene; A bit stream memory for storing a bit stream and a predetermined bit stream stored in the bit stream memory for a bit stream compressed and encoded by the encoding unit when the scene determination unit determines that the scene is a specific scene. A moving image processing apparatus comprising a selector unit for sending out.
[0039]
(Supplementary Note 4) The statistical information acquisition unit is a statistical information acquisition unit that calculates a frame luminance average of the input moving image, or a statistical information acquisition unit that calculates horizontal and vertical component averages and variances of motion vectors in the encoding unit, or The moving image processing apparatus according to
(Supplementary note 5) The moving picture according to
[0040]
(Supplementary note 6) In a moving picture processing apparatus for decoding a compression-encoded bitstream, a bitstream memory storing a predetermined bitstream, and header information or decoding process of the compression-encoded bitstream A scene determination unit for acquiring statistical information in the process to determine whether or not the scene is a specific scene; and when the scene determination unit determines that the scene is a specific scene, a predetermined bit stream is read from the bit stream memory and the decoding process is performed A moving image processing apparatus, comprising: a selector that inputs to the unit.
(Supplementary note 7) The moving picture processing apparatus according to supplementary note 6, wherein the bit stream memory has a configuration in which a plurality of types of bit streams to be selected and read according to the determination content of the scene determination unit are stored.
[0041]
【The invention's effect】
As described above, according to the present invention, a predetermined bit stream is stored in the
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is an explanatory diagram of an embodiment of the present invention.
FIG. 3 is a flowchart of an embodiment of the present invention.
FIG. 4 is an explanatory diagram of a decoding unit according to the embodiment of this invention.
FIG. 5 is a flowchart of decoding processing according to the embodiment of this invention.
[Explanation of symbols]
1 Encoding unit
2 statistical information acquisition part
3 Scene judgment part
4-bit stream memory
5 Selector section
Claims (4)
前記入力動画像の圧縮符号化過程に於ける、フレーム輝度についての統計情報、動きベクトルについての統計情報、符号化発生情報量又は量子化値についての統計情報の少なくとも一つから求めた統計情報と判定値とを比較し、前記入力動画像が圧縮効率の低くなる特定シーンか否かを判定する過程と、
圧縮効率の低くなる特定シーンと判定された前記圧縮符号化過程で生成されたビットストリームの内、前記圧縮効率の低くなる特定シーンを含む一つのビットストリームとして成立する単位で、予め蓄積されたビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームに切替えて出力する過程を含む
ことを特徴とする動画像処理方法。In a moving image processing method for generating and transmitting or storing a bit stream obtained by compressing and encoding an input moving image,
In the compression encoding process of the input video, statistics about the frame luminance, and statistical information obtained from at least one of the statistical information about statistics, coding amount of information generated or quantization values of the motion vectors comparing the judgment value, a process in which the input moving image to determine whether low made specific scene of compression efficiency,
Bits accumulated in advance in a unit that is formed as one bit stream including the specific scene with low compression efficiency among the bit streams generated in the compression encoding process determined as the specific scene with low compression efficiency A moving image processing method comprising a step of switching to a predetermined compression-encoded bit stream that does not reduce the compression efficiency of the stream and outputting the same.
前記入力動画像を圧縮符号化する符号化部と、
該符号化部による圧縮符号化過程に於けるフレーム輝度についての統計情報と、前記圧縮符号化過程に於ける動きベクトルについての統計情報と、前記圧縮符号化過程に於ける符号化発生情報量又は量子化値についての統計情報との少なくとも一つから統計情報を求める統計情報取得部と、
該統計情報取得部により取得した統計情報と判定値とを比較し、入力動画像の圧縮率が低下する特定シーンか否かを判定するシーン判定部と、
ビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームを蓄積するビットストリームメモリと、
前記シーン判定部により前記入力動画像の圧縮率が低下する特定シーンと判定された時、前記符号化部により圧縮符号化したビットストリームの内、前記圧縮効率の低くなる特定シーンを含む一つのストリームとして成立する単位で、前記ビットストリームメモリに蓄積されているビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームに切替えて送出するセレクタ部と
を備えたことを特徴とする動画像処理装置。In a moving image processing apparatus for transmitting or storing a bit stream obtained by compressing and encoding an input moving image,
An encoding unit for compressing and encoding the input moving image,
And statistical information about the in-frame luminance compression encoding process by the coding unit, wherein the statistical information in the motion vector to the compression encoding process, the compression encoding process in the encoding generated information amount or A statistical information acquisition unit for obtaining statistical information from at least one of the statistical information about the quantized value;
A scene determination unit that compares the statistical information acquired by the statistical information acquisition unit with a determination value, and determines whether or not the specific scene has a reduced compression rate of the input moving image ;
A bit stream memory for storing a predetermined compression-encoded bit stream that does not reduce the compression efficiency of the bit stream;
One stream including a specific scene having a low compression efficiency among the bitstreams compression-encoded by the encoding unit when the scene determination unit determines that the specific scene has a reduced compression rate of the input moving image And a selector unit that switches to a predetermined bit stream that has been compression-encoded and that does not reduce the compression efficiency of the bit stream stored in the bit stream memory. Processing equipment.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002045815A JP4211023B2 (en) | 2002-02-22 | 2002-02-22 | Moving image processing method and moving image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002045815A JP4211023B2 (en) | 2002-02-22 | 2002-02-22 | Moving image processing method and moving image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003250159A JP2003250159A (en) | 2003-09-05 |
JP4211023B2 true JP4211023B2 (en) | 2009-01-21 |
Family
ID=28659473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002045815A Expired - Fee Related JP4211023B2 (en) | 2002-02-22 | 2002-02-22 | Moving image processing method and moving image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4211023B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5006633B2 (en) | 2006-03-10 | 2012-08-22 | キヤノン株式会社 | Image encoding apparatus, image encoding method, program, and storage medium |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2661465B2 (en) * | 1991-12-18 | 1997-10-08 | 日本ビクター株式会社 | Video encoding device |
JP3823333B2 (en) * | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | Moving image change point detection method, moving image change point detection apparatus, moving image change point detection system |
JPH08251582A (en) * | 1995-03-07 | 1996-09-27 | Toshiba Corp | Encoded data editing device |
JPH1175157A (en) * | 1997-08-29 | 1999-03-16 | Sony Corp | Recorder for video signal and audio signal |
JP3649266B2 (en) * | 1997-10-03 | 2005-05-18 | ソニー株式会社 | Data multiplexing apparatus and method, and recording medium |
JPH11112981A (en) * | 1997-10-06 | 1999-04-23 | Sony Corp | Device and method for transmission and device and method for communication |
JPH11234583A (en) * | 1998-02-13 | 1999-08-27 | Sony Corp | Luminance suppression system |
JPH11275385A (en) * | 1998-03-23 | 1999-10-08 | Victor Co Of Japan Ltd | Video signal processor and video signal processing method |
JP3098736B2 (en) * | 1998-04-15 | 2000-10-16 | 日本放送協会 | Video reproduction control device and storage medium |
JP3622527B2 (en) * | 1998-08-24 | 2005-02-23 | 株式会社日立製作所 | Video feature scene detection method and apparatus |
JP3847006B2 (en) * | 1998-08-26 | 2006-11-15 | 富士通株式会社 | Image display control device and recording medium |
JP2000078582A (en) * | 1998-09-02 | 2000-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Device and method for transmitting image encoded data and program storage medium thereof |
JP3357846B2 (en) * | 1998-09-24 | 2002-12-16 | 三洋電機株式会社 | Television receiver |
JP4218086B2 (en) * | 1998-09-28 | 2009-02-04 | ソニー株式会社 | Image display device |
US6684240B1 (en) * | 1999-12-15 | 2004-01-27 | Gateway, Inc. | Method of setting parental lock levels based on example content |
JP2001136463A (en) * | 1999-11-10 | 2001-05-18 | Toshiba Corp | Video signal reproduction device |
JP2001197388A (en) * | 2000-01-17 | 2001-07-19 | Funai Electric Co Ltd | Video signal device |
JP4517465B2 (en) * | 2000-06-23 | 2010-08-04 | ソニー株式会社 | Image information converting apparatus and method, and encoding apparatus and method |
JP4328000B2 (en) * | 2000-08-02 | 2009-09-09 | 富士通株式会社 | Moving picture coding apparatus and moving picture special effect scene detecting apparatus |
-
2002
- 2002-02-22 JP JP2002045815A patent/JP4211023B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003250159A (en) | 2003-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100323489B1 (en) | Method and device for transcoding bitstream with video data | |
US7277587B2 (en) | System and method for lossless video coding | |
US6343098B1 (en) | Efficient rate control for multi-resolution video encoding | |
KR100599017B1 (en) | Image data compression device and method | |
JP3920356B2 (en) | Video coding | |
US7961788B2 (en) | Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method | |
US6956899B2 (en) | Precise bit control apparatus with look-ahead for MPEG encoding | |
JP4196726B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
KR101096827B1 (en) | Method and apparatus for encoding a picture sequence using predicted and non-predicted pictures which each include multiple macroblocks | |
JP2001218213A (en) | Image signal conversion coder | |
JP2011512767A (en) | Video streaming | |
JP4224778B2 (en) | STREAM CONVERTING APPARATUS AND METHOD, ENCODING APPARATUS AND METHOD, RECORDING MEDIUM, AND PROGRAM | |
KR100364748B1 (en) | Apparatus for transcoding video | |
JPH10191331A (en) | Method and device for encoding image data | |
JP4211023B2 (en) | Moving image processing method and moving image processing apparatus | |
JP4292659B2 (en) | Image information conversion apparatus and image information conversion method | |
JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
JP3501521B2 (en) | Digital video signal reproducing apparatus and reproducing method | |
JP2000004440A (en) | Method and device for decoding moving image | |
JP4000581B2 (en) | Image coding apparatus and method | |
JP3247349B2 (en) | Moving image monitoring device and monitoring method | |
JP4765961B2 (en) | Digital video recording device | |
JPH10150659A (en) | Picture encoder | |
JP3147636B2 (en) | Video data arranging method and its encoding device and decoding device | |
JPH08265776A (en) | Video data synthesizing device and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |