JP4211023B2 - Moving image processing method and moving image processing apparatus - Google Patents

Moving image processing method and moving image processing apparatus Download PDF

Info

Publication number
JP4211023B2
JP4211023B2 JP2002045815A JP2002045815A JP4211023B2 JP 4211023 B2 JP4211023 B2 JP 4211023B2 JP 2002045815 A JP2002045815 A JP 2002045815A JP 2002045815 A JP2002045815 A JP 2002045815A JP 4211023 B2 JP4211023 B2 JP 4211023B2
Authority
JP
Japan
Prior art keywords
bit stream
moving image
statistical information
compression
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002045815A
Other languages
Japanese (ja)
Other versions
JP2003250159A (en
Inventor
章弘 屋森
潔 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002045815A priority Critical patent/JP4211023B2/en
Publication of JP2003250159A publication Critical patent/JP2003250159A/en
Application granted granted Critical
Publication of JP4211023B2 publication Critical patent/JP4211023B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、入力動画像を圧縮符号化処理したビットストリームを受信側に有線又は無線により送出し、又は磁気ディスクや光ディスク等の記録媒体に記録し、そのビットストリームを受信して復号化し、又は記録媒体から再生してビットストリームを復号化して、動画像を表示する為の動画像処理方式及び動画像処理装置に関する。
【0002】
【従来の技術】
動画像の圧縮符号化は、既に各種の方式が知られている。例えば、MPEG(Moving Picture Experts Group)方式としてのMPEG−1,2,4等が国際標準化されている。このMPEG方式は、画面を複数画素からなるブロックに分割し、ブロック単位で空間方向及び時間方向の圧縮処理を行って符号化したビットストリームを伝送或いは蓄積し、受信側或いは再生側は、ビットストリームを復号化して元の動画像に復元してディスプレイに表示する。
【0003】
動画像の圧縮符号化に於ける前述の空間方向の圧縮は、フレーム内の相関を用いた処理であり、前述のMPEG方式の場合、DCT(Discrete Cosine Transform)による直交変換と、量子化と、可変長符号化との処理を含むものである。例えば、画面を16×16画素からなるマクロブロック(MB)単位で符号化処理を行うものである。又DCT処理は、MBを4分割した8×8画素のブロックについて二次元DCTを施すものである。
【0004】
このDCT処理により、低周波成分に偏ったDCT係数が得られ、高周波成分は0が多くなる。このDCT係数を所定の量子化スケールで量子化し、その量子化係数を、ランレングスの二次元可変長符号を用いて符号化する。この場合、量子化係数も、低周波成分に偏るので、低周波成分から高周波成分側に順次走査して可変長符号化を行う。前述の空間方向の圧縮処理はフレーム内符号化と称されるものである。
【0005】
又時間方向の圧縮は、フレーム間動き予測を適用して発生情報を圧縮するもので、例えば、可変長符号化処理の前段の量子化処理による量子化係数を逆量子化処理し、DCT処理の逆の逆DCT処理を施して復号した局部復号画像と、入力動画像との差分を求める。即ち、フレーム間差分を求め、その差分情報を前述のDCT処理と量子化処理と可変長符号化処理とにより符号化してビットストリームとする。更に、フレーム間で各ブロックが既符号化画像(局部復号画像)のどの位置から移動したかを探す動き探索処理を行い、フレーム間差分が少ない位置を求め、その動き探索処理による動きベクトルと、その位置との差分ブロックを符号化する。
【0006】
復号化処理は、フレーム内符号化に対しては、可変長復号部で可変長符号を復号して量子化係数を復元し、逆量子化部によりDCT係数に復元し、逆DCT部により逆DCT処理を施して、フレームデータに復元する。又フレーム間符号化に対しては、可変長復号と、逆量子化と、逆DCTとの処理により各ブロックの差分情報を復元し、既に復号してフレームメモリに格納したフレームデータのブロックの中の動きベクトルで示される位置のブロックと加算することにより、動画像を復元することができる。
【0007】
【発明が解決しようとする課題】
従来の動画像の圧縮符号化処理は、動画像の空間方向及び時間方向の相関性が大きいことを利用しているものであるから、このような性質を持たない動画像に対しては、圧縮効率が低下して発生情報量が増加する。この圧縮効率を低下させないようにするには、量子化ステップを大きくする等の制御が必要となるが、それによって、再生画質が劣化し、望ましくない表示画質となる問題がある。又圧縮効率低下により発生情報量が増加し、それを回避する為の量子化ステップの制御等を行っても間に合わないような状態が発生する可能性もあり、その場合には圧縮符号化処理がハングアップする問題がある。
【0008】
例えば、強烈な光が照射するさざなみの水面を撮像した動画像の場合や、雪が降るような再生画面となるスノーノイズ等のランダムノイズの場合等に於いて、フレーム内の相関及びフレーム間の相関が殆どない状態、即ち、前述の空間方向及び時間方向の相関が小さくなる。従って、圧縮効率が低下して発生情報量が増加し、送信バッファのオーバーフローが発生するから、量子化ステップを大きくして発生情報量を低減する制御等が必要となる。又スノーノイズ等のノイズの生成画面は望ましくない画面である。
本発明は、圧縮効率の低下を回避し、且つ望ましくない再生画面とならないように制御することを目的とする。
【0009】
【課題を解決するための手段】
本発明の動画像処理方法は、図1を参照して説明すると、入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理方法であって、入力動画像の圧縮符号化過程に於けるフレーム輝度についての統計情報と、動きベクトルについての動きベクトル統計情報と、符号化発生情報量又は量子化値についての統計情報との少なくとも何れか一つから求めた統計情報と判定値とを比較して前記入力動画像特定シーンか否かを判定し、特定シーンと判定した時に、この特定シーンのビットストリームを一つのストリームとして成立する単位、例えば、GOP(Group of Picture)単位で、予め蓄積してある所定のビットストリームにセレクタ部5等により切替えて出力する過程を含むものである。
【0010】
又入力動画像の圧縮符号化過程に於ける統計情報の動きベクトルの水平成分平均,水平成分分散,垂直成分平均,垂直成分分散の少なくとも何れか一つを求めて、予め設定した判定値と比較し、該判定値を超えた時に前記特定シーンと判定する過程を含むことができる。
【0011】
又本発明の動画像処理装置は、入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理装置であって、入力画像を圧縮符号化する符号化部1と、入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を取得する統計情報取得部2と、この統計情報取得部2により取得した統計情報と判定値とを比較して特定シーンか否かを判定するシーン判定部3と、所定のビットストリームを蓄積するビットストリームメモリ4と、シーン判定部3により特定シーンと判定した時に、符号化部1により圧縮符号化したビットストリームに対して、ビットストリームメモリ4に蓄積した所定のビットストリームを切替えて送出するセレクタ部5とを備えている。
【0012】
又統計情報取得部2は、入力動画像のフレーム輝度平均を求める統計情報取得器又は符号化部1に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器又は平均量子化スケール値,発生情報量を求める統計情報取得器の少なくとも何れか一つを含む構成とすることができる。又ビットストリームメモリ4は、静止画像又は動きのゆるやかな動画像を圧縮符号化かビットストリームに相当する所定のビットストリームを格納した構成とすることができる。
【0013】
【発明の実施の形態】
図1は本発明の原理説明図であり、符号化部1は、入力動画像を空間方向及び時間方向の相関性を用いた圧縮符号化処理を行うもので、前述のMPEG方式を適用することができる。又統計情報取得部2は、入力動画像のフレーム輝度平均を求める統計情報取得器、又は符号化部1に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器、又は平均量子化スケール値,発生情報を求める統計情報取得器等の少なくとも一つを含むものである。
【0014】
又シーン判定部3は、統計情報取得部2により取得した統計情報と判定値とを比較して特定シーンか否かを判定してセレクタ部5を制御する。又ビットストリームメモリ4に、例えば、静止画像或いは動きのゆるやかな動画像を圧縮符号化したビットストリームに相当する所定のビットストリームを格納する。そして、セレクタ部5により符号化部1からのビットストリームと、ビットストリームメモリ4からのビットストリームとを、シーン判定部3の判定に従って切替えて送出する。
【0015】
例えば、前述の強烈な光が照射するさざなみの水面の撮像画像に対しては、圧縮効率が低下するから、統計情報を基にシーン判定部3に於いて特定のシーンと判定し、例えば、水面の静止画像を圧縮符号化したビットストリームをビットストリームメモリ4から繰り返し読出して送出する。それにより、圧縮符号化処理に於ける圧縮効率の低下は問題でなくなり、且つ再生表示画面については安定な表示内容となる。又ビットストリームメモリ4に複数種類のビットストリームを格納し、シーン判定部3の判定結果に応じて、複数種類の中から選択した一つのビットストリームを送出するように制御することも可能である。
【0016】
図2は本発明の実施の形態の説明図であり、11はフレームメモリ、12は入力動画像統計情報取得器、13は動きベクトル統計情報取得器、14は符号化統計情報取得器、15はシーン判定器、16はビットストリームメモリ、17はセレクタ、18は原画MB部、19は参照ブロック部、20は動きベクトル探索器、21は予測判定器、22は減算器、23,25はセレクタ、24は加算器、26は離散コサイン変換器(DCT)、27は量子化器(Q)、28は逆量子化器(IQ)、29は逆離散コサイン変換器(IDCT)、30は可変長符号化器(VLC)を示す。
【0017】
図1の統計情報取得部2は、図2に於ける入力動画像統計情報取得器12と、動きベクトル統計情報取得器13と、符号化統計情報取得器14との少なくとも何れか一つを含む構成を有するもので、従って、全部を備えることもできる。又図2のシーン判定器15は、図1のシーン判定部3に相当し、又図2のビットストリームメモリ16は、図1のビットストリームメモリ4に相当し、又図2のセレクタ17は、図1のセレクタ部5に相当する。
【0018】
又図1の符号化部1は、図2に於けるフレームメモリ11や離散コサイン変換器26,量子化器27,逆量子化器28,逆離散コサイン変換器29,可変長符号化器30等を含む構成を有するものである。又フレームメモリ11は、入力動画像を蓄積し、且つ局部復号画像を蓄積するもので、原画MB部18は、入力動画像のマクロブロック(MB)を動きベクトル探索器20に入力し、局部復号画像から参照ブロック部19により参照ブロックを順次取り出して動きベクトル探索器20に入力して、動きベクトルを求める。
【0019】
セレクタ23により減算器22側を図示のように選択し、セレクタ25により加算器24側を図示のように選択している状態は、フレーム間符号化の場合であり、セレクタ23,25がその反対側を選択している状態は、フレーム内符号化の場合を示す。そして、離散コサイン変換器26により直交変換し、量子化器27により量子化し、可変長符号化器30により可変長符号に変換して、セレクタ17を介して送信又は蓄積する。又量子化器27による量子化係数を逆量子化器28によりDCT係数に戻し、逆離散コサイン変換器29により復号し、フレーム内符号化の場合は、局部復号画像としてフレームメモリ11に一時蓄積し、又フレーム間符号化の場合は、加算器24により予測判定器21を介したブロックと加算して局部復号画像とする。
【0020】
入力動画像統計情報取得器12に於いては、フレーム輝度平均を求めるもので、フレーム内の画素の集合をU、フレーム輝度平均をAveY、画素数をNum、画素の輝度をPixelとすると、
AveY=(ΣU Pixel i)/Num i …(1)
と表すことができる。
又フレーム輝度分散VarYは、
VarY=(ΣU (|Pixel i−A|))/Num i …(2)
と表すことができる。なお、(1),(2)式の累積加算のΣU の記号は、i⊂Uとして加算することを示す。
【0021】
又動きベクトル統計情報取得器13に於いては、各MB毎に求めた動きベクトルを累積し、その累積値をピクチャのMB数で除算することにより、動きベクトルの平均を求め、又各動きベクトルと動きベクトル平均との差の二乗和を求めてMB数で除算することにより、動きベクトルの分散を得ることができる。この場合、フレーム内のMB集合をV、動きベクトルの水平成分をVecH i、動きベクトルの垂直成分をVecV iとして、動きベクトルの水平成分平均AveHV、水平成分分散VerHV、垂直成分平均AveVV、垂直成分分散VerVVは、
AveHV=(ΣV VecH i)/Num i …(3)
VerHV=(ΣV |VecH i−AH|)/Num i …(4)
AveVV=(ΣV VecV i)/Num i …(5)
VerVV=(ΣV |VecV i−AV|)/Num i …(6)
と表すことができる。なお、(3)〜(6)式の累積加算のΣV の記号は、i⊂Vとして加算することを示す。
【0022】
又符号化統計情報取得器14に於いては、離散コサイン変換器26と量子化器27と可変長符号化器30とを含む符号化処理部に於ける発生情報量や量子化値の平均等を求めて符号化統計情報とすることができる。例えば、フレーム内のMB集合をV、各MBの発生情報量をBit i、ピクチャの発生情報量をSumB、各MBの量子化スケール値をQ i、平均量子化値をAveQとすると、
SumB=ΣV (Bit i) …(7)
AveQ=(ΣV i)/Num i …(8)
と表すことができる。なお、(7),(8)式の累積加算のΣV の記号は、i⊂Vとして加算することを示す。
【0023】
シーン判定器15に於いては、入力動画像統計情報取得器12、動きベクトル統計情報取得器13、符号化統計情報取得器14により得られた前述の統計情報と判定値α、β、χ、δ、εとを比較して特定のシーンを判定する。即ち、
VarY>α …(9)
AveHV>β …(10)
VarHV>χ …(11)
AveVV>δ …(12)
VarHV>ε …(13)
として判定することができる。そして、(9)〜(13)式の何れか一つの条件を満足する場合、或いは複数の条件を満足する場合、統計情報が判定値より大きい条件を満足することにより特定のシーンと判定する。シーン判定器15は、このような判定論理を設定するものである。
【0024】
シーン判定器15からの制御信号によるセレクタ17に於けるビットストリームの切替えは、フレーム間差分を考慮して、一つのストリームとして成立する単位とすることが考えれる。例えば、MPEG−2の場合、GOP(Group of Picture)単位とすることができる。又ビットストリームメモリ16から読出した所定のビットストリームを選択して送出している状態に於いても、圧縮符号化処理を継続し、シーン判定器15の判定結果に応じて、入力動画像の圧縮符号化によるビットストリームに切替えて送出できるように制御するものである。
【0025】
図3は本発明の実施の形態のフローチャートであり、入力動画像読込みを行い(A1)、ヘッダ生成(A2)、動き探索(A3)、MB符号化(A4)を行い、ピクチャEndか否かを判定し(A5)、ピクチャ単位の圧縮符号化が継続中の場合はステップ(A3)に移行し、終了の場合は必須情報取得を行い(A6)、判定条件を満たすか否かを判定する(A7)。
【0026】
又入力動画像の読込みを行って、入力動画像統計情報取得器12によりフレーム輝度平均等の統計情報を取得し(A11)、又動きベクトル探索器20による動き探索を行い、動きベクトル統計情報取得器13により動きベクトルの水平,垂直成分等の統計情報を取得し(A12)、又MB符号化の処理の過程に於いて符号化統計情報取得器14によりピクチャの発生情報量や平均量子化値等の統計情報を取得する(A13)。
【0027】
このような統計情報を取得して、シーン判定器15に於いて判定値と比較し、前述の統計情報が判定値より大きい条件を満たさない場合は、符号化結果のビットストリームを出力し(A8)、符号化が終了か否かを判定し(A9)、終了していない場合はステップ(A1)に移行し、終了した場合は、処理を終了する。又ステップ(A7)に於いて、シーン判定器15が判定条件を満たしていると判定した場合は、ビットストリームメモリ16に格納した所定のビットストリームを出力するようにセレクタ17を制御する。
【0028】
従って、ビットストリームを受信して復号再生して表示すると、スノーノイズ等の再生画面を回避して、安定した表示画面とすることができる。又圧縮符号化処理も、発生情報量が著しく増加した場合に、送信処理する必要がないので、送信バッファのオーバーフロー等を考慮する必要がなく、安定な圧縮符号化を継続することができ、且つ望ましくないような再生画面となることを回避できる。
【0029】
又ビットストリームの復号化側に於いて、復号化処理過程に於ける統計情報を基に特定のシーンか否かを判定し、特定のシーンの場合に、安定した再生画面を構成できる所定のビットストリームを、ビットストリームメモリから読出して復号化処理を行うことができる。それにより、スノーノイズ等の望ましくない再生画面となることを回避できる。
【0030】
図4は本発明の実施の形態の復号化部の説明図であり、図2に示す符号化部と組合せて使用するか、或いは、従来例の符号化部と組合せて使用することが可能である。同図に於いて、41はデコーダバッファ、42はビットストリームメモリ、43はセレクタ、44は復号化処理部、45は可変長復号化器(IVLC)、46は逆量子化器(IQ)、47は逆離散コサイン変換器(IDCT)、48はヘッダー情報抽出部、49はヘッダー情報取得器、50は復号化統計情報取得器、51はシーン判定器、52はセレクタ、53は加算器、54はフレームメモリを示す。
【0031】
セレクタ43はシーン判定器51により制御され、通常は図示のように、デコーダバッファ41側を選択している。又ビットストリームメモリ42は、ヘッダー情報を除いた単一種類又は選択可能の複数種類の所定のビットストリームを格納している。セレクタ43を介したビットストリームは、復号化処理部44の可変長復号化器45により固定長符号の量子化係数に復元し、逆量子化器46により元のDCT係数に復元し、逆離散コサイン変換器47により逆DCT処理を施して復号し、フレーム間符号化のビットストリームを復号化処理している時は、セレクタ52は図示の状態で、加算器53により、フレームメモリ54からのブロックと加算されて、フレームメモリ54に格納され、フレーム内符号化のビットストリームを復号化処理している時は、加算器53を介することなく、フレームメモリ54に格納され、このフレームメモリ54から図示を省略した表示部に再生画像が表示される。
【0032】
又ヘッダー情報抽出部48は、ビットストリームに付加されたヘッダーを抽出し、フレーム間符号化かフレーム内符号化かを識別して、セレクタ52を制御する。又復号化統計情報取得器50は、復号化処理部44に於ける動きベクトルの水平,垂直成分や量子化値等の統計情報を取得し、シーン判定器51は、前述の場合と同様に判定値と比較して、特定のシーンと判定すると、セレクタ43を制御して、ビットストリームメモリ42からのビットストリームを繰り返し読出して復号化処理部44に入力する。それにより、スノーノイズ等の望ましくない画面の代わりに、安定な画面を再生表示することができる。
【0033】
又ディジタル放送等のストリームに対しては、複数チャネルの番組を一つのストリームとしてシステムストリームを配信するもので、そのストリームの中に、各番組の情報を付加したテーブルが埋め込まれている。このテーブルを読込むことにより、例えば、暴力性の番組やアダルト番組を識別することができる。ヘッダー情報取得器49は、このようなヘッダー情報を取得し、子供に見せたくない番組については、シーン判定器51に、特定のシーンとしてヘッダー情報を設定しておくことにより、望ましくない画面として、セレクタ43を制御し、ビットストリームメモリ42側を選択させて、所定のビットストリームを復号化処理して再生表示することができる。
【0034】
この場合、適当な画像のストリーム或いは成人向け番組視聴禁止等のタイトル画像とすることができる。即ち、ビットストリームメモリ42には、復号化統計情報取得器50により取得した統計情報を基に、望ましくない再生画面となる場合と、ヘッダー情報取得器49により取得したヘッダー情報により、望ましくない再生画面と判定した場合とに於ける異なるビットストリームを選択できるように格納することができる。
【0035】
図5は本発明の実施の形態の復号化処理のフローチャートであり、ビットストリームのヘッダーを復号し(B1)、必要情報取得を行う(B2)。即ち、ヘッダー復号による統計情報取得(B11)による情報、或いは、前述の番組種別の情報を取得し、又復号化処理過程の統計情報取得(B12)による情報を取得する。そして、シーン判定器51により判定条件を満たすか否かを判定し(B3)、スノーノイズ等の望ましくない再生画面又は成人向け番組等の望ましくない画面等の特定のシーンと判定すると、所定のビットストリームをビットストリームメモリ42から読込み(B10)、又判定条件を満たさない場合は、受信したビットストリームを読込み(B4)、MB復号化(B5)、動き補償(B6)の復号化処理を行い、ピクチャEndか否かを判定し(B7)、終了でない場合はステップ(B5)に移行し、終了の場合は、復号化結果を出力し(B8)、復号化処理終了か否かを判定し(B9)、終了でない場合はステップ(B1)に移行し、終了の場合は、復号化処理を終了する。
【0036】
本発明は、前述の各実施の形態にのみ限定されるものではなく、種々付加変更することができるものであり、符号化処理は、MPEG−2以外の符号化処理とすることも可能である。
【0037】
(付記1)入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理方法に於いて、前記入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を基に前記入力動画像の特定シーンを判定し、該特定シーンと判定した時に、予め蓄積してある所定のビットストリームを選択出力する過程を含むことを特徴とする動画像処理方法。
(付記2)前記入力動画像の圧縮符号化過程に於ける統計情報の動きベクトルの水平成分平均,水平成分分散,垂直成分平均,垂直成分分散の少なくとも何れか一つを求めて、予め設定した判定値と比較し、該判定値を超えた時に前記特定シーンと判定する過程を含むことを特徴とする付記1記載の動画像処理方法。
【0038】
(付記3)入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理装置に於いて、前記入力画像を圧縮符号化する符号化部と、前記入力動画像の統計情報又は圧縮符号化過程に於ける統計情報を取得する統計情報取得部と、該統計情報取得部により取得した統計情報と判定値とを比較して特定シーンか否かを判定するシーン判定部と、所定のビットストリームを蓄積するビットストリームメモリと、前記シーン判定部により特定シーンと判定した時に、前記符号化部により圧縮符号化したビットストリームに対して前記ビットストリームメモリに蓄積した所定のビットストリームを切替えて送出するセレクタ部とを備えたことを特徴とする動画像処理装置。
【0039】
(付記4)前記統計情報取得部は、前記入力動画像のフレーム輝度平均を求める統計情報取得器又は前記符号化部に於ける動きベクトルの水平,垂直成分平均及び分散を求める統計情報取得器又は平均量子化スケール値,発生情報量を求める統計情報取得器の少なくとも何れか一つを含むことを特徴とする付記3記載の動画像処理装置。
(付記5)前記ビットストリームメモリは、静止画像又は動きのゆるやかな動画像を圧縮符号化処理したビットストリームに相当する所定のビットストリームを格納した構成を有することを特徴とする付記3記載の動画像処理装置。
【0040】
(付記6)圧縮符号化処理したビットストリームを復号化する動画像処理装置に於いて、所定のビットストリームを格納したビットストリームメモリと、前記圧縮符号化処理したビットストリームのヘッダー情報又は復号化処理過程に於ける統計情報を取得して特定シーンか否かを判定するシーン判定器と、該シーン判定器により特定シーンと判定した時に前記ビットストリームメモリから所定のビットストリームを読出して前記復号化処理部に入力するセレクタとを備えたことを特徴とする動画像処理装置。
(付記7)前記ビットストリームメモリは、前記シーン判定器の判定内容に対して選択して読出す複数種類のビットストリームを格納した構成を有することを特徴とする付記6記載の動画像処理装置。
【0041】
【発明の効果】
以上説明したように、本発明は、所定のビットストリームをビットストリームメモリ16,42に格納しておき、統計情報やヘッダー情報を基に望ましくない再生画面となる場合をシーン判定器により判定して、符号化側はビットストリームメモリから読出した所定のビットストリームの送出し、復号化側はビットストリームメモリから読出した所定のビットストリームを復号するもので、符号化側では、スノーノイズ等の望ましくない再生画面となる場合の発生情報量の増大があっても、それを送信しないので、圧縮符号化処理を安定に継続することが可能となり、再生画面も安定な画面となる利点がある。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明の実施の形態の説明図である。
【図3】本発明の実施の形態のフローチャートである。
【図4】本発明の実施の形態の復号化部の説明図である。
【図5】本発明の実施の形態の復号化処理のフローチャートである。
【符号の説明】
1 符号化部
2 統計情報取得部
3 シーン判定部
4 ビットストリームメモリ
5 セレクタ部
[0001]
BACKGROUND OF THE INVENTION
The present invention sends a bit stream obtained by compressing and encoding an input moving image to the receiving side by wire or wirelessly, or records it on a recording medium such as a magnetic disk or an optical disk, receives the bit stream, decodes it, or The present invention relates to a moving image processing method and a moving image processing apparatus for displaying a moving image by reproducing a bit stream from a recording medium.
[0002]
[Prior art]
Various methods are already known for compressing and encoding moving images. For example, MPEG-1, 2, 4 and the like as MPEG (Moving Picture Experts Group) systems have been internationally standardized. This MPEG system divides a screen into blocks composed of a plurality of pixels, and transmits or stores a bit stream encoded by performing compression processing in a spatial direction and a time direction in units of blocks. Is restored to the original moving image and displayed on the display.
[0003]
The above-described spatial compression in the compression encoding of a moving image is a process using correlation within a frame. In the case of the above-described MPEG system, orthogonal transformation by DCT (Discrete Cosine Transform), quantization, This includes processing with variable length coding. For example, the screen is encoded in units of macroblocks (MB) made up of 16 × 16 pixels. In the DCT process, two-dimensional DCT is performed on an 8 × 8 pixel block obtained by dividing MB into four.
[0004]
By this DCT processing, a DCT coefficient biased toward low frequency components is obtained, and 0 is increased for high frequency components. The DCT coefficients are quantized with a predetermined quantization scale, and the quantized coefficients are encoded using a run-length two-dimensional variable length code. In this case, since the quantization coefficient is also biased toward the low frequency component, variable length coding is performed by sequentially scanning from the low frequency component to the high frequency component side. The above-described compression processing in the spatial direction is called intra-frame coding.
[0005]
The compression in the time direction compresses generated information by applying inter-frame motion prediction. For example, the quantization coefficient obtained by the quantization process before the variable length coding process is inversely quantized, and the DCT process is performed. The difference between the locally decoded image decoded by performing the reverse DCT process and the input moving image is obtained. That is, an inter-frame difference is obtained, and the difference information is encoded by the above-described DCT processing, quantization processing, and variable length encoding processing to form a bit stream. Furthermore, a motion search process is performed to search from which position of the already-encoded image (local decoded image) each block has moved between frames, a position with a small inter-frame difference is obtained, a motion vector by the motion search process, The difference block from that position is encoded.
[0006]
In the decoding process, for intra-frame coding, the variable length decoding unit decodes the variable length code to restore the quantization coefficient, the inverse quantization unit restores the DCT coefficient, and the inverse DCT unit performs the inverse DCT. Processing is performed to restore the frame data. For interframe coding, variable length decoding, inverse quantization, and inverse DCT are used to restore the difference information of each block, and the frame data blocks that have already been decoded and stored in the frame memory. The moving image can be restored by adding the block at the position indicated by the motion vector.
[0007]
[Problems to be solved by the invention]
Since the conventional compression encoding process of moving images uses the fact that the correlation between the spatial direction and the temporal direction of the moving images is large, compression is not applied to moving images that do not have such properties. Efficiency decreases and the amount of generated information increases. In order not to decrease the compression efficiency, control such as increasing the quantization step is required, but this causes a problem that the reproduction image quality deteriorates and an undesirable display image quality is obtained. In addition, the amount of generated information increases due to a decrease in compression efficiency, and even if control of the quantization step to avoid it is performed, there may be a situation where it is not in time, in which case compression encoding processing is not performed. There is a problem that hangs up.
[0008]
For example, in the case of a moving image that picks up the rippled water surface irradiated with intense light, or in the case of random noise such as snow noise that results in a playback screen that snows, correlation within the frame and correlation between frames In other words, the correlation between the spatial direction and the time direction becomes small. Therefore, the compression efficiency is reduced, the amount of generated information is increased, and the overflow of the transmission buffer is generated. Therefore, it is necessary to control the amount of generated information to be reduced by increasing the quantization step. Also, a noise generation screen such as snow noise is an undesirable screen.
It is an object of the present invention to control so as to avoid a reduction in compression efficiency and to prevent an undesirable reproduction screen.
[0009]
[Means for Solving the Problems]
  Referring to FIG. 1, the moving image processing method of the present invention is a moving image processing method for transmitting or accumulating a bit stream obtained by compressing and encoding an input moving image.Obtained from at least one of statistical information on frame luminance in the compression encoding process, motion vector statistical information on motion vectors, and statistical information on the amount of generated coding information or quantized values.StatisticsAnd the judgment valueInput videoButSpecific sceneor notIs determined, and when it is determined as a specific scene,A unit in which the bit stream of this specific scene is formed as one stream, for example, a GOP (Group of Picture) unit,Pre-stored bit streamSwitch to the selector section 5 etc.It includes a process of outputting.
[0010]
In addition, at least one of the horizontal component average, horizontal component variance, vertical component average, and vertical component variance of the motion vector of the statistical information in the compression coding process of the input moving image is obtained and compared with a predetermined judgment value. In addition, a process of determining the specific scene when the determination value is exceeded may be included.
[0011]
The moving image processing apparatus according to the present invention is a moving image processing apparatus that transmits or stores a bit stream obtained by compressing and encoding an input moving image, the encoding unit 1 that compresses and encodes the input image, and the input moving image. The statistical information acquisition unit 2 that acquires the statistical information or the statistical information in the compression encoding process and the statistical information acquired by the statistical information acquisition unit 2 are compared with the determination value to determine whether the scene is a specific scene. A bit stream memory 4 for a bit stream memory 4 that stores a predetermined bit stream, a bit stream memory 4 that stores a predetermined bit stream, and a bit stream that is compression-encoded by the encoding unit 1 when the scene determination unit 3 determines that the scene is a specific scene. And a selector unit 5 for switching and sending a predetermined bit stream stored in the.
[0012]
The statistical information acquisition unit 2 is a statistical information acquisition unit that calculates an average frame luminance of an input moving image, or a statistical information acquisition unit that calculates horizontal and vertical component averages and variances of motion vectors in the encoding unit 1 or an average quantization scale. It can be configured to include at least one of statistical information acquisition units for obtaining values and generated information amounts. The bit stream memory 4 may be configured to store a predetermined bit stream corresponding to a bit stream or compression encoding a still image or a moving image with slow motion.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram for explaining the principle of the present invention. An encoding unit 1 performs compression encoding processing using correlation between a spatial direction and a temporal direction for an input moving image, and applies the above-described MPEG method. Can do. The statistical information acquisition unit 2 is a statistical information acquisition unit that calculates the frame luminance average of the input moving image, the statistical information acquisition unit that calculates the horizontal and vertical component average and variance of the motion vector in the encoding unit 1, or the average quantum It includes at least one of a statistical information acquisition unit for obtaining a scale value and generation information.
[0014]
The scene determination unit 3 compares the statistical information acquired by the statistical information acquisition unit 2 with the determination value to determine whether the scene is a specific scene, and controls the selector unit 5. The bit stream memory 4 stores a predetermined bit stream corresponding to, for example, a bit stream obtained by compressing and encoding a still image or a moving image with a slow motion. Then, the selector unit 5 switches between the bit stream from the encoding unit 1 and the bit stream from the bit stream memory 4 according to the determination of the scene determination unit 3 and sends it out.
[0015]
For example, since the compression efficiency is reduced for the above-described picked-up water surface image irradiated with intense light, the scene determination unit 3 determines a specific scene based on statistical information. A bit stream obtained by compressing and encoding the still image is repeatedly read out from the bit stream memory 4 and transmitted. Thereby, a decrease in compression efficiency in the compression encoding process is not a problem, and the playback display screen has stable display contents. It is also possible to store a plurality of types of bitstreams in the bitstream memory 4 and control to send one bitstream selected from the plurality of types according to the determination result of the scene determination unit 3.
[0016]
FIG. 2 is an explanatory diagram of an embodiment of the present invention, in which 11 is a frame memory, 12 is an input moving image statistical information acquisition unit, 13 is a motion vector statistical information acquisition unit, 14 is an encoded statistical information acquisition unit, and 15 is 16 is a bit stream memory, 17 is a selector, 18 is an original MB unit, 19 is a reference block unit, 20 is a motion vector searcher, 21 is a prediction determiner, 22 is a subtractor, 23 and 25 are selectors, 24 is an adder, 26 is a discrete cosine transformer (DCT), 27 is a quantizer (Q), 28 is an inverse quantizer (IQ), 29 is an inverse discrete cosine transformer (IDCT), and 30 is a variable length code. Figure 2 shows a generator (VLC).
[0017]
The statistical information acquisition unit 2 in FIG. 1 includes at least one of the input moving image statistical information acquisition unit 12, the motion vector statistical information acquisition unit 13, and the encoded statistical information acquisition unit 14 in FIG. Therefore, it is possible to provide all of them. 2 corresponds to the scene determination unit 3 in FIG. 1, the bit stream memory 16 in FIG. 2 corresponds to the bit stream memory 4 in FIG. 1, and the selector 17 in FIG. This corresponds to the selector unit 5 in FIG.
[0018]
1 includes the frame memory 11, the discrete cosine transformer 26, the quantizer 27, the inverse quantizer 28, the inverse discrete cosine transformer 29, the variable length encoder 30 and the like shown in FIG. It has the structure containing. The frame memory 11 stores an input moving image and stores a locally decoded image. An original image MB unit 18 inputs a macro block (MB) of the input moving image to the motion vector searcher 20 to perform local decoding. Reference blocks are sequentially extracted from the image by the reference block unit 19 and input to the motion vector searcher 20 to obtain a motion vector.
[0019]
The state in which the selector 23 selects the subtractor 22 side as shown in the figure and the selector 25 selects the adder 24 side as shown in the figure is the case of inter-frame coding, and the selectors 23 and 25 do the opposite. The state in which the side is selected indicates the case of intra-frame coding. Then, it is orthogonally transformed by the discrete cosine transformer 26, quantized by the quantizer 27, converted to a variable length code by the variable length encoder 30, and transmitted or accumulated via the selector 17. In addition, the quantized coefficient by the quantizer 27 is converted back to the DCT coefficient by the inverse quantizer 28, decoded by the inverse discrete cosine transformer 29, and temporarily stored in the frame memory 11 as a locally decoded image in the case of intra-frame coding. In addition, in the case of inter-frame coding, the adder 24 adds the block via the prediction determiner 21 to obtain a locally decoded image.
[0020]
In the input moving image statistical information acquisition unit 12, the frame luminance average is obtained. If the set of pixels in the frame is U, the average of frame luminance is AveY, the number of pixels is Num, and the luminance of the pixels is Pixel,
AveY = (ΣUPixel i) / Num i (1)
It can be expressed as.
Also, the frame luminance variance VarY is
VarY = (ΣU(| Pixel i-A |)) / Num i (2)
It can be expressed as. Note that the cumulative addition Σ in equations (1) and (2)UThe symbol of indicates that i⊂U is added.
[0021]
The motion vector statistical information acquisition unit 13 accumulates the motion vectors obtained for each MB and divides the accumulated value by the number of MBs of the picture to obtain an average of the motion vectors. The motion vector variance can be obtained by calculating the sum of squares of the difference between and the average of the motion vectors and dividing by the number of MBs. In this case, the MB set in the frame is V, and the horizontal component of the motion vector is VecH. i, the vertical component of the motion vector is VecV As i, the horizontal component average AveHV, horizontal component variance VerHV, vertical component average AveVV, and vertical component variance VerVV of the motion vector are:
AveHV = (ΣVVecH i) / Num i (3)
VerHV = (ΣV| VecH i-AH |) / Num i (4)
AveVV = (ΣVVecV i) / Num i (5)
VerVV = (ΣV| VecV i-AV |) / Num i (6)
It can be expressed as. In addition, Σ of cumulative addition in equations (3) to (6)VThe symbol of indicates that i⊂V is added.
[0022]
In the encoded statistical information acquisition unit 14, the amount of information generated in the encoding processing unit including the discrete cosine transformer 26, the quantizer 27, and the variable length encoder 30, the average of quantized values, etc. Can be obtained as encoded statistical information. For example, the MB set in the frame is V, and the amount of generated information of each MB is Bit. i, the amount of generated information of a picture is SumB, and the quantization scale value of each MB is Q i, If the average quantization value is AveQ,
SumB = ΣV(Bit i) (7)
AveQ = (ΣVQ i) / Num i (8)
It can be expressed as. Note that Σ of cumulative addition in equations (7) and (8)VThe symbol of indicates that i⊂V is added.
[0023]
In the scene determination unit 15, the above-described statistical information and the determination values α, β, χ, obtained by the input moving image statistical information acquisition unit 12, the motion vector statistical information acquisition unit 13, and the encoded statistical information acquisition unit 14 are obtained. A specific scene is determined by comparing δ and ε. That is,
VarY> α (9)
AveHV> β (10)
VarHV> χ (11)
AveVV> δ (12)
VarHV> ε (13)
Can be determined. When any one of the conditions (9) to (13) is satisfied, or when a plurality of conditions are satisfied, it is determined that the scene is a specific scene when the statistical information satisfies a condition larger than the determination value. The scene determiner 15 sets such determination logic.
[0024]
The switching of the bit stream in the selector 17 by the control signal from the scene determiner 15 can be considered as a unit that is established as one stream in consideration of the inter-frame difference. For example, in the case of MPEG-2, a GOP (Group of Picture) unit can be used. Even when a predetermined bit stream read from the bit stream memory 16 is selected and transmitted, the compression encoding process is continued, and the input moving image is compressed according to the determination result of the scene determination unit 15. Control is performed so that a bit stream by encoding can be switched and transmitted.
[0025]
FIG. 3 is a flowchart according to the embodiment of the present invention. Input video is read (A1), header generation (A2), motion search (A3), MB coding (A4) is performed, and whether or not the picture is End. (A5), if compression encoding in units of pictures is continuing, the process proceeds to step (A3), and if completed, essential information is acquired (A6), and it is determined whether the determination condition is satisfied. (A7).
[0026]
Also, the input moving image is read, the input moving image statistical information acquisition unit 12 acquires the statistical information such as the frame luminance average (A11), and the motion vector search unit 20 performs the motion search to acquire the motion vector statistical information. The statistical information such as the horizontal and vertical components of the motion vector is obtained by the device 13 (A12), and the amount of generated information and the average quantization value of the picture are obtained by the coded statistical information obtaining device 14 in the process of MB coding. And so on (A13).
[0027]
Such statistical information is acquired and compared with the determination value in the scene determination unit 15. If the above-described statistical information does not satisfy the condition larger than the determination value, a bit stream of the encoding result is output (A8). ), It is determined whether or not the encoding is finished (A9). If not finished, the process proceeds to step (A1), and if finished, the process is finished. In step (A7), when the scene determination unit 15 determines that the determination condition is satisfied, the selector 17 is controlled so as to output a predetermined bit stream stored in the bit stream memory 16.
[0028]
Therefore, when a bit stream is received, decoded and reproduced and displayed, a reproduction screen such as snow noise can be avoided and a stable display screen can be obtained. In addition, since the compression encoding process does not need to be transmitted when the amount of generated information is remarkably increased, it is not necessary to consider the overflow of the transmission buffer, etc., and stable compression encoding can be continued. It is possible to avoid an undesirable reproduction screen.
[0029]
Also, on the bitstream decoding side, it is determined whether or not the scene is a specific scene based on statistical information in the decoding process, and in the case of a specific scene, a predetermined bit that can constitute a stable playback screen The stream can be read from the bitstream memory and decoded. Thereby, it is possible to avoid an undesirable reproduction screen such as snow noise.
[0030]
FIG. 4 is an explanatory diagram of the decoding unit according to the embodiment of the present invention, which can be used in combination with the encoding unit shown in FIG. 2 or in combination with the conventional encoding unit. is there. In the figure, 41 is a decoder buffer, 42 is a bit stream memory, 43 is a selector, 44 is a decoding processor, 45 is a variable length decoder (IVLC), 46 is an inverse quantizer (IQ), 47. Is an inverse discrete cosine transformer (IDCT), 48 is a header information extraction unit, 49 is a header information acquisition unit, 50 is a decoding statistical information acquisition unit, 51 is a scene determination unit, 52 is a selector, 53 is an adder, and 54 is Indicates a frame memory.
[0031]
The selector 43 is controlled by the scene determiner 51 and normally selects the decoder buffer 41 side as shown. The bit stream memory 42 stores a single type or a plurality of selectable predetermined bit streams excluding header information. The bit stream that passes through the selector 43 is restored to the fixed-length code quantization coefficient by the variable-length decoder 45 of the decoding processing unit 44, restored to the original DCT coefficient by the inverse quantizer 46, and the inverse discrete cosine. When the converter 47 performs inverse DCT processing and decodes and decodes the inter-frame coding bit stream, the selector 52 is in the state shown in the figure, and the adder 53 performs block and block from the frame memory 54. When it is added and stored in the frame memory 54 and the intra-coded bit stream is being decoded, it is stored in the frame memory 54 without going through the adder 53. The reproduced image is displayed on the omitted display unit.
[0032]
The header information extraction unit 48 extracts the header added to the bit stream, identifies whether it is interframe coding or intraframe coding, and controls the selector 52. The decoding statistical information acquisition unit 50 acquires statistical information such as the horizontal and vertical components of the motion vector and the quantization value in the decoding processing unit 44, and the scene determination unit 51 determines the same as described above. If it is determined that the scene is a specific scene as compared with the value, the selector 43 is controlled to repeatedly read out the bit stream from the bit stream memory 42 and input it to the decoding processing unit 44. Thereby, a stable screen can be reproduced and displayed instead of an undesired screen such as snow noise.
[0033]
For streams such as digital broadcasting, a system stream is distributed as a single stream of programs of a plurality of channels, and a table to which information on each program is added is embedded in the stream. By reading this table, for example, violent programs and adult programs can be identified. The header information acquisition unit 49 acquires such header information, and for programs that the child does not want to show to the child, by setting the header information as a specific scene in the scene determination unit 51, an undesired screen is obtained. By controlling the selector 43 and selecting the bit stream memory 42 side, a predetermined bit stream can be decoded and reproduced and displayed.
[0034]
In this case, it can be a suitable image stream or a title image for prohibiting viewing of an adult program. That is, in the bit stream memory 42, an undesirable reproduction screen is displayed based on the statistical information acquired by the decoded statistical information acquisition unit 50, and an undesirable reproduction screen is generated by the header information acquired by the header information acquisition unit 49. It is possible to store so that different bitstreams can be selected in the case where it is determined that.
[0035]
FIG. 5 is a flowchart of the decoding process according to the embodiment of the present invention. The header of the bit stream is decoded (B1) and necessary information is acquired (B2). That is, information by statistical information acquisition by header decoding (B11) or information of the above-mentioned program type is acquired, and information by statistical information acquisition (B12) in the decoding process is acquired. Then, it is determined whether or not the determination condition is satisfied by the scene determination unit 51 (B3), and if it is determined as a specific scene such as an undesired reproduction screen such as snow noise or an undesired screen such as an adult program, a predetermined bit The stream is read from the bit stream memory 42 (B10), and when the determination condition is not satisfied, the received bit stream is read (B4), MB decoding (B5), and motion compensation (B6) are decoded. It is determined whether or not the picture is End (B7). If it is not finished, the process proceeds to Step (B5). If it is finished, the decoding result is output (B8), and it is determined whether or not the decoding process is finished ( B9) If not finished, the process proceeds to step (B1). If finished, the decoding process is finished.
[0036]
The present invention is not limited to the above-described embodiments, and various additions and modifications can be made. The encoding process can be an encoding process other than MPEG-2. .
[0037]
(Supplementary Note 1) In a moving image processing method for transmitting or storing a bit stream obtained by compressing and encoding an input moving image, the input is based on statistical information of the input moving image or statistical information in a compression encoding process. A moving image processing method comprising: determining a specific scene of a moving image, and selecting and outputting a predetermined bitstream stored in advance when the specific scene is determined.
(Supplementary Note 2) At least one of horizontal component average, horizontal component variance, vertical component average, and vertical component variance of the motion vector of the statistical information in the compression coding process of the input moving image is obtained and set in advance. 2. The moving image processing method according to claim 1, further comprising a step of comparing with a determination value and determining the specific scene when the determination value is exceeded.
[0038]
(Supplementary note 3) In a moving image processing apparatus for transmitting or storing a bit stream obtained by compressing and encoding an input moving image, an encoding unit for compressing and encoding the input image, and statistical information or compression of the input moving image A statistical information acquisition unit that acquires statistical information in the encoding process, a scene determination unit that compares the statistical information acquired by the statistical information acquisition unit with a determination value, and determines whether the scene is a specific scene; A bit stream memory for storing a bit stream and a predetermined bit stream stored in the bit stream memory for a bit stream compressed and encoded by the encoding unit when the scene determination unit determines that the scene is a specific scene. A moving image processing apparatus comprising a selector unit for sending out.
[0039]
(Supplementary Note 4) The statistical information acquisition unit is a statistical information acquisition unit that calculates a frame luminance average of the input moving image, or a statistical information acquisition unit that calculates horizontal and vertical component averages and variances of motion vectors in the encoding unit, or The moving image processing apparatus according to supplementary note 3, including at least one of statistical information acquisition units for obtaining an average quantization scale value and a generated information amount.
(Supplementary note 5) The moving picture according to supplementary note 3, wherein the bit stream memory has a configuration in which a predetermined bit stream corresponding to a bit stream obtained by compressing and encoding a still image or a moving image with moderate motion is stored. Image processing device.
[0040]
(Supplementary note 6) In a moving picture processing apparatus for decoding a compression-encoded bitstream, a bitstream memory storing a predetermined bitstream, and header information or decoding process of the compression-encoded bitstream A scene determination unit for acquiring statistical information in the process to determine whether or not the scene is a specific scene; and when the scene determination unit determines that the scene is a specific scene, a predetermined bit stream is read from the bit stream memory and the decoding process is performed A moving image processing apparatus, comprising: a selector that inputs to the unit.
(Supplementary note 7) The moving picture processing apparatus according to supplementary note 6, wherein the bit stream memory has a configuration in which a plurality of types of bit streams to be selected and read according to the determination content of the scene determination unit are stored.
[0041]
【The invention's effect】
As described above, according to the present invention, a predetermined bit stream is stored in the bit stream memories 16 and 42, and a scene determination device determines when an undesired reproduction screen is obtained based on statistical information and header information. The encoding side sends out a predetermined bit stream read from the bit stream memory, and the decoding side decodes the predetermined bit stream read out from the bit stream memory. Even if there is an increase in the amount of generated information in the case of a playback screen, since it is not transmitted, the compression encoding process can be continued stably, and there is an advantage that the playback screen also becomes a stable screen.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is an explanatory diagram of an embodiment of the present invention.
FIG. 3 is a flowchart of an embodiment of the present invention.
FIG. 4 is an explanatory diagram of a decoding unit according to the embodiment of this invention.
FIG. 5 is a flowchart of decoding processing according to the embodiment of this invention.
[Explanation of symbols]
1 Encoding unit
2 statistical information acquisition part
3 Scene judgment part
4-bit stream memory
5 Selector section

Claims (4)

入力動画像を圧縮符号化処理したビットストリームを生成して伝送又は蓄積する動画像処理方法に於いて、
前記入力動画像の圧縮符号化過程に於けるフレーム輝度についての統計情報動きベクトルについて統計情報符号化発生情報量又は量子化値についての統計情報少なくとも一つから求めた統計情報と判定値とを比較し前記入力動画像が圧縮効率の低くなる特定シーンか否かを判定する過程と、
圧縮効率の低くなる特定シーンと判定された前記圧縮符号化過程で生成されたビットストリームの内、前記圧縮効率の低くなる特定シーンを含む一つのビットストリームとして成立する単位で、予め蓄積されたビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームに切替えて出力する過程を含む
ことを特徴とする動画像処理方法。
In a moving image processing method for generating and transmitting or storing a bit stream obtained by compressing and encoding an input moving image,
In the compression encoding process of the input video, statistics about the frame luminance, and statistical information obtained from at least one of the statistical information about statistics, coding amount of information generated or quantization values of the motion vectors comparing the judgment value, a process in which the input moving image to determine whether low made specific scene of compression efficiency,
Bits accumulated in advance in a unit that is formed as one bit stream including the specific scene with low compression efficiency among the bit streams generated in the compression encoding process determined as the specific scene with low compression efficiency A moving image processing method comprising a step of switching to a predetermined compression-encoded bit stream that does not reduce the compression efficiency of the stream and outputting the same.
前記入力動画像の圧縮符号化過程に於ける動きベクトルについての前記統計情報は、前記動きベクトルの水平成分平均と、水平成分分散と、垂直成分平均と、垂直成分分散との少なくとも何れか一つ含み、前記統計情報と予め設定した判定値とを比較し、前記統計情報が前記判定値を超えた時に前記特定シーンと判定する過程を含むことを特徴とする請求項1記載の動画像処理方法。The statistical information about the motion vector in the compression coding process of the input moving image includes at least one of a horizontal component average, a horizontal component variance, a vertical component average, and a vertical component variance of the motion vector. hints, the comparison stats and preset determination value, the statistical information is the determination value moving picture processing according to claim 1, wherein said to contain a specific scene and determines the course when exceeded Method. 入力動画像を圧縮符号化処理したビットストリームを伝送又は蓄積する動画像処理装置に於いて、
前記入力画像を圧縮符号化する符号化部と、
該符号化部による圧縮符号化過程に於けるフレーム輝度についての統計情報、前記圧縮符号化過程に於ける動きベクトルについての統計情報と、前記圧縮符号化過程に於ける符号化発生情報量又は量子化値についての統計情報との少なくとも一つから統計情報を求める統計情報取得部と、
該統計情報取得部により取得した統計情報と判定値とを比較し、入力動画像の圧縮率が低下する特定シーンか否かを判定するシーン判定部と、
ビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームを蓄積するビットストリームメモリと、
前記シーン判定部により前記入力動画像の圧縮率が低下する特定シーンと判定された時、前記符号化部により圧縮符号化したビットストリームの内、前記圧縮効率の低くなる特定シーンを含む一つのストリームとして成立する単位で、前記ビットストリームメモリに蓄積されているビットストリームの圧縮効率を低下させない圧縮符号化済の所定のビットストリームに切替えて送出するセレクタ部と
を備えたことを特徴とする動画像処理装置。
In a moving image processing apparatus for transmitting or storing a bit stream obtained by compressing and encoding an input moving image,
An encoding unit for compressing and encoding the input moving image,
And statistical information about the in-frame luminance compression encoding process by the coding unit, wherein the statistical information in the motion vector to the compression encoding process, the compression encoding process in the encoding generated information amount or A statistical information acquisition unit for obtaining statistical information from at least one of the statistical information about the quantized value;
A scene determination unit that compares the statistical information acquired by the statistical information acquisition unit with a determination value, and determines whether or not the specific scene has a reduced compression rate of the input moving image ;
A bit stream memory for storing a predetermined compression-encoded bit stream that does not reduce the compression efficiency of the bit stream;
One stream including a specific scene having a low compression efficiency among the bitstreams compression-encoded by the encoding unit when the scene determination unit determines that the specific scene has a reduced compression rate of the input moving image And a selector unit that switches to a predetermined bit stream that has been compression-encoded and that does not reduce the compression efficiency of the bit stream stored in the bit stream memory. Processing equipment.
前記ビットストリームメモリは、予測効率の高い静止画像又は動きのゆるやかな動画像を圧縮符号化処理したビットストリームに相当する所定のビットストリームを格納した構成を有することを特徴とする請求項3項記載の動画像処理装置。4. The bit stream memory has a configuration in which a predetermined bit stream corresponding to a bit stream obtained by compressing and encoding a still image with high prediction efficiency or a moving image with slow motion is stored. Moving image processing apparatus.
JP2002045815A 2002-02-22 2002-02-22 Moving image processing method and moving image processing apparatus Expired - Fee Related JP4211023B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002045815A JP4211023B2 (en) 2002-02-22 2002-02-22 Moving image processing method and moving image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002045815A JP4211023B2 (en) 2002-02-22 2002-02-22 Moving image processing method and moving image processing apparatus

Publications (2)

Publication Number Publication Date
JP2003250159A JP2003250159A (en) 2003-09-05
JP4211023B2 true JP4211023B2 (en) 2009-01-21

Family

ID=28659473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002045815A Expired - Fee Related JP4211023B2 (en) 2002-02-22 2002-02-22 Moving image processing method and moving image processing apparatus

Country Status (1)

Country Link
JP (1) JP4211023B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5006633B2 (en) 2006-03-10 2012-08-22 キヤノン株式会社 Image encoding apparatus, image encoding method, program, and storage medium

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2661465B2 (en) * 1991-12-18 1997-10-08 日本ビクター株式会社 Video encoding device
JP3823333B2 (en) * 1995-02-21 2006-09-20 株式会社日立製作所 Moving image change point detection method, moving image change point detection apparatus, moving image change point detection system
JPH08251582A (en) * 1995-03-07 1996-09-27 Toshiba Corp Encoded data editing device
JPH1175157A (en) * 1997-08-29 1999-03-16 Sony Corp Recorder for video signal and audio signal
JP3649266B2 (en) * 1997-10-03 2005-05-18 ソニー株式会社 Data multiplexing apparatus and method, and recording medium
JPH11112981A (en) * 1997-10-06 1999-04-23 Sony Corp Device and method for transmission and device and method for communication
JPH11234583A (en) * 1998-02-13 1999-08-27 Sony Corp Luminance suppression system
JPH11275385A (en) * 1998-03-23 1999-10-08 Victor Co Of Japan Ltd Video signal processor and video signal processing method
JP3098736B2 (en) * 1998-04-15 2000-10-16 日本放送協会 Video reproduction control device and storage medium
JP3622527B2 (en) * 1998-08-24 2005-02-23 株式会社日立製作所 Video feature scene detection method and apparatus
JP3847006B2 (en) * 1998-08-26 2006-11-15 富士通株式会社 Image display control device and recording medium
JP2000078582A (en) * 1998-09-02 2000-03-14 Nippon Telegr & Teleph Corp <Ntt> Device and method for transmitting image encoded data and program storage medium thereof
JP3357846B2 (en) * 1998-09-24 2002-12-16 三洋電機株式会社 Television receiver
JP4218086B2 (en) * 1998-09-28 2009-02-04 ソニー株式会社 Image display device
US6684240B1 (en) * 1999-12-15 2004-01-27 Gateway, Inc. Method of setting parental lock levels based on example content
JP2001136463A (en) * 1999-11-10 2001-05-18 Toshiba Corp Video signal reproduction device
JP2001197388A (en) * 2000-01-17 2001-07-19 Funai Electric Co Ltd Video signal device
JP4517465B2 (en) * 2000-06-23 2010-08-04 ソニー株式会社 Image information converting apparatus and method, and encoding apparatus and method
JP4328000B2 (en) * 2000-08-02 2009-09-09 富士通株式会社 Moving picture coding apparatus and moving picture special effect scene detecting apparatus

Also Published As

Publication number Publication date
JP2003250159A (en) 2003-09-05

Similar Documents

Publication Publication Date Title
KR100323489B1 (en) Method and device for transcoding bitstream with video data
US7277587B2 (en) System and method for lossless video coding
US6343098B1 (en) Efficient rate control for multi-resolution video encoding
KR100599017B1 (en) Image data compression device and method
JP3920356B2 (en) Video coding
US7961788B2 (en) Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
JP4196726B2 (en) Image processing apparatus, image processing method, recording medium, and program
KR101096827B1 (en) Method and apparatus for encoding a picture sequence using predicted and non-predicted pictures which each include multiple macroblocks
JP2001218213A (en) Image signal conversion coder
JP2011512767A (en) Video streaming
JP4224778B2 (en) STREAM CONVERTING APPARATUS AND METHOD, ENCODING APPARATUS AND METHOD, RECORDING MEDIUM, AND PROGRAM
KR100364748B1 (en) Apparatus for transcoding video
JPH10191331A (en) Method and device for encoding image data
JP4211023B2 (en) Moving image processing method and moving image processing apparatus
JP4292659B2 (en) Image information conversion apparatus and image information conversion method
JPH11289515A (en) Picture signal processor and its method, picture signal recorder and its method and recording medium
JP3501521B2 (en) Digital video signal reproducing apparatus and reproducing method
JP2000004440A (en) Method and device for decoding moving image
JP4000581B2 (en) Image coding apparatus and method
JP3247349B2 (en) Moving image monitoring device and monitoring method
JP4765961B2 (en) Digital video recording device
JPH10150659A (en) Picture encoder
JP3147636B2 (en) Video data arranging method and its encoding device and decoding device
JPH08265776A (en) Video data synthesizing device and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080428

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees