JP3944564B2 - Video encoding device - Google Patents
Video encoding device Download PDFInfo
- Publication number
- JP3944564B2 JP3944564B2 JP33098896A JP33098896A JP3944564B2 JP 3944564 B2 JP3944564 B2 JP 3944564B2 JP 33098896 A JP33098896 A JP 33098896A JP 33098896 A JP33098896 A JP 33098896A JP 3944564 B2 JP3944564 B2 JP 3944564B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- motion
- information
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、動画像蓄積装置等に設けられ、入力された動画像を領域分割して符号化する動画像符号化装置に関するものである。
【0002】
【従来の技術】
従来、この種の動画像符号化装置及び動画像復号化装置に関する技術としては、例えば、次のような文献に記載されるものがあった。
文献;IEEE TRANSACTIONS ON IMAGE PROCESSING 、3[5](1994-7)(米)John Y.A.Wang and Edward H.Adelson“Representing Moving Imaging with Layers ”P.625-638
上記文献に示された動画像符号化装置では、入力された動画像に対して分割処理を施し、同一属性を有する領域に分割する。この分割された各領域を、アニメのセル画のような2次元の平面(レイヤという)としてそれぞれ表現し、これらを符号化するようになっている。この符号化された各領域の画像を復号する動画像復号化装置では、各レイヤを奥行きの順序にしたがって重ね合わせ、該各レイヤを動き情報に基づいて動かすことで、動画像を再構築(復号化)している。
このような動画像符号化装置及び動画像復号化装置では、各レイヤを形成するときに時間方向の統合手法を用い、各領域を、1枚のテクスチャを表すマップでそれぞれ表現することで、効率のよい符号化を行っている。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化装置では、次のような課題があった。
動画像符号化装置側で、各領域毎に対してテクスチャを統合するためのキーフレームを1つそれぞれ設定し、該キーフレームに対して各領域の時間方向の統合を行ってテクスチャマップ(レイヤ)を合成する。ところが、長時間の動画像やテクスチャの変化が大きい領域を含む動画像に対して、このようなテクスチャ合成をおこなうと、ずれや歪みにより、動画像復号化装置で再生する再生動画像に大きな画質劣化が発生するという課題があった。
【0004】
【課題を解決するための手段】
前記課題を解決するために、本発明のうちの請求項1に係る発明の動画像符号化装置では、領域分割手段、動き推定手段、フレーム分割手段、キーフレーム統合手段、統合画像符号化手段、動き情報符号化手段、及び符号化情報出力手段を備えている。
前記領域分割手段は、時系列のフレームからなる入力動画像を入力し、該入力動画像を同一属性を有する領域に分割すると共に該分割された各領域の領域画像を表す領域情報を出力するものである。前記動き推定手段は、前記領域情報に基づき前記各領域のフレーム間の動きを推定して該フレーム間の動き情報を生成するものである。前記フレーム分割手段は、前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和が一定の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求めるものである。前記キーフレーム統合手段は、前記各動画像系列に1つのキーフレームをそれぞれ設定する処理を前記領域毎に行い、且つ前記動き情報を用いて前記各フレームの領域画像を該キーフレームに位置合わせし、各テクスチャの時間方向の統合を行って該領域毎に複数の統合画像を生成するものである。
前記統合画像符号化手段は、前記動き推定手段で求められた領域毎の連続するフレーム間の動き情報を用い、該各領域における複数の統合画像をフレーム間差分によりそれぞれ符号化して統合画像符号化データを生成するものである。前記動き情報符号化手段は、前記領域毎の動き情報を符号化して動き符号化データを生成するものである。前記符号化情報出力手段は、前記領域毎の前記画像符号化データと前記動き符号化データとを符号化情報として出力するものである。
【0005】
請求項2に係る発明の動画像符号化装置では、請求項1のフレーム分割手段を他の構成のフレーム分割手段に置き換えている。この請求項2のフレーム分割手段は、前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和の許容値を設定し、該許容値の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求める構成になっている。
【0007】
請求項1、2に係る発明によれば、以上のように動画像符号化装置を構成したので、領域分割手段により、時系列のフレームからなる入力動画像が同一属性を有する領域に分割され、該領域分割手段から領域毎の領域情報が出力される。動き推定手段により、領域情報に基づいた各領域の動き情報が、生成される。フレーム分割手段により、各領域情報が時間方向にそれぞれ分割され、領域毎に複数の動画像系列が求められる。キーフレーム統合手段により、各動画像系列に1つのキーフレームがそれぞれ設定され、且つその各キーフレームに対して各動画像系列が統合され、領域毎に複数の統合画像が生成される。これら、フレーム分割手段及びキーフレーム統合手段により、入力画像に適したキーフレームの設定と統合が行われる。
【0008】
統合画像符号化手段により、領域毎の複数の統合画像がそれぞれ符号化されて統合画像符号化データが生成される。一方、動き情報符号化手段により、領域毎の動き情報が符号化されて動き符号化データが生成される。符号化情報出力手段により、領域毎の画像符号化データと動き符号化データとが符号化情報として出力される。従って、前記課題を解決できるのである。
【0009】
【発明の実施の形態】
図3は、本発明の参考例を示す動画像符号化装置の構成ブロック図である。
この動画像符号化装置は、例えばプログラム制御されるプロセッサ等で構成されており、動画像を入力する画像入力部11を有し、該画像入力部11の出力側に領域分割部12が接続されている。画像入力部11はカメラ等で構成され、時系列のフレームからなる入力動画像を領域分割部12へ与える。領域分割部12は、画像入力部11からの入力動画像を、同一属性を有する領域に分割する領域分割手段としての機能を有し、分割された各領域の領域画像を表す領域情報S1を出力する構成になっている。領域分割部12の出力側には、動き推定部13が接続されている。動き推定部13は、領域情報S1に基づいて各領域の動きを推定する動き推定手段としての機能を有し、動きを推定した結果である領域毎の動き情報S2と、領域情報S1とを出力するものである。動き推定部13の出力側には、フレーム分割判定部14、キーフレーム統合部15、及び統合画像符号化部16が直列に接続されると共に、これらとは並列に動き情報符号化部17が接続されている。動き推定部13の出力する領域情報S1がフレーム分割判定部14に与えられ、動き情報S2が、フレーム分割判定部14とキーフレーム統合部15と動き情報17とに与えられる構成になっている。そして、統合画像符号化部16と動き情報符号化部17の出力側が、符号化情報出力部18に接続されている。
【0010】
フレーム分割判定部14は、領域毎の領域情報S2を時間方向にそれぞれ分割し、複数の動画像系列を求めるフレーム分割手段としての機能を有している。フレーム分割判定部14の出力側に接続されたキーフレーム統合部15は、各動画像系列に対して1つのキーフレームをそれぞれ設定すると共に、各キーフレームに対して各動画像系列を統合して領域毎に複数の統合画像を生成するキーフレーム統合手段としての機能を有している。統合画像符号化部16は、各統合画像をそれぞれ符号化して画像符号化データS3を生成する統合画像符号化手段としての機能を有している。動き情報符号化部17は、動き情報S2を符号化して動き符号化データS4を生成する動き情報符号化手段としての機能を有している。符号化情報出力部18は、各領域の画像符号化データS3と動き符号化データ4とを符号化情報として出力する符号化情報出力手段としての機能を有している。
図4は、本発明の参考例を示す動画像復号化装置の構成ブロック図である。
この動画像復号化装置は、例えばプログラム制御されるプロセッサ等で構成されており、符号化情報入力部21を備えている。符号化情報入力部21は、図1の動画像符号化装置から出力された符号化情報を入力し、画像符号化データS3と動き符号化データS4とを分ける符号化情報入力手段としての機能を有している。符号化情報入力部21には、統合画像復号部22と動き情報復号部23とが接続され、その画像符号化データS3が該統合画像復号部22に与えられ、動き情報S4が動き情報復号部23に与えられるようになっている。統合画像復号部22の出力側には、キーフレーム生成部24が接続されている。キーフレーム生成部24及び動き情報復号部23の出力側に、中間フレーム生成部25が接続されている。中間フレーム生成部25の出力側には領域合成部26が接続され、この領域合成部26の出力側に画像出力部27が接続されている。
【0011】
統合画像復号部22は、符号化情報入力部21から与えられた画像符号化データS3を復号して領域毎の複数の統合画像をそれぞれ求める統合画像復号手段としての機能を有し、動き情報復号部23は、動き符号化データS4を復号して領域毎の動き情報S2をそれぞれ求める動き情報復号手段としての機能を有している。
キーフレーム生成部24は、統合画像復号部24で求められた複数の統合画像からキーフレームに対応する画像を生成するキーフレーム生成手段としての機能を有している。中間フレーム生成部は、領域毎の動き情報S2と統合画像復号部22で求められた領域毎の複数の統合画像とから、領域毎の中間フレームに対応する画像を生成する中間フレーム生成手段としての機能を有している。
領域合成部26は、領域毎に生成された複数のキーフレームに対応する画像及び中間フレームに対応する画像からなる各領域の動画像を合成し、再生動画像を生成する領域合成手段としての機能を有している。画像出力部27は、その再生動画像を出力するものである。
図5は、図3の動画像符号化装置で行う領域分割と統合画像の説明図であり、入力動画像と領域画像画像と統合画像とが示されている。この図5を参照しつつ、図3の動作を説明する。
【0012】
画像入力部11は、時系列のフレーム31i (i=1,2,3,…)からなる入力動画像を領域分割部12へ与え、領域分割部12は画像の輝度情報等を用いた公知の領域分割法により、入力動画像の領域分割を行う。図5のように、静止した柱32の後側を車33が右から左へ移動している入力動画像が、領域分割部12に与えられた場合、領域分割により、柱32、車33及び背景が分割領域となり、独立した領域画像としてフレーム31i 毎に抽出される。分割領域である車33の領域画像は、図3中の画像34i のようになる。領域分割部12は、各領域の領域画像を表す領域情報S1を出力し、動き推定部13へ与える。
各領域の領域情報S1が与えられた動き推定部13と、該動き推定部13の出力側のフレーム分割判定部14、キーフレーム統合部15、統合画像符号化部16、動き情報符号化部17、及び符号化情報出力部18とは、分割された各領域毎に処理を行う。
動き推定部13は領域情報S1に基づき、分割された領域の動きを推定してフレーム間の動き情報S2を求める。フレーム分割判定部14は、動き推定部12を介して得られた領域情報S1を時間方向に短く分割し、領域の動画像(領域画像列)を複数の動画像系列に分割する。フレーム分割判定部14で、領域情報S1を複数の動画像系列に分割する場合、領域画像のテクスチャ変化及び動き推定誤差が大きい動画像のときには短い動画像系列に、テクスチャ変化及び動き推定誤差の小さいフレーム系列ときは比較的長い動画像系列に分割することにより、入力動画像を効率よく表現することができる。このように、領域の特徴に応じて該領域を分割するための判定基準としては、動画像の動き情報S2とテクスチャ情報から算出されるフレーム間差分を利用することが可能である。
【0013】
図6は、図3中のフレーム分割判定部14が行うフレーム分割手法の説明図であり、テクスチャ変化(フレーム間差分)と分割された動画像系列が示されている。
フレーム分割判定部14は、動き情報S2を用いて計算した領域画像のフレーム間差分の和の許容値を設定し、この許容値の範囲内となるようにフレームの領域画像を、1つの動画像系列として分割する。このようにすると、例えば図6に示された部分41と部分42とは、フレーム間差分の和が、ほぼ等しくなる。よって、領域画像のテクスチャ変化や動き推定誤差の小さい部分41に対して、部分42のように、領域画像のテクスチャ変化や動き推定誤差の大きいフレームが連なったところでは、各フレーム間差分が大きくなるので、比較的短い動画像系列に分割される。さらに、このフレーム間差分の和の許容量を変化させることにより、動画像系列の分割数が変化するので、動画像の画質制御が可能になる。
キーフレーム統合部15は、まず、フレーム分割判定部14で分割された各動画像系列毎に対して、統合の基準になる1つのキーフレームをそれぞれ設定する。キーフレームとしては、分割された各動画像系列の真中のフレームや、両側のフレーム間差分の和を均等にするフレームが選ばれて設定される。そして、キーフレーム統合部15は、動き情報S2を用いて各フレームの領域画像をキーフレームに位置合せし、時間方向の平均値、代表値、重み付け平均値等を用いて各テクスチャの時間方向の統合を行う。統合の結果、処理対象の分割領域に対して、図5の画像35のような統合画像が、複数生成される。
【0014】
統合画像符号化部16は、各統合画像に対して冗長を除去する符号化を行い、画像符号化データS3を符号化情報出力部18に与える。この空間的な冗長を除去する手法としては、従来から一般的に用いられている直交変換等の画像符号化手法が適用できる。動き情報符号化部17では、一般的な統計的冗長除去手法の例えばハフマン符号化法等を用いることにより、動き情報S2の冗長を除去する符号化を行い、動き符号化データS4を符号化情報出力部18へ与える。
最後に、符号化情報出力部18は、符号化された各領域の統合画像(画像符号化データ)と、符号化された動き情報(動き符号化データ)を符号化情報としてる出力する。
次に、図4の動画像復号化の動作を説明する。
符号化情報入力部21には、図3の動画像符号化装置が出力した符号化情報が入力される。符号化情報入力部21は、符号化情報を画像符号化データS3と動き符号化データS4とに分け、この画像符号化データS3を統合画像復号部22へ与えると共に、動き符号化データS4を動き情報復号部23に与える。統合画像復号部22と、動き情報復号部23と、これらに接続されたキーフレーム生成部24及び中間フレーム生成部15とは、各分割領域毎に処理を行う。
統合画像復号部22は、画像符号化データS3に対して統合画像符号化部16とは逆の復号を行い、各領域毎に設定された複数のキーフレームにおける統合画像を生成する。動き情報復号部23は、動き符号化データS4に対して動き情報符号化部17とは逆の復号を行い、動き情報S2を生成する。
【0015】
キーフレーム生成部24は、領域ごとの複数のキーフレームの統合画像から、各キーフレームに対応するキーフレーム画像を生成する。中間フレーム生成部25は、キーフレーム以外の中間フレームの画像を、各キーフレームの統合画像と動き情報S2とから生成する。この中間フレームの画像を生成する際、動画像符号化装置で分割された動画像系列毎に独立して中間フレームを生成すると、その分割の境界付近で不連続な画像になり、なめらかな再生動画像が得られない。そのため、中間フレーム生成部25は、各中間フレームに対応するキーフレームの統合画像ばかりでなく、隣接するキーフレームの統合画像を用いる。これにより、なめらかに変化する動画像を再構成することができる。
図7(a)〜(c)は、図4中の中間フレーム生成部25が行う中間フレームの生成手法の説明図であり、同図(a)は従来の手法、同図(b)は独立した統合画像を用いる手法、同図(c)は隣接するキーフレームの統合画像を用いる手法をそれぞれ示している。
【0016】
従来の手法では符号化時に時間方向の分割を行わないので、図5(a)のように1つキーフレームの統合画像から各フレームの画像が再構成され、前述のような画質劣化が発生する。また、分割領域をさらに時間方向に分割し、それらに対して、図5(b)のように2つのキーフレーム1とキーフレーム2とを設定した場合でも、キーフレーム1の統合画像とキーフレーム2の統合画像とを独立に用いて各中間フレームを再構成すると、元の入力動画像のテクスチャ変化が大きいときには、動画像系列の境界に顕著なテクスチャ変化と動きの不連続性が表れる。これに対して、参考例の中間フレーム生成部25は、図5(c)のように、隣接するキーフレーム1及び2の統合画像を混合して用い、各中間フレームを再構成する。混合の際には、キーフレームとの距離等を用いて重みづけするようにすると、境界における動きをなめらかにできると共に、テクスチャ変化もなめらかに表現できる。
領域合成部26は、各領域毎に生成されたキーフレーム画像及び中間フレームの画像を、奥行きの順序に従って重ね合わせ、再生動画像を合成する。この再生動画像が、画像出力部27から出力される。
【0017】
以上のように、この参考例では、動画像符号化装置にフレーム分割判定部14とキーフレーム統合部15を設け、領域毎に動画像を時間方向に分割して複数の動画像系列を求め、該各動画像系列毎に統合画像を生成している。そのため、例えば長時間の動画像であっても、適切な符号化が可能になっている。そのうえ、時間方向の分割は、動き情報S2を用いて領域のテクスチャ変化や動き推定誤差を考慮して行うので、入力動画像にテクスチャ変化の大きい領域が含まれていても、それに対応した時間方向の分割ができ、ずれや歪みによる画質劣化を抑えることができる。さらに、時間方向に分割される動画像系列のフレーム数を可変にすることにより、効率よく動画像の符号化できるようになっている。一方、動画像復号化装置の中間フレーム生成部25で、隣接するキーフレームの統合画像をも用いて中間フレームの画像を再構成するようにしたので、再生動画像をなめらかにすることができる。
【0018】
図1は、本発明の実施形態を示す動画像符号化装置の構成ブロック図であり、図2は、本発明の実施形態を示す動画像復号化装置の構成ブロックである。
この実施形態の動画像符号化装置は、図3の動画像符号化装置の統合画像符号化部16を、動き情報S2も利用して符号化を行う統合画像符号化部50に置換えたものであり、他の構成は図3と同様である。一方、この実施形態の動画像復号化装置は、図4の動画像符号化装置の統合画像復号部22を、動き情報S2も利用して復号を行う統合画像復号部51に置換えたものであり、他の構成は図4と同様である。統合画像符号化部50には、動き推定部13で求められた領域毎の動き情報S2が与えられ、統合画像復号部51には、動き情報復号部23で求められた動き情報S2が与えられる接続になっている。
【0019】
動き情報S2は、領域のフレーム間の画素の対応を示す情報であり、動画像符号化装置におけるキーフレーム間の対応づけにも利用することが可能である。よって、動き推定部13で求められた領域毎の動き情報S2をもとに、キーフレーム間の画素の対応づけを行うことにより、時間方向の冗長を除去できる。統合画像符号化部50は、すでに符号化が終了した隣接キーフレームの統合画像と動き情報S2とに基づき、一般的に知られた符号化手法の、キーフレーム間差分を用いた直交変換符号化手法等を適用し、処理対象のキーフレームの統合画像を効率的に符号化する。この符号化された統合画像が符号化情報出力部18に与えられる。他の動作は、参考例と同様である。
一方、動画像復号化装置では、動き情報復号部23で復号された動き情報S2と、すでに復号が終了した隣接キーフレームの統合画像とに基づき、統合画像復号部51は処理対象のキーフレームにおける統合画像の復号を行う。他の動作は参考例と同様である。
以上のように、この実施形態では、統合画像の符号化と復号を行う際に、動き情報S2を用い、時間方向の冗長を除去する構成にしたので、符号化の効率を改善できる。
なお、本発明は、上記参考例や実施形態に限定されず種々の変形が可能である。
例えば、図1、図2、図6、図7の各ブロックは、個別回路で構成することが可能である。また、各領域に対する一連の処理は、パラレルに行っても、一連の処理を各領域単位で繰り返して行うようにしてもよい。
【0020】
【発明の効果】
以上詳細に説明したように、請求項1に係る発明によれば、動画像符号化装置にフレーム分割手段とキーフレーム統合部手段とを設け、領域毎に動画像を時間方向に分割して複数の動画像系列を求め、該各動画像系列毎に1のキーフレームを設定すると共に該各キーフレームの統合画像を生成して符号化する構成にしているので、例えば、入力動画像が長時間の動画像やテクスチャ変化の大きい動画像であっても、ずれや歪みによる画質劣化を抑えることができる。さらに、統合画像符号化手段を設け、動き情報を用いて各領域における複数の統合画像を符号化する構成にしているので、符号化効率を向上できる。その上、フレーム分割手段を設け、領域毎の動き情報に応じて各領域情報を時間方向にそれぞれ分割する構成にしているので、領域のテクスチャ変化に応じた時間方向の分割が可能になり、該テクスチャ変化に起因した画質劣化を抑えることができる。
【0021】
請求項2に係る発明によれば、請求項1に係る発明とほぼ同様の効果があり、その上、フレーム分割手段に、各領域情報の分割数を変更する機能を持たせたので、画質制御が可能になる。
【図面の簡単な説明】
【図1】 本発明の実施形態を示す動画像符号化装置の構成ブロック図である。
【図2】 本発明の実施形態を示す動画像復号化装置の構成ブロック図である。
【図3】 本発明の参考例を示す動画像符号化装置の構成ブロック図である。
【図4】 本発明の参考例を示す動画像復号化装置の構成ブロック図である。
【図5】 図3の動画像符号化装置で行う領域分割と統合画像の説明図である。
【図6】 図3中のフレーム分割判定部14が行うフレーム分割手法の説明図である。
【図7】 図4中の中間フレーム生成部25が行う中間フレームの生成手法の説明図である。
【符号の説明】
11 画像入力部
12 領域分割部
13 動き推定部
14 フレーム分割判定部
15 キーフレーム統合部
16,50 統合画像符号化部
17 動き情報符号化部
18 符号化情報出力部
21 符号化情報入力部
22,51 統合画像復号部
23 動き情報復号部
24 キーフレーム生成部
25 中間フレーム生成部
26 領域合成部
27 画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention is provided in the moving picture storage device, the moving image input is relates to moving picture coding apparatus for coding by region division.
[0002]
[Prior art]
Conventionally, techniques relating to this type of video encoding device and video decoding device have been described in the following documents, for example.
Literature: IEEE TRANSACTIONS ON IMAGE PROCESSING, 3 [5] (1994-7) (USA) John YAWang and Edward H. Adelson “Representing Moving Imaging with Layers” P.625-638
In the moving image encoding apparatus disclosed in the above document, the input moving image is divided and divided into regions having the same attribute. Each of the divided areas is expressed as a two-dimensional plane (called a layer) like an animation cell image, and these are encoded. In the moving image decoding apparatus that decodes the encoded image of each region, the layers are overlapped according to the depth order, and the moving images are reconstructed (decoded) by moving the layers based on the motion information. ).
In such a moving image encoding device and moving image decoding device, the time direction integration method is used when forming each layer, and each region is represented by a map representing one texture, thereby improving efficiency. Good coding is performed.
[0003]
[Problems to be solved by the invention]
However, the conventional video encoding apparatus has the following problems.
On the moving image encoding device side, one key frame for integrating textures is set for each region, and the time direction of each region is integrated with respect to the key frame, and a texture map (layer) is set. Is synthesized. However, if such texture synthesis is performed on a moving image including a long-time moving image or a region having a large texture change, the image quality of the reproduced moving image to be reproduced by the moving image decoding device is large due to deviation or distortion. There was a problem that deterioration occurred.
[0004]
[Means for Solving the Problems]
In order to solve the above-described problem, in the moving image encoding apparatus according to the first aspect of the present invention, an area dividing unit, a motion estimating unit, a frame dividing unit, a key frame integrating unit, an integrated image encoding unit, Motion information encoding means and encoded information output means are provided.
The area dividing means inputs an input moving image composed of time-series frames, divides the input moving image into areas having the same attribute, and outputs area information representing the area image of each divided area. It is. The motion estimation means generates motion information between frames by estimating motion between frames in each region based on the region information. The frame dividing means divides consecutive frames in the time direction so that the sum of inter-frame differences obtained using motion information between frames for each region is within a certain range, and a plurality of frames are divided for each region. Are obtained. The key frame integration means performs processing for setting one key frame for each moving image series for each region, and aligns the region image of each frame to the key frame using the motion information. Then, integration of each texture in the time direction is performed to generate a plurality of integrated images for each region.
The integrated image encoding means uses the motion information between successive frames for each area obtained by the motion estimation means, and encodes a plurality of integrated images in each area by inter-frame differences, respectively. Data is generated. The motion information encoding means encodes motion information for each region to generate motion encoded data. The encoded information output means outputs the image encoded data and the motion encoded data for each region as encoded information.
[0005]
In the moving picture encoding apparatus according to the second aspect of the present invention, the frame dividing means of the first aspect is replaced with a frame dividing means of another configuration. The frame dividing means according to
[0007]
According to the first and second aspects of the invention , since the moving image encoding apparatus is configured as described above, the input moving image composed of time-series frames is divided into regions having the same attribute by the region dividing means, Area information for each area is output from the area dividing means. The motion estimation means generates motion information of each region based on the region information. Each area information is divided in the time direction by the frame dividing means, and a plurality of moving image sequences are obtained for each area. By the key frame integration means, one key frame is set for each moving image sequence, and each moving image sequence is integrated for each key frame, and a plurality of integrated images are generated for each region. These frame division means and key frame integration means set and integrate key frames suitable for the input image.
[0008]
The integrated image encoding means encodes a plurality of integrated images for each region to generate integrated image encoded data. On the other hand, motion information encoding means generates motion encoded data by encoding motion information for each region. The encoded information output means outputs image encoded data and motion encoded data for each region as encoded information . Therefore, the problem can be solved.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 3 is a block diagram showing the configuration of a moving picture coding apparatus according to a reference example of the present invention.
This moving image encoding apparatus is configured by, for example, a program-controlled processor and the like, and has an
[0010]
The frame
FIG. 4 is a block diagram showing the configuration of a moving picture decoding apparatus according to a reference example of the present invention.
This moving picture decoding apparatus is configured by, for example, a program-controlled processor and the like, and includes an encoded
[0011]
The integrated
The key
The
FIG. 5 is an explanatory diagram of region segmentation and an integrated image performed by the moving image encoding apparatus of FIG. 3 , and shows an input moving image, a region image, and an integrated image. With reference to FIG. 5, the operation of FIG.
[0012]
The
The
Based on the region information S1, the
[0013]
FIG. 6 is an explanatory diagram of a frame division method performed by the frame
The frame
The key
[0014]
The integrated
Finally, the encoded
Next, the video decoding operation of FIG. 4 will be described.
The coding
The integrated
[0015]
The key
FIGS. 7A to 7C are explanatory diagrams of an intermediate frame generation method performed by the intermediate
[0016]
Since the conventional method does not perform division in the time direction at the time of encoding, the image of each frame is reconstructed from the integrated image of one key frame as shown in FIG. 5A, and the image quality deterioration as described above occurs. . Further, even when the divided areas are further divided in the time direction and two
The
[0017]
As described above, in this reference example , the moving image encoding apparatus includes the frame
[0018]
FIG. 1 is a block diagram showing the configuration of a video encoding apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the configuration of a video decoding apparatus according to an embodiment of the present invention .
The moving image encoding apparatus of this embodiment is obtained by replacing the integrated
[0019]
The motion information S2 is information indicating the correspondence of pixels between frames in the area, and can also be used for correspondence between key frames in the moving image coding apparatus. Therefore, the redundancy in the time direction can be removed by associating the pixels between the key frames based on the motion information S2 for each area obtained by the
On the other hand, in the moving image decoding apparatus, based on the motion information S2 decoded by the motion
As described above, in this embodiment , when the integrated image is encoded and decoded, the motion information S2 is used and the redundancy in the time direction is removed, so that the encoding efficiency can be improved.
The present invention is not limited to the reference examples and embodiments described above, and various modifications can be made.
For example, each block in FIG. 1, FIG. 2, FIG. 6, and FIG. Further, a series of processes for each area may be performed in parallel, or a series of processes may be repeated for each area.
[0020]
【The invention's effect】
As described above in detail, according to the first aspect of the present invention , the moving image encoding apparatus includes the frame dividing unit and the key frame integrating unit, and the moving image is divided into a plurality of regions by dividing the moving image in the time direction. For example, the input moving image is long-time , since one key frame is set for each moving image sequence, and an integrated image of each key frame is generated and encoded. Even in the case of a moving image or a moving image having a large texture change, it is possible to suppress image quality deterioration due to deviation or distortion. Furthermore, since the integrated image encoding means is provided and a plurality of integrated images in each region are encoded using motion information , the encoding efficiency can be improved. In addition, since the frame dividing means is provided and each area information is divided in the time direction according to the motion information for each area, the time direction can be divided according to the texture change of the area. Image quality degradation due to texture changes can be suppressed.
[0021]
According to the second aspect of the invention, there is almost the same effect as the first aspect of the invention. In addition, since the frame dividing means has a function of changing the division number of each area information, the image quality control is performed. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a moving image encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of a moving picture decoding apparatus according to an embodiment of the present invention.
FIG. 3 is a block diagram showing the configuration of a moving picture coding apparatus according to a reference example of the present invention.
FIG. 4 is a configuration block diagram of a moving picture decoding apparatus showing a reference example of the present invention.
FIG. 5 is an explanatory diagram of region division and an integrated image performed by the moving image encoding device of FIG . 3;
6 is an explanatory diagram of a frame division method performed by the frame
7 is an explanatory diagram of an intermediate frame generation method performed by the intermediate
[Explanation of symbols]
DESCRIPTION OF
Claims (2)
前記領域情報に基づき前記各領域のフレーム間の動きを推定して該フレーム間の動き情報を生成する動き推定手段と、
前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和が一定の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求めるフレーム分割手段と、
前記各動画像系列に1つのキーフレームをそれぞれ設定する処理を前記領域毎に行い、且つ前記動き情報を用いて前記各フレームの領域画像を該キーフレームに位置合せし、各テクスチャの時間方向の統合を行って該領域毎に複数の統合画像を生成するキーフレーム統合手段と、
前記動き推定手段で求められた領域毎の連続するフレーム間の動き情報を用い、該各領域における複数の統合画像をフレーム間差分によりそれぞれ符号化して統合画像符号化データを生成する統合画像符号化手段と、
前記領域毎の動き情報を符号化して動き符号化データを生成する動き情報符号化手段と、
前記領域毎の前記画像符号化データと前記動き符号化データとを符号化情報として出力する符号化情報出力手段と、
を備えたことを特徴とする動画像符号化装置。An area dividing means for inputting an input moving image composed of time-series frames, dividing the input moving image into areas having the same attribute, and outputting area information representing the area image of each divided area;
Motion estimation means for estimating motion between frames of each region based on the region information and generating motion information between the frames;
The continuous frames are divided in the time direction so that the sum of the inter-frame differences obtained using the motion information between frames in each region is within a certain range, and a plurality of moving image sequences are obtained for each region. Frame dividing means;
A process of setting one key frame for each moving image series is performed for each region, and the region image of each frame is aligned with the key frame using the motion information, and the time direction of each texture is set. Key frame integration means for performing integration to generate a plurality of integrated images for each region;
Integrated image coding for generating integrated image encoded data by using motion information between successive frames for each region obtained by the motion estimation means and encoding a plurality of integrated images in each region with inter-frame differences. Means,
Motion information encoding means for encoding motion information for each region to generate motion encoded data;
Encoding information output means for outputting the image encoded data and the motion encoded data for each region as encoded information;
A moving picture encoding apparatus comprising:
前記領域情報に基づき前記各領域のフレーム間の動きを推定して該フレーム間の動き情報を生成する動き推定手段と、
前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和の許容値を設定し、該許容値の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求めるフレーム分割手段と、
前記各動画像系列に1つのキーフレームをそれぞれ設定する処理を前記領域毎に行い、且つ前記動き情報を用いて前記各フレームの領域画像を該キーフレームに位置合せし、各テクスチャの時間方向の統合を行って該領域毎に複数の統合画像を生成するキーフレーム統合手段と、
前記動き推定手段で求められた領域毎の連続するフレーム間の動き情報を用い、該各領域における複数の統合画像をフレーム間差分によりそれぞれ符号化して統合画像符号化データを生成する統合画像符号化手段と、
前記領域毎の動き情報を符号化して動き符号化データを生成する動き情報符号化手段と、
前記領域毎の前記画像符号化データと前記動き符号化データとを符号化情報として出力する符号化情報出力手段と、
を備えたことを特徴とする動画像符号化装置。An area dividing means for inputting an input moving image composed of time-series frames, dividing the input moving image into areas having the same attribute, and outputting area information representing the area image of each divided area;
Motion estimation means for estimating motion between frames of each region based on the region information and generating motion information between the frames;
An allowable value of the sum of inter-frame differences obtained by using motion information between frames for each region is set, and continuous frames are respectively divided in the time direction so as to be within the range of the allowable value. A frame dividing means for obtaining a plurality of moving image sequences;
A process of setting one key frame for each moving image series is performed for each region, and the region image of each frame is aligned with the key frame using the motion information, and the time direction of each texture is set. Key frame integration means for performing integration to generate a plurality of integrated images for each region;
Integrated image coding for generating integrated image encoded data by using motion information between successive frames for each region obtained by the motion estimation means and encoding a plurality of integrated images in each region with inter-frame differences. Means,
Motion information encoding means for encoding motion information for each region to generate motion encoded data;
Encoding information output means for outputting the image encoded data and the motion encoded data for each region as encoded information;
A moving picture encoding apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33098896A JP3944564B2 (en) | 1996-12-11 | 1996-12-11 | Video encoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33098896A JP3944564B2 (en) | 1996-12-11 | 1996-12-11 | Video encoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10174104A JPH10174104A (en) | 1998-06-26 |
JP3944564B2 true JP3944564B2 (en) | 2007-07-11 |
Family
ID=18238589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33098896A Expired - Fee Related JP3944564B2 (en) | 1996-12-11 | 1996-12-11 | Video encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3944564B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754512A (en) * | 2020-07-17 | 2020-10-09 | 成都盛锴科技有限公司 | Pantograph state information acquisition method and system |
KR102546176B1 (en) * | 2022-10-14 | 2023-06-21 | 주식회사 비브스튜디오스 | Post-processing method for video stability |
-
1996
- 1996-12-11 JP JP33098896A patent/JP3944564B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10174104A (en) | 1998-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6560364B2 (en) | Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus | |
USRE37668E1 (en) | Image encoding/decoding device | |
JP2001515679A (en) | Method and apparatus for creating high resolution still images | |
EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
US5436666A (en) | Limited-domain motion estimation/compensation for video encoding/decoding | |
TWI278241B (en) | Image encoding method and device, and image decoding method and device | |
JP2000050305A (en) | Method and device for filtering color difference signal of image | |
JP3120664B2 (en) | Image encoding device, image decoding device | |
JP3944564B2 (en) | Video encoding device | |
JP2002314998A (en) | Method for reducing format concurrently and method for decoding encoded video signal | |
JP4835855B2 (en) | Apparatus, method and program for moving picture encoding, and apparatus method and program for moving picture decoding | |
JP3859989B2 (en) | Image matching method and image processing method and apparatus capable of using the method | |
Chubach et al. | Analysis/synthesis coding of dynamic textures based on motion distribution statistics | |
JP2002523987A (en) | Digital image encoding method and encoding apparatus, and digital image decoding method and decoding apparatus | |
JP4133581B2 (en) | Telop synthesis device, telop synthesis method, and telop synthesis program | |
JP2007074306A (en) | Apparatus for generating supplementary pixel, decoding system, decoding method, image coding communication system, decoding program and computer-readable recording medium | |
JP3235266B2 (en) | Image enlargement device and image encoding / decoding device | |
JP3148751B2 (en) | Video encoding device and video decoding device | |
JPH08307877A (en) | Coding and decoding method structuring moving image | |
JPH04192695A (en) | Moving image decoding device | |
JP2005236723A (en) | Device and method for encoding moving image, and device and method for decoding the moving image | |
KR100317228B1 (en) | Visual Special Effects Processing Method for Compressed Images | |
JP2000324501A (en) | Image encoding device, image decoded, and moving vector detecting device | |
Yang et al. | FICNet: An End to End Network for Free-view Image Coding | |
JP3101262B2 (en) | Image encoding device and image decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070315 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |