JP3944564B2

JP3944564B2 - Video encoding device

Info

Publication number: JP3944564B2
Application number: JP33098896A
Authority: JP
Inventors: 剛弘上田; 博原島; 正秀金子
Original assignee: Oki Electric Industry Co Ltd; National Institute of Information and Communications Technology
Current assignee: Oki Electric Industry Co Ltd; National Institute of Information and Communications Technology
Priority date: 1996-12-11
Filing date: 1996-12-11
Publication date: 2007-07-11
Anticipated expiration: 2016-12-11
Also published as: JPH10174104A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像蓄積装置等に設けられ、入力された動画像を領域分割して符号化する動画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来、この種の動画像符号化装置及び動画像復号化装置に関する技術としては、例えば、次のような文献に記載されるものがあった。
文献；IEEE TRANSACTIONS ON IMAGE PROCESSING 、３［５］（１９９４-７）（米）John Y.A.Wang and Edward H.Adelson“Representing Moving Imaging with Layers ”P.625-638
上記文献に示された動画像符号化装置では、入力された動画像に対して分割処理を施し、同一属性を有する領域に分割する。この分割された各領域を、アニメのセル画のような２次元の平面（レイヤという）としてそれぞれ表現し、これらを符号化するようになっている。この符号化された各領域の画像を復号する動画像復号化装置では、各レイヤを奥行きの順序にしたがって重ね合わせ、該各レイヤを動き情報に基づいて動かすことで、動画像を再構築（復号化）している。
このような動画像符号化装置及び動画像復号化装置では、各レイヤを形成するときに時間方向の統合手法を用い、各領域を、１枚のテクスチャを表すマップでそれぞれ表現することで、効率のよい符号化を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の動画像符号化装置では、次のような課題があった。
動画像符号化装置側で、各領域毎に対してテクスチャを統合するためのキーフレームを１つそれぞれ設定し、該キーフレームに対して各領域の時間方向の統合を行ってテクスチャマップ（レイヤ）を合成する。ところが、長時間の動画像やテクスチャの変化が大きい領域を含む動画像に対して、このようなテクスチャ合成をおこなうと、ずれや歪みにより、動画像復号化装置で再生する再生動画像に大きな画質劣化が発生するという課題があった。
【０００４】
【課題を解決するための手段】
前記課題を解決するために、本発明のうちの請求項１に係る発明の動画像符号化装置では、領域分割手段、動き推定手段、フレーム分割手段、キーフレーム統合手段、統合画像符号化手段、動き情報符号化手段、及び符号化情報出力手段を備えている。
前記領域分割手段は、時系列のフレームからなる入力動画像を入力し、該入力動画像を同一属性を有する領域に分割すると共に該分割された各領域の領域画像を表す領域情報を出力するものである。前記動き推定手段は、前記領域情報に基づき前記各領域のフレーム間の動きを推定して該フレーム間の動き情報を生成するものである。前記フレーム分割手段は、前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和が一定の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求めるものである。前記キーフレーム統合手段は、前記各動画像系列に１つのキーフレームをそれぞれ設定する処理を前記領域毎に行い、且つ前記動き情報を用いて前記各フレームの領域画像を該キーフレームに位置合わせし、各テクスチャの時間方向の統合を行って該領域毎に複数の統合画像を生成するものである。
前記統合画像符号化手段は、前記動き推定手段で求められた領域毎の連続するフレーム間の動き情報を用い、該各領域における複数の統合画像をフレーム間差分によりそれぞれ符号化して統合画像符号化データを生成するものである。前記動き情報符号化手段は、前記領域毎の動き情報を符号化して動き符号化データを生成するものである。前記符号化情報出力手段は、前記領域毎の前記画像符号化データと前記動き符号化データとを符号化情報として出力するものである。
【０００５】
請求項２に係る発明の動画像符号化装置では、請求項１のフレーム分割手段を他の構成のフレーム分割手段に置き換えている。この請求項２のフレーム分割手段は、前記領域毎のフレーム間の動き情報を用いて求めたフレーム間差分の和の許容値を設定し、該許容値の範囲内となるように連続したフレームを時間方向にそれぞれ分割し、前記領域毎に複数の動画像系列を求める構成になっている。
【０００７】
請求項１、２に係る発明によれば、以上のように動画像符号化装置を構成したので、領域分割手段により、時系列のフレームからなる入力動画像が同一属性を有する領域に分割され、該領域分割手段から領域毎の領域情報が出力される。動き推定手段により、領域情報に基づいた各領域の動き情報が、生成される。フレーム分割手段により、各領域情報が時間方向にそれぞれ分割され、領域毎に複数の動画像系列が求められる。キーフレーム統合手段により、各動画像系列に１つのキーフレームがそれぞれ設定され、且つその各キーフレームに対して各動画像系列が統合され、領域毎に複数の統合画像が生成される。これら、フレーム分割手段及びキーフレーム統合手段により、入力画像に適したキーフレームの設定と統合が行われる。
【０００８】
統合画像符号化手段により、領域毎の複数の統合画像がそれぞれ符号化されて統合画像符号化データが生成される。一方、動き情報符号化手段により、領域毎の動き情報が符号化されて動き符号化データが生成される。符号化情報出力手段により、領域毎の画像符号化データと動き符号化データとが符号化情報として出力される。従って、前記課題を解決できるのである。
【０００９】
【発明の実施の形態】
図３は、本発明の参考例を示す動画像符号化装置の構成ブロック図である。
この動画像符号化装置は、例えばプログラム制御されるプロセッサ等で構成されており、動画像を入力する画像入力部１１を有し、該画像入力部１１の出力側に領域分割部１２が接続されている。画像入力部１１はカメラ等で構成され、時系列のフレームからなる入力動画像を領域分割部１２へ与える。領域分割部１２は、画像入力部１１からの入力動画像を、同一属性を有する領域に分割する領域分割手段としての機能を有し、分割された各領域の領域画像を表す領域情報Ｓ１を出力する構成になっている。領域分割部１２の出力側には、動き推定部１３が接続されている。動き推定部１３は、領域情報Ｓ１に基づいて各領域の動きを推定する動き推定手段としての機能を有し、動きを推定した結果である領域毎の動き情報Ｓ２と、領域情報Ｓ１とを出力するものである。動き推定部１３の出力側には、フレーム分割判定部１４、キーフレーム統合部１５、及び統合画像符号化部１６が直列に接続されると共に、これらとは並列に動き情報符号化部１７が接続されている。動き推定部１３の出力する領域情報Ｓ１がフレーム分割判定部１４に与えられ、動き情報Ｓ２が、フレーム分割判定部１４とキーフレーム統合部１５と動き情報１７とに与えられる構成になっている。そして、統合画像符号化部１６と動き情報符号化部１７の出力側が、符号化情報出力部１８に接続されている。
【００１０】
フレーム分割判定部１４は、領域毎の領域情報Ｓ２を時間方向にそれぞれ分割し、複数の動画像系列を求めるフレーム分割手段としての機能を有している。フレーム分割判定部１４の出力側に接続されたキーフレーム統合部１５は、各動画像系列に対して１つのキーフレームをそれぞれ設定すると共に、各キーフレームに対して各動画像系列を統合して領域毎に複数の統合画像を生成するキーフレーム統合手段としての機能を有している。統合画像符号化部１６は、各統合画像をそれぞれ符号化して画像符号化データＳ３を生成する統合画像符号化手段としての機能を有している。動き情報符号化部１７は、動き情報Ｓ２を符号化して動き符号化データＳ４を生成する動き情報符号化手段としての機能を有している。符号化情報出力部１８は、各領域の画像符号化データＳ３と動き符号化データ４とを符号化情報として出力する符号化情報出力手段としての機能を有している。
図４は、本発明の参考例を示す動画像復号化装置の構成ブロック図である。
この動画像復号化装置は、例えばプログラム制御されるプロセッサ等で構成されており、符号化情報入力部２１を備えている。符号化情報入力部２１は、図１の動画像符号化装置から出力された符号化情報を入力し、画像符号化データＳ３と動き符号化データＳ４とを分ける符号化情報入力手段としての機能を有している。符号化情報入力部２１には、統合画像復号部２２と動き情報復号部２３とが接続され、その画像符号化データＳ３が該統合画像復号部２２に与えられ、動き情報Ｓ４が動き情報復号部２３に与えられるようになっている。統合画像復号部２２の出力側には、キーフレーム生成部２４が接続されている。キーフレーム生成部２４及び動き情報復号部２３の出力側に、中間フレーム生成部２５が接続されている。中間フレーム生成部２５の出力側には領域合成部２６が接続され、この領域合成部２６の出力側に画像出力部２７が接続されている。
【００１１】
統合画像復号部２２は、符号化情報入力部２１から与えられた画像符号化データＳ３を復号して領域毎の複数の統合画像をそれぞれ求める統合画像復号手段としての機能を有し、動き情報復号部２３は、動き符号化データＳ４を復号して領域毎の動き情報Ｓ２をそれぞれ求める動き情報復号手段としての機能を有している。
キーフレーム生成部２４は、統合画像復号部２４で求められた複数の統合画像からキーフレームに対応する画像を生成するキーフレーム生成手段としての機能を有している。中間フレーム生成部は、領域毎の動き情報Ｓ２と統合画像復号部２２で求められた領域毎の複数の統合画像とから、領域毎の中間フレームに対応する画像を生成する中間フレーム生成手段としての機能を有している。
領域合成部２６は、領域毎に生成された複数のキーフレームに対応する画像及び中間フレームに対応する画像からなる各領域の動画像を合成し、再生動画像を生成する領域合成手段としての機能を有している。画像出力部２７は、その再生動画像を出力するものである。
図５は、図３の動画像符号化装置で行う領域分割と統合画像の説明図であり、入力動画像と領域画像画像と統合画像とが示されている。この図５を参照しつつ、図３の動作を説明する。
【００１２】
画像入力部１１は、時系列のフレーム３１_ｉ（ｉ＝１，２，３，…）からなる入力動画像を領域分割部１２へ与え、領域分割部１２は画像の輝度情報等を用いた公知の領域分割法により、入力動画像の領域分割を行う。図５のように、静止した柱３２の後側を車３３が右から左へ移動している入力動画像が、領域分割部１２に与えられた場合、領域分割により、柱３２、車３３及び背景が分割領域となり、独立した領域画像としてフレーム３１_ｉ毎に抽出される。分割領域である車３３の領域画像は、図３中の画像３４_ｉのようになる。領域分割部１２は、各領域の領域画像を表す領域情報Ｓ１を出力し、動き推定部１３へ与える。
各領域の領域情報Ｓ１が与えられた動き推定部１３と、該動き推定部１３の出力側のフレーム分割判定部１４、キーフレーム統合部１５、統合画像符号化部１６、動き情報符号化部１７、及び符号化情報出力部１８とは、分割された各領域毎に処理を行う。
動き推定部１３は領域情報Ｓ１に基づき、分割された領域の動きを推定してフレーム間の動き情報Ｓ２を求める。フレーム分割判定部１４は、動き推定部１２を介して得られた領域情報Ｓ１を時間方向に短く分割し、領域の動画像（領域画像列）を複数の動画像系列に分割する。フレーム分割判定部１４で、領域情報Ｓ１を複数の動画像系列に分割する場合、領域画像のテクスチャ変化及び動き推定誤差が大きい動画像のときには短い動画像系列に、テクスチャ変化及び動き推定誤差の小さいフレーム系列ときは比較的長い動画像系列に分割することにより、入力動画像を効率よく表現することができる。このように、領域の特徴に応じて該領域を分割するための判定基準としては、動画像の動き情報Ｓ２とテクスチャ情報から算出されるフレーム間差分を利用することが可能である。
【００１３】
図６は、図３中のフレーム分割判定部１４が行うフレーム分割手法の説明図であり、テクスチャ変化（フレーム間差分）と分割された動画像系列が示されている。
フレーム分割判定部１４は、動き情報Ｓ２を用いて計算した領域画像のフレーム間差分の和の許容値を設定し、この許容値の範囲内となるようにフレームの領域画像を、１つの動画像系列として分割する。このようにすると、例えば図６に示された部分４１と部分４２とは、フレーム間差分の和が、ほぼ等しくなる。よって、領域画像のテクスチャ変化や動き推定誤差の小さい部分４１に対して、部分４２のように、領域画像のテクスチャ変化や動き推定誤差の大きいフレームが連なったところでは、各フレーム間差分が大きくなるので、比較的短い動画像系列に分割される。さらに、このフレーム間差分の和の許容量を変化させることにより、動画像系列の分割数が変化するので、動画像の画質制御が可能になる。
キーフレーム統合部１５は、まず、フレーム分割判定部１４で分割された各動画像系列毎に対して、統合の基準になる１つのキーフレームをそれぞれ設定する。キーフレームとしては、分割された各動画像系列の真中のフレームや、両側のフレーム間差分の和を均等にするフレームが選ばれて設定される。そして、キーフレーム統合部１５は、動き情報Ｓ２を用いて各フレームの領域画像をキーフレームに位置合せし、時間方向の平均値、代表値、重み付け平均値等を用いて各テクスチャの時間方向の統合を行う。統合の結果、処理対象の分割領域に対して、図５の画像３５のような統合画像が、複数生成される。
【００１４】
統合画像符号化部１６は、各統合画像に対して冗長を除去する符号化を行い、画像符号化データＳ３を符号化情報出力部１８に与える。この空間的な冗長を除去する手法としては、従来から一般的に用いられている直交変換等の画像符号化手法が適用できる。動き情報符号化部１７では、一般的な統計的冗長除去手法の例えばハフマン符号化法等を用いることにより、動き情報Ｓ２の冗長を除去する符号化を行い、動き符号化データＳ４を符号化情報出力部１８へ与える。
最後に、符号化情報出力部１８は、符号化された各領域の統合画像（画像符号化データ）と、符号化された動き情報（動き符号化データ）を符号化情報としてる出力する。
次に、図４の動画像復号化の動作を説明する。
符号化情報入力部２１には、図３の動画像符号化装置が出力した符号化情報が入力される。符号化情報入力部２１は、符号化情報を画像符号化データＳ３と動き符号化データＳ４とに分け、この画像符号化データＳ３を統合画像復号部２２へ与えると共に、動き符号化データＳ４を動き情報復号部２３に与える。統合画像復号部２２と、動き情報復号部２３と、これらに接続されたキーフレーム生成部２４及び中間フレーム生成部１５とは、各分割領域毎に処理を行う。
統合画像復号部２２は、画像符号化データＳ３に対して統合画像符号化部１６とは逆の復号を行い、各領域毎に設定された複数のキーフレームにおける統合画像を生成する。動き情報復号部２３は、動き符号化データＳ４に対して動き情報符号化部１７とは逆の復号を行い、動き情報Ｓ２を生成する。
【００１５】
キーフレーム生成部２４は、領域ごとの複数のキーフレームの統合画像から、各キーフレームに対応するキーフレーム画像を生成する。中間フレーム生成部２５は、キーフレーム以外の中間フレームの画像を、各キーフレームの統合画像と動き情報Ｓ２とから生成する。この中間フレームの画像を生成する際、動画像符号化装置で分割された動画像系列毎に独立して中間フレームを生成すると、その分割の境界付近で不連続な画像になり、なめらかな再生動画像が得られない。そのため、中間フレーム生成部２５は、各中間フレームに対応するキーフレームの統合画像ばかりでなく、隣接するキーフレームの統合画像を用いる。これにより、なめらかに変化する動画像を再構成することができる。
図７（ａ）〜（ｃ）は、図４中の中間フレーム生成部２５が行う中間フレームの生成手法の説明図であり、同図（ａ）は従来の手法、同図（ｂ）は独立した統合画像を用いる手法、同図（ｃ）は隣接するキーフレームの統合画像を用いる手法をそれぞれ示している。
【００１６】
従来の手法では符号化時に時間方向の分割を行わないので、図５（ａ）のように１つキーフレームの統合画像から各フレームの画像が再構成され、前述のような画質劣化が発生する。また、分割領域をさらに時間方向に分割し、それらに対して、図５（ｂ）のように２つのキーフレーム１とキーフレーム２とを設定した場合でも、キーフレーム１の統合画像とキーフレーム２の統合画像とを独立に用いて各中間フレームを再構成すると、元の入力動画像のテクスチャ変化が大きいときには、動画像系列の境界に顕著なテクスチャ変化と動きの不連続性が表れる。これに対して、参考例の中間フレーム生成部２５は、図５（ｃ）のように、隣接するキーフレーム１及び２の統合画像を混合して用い、各中間フレームを再構成する。混合の際には、キーフレームとの距離等を用いて重みづけするようにすると、境界における動きをなめらかにできると共に、テクスチャ変化もなめらかに表現できる。
領域合成部２６は、各領域毎に生成されたキーフレーム画像及び中間フレームの画像を、奥行きの順序に従って重ね合わせ、再生動画像を合成する。この再生動画像が、画像出力部２７から出力される。
【００１７】
以上のように、この参考例では、動画像符号化装置にフレーム分割判定部１４とキーフレーム統合部１５を設け、領域毎に動画像を時間方向に分割して複数の動画像系列を求め、該各動画像系列毎に統合画像を生成している。そのため、例えば長時間の動画像であっても、適切な符号化が可能になっている。そのうえ、時間方向の分割は、動き情報Ｓ２を用いて領域のテクスチャ変化や動き推定誤差を考慮して行うので、入力動画像にテクスチャ変化の大きい領域が含まれていても、それに対応した時間方向の分割ができ、ずれや歪みによる画質劣化を抑えることができる。さらに、時間方向に分割される動画像系列のフレーム数を可変にすることにより、効率よく動画像の符号化できるようになっている。一方、動画像復号化装置の中間フレーム生成部２５で、隣接するキーフレームの統合画像をも用いて中間フレームの画像を再構成するようにしたので、再生動画像をなめらかにすることができる。
【００１８】
図１は、本発明の実施形態を示す動画像符号化装置の構成ブロック図であり、図２は、本発明の実施形態を示す動画像復号化装置の構成ブロックである。
この実施形態の動画像符号化装置は、図３の動画像符号化装置の統合画像符号化部１６を、動き情報Ｓ２も利用して符号化を行う統合画像符号化部５０に置換えたものであり、他の構成は図３と同様である。一方、この実施形態の動画像復号化装置は、図４の動画像符号化装置の統合画像復号部２２を、動き情報Ｓ２も利用して復号を行う統合画像復号部５１に置換えたものであり、他の構成は図４と同様である。統合画像符号化部５０には、動き推定部１３で求められた領域毎の動き情報Ｓ２が与えられ、統合画像復号部５１には、動き情報復号部２３で求められた動き情報Ｓ２が与えられる接続になっている。
【００１９】
動き情報Ｓ２は、領域のフレーム間の画素の対応を示す情報であり、動画像符号化装置におけるキーフレーム間の対応づけにも利用することが可能である。よって、動き推定部１３で求められた領域毎の動き情報Ｓ２をもとに、キーフレーム間の画素の対応づけを行うことにより、時間方向の冗長を除去できる。統合画像符号化部５０は、すでに符号化が終了した隣接キーフレームの統合画像と動き情報Ｓ２とに基づき、一般的に知られた符号化手法の、キーフレーム間差分を用いた直交変換符号化手法等を適用し、処理対象のキーフレームの統合画像を効率的に符号化する。この符号化された統合画像が符号化情報出力部１８に与えられる。他の動作は、参考例と同様である。
一方、動画像復号化装置では、動き情報復号部２３で復号された動き情報Ｓ２と、すでに復号が終了した隣接キーフレームの統合画像とに基づき、統合画像復号部５１は処理対象のキーフレームにおける統合画像の復号を行う。他の動作は参考例と同様である。
以上のように、この実施形態では、統合画像の符号化と復号を行う際に、動き情報Ｓ２を用い、時間方向の冗長を除去する構成にしたので、符号化の効率を改善できる。
なお、本発明は、上記参考例や実施形態に限定されず種々の変形が可能である。
例えば、図１、図２、図６、図７の各ブロックは、個別回路で構成することが可能である。また、各領域に対する一連の処理は、パラレルに行っても、一連の処理を各領域単位で繰り返して行うようにしてもよい。
【００２０】
【発明の効果】
以上詳細に説明したように、請求項１に係る発明によれば、動画像符号化装置にフレーム分割手段とキーフレーム統合部手段とを設け、領域毎に動画像を時間方向に分割して複数の動画像系列を求め、該各動画像系列毎に１のキーフレームを設定すると共に該各キーフレームの統合画像を生成して符号化する構成にしているので、例えば、入力動画像が長時間の動画像やテクスチャ変化の大きい動画像であっても、ずれや歪みによる画質劣化を抑えることができる。さらに、統合画像符号化手段を設け、動き情報を用いて各領域における複数の統合画像を符号化する構成にしているので、符号化効率を向上できる。その上、フレーム分割手段を設け、領域毎の動き情報に応じて各領域情報を時間方向にそれぞれ分割する構成にしているので、領域のテクスチャ変化に応じた時間方向の分割が可能になり、該テクスチャ変化に起因した画質劣化を抑えることができる。
【００２１】
請求項２に係る発明によれば、請求項１に係る発明とほぼ同様の効果があり、その上、フレーム分割手段に、各領域情報の分割数を変更する機能を持たせたので、画質制御が可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す動画像符号化装置の構成ブロック図である。
【図２】本発明の実施形態を示す動画像復号化装置の構成ブロック図である。
【図３】本発明の参考例を示す動画像符号化装置の構成ブロック図である。
【図４】本発明の参考例を示す動画像復号化装置の構成ブロック図である。
【図５】図３の動画像符号化装置で行う領域分割と統合画像の説明図である。
【図６】図３中のフレーム分割判定部１４が行うフレーム分割手法の説明図である。
【図７】図４中の中間フレーム生成部２５が行う中間フレームの生成手法の説明図である。
【符号の説明】
１１画像入力部
１２領域分割部
１３動き推定部
１４フレーム分割判定部
１５キーフレーム統合部
１６，５０統合画像符号化部
１７動き情報符号化部
１８符号化情報出力部
２１符号化情報入力部
２２，５１統合画像復号部
２３動き情報復号部
２４キーフレーム生成部
２５中間フレーム生成部
２６領域合成部
２７画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention is provided in the moving picture storage device, the moving image input is relates to moving picture coding apparatus for coding by region division.
[0002]
[Prior art]
Conventionally, techniques relating to this type of video encoding device and video decoding device have been described in the following documents, for example.
Literature: IEEE TRANSACTIONS ON IMAGE PROCESSING, 3 [5] (1994-7) (USA) John YAWang and Edward H. Adelson “Representing Moving Imaging with Layers” P.625-638
In the moving image encoding apparatus disclosed in the above document, the input moving image is divided and divided into regions having the same attribute. Each of the divided areas is expressed as a two-dimensional plane (called a layer) like an animation cell image, and these are encoded. In the moving image decoding apparatus that decodes the encoded image of each region, the layers are overlapped according to the depth order, and the moving images are reconstructed (decoded) by moving the layers based on the motion information. ).
In such a moving image encoding device and moving image decoding device, the time direction integration method is used when forming each layer, and each region is represented by a map representing one texture, thereby improving efficiency. Good coding is performed.
[0003]
[Problems to be solved by the invention]
However, the conventional video encoding apparatus has the following problems.
On the moving image encoding device side, one key frame for integrating textures is set for each region, and the time direction of each region is integrated with respect to the key frame, and a texture map (layer) is set. Is synthesized. However, if such texture synthesis is performed on a moving image including a long-time moving image or a region having a large texture change, the image quality of the reproduced moving image to be reproduced by the moving image decoding device is large due to deviation or distortion. There was a problem that deterioration occurred.
[0004]
[Means for Solving the Problems]
In order to solve the above-described problem, in the moving image encoding apparatus according to the first aspect of the present invention, an area dividing unit, a motion estimating unit, a frame dividing unit, a key frame integrating unit, an integrated image encoding unit, Motion information encoding means and encoded information output means are provided.
The area dividing means inputs an input moving image composed of time-series frames, divides the input moving image into areas having the same attribute, and outputs area information representing the area image of each divided area. It is. The motion estimation means generates motion information between frames by estimating motion between frames in each region based on the region information. The frame dividing means divides consecutive frames in the time direction so that the sum of inter-frame differences obtained using motion information between frames for each region is within a certain range, and a plurality of frames are divided for each region. Are obtained. The key frame integration means performs processing for setting one key frame for each moving image series for each region, and aligns the region image of each frame to the key frame using the motion information. Then, integration of each texture in the time direction is performed to generate a plurality of integrated images for each region.
The integrated image encoding means uses the motion information between successive frames for each area obtained by the motion estimation means, and encodes a plurality of integrated images in each area by inter-frame differences, respectively. Data is generated. The motion information encoding means encodes motion information for each region to generate motion encoded data. The encoded information output means outputs the image encoded data and the motion encoded data for each region as encoded information.
[0005]
In the moving picture encoding apparatus according to the second aspect of the present invention, the frame dividing means of the first aspect is replaced with a frame dividing means of another configuration. The frame dividing means according to claim 2 sets an allowable value of a sum of inter-frame differences obtained by using motion information between frames for each region , and sets consecutive frames so as to be within the allowable value range. Each is divided in the time direction to obtain a plurality of moving image sequences for each region.
[0007]
According to the first and second aspects of the invention , since the moving image encoding apparatus is configured as described above, the input moving image composed of time-series frames is divided into regions having the same attribute by the region dividing means, Area information for each area is output from the area dividing means. The motion estimation means generates motion information of each region based on the region information. Each area information is divided in the time direction by the frame dividing means, and a plurality of moving image sequences are obtained for each area. By the key frame integration means, one key frame is set for each moving image sequence, and each moving image sequence is integrated for each key frame, and a plurality of integrated images are generated for each region. These frame division means and key frame integration means set and integrate key frames suitable for the input image.
[0008]
The integrated image encoding means encodes a plurality of integrated images for each region to generate integrated image encoded data. On the other hand, motion information encoding means generates motion encoded data by encoding motion information for each region. The encoded information output means outputs image encoded data and motion encoded data for each region as encoded information . Therefore, the problem can be solved.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 3 is a block diagram showing the configuration of a moving picture coding apparatus according to a reference example of the present invention.
This moving image encoding apparatus is configured by, for example, a program-controlled processor and the like, and has an image input unit 11 for inputting a moving image, and an area dividing unit 12 is connected to the output side of the image input unit 11. ing. The image input unit 11 includes a camera or the like, and provides an input moving image including time-series frames to the region dividing unit 12. The area dividing unit 12 has a function as an area dividing unit that divides the input moving image from the image input unit 11 into areas having the same attribute, and outputs area information S1 representing the area image of each divided area. It is configured to do. A motion estimation unit 13 is connected to the output side of the region dividing unit 12. The motion estimation unit 13 has a function as a motion estimation unit that estimates the motion of each region based on the region information S1, and outputs the motion information S2 for each region, which is a result of motion estimation, and the region information S1. To do. On the output side of the motion estimation unit 13, a frame division determination unit 14, a key frame integration unit 15, and an integrated image encoding unit 16 are connected in series, and a motion information encoding unit 17 is connected in parallel with these. Has been. The region information S1 output from the motion estimation unit 13 is provided to the frame division determination unit 14, and the motion information S2 is provided to the frame division determination unit 14, the key frame integration unit 15, and the motion information 17. The output sides of the integrated image encoding unit 16 and the motion information encoding unit 17 are connected to the encoded information output unit 18.
[0010]
The frame division determination unit 14 has a function as a frame division unit that divides the region information S2 for each region in the time direction to obtain a plurality of moving image sequences. The key frame integration unit 15 connected to the output side of the frame division determination unit 14 sets one key frame for each moving image sequence, and integrates each moving image sequence for each key frame. It has a function as a key frame integration means for generating a plurality of integrated images for each area. The integrated image encoding unit 16 has a function as an integrated image encoding unit that encodes each integrated image to generate image encoded data S3. The motion information encoding unit 17 has a function as a motion information encoding unit that encodes the motion information S2 to generate the motion encoded data S4. The encoded information output unit 18 has a function as encoded information output means for outputting the image encoded data S3 and the motion encoded data 4 of each region as encoded information.
FIG. 4 is a block diagram showing the configuration of a moving picture decoding apparatus according to a reference example of the present invention.
This moving picture decoding apparatus is configured by, for example, a program-controlled processor and the like, and includes an encoded information input unit 21. The encoded information input unit 21 receives the encoded information output from the moving image encoding apparatus of FIG. 1 and functions as an encoded information input unit that separates the encoded image data S3 and the encoded motion data S4. Have. The encoded information input unit 21 is connected to the integrated image decoding unit 22 and the motion information decoding unit 23, and the encoded image data S3 is provided to the integrated image decoding unit 22, and the motion information S4 is input to the motion information decoding unit. 23 is given. A key frame generation unit 24 is connected to the output side of the integrated image decoding unit 22. An intermediate frame generation unit 25 is connected to the output side of the key frame generation unit 24 and the motion information decoding unit 23. An area synthesis unit 26 is connected to the output side of the intermediate frame generation unit 25, and an image output unit 27 is connected to the output side of the area synthesis unit 26.
[0011]
The integrated image decoding unit 22 has a function as an integrated image decoding unit that decodes the image encoded data S3 given from the encoded information input unit 21 and obtains a plurality of integrated images for each region, and performs motion information decoding The unit 23 has a function as a motion information decoding unit that decodes the motion encoded data S4 to obtain the motion information S2 for each region.
The key frame generation unit 24 has a function as a key frame generation unit that generates an image corresponding to a key frame from a plurality of integrated images obtained by the integrated image decoding unit 24. The intermediate frame generation unit is an intermediate frame generation unit that generates an image corresponding to the intermediate frame for each region from the motion information S2 for each region and the plurality of integrated images for each region obtained by the integrated image decoding unit 22. It has a function.
The area synthesizing unit 26 functions as area synthesizing means for synthesizing a moving image of each area including an image corresponding to a plurality of key frames generated for each area and an image corresponding to an intermediate frame, and generating a reproduction moving image. have. The image output unit 27 outputs the reproduced moving image.
FIG. 5 is an explanatory diagram of region segmentation and an integrated image performed by the moving image encoding apparatus of FIG. 3 , and shows an input moving image, a region image, and an integrated image. With reference to FIG. 5, the operation of FIG.
[0012]
The image input unit 11 gives an input moving image composed of time-series frames 31 _i (i = 1, 2, 3,...) To the region dividing unit 12, and the region dividing unit 12 uses publicly known image brightness information and the like. The region of the input moving image is divided by the region dividing method. As shown in FIG. 5 , when an input moving image in which the car 33 is moving from the right to the left on the rear side of the stationary pillar 32 is given to the area dividing unit 12, the pillar 32, the car 33, and the The background becomes a divided area and is extracted for each frame 31 _i as an independent area image. An area image of the car 33 that is a divided area is as an image 34 _{i in} FIG. 3. The area dividing unit 12 outputs area information S1 representing the area image of each area and gives it to the motion estimating unit 13.
The motion estimation unit 13 to which the region information S1 of each region is given, the frame division determination unit 14 on the output side of the motion estimation unit 13, the key frame integration unit 15, the integrated image encoding unit 16, and the motion information encoding unit 17 The encoded information output unit 18 performs processing for each divided area.
Based on the region information S1, the motion estimation unit 13 estimates the motion of the divided regions and obtains inter-frame motion information S2. The frame division determination unit 14 divides the region information S1 obtained via the motion estimation unit 12 in the time direction, and divides the moving image (region image sequence) of the region into a plurality of moving image sequences. When the frame division determination unit 14 divides the region information S1 into a plurality of moving image sequences, a moving image having a large texture change and motion estimation error of the region image has a short texture change and a small motion estimation error. By dividing the frame sequence into relatively long video sequences, the input video can be expressed efficiently. As described above, an inter-frame difference calculated from the motion information S2 of the moving image and the texture information can be used as a criterion for dividing the region according to the feature of the region.
[0013]
FIG. 6 is an explanatory diagram of a frame division method performed by the frame division determination unit 14 in FIG. 3, and shows a texture change (inter-frame difference) and a divided moving image sequence.
The frame division determination unit 14 sets an allowable value of the sum of inter-frame differences of the region image calculated using the motion information S2, and sets the region image of the frame as one moving image within the allowable value range. Divide as a series. If it does in this way, the sum of the difference between frames will become substantially equal, for example in the part 41 and the part 42 which were shown by FIG. Therefore, when a frame having a large texture change or motion estimation error in a region image is connected to a portion 41 having a small texture change or motion estimation error of the region image, as in the portion 42, the difference between the frames becomes large. Therefore, it is divided into relatively short video sequences. Furthermore, by changing the allowable amount of the sum of the differences between frames, the number of divisions of the moving image series changes, so that it is possible to control the image quality of moving images.
The key frame integration unit 15 first sets one key frame as a reference for integration for each moving image series divided by the frame division determination unit 14. As the key frame, a middle frame of each divided moving image series or a frame that equalizes the sum of differences between frames on both sides is selected and set. Then, the key frame integration unit 15 aligns the region image of each frame with the key frame using the motion information S2, and uses the average value in the time direction, the representative value, the weighted average value, and the like in the time direction of each texture. Perform integration. As a result of the integration, a plurality of integrated images such as the image 35 in FIG. 5 are generated for the division area to be processed.
[0014]
The integrated image encoding unit 16 performs encoding to remove redundancy on each integrated image, and supplies the encoded image data S3 to the encoded information output unit 18. As a technique for removing this spatial redundancy, an image coding technique such as orthogonal transformation generally used in the past can be applied. The motion information encoding unit 17 performs encoding to remove redundancy of the motion information S2 by using, for example, a general statistical redundancy removal method such as the Huffman encoding method, and the motion encoded data S4 is encoded information. This is given to the output unit 18.
Finally, the encoded information output unit 18 outputs the encoded integrated image (image encoded data) of each region and the encoded motion information (motion encoded data) as encoded information.
Next, the video decoding operation of FIG. 4 will be described.
The coding information input section 21, encoded information video encoding apparatus in FIG. 3 has been output is input. The encoded information input unit 21 divides the encoded information into image encoded data S3 and motion encoded data S4, and provides the image encoded data S3 to the integrated image decoding unit 22 and moves the motion encoded data S4 into motion. This is given to the information decoding unit 23. The integrated image decoding unit 22, the motion information decoding unit 23, and the key frame generation unit 24 and the intermediate frame generation unit 15 connected thereto perform processing for each divided region.
The integrated image decoding unit 22 decodes the image encoded data S3 in reverse to the integrated image encoding unit 16, and generates an integrated image in a plurality of key frames set for each region. The motion information decoding unit 23 decodes the motion encoded data S4 in reverse to the motion information encoding unit 17, and generates motion information S2.
[0015]
The key frame generation unit 24 generates a key frame image corresponding to each key frame from an integrated image of a plurality of key frames for each region. The intermediate frame generation unit 25 generates an image of an intermediate frame other than the key frame from the integrated image of each key frame and the motion information S2. When generating an intermediate frame image, if an intermediate frame is generated independently for each moving image sequence divided by the moving image encoding device, a discontinuous image is formed near the boundary of the division, and a smoothly reproduced moving image. I can't get an image. Therefore, the intermediate frame generation unit 25 uses not only an integrated image of key frames corresponding to each intermediate frame but also an integrated image of adjacent key frames. Thereby, a moving image that changes smoothly can be reconstructed.
FIGS. 7A to 7C are explanatory diagrams of an intermediate frame generation method performed by the intermediate frame generation unit 25 in FIG. 4. FIG. 7A is a conventional method, and FIG. The method using the integrated image, and FIG. 5C show the method using the integrated image of adjacent key frames.
[0016]
Since the conventional method does not perform division in the time direction at the time of encoding, the image of each frame is reconstructed from the integrated image of one key frame as shown in FIG. 5A, and the image quality deterioration as described above occurs. . Further, even when the divided areas are further divided in the time direction and two key frames 1 and 2 are set for them as shown in FIG. 5B, the integrated image and key frame of key frame 1 are set. When each intermediate frame is reconstructed using the two integrated images independently, when the texture change of the original input moving image is large, a noticeable texture change and motion discontinuity appear at the boundary of the moving image sequence. On the other hand, as shown in FIG. 5C, the intermediate frame generation unit 25 of the reference example reconstructs each intermediate frame using a mixture of the integrated images of the adjacent key frames 1 and 2. When mixing, weighting is performed using the distance to the key frame or the like, so that the movement at the boundary can be smoothed and the texture change can be smoothly expressed.
The region composition unit 26 superimposes the key frame image and intermediate frame image generated for each region in the order of the depth, and synthesizes the playback moving image. This reproduced moving image is output from the image output unit 27.
[0017]
As described above, in this reference example , the moving image encoding apparatus includes the frame division determination unit 14 and the key frame integration unit 15, and the moving image is divided in the time direction for each region to obtain a plurality of moving image sequences. An integrated image is generated for each moving image series. Therefore, for example, even for a long-time moving image, appropriate encoding is possible. In addition, since the division in the time direction is performed in consideration of the texture change of the region and the motion estimation error using the motion information S2, even if the input moving image includes a region having a large texture change, the corresponding time direction Can be divided, and image quality deterioration due to deviation or distortion can be suppressed. Furthermore, by changing the number of frames of the moving image series divided in the time direction, it is possible to efficiently encode moving images. On the other hand, since the intermediate frame generation unit 25 of the moving picture decoding apparatus reconstructs the intermediate frame image also using the integrated image of the adjacent key frames, the reproduced moving picture can be smoothed.
[0018]
FIG. 1 is a block diagram showing the configuration of a video encoding apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the configuration of a video decoding apparatus according to an embodiment of the present invention .
The moving image encoding apparatus of this embodiment is obtained by replacing the integrated image encoding unit 16 of the moving image encoding apparatus of FIG. 3 with an integrated image encoding unit 50 that performs encoding using motion information S2. There, the other structure is the same as FIG. On the other hand, the moving image decoding apparatus of this embodiment is obtained by replacing the integrated image decoding unit 22 of the moving image encoding apparatus of FIG. 4 with an integrated image decoding unit 51 that performs decoding using motion information S2. other configurations are the same as FIG. The integrated image encoding unit 50 is provided with the motion information S2 for each region obtained by the motion estimation unit 13, and the integrated image decoding unit 51 is provided with the motion information S2 obtained by the motion information decoding unit 23. Connected.
[0019]
The motion information S2 is information indicating the correspondence of pixels between frames in the area, and can also be used for correspondence between key frames in the moving image coding apparatus. Therefore, the redundancy in the time direction can be removed by associating the pixels between the key frames based on the motion information S2 for each area obtained by the motion estimation unit 13. The integrated image encoding unit 50 performs orthogonal transform encoding using a difference between key frames of a generally known encoding method based on an integrated image of adjacent key frames that have already been encoded and the motion information S2. By applying a technique or the like, an integrated image of a key frame to be processed is efficiently encoded. The encoded integrated image is given to the encoded information output unit 18. Other operations are the same as those in the reference example .
On the other hand, in the moving image decoding apparatus, based on the motion information S2 decoded by the motion information decoding unit 23 and the integrated image of the adjacent key frame that has already been decoded, the integrated image decoding unit 51 in the key frame to be processed Decode integrated image. Other operations are the same as those in the reference example .
As described above, in this embodiment , when the integrated image is encoded and decoded, the motion information S2 is used and the redundancy in the time direction is removed, so that the encoding efficiency can be improved.
The present invention is not limited to the reference examples and embodiments described above, and various modifications can be made.
For example, each block in FIG. 1, FIG. 2, FIG. 6, and FIG. Further, a series of processes for each area may be performed in parallel, or a series of processes may be repeated for each area.
[0020]
【The invention's effect】
As described above in detail, according to the first aspect of the present invention , the moving image encoding apparatus includes the frame dividing unit and the key frame integrating unit, and the moving image is divided into a plurality of regions by dividing the moving image in the time direction. For example, the input moving image is long-time , since one key frame is set for each moving image sequence, and an integrated image of each key frame is generated and encoded. Even in the case of a moving image or a moving image having a large texture change, it is possible to suppress image quality deterioration due to deviation or distortion. Furthermore, since the integrated image encoding means is provided and a plurality of integrated images in each region are encoded using motion information , the encoding efficiency can be improved. In addition, since the frame dividing means is provided and each area information is divided in the time direction according to the motion information for each area, the time direction can be divided according to the texture change of the area. Image quality degradation due to texture changes can be suppressed.
[0021]
According to the second aspect of the invention, there is almost the same effect as the first aspect of the invention. In addition, since the frame dividing means has a function of changing the division number of each area information, the image quality control is performed. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a moving image encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of a moving picture decoding apparatus according to an embodiment of the present invention.
FIG. 3 is a block diagram showing the configuration of a moving picture coding apparatus according to a reference example of the present invention.
FIG. 4 is a configuration block diagram of a moving picture decoding apparatus showing a reference example of the present invention.
FIG. 5 is an explanatory diagram of region division and an integrated image performed by the moving image encoding device of FIG . 3;
6 is an explanatory diagram of a frame division method performed by the frame division determination unit 14 in FIG . 3. FIG.
7 is an explanatory diagram of an intermediate frame generation method performed by the intermediate frame generation unit 25 in FIG . 4;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Image input part 12 Region division part 13 Motion estimation part 14 Frame division | segmentation determination part 15 Key frame integration part 16, 50 Integrated image encoding part 17 Motion information encoding part 18 Encoding information output part 21 Encoding information input part 22, 51 Integrated Image Decoding Unit 23 Motion Information Decoding Unit 24 Key Frame Generation Unit 25 Intermediate Frame Generation Unit 26 Region Synthesis Unit 27 Image Output Unit

Claims

An area dividing means for inputting an input moving image composed of time-series frames, dividing the input moving image into areas having the same attribute, and outputting area information representing the area image of each divided area;
Motion estimation means for estimating motion between frames of each region based on the region information and generating motion information between the frames;
The continuous frames are divided in the time direction so that the sum of the inter-frame differences obtained using the motion information between frames in each region is within a certain range, and a plurality of moving image sequences are obtained for each region. Frame dividing means;
A process of setting one key frame for each moving image series is performed for each region, and the region image of each frame is aligned with the key frame using the motion information, and the time direction of each texture is set. Key frame integration means for performing integration to generate a plurality of integrated images for each region;
Integrated image coding for generating integrated image encoded data by using motion information between successive frames for each region obtained by the motion estimation means and encoding a plurality of integrated images in each region with inter-frame differences. Means,
Motion information encoding means for encoding motion information for each region to generate motion encoded data;
Encoding information output means for outputting the image encoded data and the motion encoded data for each region as encoded information;
A moving picture encoding apparatus comprising:

An area dividing means for inputting an input moving image composed of time-series frames, dividing the input moving image into areas having the same attribute, and outputting area information representing the area image of each divided area;
Motion estimation means for estimating motion between frames of each region based on the region information and generating motion information between the frames;
An allowable value of the sum of inter-frame differences obtained by using motion information between frames for each region is set, and continuous frames are respectively divided in the time direction so as to be within the range of the allowable value. A frame dividing means for obtaining a plurality of moving image sequences;
A process of setting one key frame for each moving image series is performed for each region, and the region image of each frame is aligned with the key frame using the motion information, and the time direction of each texture is set. Key frame integration means for performing integration to generate a plurality of integrated images for each region;
Integrated image coding for generating integrated image encoded data by using motion information between successive frames for each region obtained by the motion estimation means and encoding a plurality of integrated images in each region with inter-frame differences. Means,
Motion information encoding means for encoding motion information for each region to generate motion encoded data;
Encoding information output means for outputting the image encoded data and the motion encoded data for each region as encoded information;
A moving picture encoding apparatus comprising: