JP3775630B2 - 動画像の領域分割符号化装置 - Google Patents
動画像の領域分割符号化装置 Download PDFInfo
- Publication number
- JP3775630B2 JP3775630B2 JP21376198A JP21376198A JP3775630B2 JP 3775630 B2 JP3775630 B2 JP 3775630B2 JP 21376198 A JP21376198 A JP 21376198A JP 21376198 A JP21376198 A JP 21376198A JP 3775630 B2 JP3775630 B2 JP 3775630B2
- Authority
- JP
- Japan
- Prior art keywords
- amount
- motion vector
- information amount
- block
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は動画像の領域分割符号化装置に関し、特に動画像の領域分割に基づいて動き補償予測符号化を行うことにより、高圧縮符号化を行うようにした動画像の領域分割符号化装置に関する。
【０００２】
【従来の技術】
従来の動画像の動き補償予測符号化装置としては、動画像を、例えば１６×１６画素の矩形ブロック（マクロブロック）に分割し、該矩形ブロック単位で、動き補償予測符号化を行うようにするものがある。しかしながら、この従来装置では、例えば、動きのある物体と動きのない背景との境界を含む矩形ブロックは、動きのある部分と動きのない部分とが混在するものとなり、これらの矩形ブロックでは予測誤差が減らず、符号化効率あるいは動き予測効率が低下するという問題があった。
【０００３】
そこで、本発明者等は、何らかの方法で画像を領域分割し、その後ある種の規範で領域統合を行う分離・統合を行い、得られた領域分割結果に基づいて符号化を行う方法を発明して特許出願した（特願平９−３２８５５号）。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した領域分割による符号化方法では、符号化情報量と歪みの観点からみた場合に、必ずしも最適な領域分割とならないという問題、および前記動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証されないという問題があった。
【０００５】
本発明の目的は、前記した従来技術の問題点を除去し、領域の動きベクトル情報、領域内の符号化情報量、および該領域を表現するための形状情報量の総和と、歪みの観点から、最適と思われる領域分割符号化を行う動画像の領域分割符号化装置を提供することにある。また、他の目的は、従来の動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証される領域分割符号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像を任意の形状の領域パターンで動き補償予測を行う領域分割動き補償予測符号化装置において、複数の画素で構成される小ブロック毎に動き補償予測誤差の小さい複数個の候補動きベクトルを求める第１の手段と、複数の小ブロックで構成されるブロック単位に、各小ブロックから前記候補動きベクトルを１つずつ取り出して組み合わせ、該組み合わせ毎に、少なくとも該候補動きベクトルの情報量および該候補動きベクトルに基づく動き補償予測誤差の符号化結果の情報量を含む発生情報量と、該組み合わせの候補動きベクトルによって復号された復号画像と入力画像の差分から符号化歪みとを求め、該発生情報量と符号化歪みからなる点を、発生情報量と符号化歪みのそれぞれを横軸、縦軸とするグラフ上に求め、該点を通る正でかつ等しい所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択し、同様にして他のブロック単位に対する最適な動きベクトルパターンを選択し、複数個の前記ブロック単位で構成される領域パターンに対して前記選択された最適な動きベクトルパターンを付与して符号化した場合における情報量と符号化歪みを求める第２の手段と、前記領域パターンに対して、単一の動きベクトルを付与して符号化した場合における情報量と符号化歪みを求める第３の手段と、前記第２、第３の手段によって求められた前記情報量と符号化歪みからなる点を前記グラフ上に求め、該点を通る正でかつ等しい前記所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択する第４の手段とを具備した点に特徴がある。この特徴によれば、符号化情報量を必ず従来の方式のものより少なくすることができる。
【０００７】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像の領域分割符号化装置の一実施形態を示す概略のブロック図である。
【０００８】
入力画像１は例えば４×４画素の小ブロック毎に符号化器に入力してくる。減算器２は該入力画像１と動き補償予測部３から出力される動き補償された前画像との差、すなわち動き補償予測誤差を出力する。スイッチＳＷは、インター符号化する時には端子ａを選択し、イントラ符号化する時には端子ｂを選択する。
【０００９】
符号化・量子化器４は前記動き補償予測誤差を符号化および量子化する。該量子化された動き補償予測誤差はバッファ５に一時的に格納されると共に、復号化・逆量子化器６に送られる。加算器７は該復号化・逆量子化器６によって逆量子化された動き補償予測誤差と動き補償予測部３から出力された動き補償された前画像とを加算することにより原画像を復元し、フレームメモリ８に格納する。ビットレート制御部９は、前記バッファ５に記憶されているデータ量に基づいて、量子化器４の量子化ステップサイズを決定する。
【００１０】
ＳＳＤ平面作成部１０は、図２に示されているように、入力画像１を小ブロックＢ1 〜ＢN （４×４画素）に分割し、全ての小ブロックＢ1 、Ｂ2 、…、ＢN の個々のものについて、例えば左右方向に±１６画素、上下方向に±８画素動かした場合の計５１２個の動きベクトルＶ1 〜ＶL （Ｌ＝５１２）を求める。そして、これらの動きベクトルＶ1 〜ＶL の個々のものに対して、動き補償予測誤差２乗和ＳＳＤ1 〜ＳＳＤL の値を計算し、図３に示されているようなテーブルとして記憶しておく。なお、前記の例では、小ブロックＢ1 〜ＢN を４×４画素としたが、本発明はこれに限定されず、４×２画素、２×２画素であっても良い。
次に、ベクトル統合部１１、ＳＮＲ（歪み）・符号量推定部１２、およびブロックマッチングとの比較部１３の動作を、図４〜図６のフローチャートを参照して説明する。
【００１１】
ステップＳ１では、ベクトル統合部１１は入力画像１の所定位置、例えば左上角の１６個の小ブロックＢ1 、Ｂ2 、…を選択する。以下、該１６個の小ブロックを最小領域Ｅと呼ぶ。ステップＳ２では、該最小領域Ｅを縦、横に２分割し、ステップＳ３では、左上のブロックＢ'1（斜線で塗られた領域）を選択する。次に、ステップＳ４では、図３のＳＳＤ平面より、該ブロックＢ'1に含まれる４個の小ブロックに対して、それぞれＳＳＤ値が小さい動きベクトルを、小さい方からｎ個（例えば、ｎ＝３）、候補ベクトルとして選択する。
【００１２】
次いで、ベクトル統合部１１とＳＮＲ・符号量推定部１２はステップＳ５の処理を行い、前記４個の小ブロックの候補ベクトルの組合わせであるｎ４ 個の動きベクトルパターンの全てについて発生する情報量（符号化情報量＋動きベクトルの情報量＋形状情報量）を計算すると共に、歪み（ＳＮＲ）を求める。この時、４個の小ブロックの候補ベクトルの組合わせの中に同一の動きベクトルが存在する場合にはベクトルを統合して計算する。
【００１３】
具体的には、該動きベクトルパターンから予測画像を作成し、入力画像１と該予測画像の差分を求め、該差分を符号化して符号化情報量を求める。また、前記４個の小ブロックに割り当てられた動きベクトルから、動きベクトルの情報量を求める。この場合、４個の小ブロック全てに異なる動きベクトルが割り当てられれば、４個分の動きベクトルの情報量となるが、同じ動きベクトルの小ブロックが存在すれば、該動きベクトルは統合されて、動きベクトルの情報量は該統合の具合に応じて低減されることになる。因みに、１個の動きベクトルに対する情報量は通常８〜９ビットである。また、動きベクトルは統合の具合に応じて、同じ動きベクトルの領域の形状が決定され、該領域を表現するための形状情報量が求められる。さらに、ＳＮＲ（単位：デシベル）が、前記動きベクトルパターンによって符号化された結果から復号された復号画像と入力画像１との差分から求められる。
【００１４】
ステップＳ６では、ステップＳ５で求めたｎ４ 個の動きベクトルパターンの全ての発生情報量と歪み（ＳＮＲ）の中から、該発生情報量と歪みが最適となるベクトルパターンを求める。このステップＳ６で求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、発生情報量Ｘ1 、歪みＹ1 とする。この処理により、ブロックＢ'1の４個の小ブロックの各動きベクトルは決定されたことになる。
【００１５】
次に、ステップＳ７に進んで、ベクトル統合部１１は前記最小領域Ｅの左下のブロックＢ'2を選択する。次いで、図５のステップＳ８に進んで、図３のＳＳＤ平面を参照して、該ブロックＢ'2の各小ブロックに対して、それぞれ、ＳＳＤ値が小さい動きベクトルを小さい方からｎ個（例えば、ｎ＝３）候補ベクトルとして選択する。ステップＳ９では、ブロックＢ'2の中のブロックＢ'1と隣接している２個の小ブロックに関しては、ブロックＢ'1で決定済みの隣接小ブロックの動きベクトルを候補として加える。
【００１６】
次に、ベクトル統合部１１とＳＮＲ・符号量推定部１２はステップＳ１０の処理を行い、前記４個の小ブロックの候補ベクトルの組合わせであるｎ２ ×（ｎ＋１）２ 個の動きベクトルパターンの全てについて発生する情報量を、前記と同様の方法により計算すると共に、歪みを求める。この時、前記決定済みの隣接小ブロックの動きベクトルと４個の小ブロックの候補ベクトルに同一の動きベクトルが存在する場合には、ベクトル統合をして情報量と歪みを求める。
【００１７】
ステップＳ１１では、ステップＳ１０で求めたｎ２ ×（ｎ＋１）２ 個の動きベクトルパターンの全ての発生情報量と歪みの中から、該発生情報量と歪みが最適となるベクトルパターンを求める。このステップＳ１１で求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、それぞれＸ2 、Ｙ2 とする。この処理により、ブロックＢ'2の４個の小ブロックの各動きベクトルは決定されたことになる。
【００１８】
ステップＳ１２、ステップＳ１３では、最小領域Ｅの右下のブロックＢ'3、右上のブロックＢ'4に対して、前記と同様の処理を行い、それぞれ発生情報量と歪みが最適となるベクトルパターンを求める。そして、求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、それぞれＸ3 、Ｙ3 ；Ｘ4 、Ｙ4 とする。なお、前記の処理においても、ブロックＢ'3の中のブロックＢ'2と隣接している２個の小ブロック、ブロックＢ'4の中のブロックＢ'1およびＢ'3と隣接している３個の小ブロックについては、以前の処理で既に決定済みの隣接小ブロックの動きベクトルを候補として加える。以上の処理により、例えば図７(a) に示されるような４Ｎ×４Ｎサイズの領域パターンにおける分割パターンが、動きベクトルの統合によって得られることになる。図のＶ11〜Ｖ43は動きベクトルを示している。
【００１９】
次に、前記ブロックマッチングとの比較部１３は、図６のステップＳ１４、Ｓ１５の処理を行う。ステップＳ１４では、前記最小領域Ｅ、すなわち１６個の小ブロックに対して単一の動きベクトルＭＶを与えた場合における符号化情報量と歪みを求める。この時の発生情報量と歪みに関する値を、それぞれＸ5 、Ｙ5 とする。なお、単一の動きベクトルＭＶは図３のＳＳＤ平面を利用して求めても良いし、最小領域Ｅに対する候補ベクトルを複数個求め、その中から符号化情報量と歪みを最小にする動きベクトルを単一の動きベクトルＭＶとしても良い。図７(b) は、ブロックマッチング法で得られた４Ｎ×４Ｎサイズでの動きベクトルＶm を示している。
【００２０】
ステップＳ１５では、前記Ｘ1 ＋Ｘ2 ＋Ｘ3 ＋Ｘ4 およびＹ1 ＋Ｙ2 ＋Ｙ3 ＋Ｙ4 と、前記Ｘ5 およびＹ5 とを総合的に比較し、発生情報量と歪みの観点から本発明の領域分割符号化方式の方が最適であるか否かの判断を行う。この判断が否定の場合にはステップＳ１６に進み、肯定の場合にはステップＳ１７に進む。
【００２１】
なお、ステップＳ１５の判断は、例えば図８に示されているように、横軸を発生情報量、縦軸を歪みとするグラフ上に、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４，Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）なる点Ａ、（Ｘ５，Ｙ５）なる点Ｂを求め、該点Ａ、点Ｂを通る正でかつ等しい所定の勾配の直線ａ，ｂを引き、該直線が上にきた方を最適として選択することができる。一方、図８の縦軸をＳＮＲとした場合には、グラフ上に、発生情報量を（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）、ＳＮＲを（Ｙ１’＋Ｙ２’＋Ｙ３’＋Ｙ４’）とする点Ａ’、発生情報量をＸ５、ＳＮＲをＹ５’とする点Ｂ’を求め、 該点Ａ’、点Ｂ’を通る正でかつ等しい所定の勾配の直線ａ’，ｂ’を引き、該直線が下にきた方を最適として選択することができる。
【００２２】
ステップＳ１６では、最小領域Ｓの１６個の小ブロックに対する動きベクトルを単一の動きベクトルＭＶに置換する。一方、ステップＳ１７では、最小領域Ｓの１６個の小ブロックの動きベクトルを、ステップＳ６、Ｓ１１、Ｓ１２およびＳ１３で求めた動きベクトルとする。
【００２３】
前記ステップＳ１５、Ｓ１６およびＳ１７の処理により、本発明による領域分割符号化を適用した場合の符号化情報量が、従来のブロックマッチング法における符号化情報量より少ない場合、すなわち本発明による領域分割符号化の効率が該ブロックマッチング法における符号化効率より良くなる場合には、本発明によって決定された動きベクトルが採用され、逆の場合にはブロックマッチング法で使用した動きベクトルが採用されることになるから、本発明による動き補償予測の効率が悪い場合でも、従来のブロックマッチング法における符号化効率より低下しないことになる。
【００２４】
ステップＳ１８に進むと、ステップＳ１６またはＳ１７で決定された動きベクトルが、前記動き補償予測部３とバッファ５とに通知される。次いで、ステップＳ１９に進み、１フレームの入力画像の処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ２０に進んで、下隣りの１６個の小ブロック（最小領域）が選択され、図４のステップＳ１に戻って、再度前記と同じ動作が繰り返される。該最小領域の処理が終了すると、次はその右隣りの最小領域に対して処理がなされ、この処理が終了すると、今度は上隣の最小領域に対して処理がなされる。
【００２５】
なお、前記の説明では、ステップＳ５、Ｓ１０、Ｓ１２、およびＳ１３の発生情報量の中に、同じ動きベクトルによって形成される領域を表現するための形状情報量を含めたが、これらのステップでは形状情報量を含まない発生情報量を求め、該形状情報量については、ステップＳ１３とステップＳ１４の間で、図７(a) に基づいて形状情報量を求め、既に求められている発生情報量に加えるようにしても良い。
【００２６】
【発明の効果】
以上の説明から明らかなように、本発明の動画像の領域分割符号化装置によれば、領域パターンに対して領域分割符号化を施すことにより得られる符号化情報量と、該領域パターンに対して単一の動きベクトルを付与して符号化した場合に得られる符号化情報量とを比較し、前者の符号化情報量が後者の符号化情報量より少ない場合は領域分割符号化を、逆の場合は単一の動きベクトルを付与する符号化を採用するようにしたので、本発明により得られる符号化情報量は必ず従来の方式のものより少なくなるという効果がある。
【００２７】
また、このため、従来の動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証される領域分割符号化装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 入力画像を小ブロックＢ1 〜ＢN （４×４画素）に分割する様子を示す図である。
【図３】 ＳＳＤ平面の説明図である。
【図４】 本発明の一実施形態の動作を示すフローチャートである。
【図５】 図４の続きのフローチャートである。
【図６】 図５の続きのフローチャートである。
【図７】 動きベクトルの統合によって得られる最適動きベクトルの領域分割パターンと、ブロックマッチング法で得られる単一の動きベクトルを示す図である。
【図８】 領域分割符号化とブロックマッチング法により得られる符号化情報量と歪みの評価の仕方の一例を示すグラフである。
【符号の説明】
１…入力画像、３…動き補償予測部、４…符号化・量子化器、５…バッファ、１０…ＳＳＤ平面作成部、１１…ベクトル統合部、１２…ＳＮＲ・符号量推定部、１３…ブロックマッチングとの比較部。
【発明の属する技術分野】
この発明は動画像の領域分割符号化装置に関し、特に動画像の領域分割に基づいて動き補償予測符号化を行うことにより、高圧縮符号化を行うようにした動画像の領域分割符号化装置に関する。
【０００２】
【従来の技術】
従来の動画像の動き補償予測符号化装置としては、動画像を、例えば１６×１６画素の矩形ブロック（マクロブロック）に分割し、該矩形ブロック単位で、動き補償予測符号化を行うようにするものがある。しかしながら、この従来装置では、例えば、動きのある物体と動きのない背景との境界を含む矩形ブロックは、動きのある部分と動きのない部分とが混在するものとなり、これらの矩形ブロックでは予測誤差が減らず、符号化効率あるいは動き予測効率が低下するという問題があった。
【０００３】
そこで、本発明者等は、何らかの方法で画像を領域分割し、その後ある種の規範で領域統合を行う分離・統合を行い、得られた領域分割結果に基づいて符号化を行う方法を発明して特許出願した（特願平９−３２８５５号）。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した領域分割による符号化方法では、符号化情報量と歪みの観点からみた場合に、必ずしも最適な領域分割とならないという問題、および前記動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証されないという問題があった。
【０００５】
本発明の目的は、前記した従来技術の問題点を除去し、領域の動きベクトル情報、領域内の符号化情報量、および該領域を表現するための形状情報量の総和と、歪みの観点から、最適と思われる領域分割符号化を行う動画像の領域分割符号化装置を提供することにある。また、他の目的は、従来の動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証される領域分割符号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像を任意の形状の領域パターンで動き補償予測を行う領域分割動き補償予測符号化装置において、複数の画素で構成される小ブロック毎に動き補償予測誤差の小さい複数個の候補動きベクトルを求める第１の手段と、複数の小ブロックで構成されるブロック単位に、各小ブロックから前記候補動きベクトルを１つずつ取り出して組み合わせ、該組み合わせ毎に、少なくとも該候補動きベクトルの情報量および該候補動きベクトルに基づく動き補償予測誤差の符号化結果の情報量を含む発生情報量と、該組み合わせの候補動きベクトルによって復号された復号画像と入力画像の差分から符号化歪みとを求め、該発生情報量と符号化歪みからなる点を、発生情報量と符号化歪みのそれぞれを横軸、縦軸とするグラフ上に求め、該点を通る正でかつ等しい所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択し、同様にして他のブロック単位に対する最適な動きベクトルパターンを選択し、複数個の前記ブロック単位で構成される領域パターンに対して前記選択された最適な動きベクトルパターンを付与して符号化した場合における情報量と符号化歪みを求める第２の手段と、前記領域パターンに対して、単一の動きベクトルを付与して符号化した場合における情報量と符号化歪みを求める第３の手段と、前記第２、第３の手段によって求められた前記情報量と符号化歪みからなる点を前記グラフ上に求め、該点を通る正でかつ等しい前記所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択する第４の手段とを具備した点に特徴がある。この特徴によれば、符号化情報量を必ず従来の方式のものより少なくすることができる。
【０００７】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像の領域分割符号化装置の一実施形態を示す概略のブロック図である。
【０００８】
入力画像１は例えば４×４画素の小ブロック毎に符号化器に入力してくる。減算器２は該入力画像１と動き補償予測部３から出力される動き補償された前画像との差、すなわち動き補償予測誤差を出力する。スイッチＳＷは、インター符号化する時には端子ａを選択し、イントラ符号化する時には端子ｂを選択する。
【０００９】
符号化・量子化器４は前記動き補償予測誤差を符号化および量子化する。該量子化された動き補償予測誤差はバッファ５に一時的に格納されると共に、復号化・逆量子化器６に送られる。加算器７は該復号化・逆量子化器６によって逆量子化された動き補償予測誤差と動き補償予測部３から出力された動き補償された前画像とを加算することにより原画像を復元し、フレームメモリ８に格納する。ビットレート制御部９は、前記バッファ５に記憶されているデータ量に基づいて、量子化器４の量子化ステップサイズを決定する。
【００１０】
ＳＳＤ平面作成部１０は、図２に示されているように、入力画像１を小ブロックＢ1 〜ＢN （４×４画素）に分割し、全ての小ブロックＢ1 、Ｂ2 、…、ＢN の個々のものについて、例えば左右方向に±１６画素、上下方向に±８画素動かした場合の計５１２個の動きベクトルＶ1 〜ＶL （Ｌ＝５１２）を求める。そして、これらの動きベクトルＶ1 〜ＶL の個々のものに対して、動き補償予測誤差２乗和ＳＳＤ1 〜ＳＳＤL の値を計算し、図３に示されているようなテーブルとして記憶しておく。なお、前記の例では、小ブロックＢ1 〜ＢN を４×４画素としたが、本発明はこれに限定されず、４×２画素、２×２画素であっても良い。
次に、ベクトル統合部１１、ＳＮＲ（歪み）・符号量推定部１２、およびブロックマッチングとの比較部１３の動作を、図４〜図６のフローチャートを参照して説明する。
【００１１】
ステップＳ１では、ベクトル統合部１１は入力画像１の所定位置、例えば左上角の１６個の小ブロックＢ1 、Ｂ2 、…を選択する。以下、該１６個の小ブロックを最小領域Ｅと呼ぶ。ステップＳ２では、該最小領域Ｅを縦、横に２分割し、ステップＳ３では、左上のブロックＢ'1（斜線で塗られた領域）を選択する。次に、ステップＳ４では、図３のＳＳＤ平面より、該ブロックＢ'1に含まれる４個の小ブロックに対して、それぞれＳＳＤ値が小さい動きベクトルを、小さい方からｎ個（例えば、ｎ＝３）、候補ベクトルとして選択する。
【００１２】
次いで、ベクトル統合部１１とＳＮＲ・符号量推定部１２はステップＳ５の処理を行い、前記４個の小ブロックの候補ベクトルの組合わせであるｎ４ 個の動きベクトルパターンの全てについて発生する情報量（符号化情報量＋動きベクトルの情報量＋形状情報量）を計算すると共に、歪み（ＳＮＲ）を求める。この時、４個の小ブロックの候補ベクトルの組合わせの中に同一の動きベクトルが存在する場合にはベクトルを統合して計算する。
【００１３】
具体的には、該動きベクトルパターンから予測画像を作成し、入力画像１と該予測画像の差分を求め、該差分を符号化して符号化情報量を求める。また、前記４個の小ブロックに割り当てられた動きベクトルから、動きベクトルの情報量を求める。この場合、４個の小ブロック全てに異なる動きベクトルが割り当てられれば、４個分の動きベクトルの情報量となるが、同じ動きベクトルの小ブロックが存在すれば、該動きベクトルは統合されて、動きベクトルの情報量は該統合の具合に応じて低減されることになる。因みに、１個の動きベクトルに対する情報量は通常８〜９ビットである。また、動きベクトルは統合の具合に応じて、同じ動きベクトルの領域の形状が決定され、該領域を表現するための形状情報量が求められる。さらに、ＳＮＲ（単位：デシベル）が、前記動きベクトルパターンによって符号化された結果から復号された復号画像と入力画像１との差分から求められる。
【００１４】
ステップＳ６では、ステップＳ５で求めたｎ４ 個の動きベクトルパターンの全ての発生情報量と歪み（ＳＮＲ）の中から、該発生情報量と歪みが最適となるベクトルパターンを求める。このステップＳ６で求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、発生情報量Ｘ1 、歪みＹ1 とする。この処理により、ブロックＢ'1の４個の小ブロックの各動きベクトルは決定されたことになる。
【００１５】
次に、ステップＳ７に進んで、ベクトル統合部１１は前記最小領域Ｅの左下のブロックＢ'2を選択する。次いで、図５のステップＳ８に進んで、図３のＳＳＤ平面を参照して、該ブロックＢ'2の各小ブロックに対して、それぞれ、ＳＳＤ値が小さい動きベクトルを小さい方からｎ個（例えば、ｎ＝３）候補ベクトルとして選択する。ステップＳ９では、ブロックＢ'2の中のブロックＢ'1と隣接している２個の小ブロックに関しては、ブロックＢ'1で決定済みの隣接小ブロックの動きベクトルを候補として加える。
【００１６】
次に、ベクトル統合部１１とＳＮＲ・符号量推定部１２はステップＳ１０の処理を行い、前記４個の小ブロックの候補ベクトルの組合わせであるｎ２ ×（ｎ＋１）２ 個の動きベクトルパターンの全てについて発生する情報量を、前記と同様の方法により計算すると共に、歪みを求める。この時、前記決定済みの隣接小ブロックの動きベクトルと４個の小ブロックの候補ベクトルに同一の動きベクトルが存在する場合には、ベクトル統合をして情報量と歪みを求める。
【００１７】
ステップＳ１１では、ステップＳ１０で求めたｎ２ ×（ｎ＋１）２ 個の動きベクトルパターンの全ての発生情報量と歪みの中から、該発生情報量と歪みが最適となるベクトルパターンを求める。このステップＳ１１で求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、それぞれＸ2 、Ｙ2 とする。この処理により、ブロックＢ'2の４個の小ブロックの各動きベクトルは決定されたことになる。
【００１８】
ステップＳ１２、ステップＳ１３では、最小領域Ｅの右下のブロックＢ'3、右上のブロックＢ'4に対して、前記と同様の処理を行い、それぞれ発生情報量と歪みが最適となるベクトルパターンを求める。そして、求められた最適となるベクトルパターンの発生情報量と歪みの最適値を、それぞれＸ3 、Ｙ3 ；Ｘ4 、Ｙ4 とする。なお、前記の処理においても、ブロックＢ'3の中のブロックＢ'2と隣接している２個の小ブロック、ブロックＢ'4の中のブロックＢ'1およびＢ'3と隣接している３個の小ブロックについては、以前の処理で既に決定済みの隣接小ブロックの動きベクトルを候補として加える。以上の処理により、例えば図７(a) に示されるような４Ｎ×４Ｎサイズの領域パターンにおける分割パターンが、動きベクトルの統合によって得られることになる。図のＶ11〜Ｖ43は動きベクトルを示している。
【００１９】
次に、前記ブロックマッチングとの比較部１３は、図６のステップＳ１４、Ｓ１５の処理を行う。ステップＳ１４では、前記最小領域Ｅ、すなわち１６個の小ブロックに対して単一の動きベクトルＭＶを与えた場合における符号化情報量と歪みを求める。この時の発生情報量と歪みに関する値を、それぞれＸ5 、Ｙ5 とする。なお、単一の動きベクトルＭＶは図３のＳＳＤ平面を利用して求めても良いし、最小領域Ｅに対する候補ベクトルを複数個求め、その中から符号化情報量と歪みを最小にする動きベクトルを単一の動きベクトルＭＶとしても良い。図７(b) は、ブロックマッチング法で得られた４Ｎ×４Ｎサイズでの動きベクトルＶm を示している。
【００２０】
ステップＳ１５では、前記Ｘ1 ＋Ｘ2 ＋Ｘ3 ＋Ｘ4 およびＹ1 ＋Ｙ2 ＋Ｙ3 ＋Ｙ4 と、前記Ｘ5 およびＹ5 とを総合的に比較し、発生情報量と歪みの観点から本発明の領域分割符号化方式の方が最適であるか否かの判断を行う。この判断が否定の場合にはステップＳ１６に進み、肯定の場合にはステップＳ１７に進む。
【００２１】
なお、ステップＳ１５の判断は、例えば図８に示されているように、横軸を発生情報量、縦軸を歪みとするグラフ上に、（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４，Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）なる点Ａ、（Ｘ５，Ｙ５）なる点Ｂを求め、該点Ａ、点Ｂを通る正でかつ等しい所定の勾配の直線ａ，ｂを引き、該直線が上にきた方を最適として選択することができる。一方、図８の縦軸をＳＮＲとした場合には、グラフ上に、発生情報量を（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）、ＳＮＲを（Ｙ１’＋Ｙ２’＋Ｙ３’＋Ｙ４’）とする点Ａ’、発生情報量をＸ５、ＳＮＲをＹ５’とする点Ｂ’を求め、 該点Ａ’、点Ｂ’を通る正でかつ等しい所定の勾配の直線ａ’，ｂ’を引き、該直線が下にきた方を最適として選択することができる。
【００２２】
ステップＳ１６では、最小領域Ｓの１６個の小ブロックに対する動きベクトルを単一の動きベクトルＭＶに置換する。一方、ステップＳ１７では、最小領域Ｓの１６個の小ブロックの動きベクトルを、ステップＳ６、Ｓ１１、Ｓ１２およびＳ１３で求めた動きベクトルとする。
【００２３】
前記ステップＳ１５、Ｓ１６およびＳ１７の処理により、本発明による領域分割符号化を適用した場合の符号化情報量が、従来のブロックマッチング法における符号化情報量より少ない場合、すなわち本発明による領域分割符号化の効率が該ブロックマッチング法における符号化効率より良くなる場合には、本発明によって決定された動きベクトルが採用され、逆の場合にはブロックマッチング法で使用した動きベクトルが採用されることになるから、本発明による動き補償予測の効率が悪い場合でも、従来のブロックマッチング法における符号化効率より低下しないことになる。
【００２４】
ステップＳ１８に進むと、ステップＳ１６またはＳ１７で決定された動きベクトルが、前記動き補償予測部３とバッファ５とに通知される。次いで、ステップＳ１９に進み、１フレームの入力画像の処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ２０に進んで、下隣りの１６個の小ブロック（最小領域）が選択され、図４のステップＳ１に戻って、再度前記と同じ動作が繰り返される。該最小領域の処理が終了すると、次はその右隣りの最小領域に対して処理がなされ、この処理が終了すると、今度は上隣の最小領域に対して処理がなされる。
【００２５】
なお、前記の説明では、ステップＳ５、Ｓ１０、Ｓ１２、およびＳ１３の発生情報量の中に、同じ動きベクトルによって形成される領域を表現するための形状情報量を含めたが、これらのステップでは形状情報量を含まない発生情報量を求め、該形状情報量については、ステップＳ１３とステップＳ１４の間で、図７(a) に基づいて形状情報量を求め、既に求められている発生情報量に加えるようにしても良い。
【００２６】
【発明の効果】
以上の説明から明らかなように、本発明の動画像の領域分割符号化装置によれば、領域パターンに対して領域分割符号化を施すことにより得られる符号化情報量と、該領域パターンに対して単一の動きベクトルを付与して符号化した場合に得られる符号化情報量とを比較し、前者の符号化情報量が後者の符号化情報量より少ない場合は領域分割符号化を、逆の場合は単一の動きベクトルを付与する符号化を採用するようにしたので、本発明により得られる符号化情報量は必ず従来の方式のものより少なくなるという効果がある。
【００２７】
また、このため、従来の動き補償予測符号化装置と比べて、常に符号化性能が上回ることが保証される領域分割符号化装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 入力画像を小ブロックＢ1 〜ＢN （４×４画素）に分割する様子を示す図である。
【図３】 ＳＳＤ平面の説明図である。
【図４】 本発明の一実施形態の動作を示すフローチャートである。
【図５】 図４の続きのフローチャートである。
【図６】 図５の続きのフローチャートである。
【図７】 動きベクトルの統合によって得られる最適動きベクトルの領域分割パターンと、ブロックマッチング法で得られる単一の動きベクトルを示す図である。
【図８】 領域分割符号化とブロックマッチング法により得られる符号化情報量と歪みの評価の仕方の一例を示すグラフである。
【符号の説明】
１…入力画像、３…動き補償予測部、４…符号化・量子化器、５…バッファ、１０…ＳＳＤ平面作成部、１１…ベクトル統合部、１２…ＳＮＲ・符号量推定部、１３…ブロックマッチングとの比較部。
Claims (4)
- 動画像を任意の形状の領域パターンで動き補償予測を行う領域分割動き補償予測符号化装置において、
複数の画素で構成される小ブロック毎に動き補償予測誤差の小さい複数個の候補動きベクトルを求める第１の手段と、
複数の小ブロックで構成されるブロック単位に、各小ブロックから前記候補動きベクトルを１つずつ取り出して組み合わせ、該組み合わせ毎に、少なくとも該候補動きベクトルの情報量および該候補動きベクトルに基づく動き補償予測誤差の符号化結果の情報量を含む発生情報量と、該組み合わせの候補動きベクトルによって復号された復号画像と入力画像の差分から符号化歪みとを求め、該発生情報量と符号化歪みからなる点を、発生情報量と符号化歪みのそれぞれを横軸、縦軸とするグラフ上に求め、該点を通る正でかつ等しい所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択し、同様にして他のブロック単位に対する最適な動きベクトルパターンを選択し、複数個の前記ブロック単位で構成される領域パターンに対して前記選択された最適な動きベクトルパターンを付与して符号化した場合における情報量と符号化歪みを求める第２の手段と、
前記領域パターンに対して、単一の動きベクトルを付与して符号化した場合における情報量と符号化歪みを求める第３の手段と、
前記第２、第３の手段によって求められた前記情報量と符号化歪みからなる点を前記グラフ上に求め、該点を通る正でかつ等しい前記所定の勾配の直線を引いた場合に該直線が予め定められた上下の一方にきた方の点を基に最適な動きベクトルパターンを選択する第４の手段とを具備したことを特徴とする動画像の領域分割符号化装置。 - 請求項１に記載の領域分割符号化装置において、
前記発生情報量は、同じ動きベクトルの統合によって得られる領域を表現するための形状情報量を含むことを特徴とする動画像の領域分割符号化装置。 - 請求項１または２に記載の領域分割符号化装置において、
前記第２の手段は、前記ブロックの隣接小ブロックにおける動きベクトルを考慮に入れて、前記発生情報量を求めることを特徴とする動画像の領域分割符号化装置。 - 請求項１ないし３のいずれかに記載の領域分割符号化装置において、
前記第２の手段は、前記発生情報量を、前記ブロック内に同じベクトルが存在する場合にはベクトル統合をして求めることを特徴とする動画像の領域分割符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21376198A JP3775630B2 (ja) | 1998-07-29 | 1998-07-29 | 動画像の領域分割符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21376198A JP3775630B2 (ja) | 1998-07-29 | 1998-07-29 | 動画像の領域分割符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000050279A JP2000050279A (ja) | 2000-02-18 |
| JP3775630B2 true JP3775630B2 (ja) | 2006-05-17 |
Family
ID=16644599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21376198A Expired - Fee Related JP3775630B2 (ja) | 1998-07-29 | 1998-07-29 | 動画像の領域分割符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3775630B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101409837B (zh) * | 2001-09-14 | 2011-07-13 | 株式会社Ntt都科摩 | 编码方法、译码方法、编码装置、译码装置、图象处理系统 |
| JPWO2003026315A1 (ja) | 2001-09-14 | 2005-01-06 | 株式会社エヌ・ティ・ティ・ドコモ | 符号化方法、復号方法、符号化装置、復号装置、画像処理システム、符号化プログラム及び復号プログラム |
| JP4591767B2 (ja) * | 2005-02-28 | 2010-12-01 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
| WO2011077524A1 (ja) * | 2009-12-24 | 2011-06-30 | 株式会社 東芝 | 動画像符号化装置及び動画像復号装置 |
| JP5368631B2 (ja) | 2010-04-08 | 2013-12-18 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
-
1998
- 1998-07-29 JP JP21376198A patent/JP3775630B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000050279A (ja) | 2000-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6335365B2 (ja) | 復号装置 | |
| RU2683165C1 (ru) | Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению | |
| JP5128794B2 (ja) | 映像のイントラ予測符号化及び復号化方法、並びに装置 | |
| JP4955216B2 (ja) | グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法 | |
| JP3570863B2 (ja) | 動画像復号化装置および動画像復号化方法 | |
| CN113507603B (zh) | 图像信号编码/解码方法及其设备 | |
| JP6501532B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
| JP2024015184A (ja) | 画像復号装置及び方法及びプログラム | |
| JP3775630B2 (ja) | 動画像の領域分割符号化装置 | |
| JPH1188888A (ja) | 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体 | |
| JP7030246B2 (ja) | イントラ予測装置、画像復号装置、及びプログラム | |
| TWI791959B (zh) | 圖像解碼裝置、圖像解碼方法及程式 | |
| TW202038612A (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| WO2020255688A1 (ja) | 画像符号化装置及び画像復号装置及び方法及びプログラム | |
| WO2020255689A1 (ja) | 画像符号化装置及び画像復号装置及び方法及びプログラム | |
| TWI803709B (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
| TWI795635B (zh) | 圖像解碼裝置、圖像解碼方法及程式 | |
| TWI834269B (zh) | 視訊處理方法及裝置 | |
| JP2006165699A (ja) | 画像符号化装置および画像符号化方法 | |
| TWI788268B (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
| JPH11103463A (ja) | 画像符号化方法及び記憶媒体 | |
| TW202034699A (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式 | |
| JPH01205670A (ja) | 画像信号符号化方式 | |
| TW202041012A (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| JP2023140150A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |