JP4321468B2

JP4321468B2 - 動画像符号化装置及び動画像復号化装置

Info

Publication number: JP4321468B2
Application number: JP2005083053A
Authority: JP
Inventors: 裕倉持
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-03-23
Filing date: 2005-03-23
Publication date: 2009-08-26
Anticipated expiration: 2025-03-23
Also published as: JP2006270294A

Description

本発明は動画像符号化装置及び動画像復号化装置に係り、特にテレビ信号など離散時間のフレームレートで２次元画像が符号化されている動画像符号化信号の符号量の削減の目的で、動画像信号のフレーム数を間引いた後で符号化を行い、符号化すべきフレーム数を減少させることで送信データ量を制限する動画像符号化装置、及びその動画像信号を復号化する動画像復号化装置に関する。

インターネットの普及に伴い、通信帯域の保証されない状況下でテレビ会議やテレビ電話用の動画像符号化装置が利用されるようになっている。代表的なテレビ会議やテレビ電話用の動画像符号化方法として、国際標準規格ＩＴＵ−Ｔ勧告Ｈ．２６１などが知られている（例えば、非特許文献１参照）。

インターネットでは、ネットワークを使用する利用者数やデータ量などが同時刻に集中した場合でも、それらを区別して扱うことが無いため、データストリーム当たりの通信帯域が時々刻々と変化し、通信帯域が保証されていない。この結果、動画像の品質は大きな影響を受けることになり、画質が不安定になるという問題が発生する。具体的には、解像度の低下やブロック歪に代表される圧縮固有の歪の増加、フレームレートの低下による不自然な動きなどがあげられる。

これらの画像品質の低下は、通信帯域の減少により動画像符号化装置から送信されたデータに遅延や欠落が発生して引き起こされる場合と、動画像符号化装置が通信帯域の減少を予め見越して自主的に送信データ量を制限するために起こる場合との２通りがある。

以下では、本発明の主たる目的である動画像符号化装置が自主的に送信データ量を制限する場合におけるフレームレートの低下について説明する。フレームレートを低下させることによる送信データ量の制限方法とは、動画像符号化装置に入力するフレーム数を入力前に間引き、符号化すべきフレーム数を減少させることで送信データ量を制限するものである。この制限されたデータを受信側で復号化して視聴すると、フレーム間引きによる動きの不連続が発生し画像品質の低下となる。

前記フレーム間引きによる動画像の品質低下に対する改善方法として、従来から受信側で復号化するために使用されるフレーム間のベクトル情報を利用して、間引かれたフレームを合成し補間することにより、送信側のデータ量の増加を伴わない方法が知られている（例えば、特許文献１参照）。しかし、この特許文献１記載の方法は、フレーム間のベクトルと同じ方向に補間するフレームの画像内容が動いている場合には有効であるが、実際には異なる方向に動いている場合もあり、この場合には有効な方法とはいえない。これは、符号化のためのベクトルがフレーム間の予測誤差を減少させることを目的にしており、必ずしも動きの方向を表現しているものではないからである。

一例として、図１６の場合を考える。図１６は球が１フレーム目で球１６００の位置にあり、２フレーム目で球１６０１の位置に落下し地面と衝突した後、３フレーム目で球１６０２の位置に跳ね返った様子を示している。この３フレームからなる動画像からフレームレー卜を落とす目的で、２フレーム目が間引かれ動画像符号化器へ入力された場合、動画像符号化器はベクトルとして図１７のベクトル１７００を出力する。このベクトル１７００を用いて受信側で間引かれた２フレーム目を合成すると、図１８の球１８００が補間画像として合成されることになり、実際の動きとは異なる動画像が提示されることになる。

更に、実際の動きの方向とのミスマッチは、例えば符号化単位となる小ブロック内に複数の異なる方向へ動く部分が混在している場合にも発生する。一例を、図１９と図２０を用いて説明する。ある時点で、２つの球が図１９（ａ）のように球１９００と球１９０１の位置にあった場合に、次のフレームで図１９（ｂ）のように球１９００が球１９０２の位置へ移動し、球１９０１が球１９０３の位置へ移動したとする。

このとき、図１９（ｂ）の破線で示すようにブロック分割し符号化すると、前のフレームである図２０（ａ）から誤差の少ない領域を探索し予測画像を合成すると、図２０（ｂ）のようになる。図２０（ｂ）において、ブロック２０００〜２００２は問題ないが、ブロック２００３は図１９（ｂ）の球１９０３の予測に図１９（ａ）の球１９０１を含むブロックである図２０（ａ）のブロック２００３を採用するため、図１９（ａ）の球１９００の一部が異なる方向へ移動されて見えている。また、図２０（ｂ）のブロック２００４では図１９（ａ）の球１９００の一部を予測ブロックとして採用すると、球１９０１の一部も一緒に移動され予測誤差が大きくなるために、全く別のブロックが採用されている様子を示している。

この動きのミスマッチを改善する方法として、ベクトルによって移動された小ブロック内の画素を、フレーム間で誤差の少ない領域と誤差の多い領域に分割することで、同一ブロック内の動きの異なる部分を検出し補正する方法が従来から知られている（例えば、特許文献２参照）。同一ブロック内に異なる動き部分が混在する理由は、画像の内容と関係なく一様に画面を小ブロックに分割することが原因で発生する問題である。また、この特許文献２記載の改善方法と前記特許文献１記載の改善方法のいずれも、前述のように補間画像の動きがフレーム間のベクトルとなる方向に動いていた場合には、その動きを知る手段がない点では同一である。

前記のフレーム間のベクトルの方向と補間画像の実際の動きの方向が異なる場合の問題を改善する方法として、送信データ量は増加するが補間フレーム用のベクトルを送信データに付加することで前述のフレーム間のベクトルと異なる方向に補間するフレームの画像内容が動いている場合の問題を解決する方法が従来知られている（例えば、特許文献３参照）。ただし、この特許文献３記載の従来方法は、補間フレーム用のベクトルのデータ量が僅かである場合にのみ有効な方法である。

小野文孝、渡辺裕著「国際標準画像符号化の基礎技術」，株式会社コロナ社，（ＩＳＢＮ４−３３９−０１１６１−４），ｐｐ．２１７−２３６，１９９８年３月監訳：尾上守夫,「パターン識別」，株式会社新技術コミュニケーションズ，（ＩＳＢＮ４−９１５８５１−２４−９），２００３年２月特開平７−１７７５１４号公報特開２０００−２２４５９３号公報特開平１０−２７１５０８号公報

前述したように、フレーム補間用のベクトルを付加する特許文献３記載の方法は、付加するベクトルの情報量が少ないことを前提条件として成立するものである。何故ならば、データ量を制限する目的でフレームを間引いているにも拘らず、ベクトルのデータ量が増加すると通信自体が成立しなくなる可能性があるからである。このため、補間フレームを合成するためのベクトルのデータ量を削減する技術が不可欠となる。

本発明は上記の点に鑑みなされたもので、補間フレームの合成に用いられるベクトルのデータ量を大幅に削滅し得る動画像符号化装置及び動画像復号化装置を提供することを目的とする。

上記の目的を達成するため、第１の発明は動画像信号のフレームからフレーム間引きを行い、フレームレートを削減して符号化する動画像符号化装置において、供給される動画像信号に対し、予め定めた規則に従ってフレーム間引きを行うフレーム間引き手段と、フレーム間引き手段によりフレーム間引き処理された動画像信号を符号化して動画像符号化信号を出力する動画像符号化手段と、動画像符号化手段から出力される動画像符号化信号をローカル復号化するローカル復号化手段と、フレーム間引き手段により動画像信号から間引かれた、動画像符号化手段で符号化されない間引きフレームの画像信号を記憶する第１の記憶手段と、ローカル復号化手段から出力されるローカル復号動画像信号で、第１の記憶手段に記憶されている一つの間引きフレームに対して、時間的に前後する２フレームのローカル復号動画像信号を記憶する第２の記憶手段と、第２の記憶手段から出力された時間的に前後する２フレームのローカル復号動画像信号からフレーム間の差分値を求め、その差分値が規定値以上の値を持つ連続した領域の画像信号を親セグメントとして、時間的に前後する２フレームのローカル復号動画像信号のそれぞれから分離する第１の分離手段と、第１の分離手段で時間的に前後する２フレームのそれぞれから分離された親セグメントのうち、一方のフレームの親セグメントを、他方のフレームのローカル復号動画像信号の画像領域と位置をずらしながら誤差を求め、その誤差の極小値が発見される度に画素毎の誤差を求め、閾値よりも画素毎の誤差が小さく、かつ、連続した領域の画像信号を、一方のフレームの親セグメントから子セグメントとして分離する処理を行うことにより、時間的に前後する２フレームのそれぞれから第１及び第２の子セグメントを分離出力する第２の分離手段と、第１の記憶手段から出力された間引きフレームの動画像信号と、第２の分離手段で分離された第１及び第２の子セグメントとのマッチングにより、第１及び第２の子セグメントのうち平均自乗誤差の最小値が規定値よりも小さな子セグメントを選択する子セグメントの選択情報と、選択された子セグメントの平均自乗誤差の最小値を与える位置への画面上の水平及び垂直の移動量を示す動きベクトル情報と、第１及び第２の子セグメントの画面上の上下関係を示す上下関係決定情報とを検出する検出手段と、検出手段で検出された子セグメントの選択情報と動きベクトル情報と上下関係決定情報とを符号化して補間用符号化信号を出力する符号化手段とを有し、動画像符号化信号と補間用符号化信号とをそれぞれ出力することを特徴とする。

この発明では、動画像符号化手段で符号化されない間引きフレームの画像信号に対して、前後の２フレーム（これは直前と直後の２フレームに限らず、間引きフレームに対し１又は２レーム以上前と１又は２フレーム以上後の２フレームも含む）の関係にあるローカル復号化された画像信号から動き方向を求め、セグメントを構成するセグメンテーションを行うことを特徴とする画像分割方法により、ブロック分割する方法のように無駄に細分化することを防止して付加ベクトルの数を削減する。上記の動き方向を示す動きベクトル情報と子セグメントの選択情報と上下関係決定情報とを符号化して得た補間用符号化信号は間引き処理された動画像符号化信号と共に伝送される。

また、上記の目的を達成するため、第２の発明は、第１の発明の動画像符号化装置によりフレーム間引きが行われて符号化された動画像信号を元のフレームレートに復号化する動画像復号化装置であって、間引き処理後の動画像符号化信号を復号化する第１の復号化手段と、補間用符号化信号を復号化する第２の復号化手段と、第１の復号化手段により復号化された時間的に前後する２フレームの復号化画像信号からフレーム間の差分値を求め、差分値が規定値以上の値を持つ連続した領域を親セグメントとして、時間的に前後する２フレームのそれぞれから分離する第１の分離手段と、第１の分離手段で時間的に前後する２フレームのそれぞれから分離された親セグメントのうち、一方のフレームの親セグメントを、他方のフレームの復号化画像信号の画像領域と位置をずらしながら誤差を求め、その誤差の極小値が発見される度に画素毎の誤差を求め、閾値よりも画素毎の誤差が小さく、かつ、連続した領域の画像信号を一方のフレームの親セグメントから子セグメントとして分離する処理を行って、第１及び第２の子セグメントを分離出力する第２の分離手段と、第２の復号化手段から出力された子セグメントの選択情報、動きベクトル情報及び上下関係決定情報に従い、第２の分離手段で分離された第１及び第２の子セグメントを選択及び移動すると共に、上下関係決定情報に従って重ね合わせ、時間的に前後する２フレーム間の補間フレームを合成する補償手段と、補償手段により得られた補間フレームの画像信号と、第１の復号化手段から出力された間引き処理後の動画像信号とを交互に選択する選択手段とを有することを特徴とする。

この発明では、動画像符号化信号を復号化して得た、前後２フレームの画像信号間の差分を求め、画面内で差分のある領域を親セグメントとして分離し、更に親セグメントを２枚の前後フレームを対象に前方マッチングおよび後方マッチングにより動きの方向と移動量が同じ領域に分割し子セグメントとする。更にこの子セグメントに対して、補間フレーム用のベクトル情報を付与する。セグメントの形状は復号化された前後２フレームから求められるため符号化器から復号化器へ伝送する必要はない。また、前後２フレームのセグメントを選択的に採用するため、フレーム間で形状の変化などがある場合には、形状の近い方のセグメントを採用するように補間フレームの前後両方向から補間が選択的に行われる構成とした。

本発明によれば、同一の動き特徴量を持つ領域を１つのセグメントにまとめることができるため、画面を一様にブロック分割する方法に比べて格段にベクトル数を削減することが可能になると共に、ブロック分割のような異なる動きが混在する問題も発生しない。また、セグメントに対して付与されるベクトルは補間フレームの動き情報であるため正確な動きを表現できる。

これらの結果、本発明によれば、データ量の削減という目的を達成しながら、正確なフレーム補間による画像品質の向上が実現され、インターネットなどの帯域が保証されていない通信においても自然な動きの動画像通信が実現される効果がある。

本発明に係る動画像符号化装置及び動画像復号化装置の主たる目的は、符号量の削減のために符号化器側で間引かれたフレームを復号化装置で再合成する手段を提供し、動きの不自然さを解消することにある。以下では、本発明装置の実施の形態について、ブロック図と処理内容を示すフローチャートと共に説明する。

図１は本発明になる動画像符号化装置の一実施の形態のブロック図、図２はその動作説明用フローチャートを示す。図１において、動画像符号化装置は端子１００を介して入力される動画像信号に対して１フレームおきに間引く間引き処理を行うフレーム間引器１０１と、フレーム間引器１０１から出力された動画像信号の符号化を行う動画像符号化器１０２と、フレーム間引器１０１から出力された動画像信号を１フレーム単位で記憶する第１のフレームメモリ１０５と、ローカル復号化器１０４と、ローカル復号化器１０４で復号化された動画像信号を１フレーム単位で記憶する第２のフレームメモリ１０６と、フレームメモリ１０６の出力信号を１フレーム単位で記憶する第３のフレームメモリ１０７と、フレームメモリ１０６及び１０７の各出力信号に対して、後述するセグメンテーションを行うセグメント分離器１０８と、セグメント分離器１０８の出力信号に基づいてフレームメモリ１０５から出力された動画像信号のベクトル検出を行うベクトル検出器１０９と、ベクトル検出器１０９で検出されたベクトルを符号化するベクトル符号化器１１０とから構成される。

次に、この動画像符号化装置の動作について、図２のフローチャートを併せ参照して説明する。まず、フレーム間引器１０１は、端子１００を介して入力される動画像信号の時間連続するフレームを、動画像符号化信号の符号量の削減の目的で１フレームおきに間引く間引き処理を行う（図２のステップＳ１１）。このフレーム間引きの一例について説明するに、例えば、図５に示すように球が画面中を移動する時間連続の６つのフレーム５００〜５０５の動画像信号が図１の端子１００に入力されたとすると、フレーム間引き処理により１フレームおきのフレーム５０１、５０３、５０５が間引かれ、フレーム５００、５０２、５０４が図１のフレーム間引器１０１から出力され、動画像符号化器１０２へ供給される。

なお、本実施の形態では、１フレームおきに間引く処理を例に取り上げているが、本発明は間引くフレーム数を連続する複数フレームにするなどの方法にも適用可能であり、本実施の形態により間引き方を制限するものではない。また、図１のフレーム間引器１０１からは間引かれたフレーム５０１、５０３、５０５も出力され、フレームメモリ１０５へ供給される。

次に、図１の動画像符号化器１０２では、フレーム間引器１０１から入力された動画像信号の間引かれたフレームを時間連続したフレームと捉えて通常の動画像符号化を行う（図２のステップＳ１２）。この動画像符号化器１０２による動画像の符号化方法は特に限定されるものではなく、様々な符号化方法が適用可能である。例えば、前述のＨ．２６１で規定された符号化方法などが利用できる。

次に、図１の動画像符号化器１０２により符号化して得られた、フレームレートが入力端子１００の入力動画像信号のそれに比し削減されたビットストリーム（動画像符号化信号系列）は、出力端子１０３から外部へ出力されて（図２のステップＳ１３）、インターネットなどの通信網を経由して受信装置へ伝送されると同時に、ローカル復号化器１０４へも供給され、ここでローカル復号化処理が行われる（図２のステップＳ１４）。

図１のローカル復号器１０４でビットストリームを復号化することにより得られた復号化後のローカル復号画像信号は、フレームメモリ１０６に入力されて１フレーム単位で蓄積された後、読み出されてフレームメモリ１０７に入力されて１フレーム単位で蓄積される（図２のステップＳ１５）。一方、フレームメモリ１０５には、前述したように、フレーム間引器１０１から動画像符号化器１０２へ出力される間引き処理された動画像信号の１フレーム後の、動画像符号化器１０２で符号化されなかった間引きフレームの動画像信号が供給されて蓄積されている。

これにより、フレームメモリ１０６にはフレームメモリ１０５の後フレームに相当するローカル復号画像信号が蓄積され、フレームメモリ１０７にはフレームメモリ１０５の前フレームに相当するローカル復号画像信号が蓄積されることとなる。これは、フレームメモリ１０６に新たなフレームがローカル復号化器１０４から入力されると同時に、フレームメモリ１０６に蓄積されていた画像信号がフレームメモリ１０７に入力される構成により実現される。

次に、セグメント分離器１０８がフレームメモリ１０６及びフレームメモリ１０７から出力された画像信号をそれぞれセグメンテーションする（図２のステップＳ１６）。すなわち、本実施の形態では、画像を任意形状のセグメントに分解し、セグメント毎にベクトルを付与する方法をとる。画像のセグメンテーションは画像内の同一の成分を持つ領域を１つのセグメントとして分離することが一般的である。画像内の同一の成分とは、輝度値や色、２次元空間の周波数成分、連続するエッジを境界条件とした力学モデルなど様々な方法が提案されている。

本発明では復号化された前後の２フレームから動き方向を求めセグメントを構成するセグメンテーションを行うことを特徴とする画像分割方法によりブロック分割する方法のように無駄に細分化することを防止して付加ベクトルの数を削減するものである。

このセグメント分離器１０８によるセグメンテーションの方法を図６のフローチャートを用いて説明する。始めに図１のフレームメモリ１０６とフレームメモリ１０７に蓄積されている画像間でフレーム間差分を求め親セグメントを抽出する（図６のステップＳ３１）。

この親セグメントの抽出方法を図７で説明する。図１のフレームメモリ１０７に図７（ａ）の画像が蓄積されており、フレームメモリ１０６に図７（ｂ）の画像が蓄積されていたとする。図７（ａ）には２個の四角形７００と７０１があり、図７（ｂ）には四角形７００が左に移動した四角形７０２と、四角形７０１が右に移動した四角形７０３の様子を示している。図７では、表現上の問題で四角形を一様に塗り潰しているが、図７を含め以後の説明で使用される四角形は画素位置のずれた四角形をフレーム間で画素毎に差分値をとると、四角形の全体において差分が検出されるものとする。

図では、図７（ａ）と図７（ｂ）の同じ位置にある画素毎の輝度の差分値を求め、連続する画素において閾値以上の差分値が検出された領域をセグメントとして抽出する。ただし、領域はノイズや絵柄によって差分値が孤立点として出現したり、逆に差分値のあるべきところに差分値がでなかったりすることがあるため、孤立点除去を行うものとする。孤立点除去は、差分値の連続する領域の面積（画素数）が閾値以下であれば孤立点と判断して差分値のない周辺領域と統合し、差分値のない連続する領域の面積（画素数）が閾値以下である場合には孤立点と判断して差分値のある周辺領域と統合するものである。

この結果、図７（ａ）では図７（ｃ）の枠７０４の内部がセグメントとして検出され、図７（ｂ）では図７（ｄ）の枠７０５の内部がセグメントとして検出される。この図６のステップＳ３１により抽出されたセグメントを親セグメントと呼ぶ。

次に、前方マッチングによる子セグメントの抽出処理を行う（図６のステップＳ３２）。この前方マッチングによる子セグメントの抽出処理では、まず、図７（ｃ）で抽出された枠７０４の内部の親セグメントを、図１のフレームメモリ１０６に蓄積されている図７（ｂ）の画像に対応させながらフレーム間の輝度値の平均自乗誤差（ＭＳＥ）を求める。ＭＳＥは、次式により求められる。

ここで、上式中、ｘ_ｎは図７（ｃ）の枠７０４の内部の画素の輝度値であり、ｘ’_ｎは図７（ｂ）の画像に図７（ｃ）の枠７０４の内部の画素を対応させたときの図７（ｂ）の画素の輝度値である。また、Ｎは図７（ｃ）の枠７０４の内部の画素数である。

このＭＳＥを図７（ｂ）の画像上で図７（ｃ）の枠７０４を１画素ずつ水平垂直に移動させながら求める。図７の例では垂直方向への動きがないので、簡単のため水平方向への移動のみで説明する。横軸Ｖを水平方向の移動位置としてＭＳＥをグラフ化すると図１０のようになる。図１０では、Ｖ１とＶ２の位置で極小値があらわれる。

このように１画素ずつ移動させながらＭＳＥを求め、極小値が発見される度に親セグメントの分割操作を行う。この操作を図で説明すると、図８（ａ）の位置に枠７０４を移動させたときに、図１のフレームメモリ１０６の画像である図８（ｂ）の破線枠８０１と図８（ａ）の破線枠８００の内部が一致する。このときが図１０の極小値Ｖ１の位置に相当する。この位置で画素毎の自乗誤差（ＳＥ）を求めると図１１のようになる。

図１１の横軸Ｐは枠７０４の内部の画素を識別する連番である。図８（ａ）の破線枠８００の内部と図８（ｂ）の破線枠８０１の内部とは同一成分であるため自乗誤差は図１１の横軸区間［Ｐ_１，Ｐ_２］の値をとり、それ以外の画素の自乗誤差は横軸区間［Ｐ_２，Ｐ_３］のようになるので，図１１を閾値Ｅにより領域分割する。このようにして図８（ａ）の破線枠８００の領域が検出される。閾値Ｅは、求めたＳＥの分散などから求められる分離平面である。例えば、ｋ−ｍｅａｎｓクラスタリングなどのアルゴリズムにより分離平面は求められるが、他のアルゴリズムも適用可能であり本発明では分離平面の求め方を特に規定しない。詳細は、前記非特許文献２などに記載されている。

同様にして、図８（ｃ）の位置に枠７０４を移動させたときに破線枠８０２と図８（ｄ）の破線枠８０３の領域が一致して図１０の極小値Ｖ２をとり、画素毎の自乗誤差は図１２のようになる。この結果、閾値Ｅよりも誤差の少ない横軸区間［Ｐ_２，Ｐ_３］に相当する図８（ｃ）の破線枠８０２の領域が検出される。以上のようにして、前方マッチングにより図７（ｃ）の親セグメントが分割される。この分割された領域を子セグメントと呼ぶ。

図１のセグメント分離器１０８は、上記の図６のステップＳ３２の処理に続いて、後方マッチングによる子セグメントの抽出処理（領域分割）を行う（図６のステップＳ３３）。後方マッチングは図６のステップＳ３２とは逆に、図７（ｄ）で抽出された枠７０５の内部の親セグメントを、図１のフレームメモリ１０７に蓄積されている図７（ａ）の画像に対応させながらフレーム間で輝度値のＭＳＥを求める。

分割操作は、図６のステップＳ３２と同様に、図９（ｂ）の位置に枠７０５を移動させたときに、図９（ａ）の破線枠９０１の内部と図９（ｂ）の破線枠９００の内部が一致しＭＳＥが極小値をとり、この位置で画素毎の自乗誤差（ＳＥ）を求めると図１３のようになる。図１３の閾値Ｅ以下の横軸区間［Ｐ_４，Ｐ_５］が、破線枠９００の内部を示しており子セグメントとして分離される。

同様に、図９（ｄ）の位置に枠７０５を移動させたときに、図９（ｃ）の破線枠９０３の内部と図９（ｄ）の破線枠９０２の内部が一致しＭＳＥが極小値をとり、この位置で画素毎の自乗誤差（ＳＥ）を求めると図１４のようになる。図１４の閾値Ｅ以下の横軸区間［Ｐ_６，Ｐ_７］間が、破線枠９０２の内部を示しており、子セグメントとして分離される。また、どちらにも属することの無かった横軸区間［Ｐ_５，Ｐ_６］が、実線枠９０４の内部を示しており、子セグメントとして分離される。

以上説明した子セグメントの分離においても、親セグメントの分離と同様の孤立点除去を行うことで、孤立的に閾値Ｅの値を前後している画素を周辺のセグメントに統合する。抽出された子セグメントの位置と画素値の情報は図１のセグメント分離器１０８から出力され、ベクトル検出器１０９へ供給される。

図１のベクトル検出器１０９は、上記の抽出された子セグメントを用いて補間フレームを合成するためのベクトル検出を行う（図２のステップＳ１７）。このベクトル検出の操作を、図１５を用いて説明する。いま、図１５（ｂ）を、図１のフレーム間引器１０１で間引かれフレームメモリ１０５に蓄積された画像とする。また、図１５（ａ）を図１のローカル復号化器１０４で復号されフレームメモリ１０７に蓄積された補間フレームの前フレームの画像とする。さらに、図１５（ｃ）を図１のローカル復号化器１０４で復号されフレームメモリ１０６に蓄積された補間フレームの後フレームの画像とする。

図１のセグメント分離器１０８により分離された図１５（ａ）、（ｃ）の子セグメント８００、８０２、９００、９０２、９０４を使用して図１５（ｂ）を近似する補間フレームが合成できるように、使用する子セグメントの選択と移動量（ベクトル）及びオーバーラップ部分の上下関係を決定することが図１のベクトル検出器１０９で行われる操作である。

まず、ベクトル検出のために子セグメント８００、８０２、９００、９０２、９０４の全てについて、例えば水平方向±３２画素、垂直方向±３２画素の範囲で１画素ずつ移動させながら、図１５（ｂ）の画像との平均自乗誤差を求める。続いて、求めた各子セグメントの平均自乗誤差の最小値が規定値Ｔよりも大きな子セグメントは不適合セグメントとして破棄する。規定値Ｔは、全子セグメントの平均自乗誤差の最小値の分散から求められるが、その方法は前述の閾値Ｅと同様に本発明では特に規定しない。

次に、選択された子セグメントの平均自乗誤差の最小値を与える位置への画面上の水平及び垂直の移動量がベクトル情報として採用される。例えば、図１５では子セグメント９００、９０２、９０４が採用され、各ベクトル１５００〜１５０２が求められる。また、ベクトルにより移動されたセグメントには、オーバーラップ部分が発生するが、オーバーラップしている部分の上下を入れ換えながら、原画像である図１５（ｂ）の画像との誤差が少なくなるように、上下間係を決定し情報として出力する。以上の操作により、図１のベクトル検出器１０９から子セグメントの選択情報、ベクトル情報及びオーバーラップ情報（上下関係決定情報）が出力される。

次に、図１のベクトル符号化器１１０によりベクトル検出器１０９から出力された子セグメントの選択情報、ベクトル情報及びオーバーラップ情報が符号化される（図２のステップＳ１８）。その符号化方法は、符号化するデータを効率良く符号化する方法であれば特に規定されるものではなく、例えば、ハフマン符号化や算術符号化などが利用できる。最後に、図１のベクトル符号化器１１０から符号化後のビットストリームが出力端子１１１へ出力される（図２のステップＳ１９）。

次に、復号化処理について説明する。図３は本発明になる動画像復号化装置の一実施の形態のブロック図、図４はその動作説明用フローチャートを示す。図３において、動画像復号化装置は、図１の出力端子１０３から出力されたビットストリ−ムが、例えばインターネットなどの帯域が保証されていないネットワークを介して伝送されて入力端子２００から入力される動画像復号化器２０１と、動画像復号化器２０１で復号化して得られた動画像信号を１フレーム単位で蓄積するフレームメモリ２０２と、フレームメモリ２０２から出力された動画像信号を１フレーム単位で蓄積するフレームメモリ２０３と、図１の出力端子１１１から出力されたビットストリームが、例えばインターネットなどの帯域が保証されていないネットワークを介して伝送されて入力端子２０４から入力される補間用ベクトル復号化器２０５と、図１のセグメント分離器１０８と同様のセグメンテーション動作を行うセグメント分離器２０６と、動き補償器２０７と、セレクタ２０８とより構成されている。

次に、この実施の形態の動画像復号化装置の動作について、図４のフローチャートを併せ参照して説明する。まず、動画像復号化器２０１が、入力端子２００を介して入力される、図１の出力端子１０３から出力されたビットストリームを復号化する（図４のステップＳ２１）。この動画像の復号化処理は、図１の動画像符号化器１０２の符号化処理に対応したものであればよく、本実施の形態では特に規定はしないが、例えばＨ.２６１で規定された復号化方法などが考えられる。

次に、動画像復号化器２０１で復号化された画像信号のうちの連続する２フレームがフレームメモリ２０２、２０３に蓄積される（図４のステップＳ２２）。図３ではフレームメモリ２０２に新たなフレームの動画像信号が動画像復号化器２０１から入力されると同時に、フレームメモリ２０２に蓄積されていた１フレームの動画像信号がフレームメモリ２０３に入力されて蓄積される。

次に、セグメント分離器２０６がフレームメモリ２０２、２０３に蓄積された計２フレームの画像信号に対してセグメンテーションを実行する（図４のステップＳ２３）。このセグメント分離器２０６によるセグメンテーションの詳細については、前述の図１のセグメント分離器１０８と同一であるので省略する。図１のローカル復号器１０４から出力される画像信号と、図３の動画像復号化器２０１から出力される画像信号は同一であるので、セグメント分離器２０６から出力されるセグメント情報も、図１のセグメント分離器１０８から出力されるセグメント情報と同一である。

上述の処理と並行して、補間用ベクトル復号化器２０５が、入力端子２０４を介して入力される、図１の出力端子１１１から出力されたビットストリームの復号化処理を行い（図４のステップＳ２４）、子セグメントの選択情報、ベクトル情報及びオーバーラップ情報を復号化する。この復号化方法は前述の図１のベクトル符号化器１１０に対応したものであればよい。

次に、図３の動き補償器２０７で動き補償処理を実行する（図４のステップＳ２５）。この動き補償器２０７は、セグメント分離器２０６から出力された子セグメントの中から、補間用ベクトル復号化器２０５から出力される子セグメントの選択情報による子セグメントを選択し、ベクトル情報により指定される移動先に移動し、オーバーラップ情報に従った順番で子セグメントを貼り付けて行く。また、補間画像のなかで子セグメントの貼り付けられていない部分は、動きの無い部分であるのでフレームメモリ２０３の画像をそのまま貼りつける。以上の手順により補間画像が合成され動き補償器２０７から出力される。

最後に、図３のセレクタ２０８は、復号化されフレームメモリ２０３に蓄積された画像信号と、補間処理により合成され動き補償器２０７から出力される画像信号とを、交互に選択し出力端子２０９から出力する（図４のステップＳ２６）。以上の一連の復号化処理により、出力端子２０９からフレーム間引きが行われる前のフレーム周波数と同じフレーム周波数の動画像信号が得られる。

このように、本実施の形態によれば、同一の動き特徴量を持つ領域を１つのセグメントにまとめることができるため、画面を一様にブロック分割する方法に比べて格段にベクトル数を削減することが可能になると共に、ブロック分割のような異なる動きが混在する問題も発生しない。また、上記のセグメントに対して付与されるベクトルは補間フレームの動き情報であるため正確な動きを表現できる。

これらの結果、データ量の削減という目的を達成しながら、正確なフレーム補間による画像品質の向上が実現され、インターネットなどの帯域が保証されていない通信においても自然な動きの動画像通信が実現される。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図２のフローチャートに従ってその各ステップを順次にコンピュータに実行させる動画像符号化用プログラム、及び図４のフローチャートに従ってその各ステップを順次にコンピュータに実行させる動画像復号化用プログラムも含むものである。上記の動画像符号化用プログラム及び動画像復号化用プログラムは、記録媒体から再生されてコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれるようにしてもよい。

本発明の動画像符号化装置の一実施の形態のブロック図である。図１の動作説明用フローチャートである。本発明の動画像復号化装置の一実施の形態のブロック図である。図３の動作説明用フローチャートである。フレーム間引きの一例を説明する図である。本発明によるセグメンテーションの一例のフローチャートである。親セグメントの分離方法の一例を説明する図である。前方マッチングによる子セグメントの分離方法の一例を説明する図である。後方マッチングによる子セグメントの分離方法の一例を説明する図である。子セグメントの探索位置における平均自乗誤差の変化を説明する図である。子セグメントの自乗誤差の分布の第１の例の説明図である。子セグメントの自乗誤差の分布の第２の例の説明図である。子セグメントの自乗誤差の分布の第３の例の説明図である。子セグメントの自乗誤差の分布の第４の例の説明図である。子セグメントのベクトル情報の検出を説明する図である。フレーム間引き前の物体の動きを説明する図である。フレーム間引き後の物体の動きを説明する図である。従来のフレーム補間による物体の動きを説明する図である。異なる方向へ動く物体を説明する図である。異なる方向へ動く物体をブロック符号化した場合の弊害を説明する図である。

符号の説明

１００動画像信号入力端子
１０１フレーム間引器
１０２動画像符号化器
１０３、１１１出力端子
１０４ローカル復号化器
１０５、１０６、１０７、２０２、２０３フレームメモリ
１０８、２０６セグメント分離器
１０９ベクトル検出器
１１０ベクトル符号化器
２００、２０４ビットストリーム入力端子
２０１動画像復号化器
２０５補間用ベクトル復号化器
２０７動き補償器
２０８セレクタ
２０９動画像信号出力端子
７０４親セグメント
７０５親セグメント
８００前方マッチングによる親セグメントの左マッチング領域
８０１前方フレームの左マッチング領域
８０２前方マッチングによる親セグメントの右マッチング領域
８０３前方フレームの右マッチング領域
９００後方マッチングによる親セグメントの左マッチング領域
９０１後方フレームの左マッチング領域
９０２後方マッチングによる親セグメントの右マッチング領域
９０３後方フレームの右マッチング領域
９０４残領域

Claims

動画像信号のフレームからフレーム間引きを行い、フレームレートを削減して符号化する動画像符号化装置において、
供給される前記動画像信号に対し、予め定めた規則に従ってフレーム間引きを行うフレーム間引き手段と、
前記フレーム間引き手段によりフレーム間引き処理された動画像信号を符号化して動画像符号化信号を出力する動画像符号化手段と、
前記動画像符号化手段から出力される前記動画像符号化信号をローカル復号化するローカル復号化手段と、
前記フレーム間引き手段により前記動画像信号から間引かれた、前記動画像符号化手段で符号化されない間引きフレームの画像信号を記憶する第１の記憶手段と、
前記ローカル復号化手段から出力されるローカル復号動画像信号で、前記第１の記憶手段に記憶されている一つの前記間引きフレームに対して、時間的に前後する２フレームのローカル復号動画像信号を記憶する第２の記憶手段と、
前記第２の記憶手段から出力された前記前後する２フレームのローカル復号動画像信号からフレーム間の差分値を求め、その差分値が規定値以上の値を持つ連続した領域の画像信号を親セグメントとして、前記前後する２フレームのローカル復号動画像信号のそれぞれから分離する第１の分離手段と、
前記第１の分離手段で前記前後する２フレームのそれぞれから分離された前記親セグメントのうち、一方のフレームの前記親セグメントを、他方のフレームのローカル復号動画像信号の画像領域と位置をずらしながら誤差を求め、その誤差の極小値が発見される度に画素毎の誤差を求め、閾値よりも該画素毎の誤差が小さく、かつ、連続した領域の画像信号を、前記一方のフレームの前記親セグメントから子セグメントとして分離する処理を行うことにより、前記前後する２フレームのそれぞれから第１及び第２の子セグメントを分離出力する第２の分離手段と、
前記第１の記憶手段から出力された前記間引きフレームの動画像信号と、前記第２の分離手段で分離された前記第１及び第２の子セグメントとのマッチングにより、前記第１及び第２の子セグメントのうち平均自乗誤差の最小値が規定値よりも小さな子セグメントを選択する子セグメントの選択情報と、選択された子セグメントの平均自乗誤差の最小値を与える位置への画面上の水平及び垂直の移動量を示す動きベクトル情報と、前記第１及び第２の子セグメントの画面上の上下関係を示す上下関係決定情報とを検出する検出手段と、
前記検出手段で検出された前記子セグメントの選択情報と前記動きベクトル情報と前記上下関係決定情報とを符号化して補間用符号化信号を出力する符号化手段と
を有し、前記動画像符号化信号と前記補間用符号化信号とをそれぞれ出力することを特徴とする動画像符号化装置。
請求項１記載の動画像符号化装置によりフレーム間引きが行われて符号化された動画像信号を元のフレームレートに復号化する動画像復号化装置であって、
間引き処理後の前記動画像符号化信号を復号化する第１の復号化手段と、
前記補間用符号化信号を復号化する第２の復号化手段と、
前記第１の復号化手段により復号化された時間的に前後する２フレームの復号化画像信号からフレーム間の差分値を求め、差分値が規定値以上の値を持つ連続した領域を親セグメントとして、前記前後する２フレームの復号化画像信号のそれぞれから分離する第１の分離手段と、
前記第１の分離手段で前記前後する２フレームの復号化画像信号のそれぞれから分離された前記親セグメントのうち、一方のフレームの前記親セグメントを、他方のフレームの復号化画像信号の画像領域と位置をずらしながら誤差を求め、その誤差の極小値が発見される度に画素毎の誤差を求め、閾値よりも該画素毎の誤差が小さく、かつ、連続した領域の画像信号を前記一方のフレームの前記親セグメントから子セグメントとして分離する処理を行って、第１及び第２の子セグメントを分離出力する第２の分離手段と、
前記第２の復号化手段から出力された前記子セグメントの選択情報、前記動きベクトル情報及び前記上下関係決定情報に従い、前記第２の分離手段で分離された前記第１及び第２の子セグメントを選択及び移動すると共に、前記上下関係決定情報に従って重ね合わせ、前記前後する２フレーム間の補間フレームを合成する補償手段と、
前記補償手段により得られた補間フレームの画像信号と、前記第１の復号化手段から出力された間引き処理後の前記動画像信号とを交互に選択する選択手段と
を有することを特徴とする動画像復号化装置。