JP4276420B2 - 動き補償方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
この発明は、映像信号の符号化方法に関し、特に動き補償予測を用いた符号化方法に関する。
【０００２】
【従来の技術】
図７は、例えば、特許出願公告平２−９１４に示された従来の映像信号符号化方式の一例を示す概念図である。
【０００３】
テレビジョン信号を符号化する場合の高能率符号化方式の一つとして、現フレームと前フレームの差分のみを符号化するフレーム間符号化方式がある。この方式では、フレーム間の差分値のみを送るものであるから、符号化後にエラーが発生すると、エラー部分は永続的にエラーとして画面上に残存することになる。そのために、エラーの有無にかかわらず周期的にフレーム内符号化を用いてフレームメモリをリフレッシュしてエラーを消失させる必要があり、これを周期的リフレッシュと称している。
【０００４】
ところで、フレーム間符号化をより高能率化するために動き補償予測を用いたフレーム間符号化が行われている。この動き補償予測とは、前フレームと現フレームとの差分を最小とする動きベクトルを動きベクトル検出回路にて検出し、この動きベクトルと差分値とを符号化して動きに対する符号量の発生を抑圧するものである。この動き補償予測を用いたフレーム間符号化においても、エラーが発生すると永続的にこれが残るうえに、動きベクトルに従ってエラーが移動することから動きに応じてエラーが広がってしまうことになる。このエラーを消すためにフレーム間符号化と同様に周期リフレッシュが必要となる。
しかしながら、動き補償予測を行う場合には、リフレッシュ完了部分において、フレーム間差分量を最小とする動きベクトルとしてリフレッシュ未完了の部分の方向を検出すると、フレーム間差分はリフレッシュ未完了部分との間でとられてしまうことになる。仮にリフレッシュ未完了部分にエラーを含んでいればリフレッシュ完了部分にエラーが移行してしまい、周期的リフレッシュが完全に行なわれないという問題が生じる。
【０００５】
図７は、動き補償フレーム間符号化装置の周期的リフレッシュ実行中におけるリフレッシュ完了領域，リフレッシュ未完了領域，リフレッシュ完了領域内のブロックおよびそのブロックに対する動き補償予測範囲を示している。第Ｆ画面において、周期的リフレッシュ領域が領域701 である時、領域702 はリフレッシュ完了領域、領域703 はリフレッシュ未完了領域であり、領域704 および領域705はリフレッシュ完了領域内におけるブロックである。また、第Ｆ−１画面において、領域706 はリフレッシュ完了領域、領域707 はリフレッシュ未完了領域であり、領域708 は領域704 に対する動き補償予測範囲、領域709 は領域705 に対する動き補償予測範囲である。このとき、リフレッシュ領域701 とリフレッシュ完了領域702 の境界付近のブロック705 の動き補償予測範囲709 はリフレッシュ未完了領域707 を含んでしまうことになる。仮に、ブロック705 で通常の動き補償予測が行われ動きベクトルがリフレッシュ未完了領域707 を示した場合、ブロック705 ではリフレッシュ未完了領域の情報との差分値が採用されることになり、ブロック705 はリフレッシュ完了しているにもかかわらずリフレッシュ未完了の状態になってしまう。すなわちリフレッシュが完全に行われないことになる。
【０００６】
図８は、動き補償予測範囲の制限された動き補償フレーム間符号化装置の周期的リフレッシュ実行中におけるリフレッシュ完了領域，リフレッシュ未完了領域，リフレッシュ完了領域内のブロックおよびそのブロックに対する動き補償予測範囲を示している。第Ｆ画面において、周期的リフレッシュ領域が領域801 である時、領域802 はリフレッシュ完了領域、領域803 はリフレッシュ未完了領域であり、領域804 および領域805 はリフレッシュ完了領域内におけるブロックである。また、第Ｆ−１画面において、領域806 はリフレッシュ完了領域、領域807はリフレッシュ未完了領域であり、領域808 は領域804 に対する動き補償予測範囲、領域809 は領域805 に対する動き補償予測範囲である。このとき、リフレッシュ領域801 とリフレッシュ完了領域802 の境界付近のブロック805 の動き補償予測範囲809 は、リフレッシュ未完了領域807 を含まないように制限されている。このように、動き補償予測範囲をリフレッシュ完了領域に制限することにより、リフレッシュを完全に行うことができる。
【０００７】
【発明が解決しようとする課題】
従来の映像信号の符号化方式は、動き補償予測の参照を行うフレームが直前の１フレームに限られていた。
【０００８】
この発明は上記のような問題点を解消するためになされたもので、動き補償予測を行う参照フレームを複数とすることで、動き補償予測の精度を向上させることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る動き補償方法は、
画像情報を構成する画像フレーム列に含まれる現フレームと、当該現フレームよりも時間的に前にある複数の参照フレームとに基づいて、上記現フレーム内の動き補償の対象領域内の各ブロックについて動き補償を行う動き補償方法であって、
上記各ブロックは、上記現フレーム内の上記対象領域を矩形形状に分割されたブロックであり、
上記各ブロックについて行われる動き補償は、上記参照フレーム内における動き補償範囲から求められた動きベクトルに従って行われ、
上記各ブロックにおける動き補償に用いる参照フレームは、当該各ブロックにおいて複数の上記参照フレームのうち少なくとも上記現フレームの時間的に１つ前或いは２つ前にある参照フレームから選択され、上記現フレームには、１つ前の参照フレームから動き補償されたブロックと、２つ前の参照フレームから動き補償されたブロックを含み、
上記参照フレームは、所定フレームから時間的に後にあるフレームであり、
上記所定フレームは、当該所定フレームよりも時間的に前にあるフレームを上記参照フレームとして用いないためのものであって、上記各ブロックの動き補償範囲として使用され得る領域がフレーム内符号化されたフレームである。
【００１１】
【作用】
この発明における動き補償方法は、現フレーム内の各ブロックにおける動き補償の参照フレームとして、現フレームよりも時間的に前にある複数の参照フレームを用いる。
【００１２】
【実施例】
以下、この発明の実施例について説明する。
近年の映像信号のディジタル化への潮流は、広範囲な分野に広まりつつあり、その波及は放送分野にまで及んでいる。現在の映像信号の高能率符号化方式の主流は、動き補償予測と変換符号化方式を組み合わせた方式であり、これを用いた数種の規格が制定されつつある。
動き補償予測は、基本的には時間領域の予測符号化であるため、初期値を設定する必要がある。また、符号化後に偶発的に発生したエラーの伝播を防ぐために、適当な周期で初期値に設定する必要がある。
この周期的な初期値設定の作業を一般に周期的リフレッシュと称している。動き補償予測と変換符号化を用いた方式の場合の周期的リフレッシュは、具体的には動き補償予測を行わない同一画面内での変換符号化となる。
【００１３】
一般に、放送のように一つの符号器に対して複数の復号器を有するシステムの場合には、上記リフレッシュ周期がシステム性能に関与してくる。たとえば、テレビジョン画像受信における電源投入時、あるいはチャンネル変更時にその影響は露出される。なぜならば、リフレッシュされた符号化信号が到達するまで、所望の画像を再生することは不可能である。
前記観点からはリフレッシュ周期は短い方が好ましいが、過度なリフレッシュ、すなわち頻繁な同一画面内での変換符号化は、圧縮効率の劣化を招くため、実際にはリフレッシュ周期は0.3 〜0.5 秒程度に設定される。
【００１４】
一般に、リフレッシュ方式としては、画面を一括して行う方式と画面を分割して行う方式とがある。従来の実施例で参照した方式は、この後者にあたる。
画面分割リフレッシュ方式の場合には、たとえば画面を10程度の領域に分割し、１画面に対し１領域ずつリフレッシュを行うことになる。
従来例で述べているように、動き補償予測を適用するシステムでは、画面分割リフレッシュ方式における分割の境界において、動き補償予測範囲をせばめるという制限が必要となる。なぜならば画面の分割境界面に発生するリフレッシュ未完了部分からの予測は、所望画像の獲得を永久に妨げることになるからである。
画面分割リフレッシュ方式は、その分割手法により様々な方式が考えられる。図９に主な分割手法を示す。
【００１５】
ところで、前述したように、復号化はリフレッシュ周期に対してランダムに開始される。すなわち、復号化開始時においては、画面内はすべてリフレッシュ未完了領域である。そのため符号化の際に各リフレッシュ領域に対し、図９(a) の例では上下左右の境界において、図９(b) の例では上下の境界において、図９(c) の例では左右の境界において、それぞれ動き補償予測範囲を制限する必要がある。
しかしながら、図９(b) の例では以下の証明のように下境界のみにその制限を緩和することができる。（図９(c) も同様な考察が可能である。）
【００１６】
図９(b) のような例に関し、復号化開始時のリフレッシュ領域の場所に応じて、図10および図11のような２者に分類して考えてみる。
図10のようにリフレッシュ領域1001が画面最上部に位置している第Ｆ画面から復号化が開始された場合、第Ｆ画面のリフレッシュ領域位置に対応する第Ｆ＋１画面におけるリフレッシュ完了領域1003（領域1004を含む）は、上境界における未完了領域からの予測による汚染は存在しないため、下境界における領域1004に属するブロックのみ予測範囲制限が行われていればよい。また第Ｆ＋１画面のリフレッシュ領域位置に対応する第Ｆ＋２画面におけるリフレッシュ完了領域1007（領域1008を含む）も、上境界における未完了領域からの予測による汚染は存在しないため、下境界における領域1008に属するブロックのみ予測範囲制限が行われていればよい。つまり当初の画面（第Ｆ画面）において画面最上部から復号化が開始された場合はこのようにして下境界の制限のみで周期的リフレッシュが完了することになる。
このとき、画面をｎ領域に分割している場合には、ｎ画面にてリフレッシュが完了することになる。
【００１７】
図11のようにリフレッシュ領域が画面最上部以外に位置している第Ｆ画面から復号化が開始された場合、厳密には上境界および下境界において予測範囲制限が行われている必要がある。しかしながら、下境界の予測範囲制限のみでも、以下のように周期的リフレッシュは完全に実行される。
図11のようにリフレッシュ領域が画面最上部以外に位置している第Ｆ画面から復号化が開始した場合、第Ｆ画面のリフレッシュ領域位置に対応する第Ｆ＋１画面におけるリフレッシュ完了領域は、上境界において未完了領域からの予測による汚染が存在する可能性がある。この汚染領域を領域1105として図に示す。
【００１８】
しかしながら、実際には画面を分割し割り当てられたリフレッシュ領域の幅が汚染領域の幅よりも大きいため、以下のような条件にて周期的リフレッシュは完全に実施される。
１画面のライン数をＬライン、垂直方向の予測範囲を±ｙラインとしたとき、ｆ画面後にリフレッシュが完了しているライン数は、
｛（Ｌ／ｎ）×ｆ｝−｛ｙ×（ｆ−１）｝
となる。これがＬラインより大きくなればリフレッシュは完了されたことになるから、
｛（Ｌ／ｎ）×ｆ｝−｛ｙ×（ｆ−１）｝≧Ｌ
｛（Ｌ／ｎ）−ｙ｝×ｆ＋ｙ≧Ｌ
となり、
ｆ≧（Ｌ−ｙ）／｛（Ｌ／ｎ）−ｙ｝
となる。ｆ以上の最も小さな整数をｆint とすると、ｆint 画面経過後にリフレッシュは完全に実施されることになる。
【００１９】
以上の二者の場合を統合することにより、以下のような結論を得る。
復号化開始時のリフレッシュ領域が第ｉ領域である場合のリフレッシュ完了時間Ｔｒは、
Ｔｒ＝ｍｉｎ［ｎ＋｛ｎ−（ｉ−１）｝，ｆint ］ （単位：画面時間）
となる。
尚、リフレッシュ方式が異なる場合も同様な手法にて、リフレッシュ完了時間Ｔｒを得ることができる。
【００２０】
実施例１．
以下、この発明の第１の実施例について説明する。
図１はこの発明の第１の実施例における動き補償予測の概念図である。
【００２１】
次に動作について説明する。
従来の実施例では、下境界において動き補償範囲を制限することにより周期的リフレッシュを実行していた。しかしながら、第１の実施例では、図１のようにリフレッシュ領域をオーバーラップさせて周期的リフレッシュを実施する。
第Ｆ＋１画面を例に説明する。領域107 は画面を分割し割り当てられたリフレッシュ領域である。領域106 はリフレッシュ領域のオーバーラップ領域として付加された領域である。領域106 をオーバーラップされたリフレッシュ領域とすることにより、領域106 における未完了領域からの予測を防ぐことができる。これにより、完全に周期的リフレッシュを完了することができる。
【００２２】
実施例２．
以下、この発明の第２の実施例について説明する。
図２はこの発明の第２の実施例における動き補償予測の概念図である。
【００２３】
次に動作について説明する。
従来の実施例では、動き補償予測の参照画面は１画面に限られていた。
第２の実施例は、複数の参照画面より動き補償予測する場合の周期的リフレッシュ方式に関する。
図２は、２枚の参照画面より動き補償予測する場合の周期的リフレッシュ方式の概念図である。
図２において第Ｆ＋２画面における参照画面は、第Ｆ＋１画面と第Ｆ画面の２画面である。このとき、図２のようにリフレッシュ完了領域における動き補償予測範囲がリフレッシュ未完了領域を含まないようにリフレッシュ完了領域の動き補償予測範囲を制限するとともに参照画面も制限する。
【００２４】
第Ｆ＋２画面を例に説明する。領域218 は画面を分割し割り当てられたリフレッシュ領域である。このとき、予測範囲制限領域214 は第Ｆ画面の下方からの予測は禁止され、予測範囲制限領域215 は第Ｆ画面の下方および平行方向からの予測は禁止され、予測範囲制限領域216 は第Ｆ画面からの予測は禁止され、予測範囲制限領域217 は第Ｆ画面および第Ｆ＋１画面の下方からの予測は禁止される。これにより、完全に周期的リフレッシュを完了することができる。
尚、予測範囲および参照画面の制限は、リフレッシュ未完了領域を含まなければ、どのように制限してもよい。
【００２５】
実施例３．
以下、この発明の第３の実施例について説明する。
図３はこの発明の第３の実施例における動き補償予測の概念図である。
【００２６】
次に動作について説明する。
第３の実施例も、複数の参照画面より動き補償予測する場合の周期的リフレッシュ方式に関する。
図３は、２枚の参照画面より動き補償予測する場合の周期的リフレッシュ方式の概念図である。
【００２７】
図３において第Ｆ＋２画面における参照画面は、第Ｆ＋１画面と第Ｆ画面の２画面である。このとき、図３のようにリフレッシュ完了領域における動き補償予測範囲がリフレッシュ未完了領域を含まないようにリフレッシュ領域をオーバーラップさせて周期的リフレッシュを実施する。
第Ｆ＋２画面を例に説明する。領域312 は画面を分割し割り当てられたリフレッシュ領域である。領域311 および領域310 はリフレッシュ領域のオーバーラップ領域として付加された領域である。領域311 および領域310 をリフレッシュ領域とすることにより、領域311 および領域310 における未完了領域からの予測を防ぐことができる。これにより、完全に周期的リフレッシュを完了することができる。
【００２８】
実施例４．
以下、この発明の第４の実施例について説明する。
図４はこの発明の第４の実施例における動き補償予測の概念図である。
【００２９】
次に動作について説明する。
第４の実施例も、複数の参照画面より動き補償予測する場合の周期的リフレッシュ方式に関する。
図４は、２枚の参照画面より動き補償予測する場合の周期的リフレッシュ方式の概念図である。このとき、図４のように２画面毎にリフレッシュ領域を変更し、リフレッシュ完了領域における動き補償予測範囲がリフレッシュ未完了領域を含まないようにリフレッシュ完了領域の動き補償予測範囲を制限する。
第Ｆ＋２画面および第Ｆ＋３画面を例に説明する。第Ｆ＋２画面において、領域411 は画面を分割し割り当てられたリフレッシュ領域である。このとき、予測範囲制限領域410 は第Ｆ画面および第Ｆ＋１画面の下方からの予測は禁止される。また、第Ｆ＋３画面において、領域415 は画面を分割し割り当てられたリフレッシュ領域である。このとき、予測範囲制限領域414 は第Ｆ＋１画面の下方からの予測は禁止される。これにより、完全に周期的リフレッシュを完了することができる。
尚、予測範囲および参照画面の制限は、リフレッシュ未完了領域を含まなければ、どのように制限してもよい。
【００３０】
実施例５．
以下、この発明の第５の実施例について説明する。
図５はこの発明の第５の実施例における動き補償予測の概念図である。
【００３１】
次に動作について説明する。
第５の実施例も、複数の参照画面より動き補償予測する場合の周期的リフレッシュ方式に関する。
図５は、２枚の参照画面より動き補償予測する場合の周期的リフレッシュ方式の概念図である。このとき、図５のように２画面毎にリフレッシュ領域を変更し、リフレッシュ完了領域における動き補償予測範囲がリフレッシュ未完了領域を含まないようにリフレッシュ領域をオーバーラップさせる。
【００３２】
第Ｆ＋２画面および第Ｆ＋３画面を例に説明する。第Ｆ＋２画面において領域511 は画面を分割し割り当てられたリフレッシュ領域である。領域510 はリフレッシュ領域のオーバーラップ領域として付加された領域である。領域510 をリフレッシュ領域とすることにより、領域510 における未完了領域からの予測を防ぐことができる。また、第Ｆ＋３画面において領域515 は画面を分割し割り当てられたリフレッシュ領域である。領域514 はリフレッシュ領域のオーバーラップ領域として付加された領域である。領域514 をリフレッシュ領域とすることにより、領域514 における未完了領域からの予測を防ぐことができる。これにより、完全に周期的リフレッシュを完了することができる。
【００３３】
実施例６．
以下、この発明の第６の実施例について説明する。
図６はこの発明の第６の実施例における復号器の概略ブロック図である。
図６において、入力端子１より入力される符号化されたデータ系列601 は、復号化回路３を介して画像メモリ４および選択回路５の第１の入力に与えられる。画像メモリ４の出力603 は選択回路５の第２の入力に与えられる。選択回路の第３の入力にはフリーズ信号発生回路６よりフリーズ信号604 が与えられる。選択回路５の出力は画像信号605 として出力端子２よりされる。
【００３４】
次に動作について説明する。
第６の実施例は、復号器における処理に関する。
前述したように、たとえば、テレビジョン画像受信における電源投入時あるいはチャンネル変更時には、リフレッシュが完全に実施されるまで、所望の画像を再生できる保証はない。よって、上記のような場合には、リフレッシュが完全に実施されるまでは、特定の画像あるいは正確に復号された最新の画像をフリーズする。
【００３５】
図６において、通常再生しているときには、選択回路は復号化回路の出力を選択し送出している。このとき、画像メモリには常に最新画像が蓄積される。電源投入時あるいはチャンネル変更時には、選択回路は画像メモリの出力を選択し送出する。このとき、画像メモリの蓄積内容は更新されない。選択回路の切り換えは、フリーズ信号により行われる。フリーズ信号発生回路では、電源投入時あるいはチャンネル変更時のような場合にリフレッシュが完了するまでの不正確画像復号期間を検出し、フリーズ信号を送出する。不正確画像復号期間は、たとえば前述した例では次のように与えられる。
ｍｉｎ［ｎ＋（ｎ−ｉ），ｆint ］
また、
ｎ＋（ｎ−ｉ）
あるいは、
ｆint
としてもよい。
また、
ｍｉｎ［ｎ＋（ｎ−ｉ），ｆint ］
よりも大きな値ならば他の近似を行ってもよい。
尚、リフレッシュ方式が異なる場合も前記と同様な手法にて、不正確画像復号期間を得ることができる。
【００３６】
【発明の効果】
以上のようにこの発明によれば、動き補償予測の精度を向上させることが可能な動き補償方法を得ることができる。
【図面の簡単な説明】
【図１】 この発明の第１の実施例における動き補償予測の概念図である。
【図２】 この発明の第２の実施例における動き補償予測の概念図である。
【図３】 この発明の第３の実施例における動き補償予測の概念図である。
【図４】 この発明の第４の実施例における動き補償予測の概念図である。
【図５】 この発明の第５の実施例における動き補償予測の概念図である。
【図６】 この発明の第６の実施例における復号器の概略ブロック図である。
【図７】 従来の映像信号符号化復号化方式における動き補償予測の概念図である。
【図８】 従来の映像信号符号化復号化方式における予測範囲を制限された動き補償予測の概念図である。
【図９】 画面分割リフレッシュ方式を示す図である。
【図１０】 リフレッシュ領域が画面最上部に位置する場合を示す図である。
【図１１】 リフレッシュ領域が画面最上部以外に位置する場合を示す図である。
【符号の説明】
１ 入力端子
２ 出力端子
３ 復号化回路
４ 画像メモリ
５ 選択回路
６ フリーズ信号発生回路

Claims (1)

1. 画像情報を構成する画像フレーム列に含まれる現フレームと、当該現フレームよりも時間的に前にある複数の参照フレームとに基づいて、上記現フレーム内の動き補償の対象領域内の各ブロックについて動き補償を行う動き補償方法であって、
   上記各ブロックは、上記現フレーム内の上記対象領域を矩形形状に分割されたブロックであり、
   上記各ブロックについて行われる動き補償は、上記参照フレーム内における動き補償範囲から求められた動きベクトルに従って行われ、
   上記各ブロックにおける動き補償に用いる参照フレームは、当該各ブロックにおいて複数の上記参照フレームのうち少なくとも上記現フレームの時間的に１つ前或いは２つ前にある参照フレームから選択され、上記現フレームには、１つ前の参照フレームから動き補償されたブロックと、２つ前の参照フレームから動き補償されたブロックを含み、
   上記参照フレームは、所定フレームから時間的に後にあるフレームであり、
   上記所定フレームは、当該所定フレームよりも時間的に前にあるフレームを上記参照フレームとして用いないためのものであって、上記各ブロックの動き補償範囲として使用され得る領域がフレーム内符号化されたフレームであること
   を特徴とする動き補償方法。

Images