JP3255656B2 - 動画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像部で撮像された動
画像データの符号化を行なう動画像符号化装置に係り、
特に、ブロック歪みの除去に関する。

【０００２】

【従来の技術】従来より、種々の動画像符号化方式が提
案されており、その一例として、図５に示すようなもの
が知られている。即ち、この従来の動画像符号化装置
は、減算部１０１，直交変換部１０２，量子化部１０
３，ＶＬＣ部１０４，バッファ部１０５，逆量子化部１
０６，逆直交変換部１０７，加算器１０８，及び予測部
１０９で構成されている。

【０００３】このような構成の動画像符号化装置にあっ
ては、減算部１０１により、入力画像信号ｘが、動き補
償を行なう予測部１０９に於いて予測された画像ｘ’と
減算され、予測誤差信号ε＝ｘ−ｘ’が得られる。この
予測誤差信号εは、直交変換部１０２により直交変換さ
れた後、量子化部１０３により量子化されて量子化信号
ｑとされ、さらにＶＬＣ部１０４で符号化される。その
後、バッファ部１０５より伝送路に出力される。ここ
で、直交変換部１０２に於ける直交変換方式としては離
散コサイン変換が、またＶＬＣ部に於ける符号化方式と
しては、エントロピー符号化であるハフマン符号化が考
えられる。

【０００４】一方、加算器１０８に於いて、量子化信号
ｑを逆量子化部１０６にて逆量子化し、さらにそれを逆
直交変換部１０７にて逆直交変換した信号と、１フレー
ム前の予測信号ｘ’とが加算され、その値が局部復号出
力ｘ_S として出力される。この局部復号出力ｘ_S が、予
測部１０９に於いて１フレーム遅延された後、新たに動
き補償された予測信号ｘ’として出力される。

【０００５】前述した予測部１０９では、入力される原
画像のｍ×ｎ画素にブロック分割された前フレーム，現
フレーム，及び後フレームより、各ブロック毎の動ベク
トルを検出し、動ベクトル及び当該予測部１０９へ入力
される局部復号信号ｘ_S に基づき、現フレームの動き補
償が行なわれている。このとき、動ベクトル検出をブロ
ックマッチングにより求めて動き補償する場合、予測さ
れた画像信号にブロック歪みが生じることがあり、この
ブロック歪みを除去することが要望されている。

【０００６】このような理由から例えば、特開昭６３−
２０８３８２号公報に記載されているように、隣接する
ブロックの動ベクトルの相関性を用いて、フィルタリン
グの有無の制御を行なっている。同方式は、相関性が高
い場合、フィルタリングを行なわないため、画像全体の
解像度の低下を防ぐことができる。

【０００７】

【発明が解決しようとする課題】しかしながら、前述し
たような公報に記載の従来例によると、隣接するブロッ
クの動ベクトルの相関性のみでフィルタリングの制御を
行なっているため、ブロック歪みが発生しない状態で、
発散している動きについてもフィルタリングが行われ
る。従って、歪み除去の不必要な領域に於いてもフィル
タリングがなされ、画像の必要以上の解像度低下を引き
起こす。

【０００８】本発明は上記の点に鑑みてなされたもの
で、動き補償によりブロック歪みが生じ易い領域のみを
検出し、同領域についてのみフィルタリングを行ない、
解像度の低下を最小限に抑圧し最適なブロック歪み除去
の動作を行なうようにすることにより、常に最適なフィ
ルタリングを行なうことができ、画質を向上し得る動画
像符号化装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記のような目的を達成
するために、本発明による動画像符号化装置は、動き補
償により、フレーム画像を予測する動画像符号化装置で
あって、特に、動ベクトルを決定する際に、判断基準と
なる評価関数を算出し、この評価関数に基づいて動ベク
トルを検出する動ベクトル検出手段と、上記動ベクトル
検出手段により検出された動ベクトルに従って予測フレ
ームを作成する予測フレーム作成手段と、上記予測フレ
ーム内の一領域とその周辺領域における動ベクトル及び
評価関数からこの一領域とその周辺領域との相関を演算
し、その演算結果に基づいて、上記予測フレーム作成手
段で作成された予測フレームのフィルタリングを適応的
に行なうフィルタリング手段とを備えているものであ
る。

【００１０】

【作用】即ち、本発明の動画像符号化装置によれば、前
フレーム，現フレーム，後フレームについて、ｍ×ｎ画
素により構成されるブロックに分割し、前記フレームよ
り、各ブロックの動ベクトルを決定する際、動ベクトル
検出手段により、判断基準となる評価関数を算出すると
共に、この評価関数に基づいて動ベクトルを検出し、予
測フレーム作成手段により、この検出した動ベクトルに
従って予測フレームを作成し、フィルタリング手段によ
って、上記予測フレーム内の一領域とその周辺領域にお
ける動ベクトル及び評価関数からこの一領域とその周辺
領域との相関を演算し、その演算結果に基づいて、上記
予測フレームのフィルタリングを適応的に行なう。

【００１１】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００１２】図１は、本発明の動画像符号化装置の第１
の実施例の構成を示す図で、動ベクトル検出部１と、フ
レーム予測部２と、フィルタ処理部３で構成されてい
る。即ち、動ベクトル検出部１は、入力画像を、前フレ
ーム，現フレーム，後フレームについて、ｍ×ｎ画素に
より構成されるブロックに分割し、これらのフレームよ
り、各ブロックの動ベクトルを決定する際に、判断基準
となる評価関数を算出し、またこの評価関数に基づいて
動ベクトルを検出する。そして、評価関数の評価値と動
ベクトルの情報を出力する。フレーム予測部２は、動ベ
クトル検出部１からの動ベクトル情報に従って予測フレ
ームを作成し、その予測フレームを画像信号として出力
する。フィルタ処理部３は、上記予測フレーム内の一領
域とその周辺領域における動ベクトル及び評価関数から
この一領域とその周辺領域との相関を演算し、その演算
結果に基づいて、上記フレーム予測部２から画像信号と
して与えられた予測フレームのフィルタリングを適応的
に行ない、その結果を出力画像として出力する。

【００１３】図２は、本発明の動画像符号化装置の第２
の実施例のブロック構成図である。この動画像符号化装
置は、フレームメモリ１１〜１６、動ベクトル検出部１
７、動き補償部１８、制御部１９、及びフィルタ部２０
で構成されている。

【００１４】フレームメモリ１１は過去のフレーム（前
フレーム）を記憶し、フレームメモリ１２は現在のフレ
ーム（現フレーム）を記憶し、フレームメモリ１３は未
来のフレーム（後フレーム）を記憶するものである。フ
レームメモリ１４は、前フレームの局部復号画像を記憶
し、フレームメモリ１５は、後フレームの局部復号画像
を記憶する。動き補償部１８は、動ベクトル及び局部復
号画像により、現フレームを予測する。フレームメモリ
１６は、この動き補償部１８にて予測されたフレームを
記憶する。制御部１９は、上記予測フレームに対しフィ
ルタ処理を行なうか否かを判断し、その結果を制御信号
として出力する。そして、フィルタ部２０は、上記制御
部１９からの制御信号に応答して、上記フレームメモリ
１６に記憶された予測フレームにフィルタ処理を施こ
す。

【００１５】動ベクトル検出部１７では、フレームメモ
リ１２及び１１に記憶された現フレームと前フレームと
の間でブロックマッチングにより、現フレームの注目ブ
ロックと前フレームの参照ブロックとマッチングをと
る。

【００１６】ここで、その一手法として、差分の絶対値
和がある。この手法は、注目ブロックの画素と参照ブロ
ックの画素との間で差分をとり、その絶対値和が最小と
なるブロック、即ち最小誤差が得られる参照ブロックを
選択し、この参照ブロックと注目ブロックとの間の位置
的なずれを動ベクトルとして求めるものである。そし
て、動ベクトル検出部１７は、このような処理を、フレ
ームメモリ１２，１３に記憶された現フレームと後フレ
ームとの間についても同様に行なう。

【００１７】従って、この動ベクトル検出部１７では、
前方向及び後方向の動ベクトルと評価関数値（差分の絶
対値和）がそれぞれ求められることになり、さらにその
結果から、前方向の動ベクトルの評価関数値と後方向の
動ベクトルの評価関数値を比較し精度のよい動ベクトル
を選択する。例えば、前方向側の評価関数値が小さい場
合、前方向の動ベクトルのほうが精度が良いと判定され
る。

【００１８】以上のような処理が動ベクトル検出部１７
で行なわれ、処理結果を、動ベクトル情報，評価関数値
（評価値），及び採用されたベクトルの情報（ベクトル
フラグ信号（例えば、採用されたベクトルは前フレーム
と現フレームとの間で求められたものということを示す
フラグ信号））として、動き補償部１８及び制御部１９
へ出力される。なお、評価関数値が前方向後方向共に等
しい場合には、前方向の動ベクトル及び後方向の動ベク
トルの両者を送ることになる。

【００１９】動き補償部１８では、動ベクトル検出部１
７より出力される動ベクトル情報，評価関数値，及びベ
クトルフラグ信号に基づき、注目ブロックの動き補償が
行なわれる。例えば、ベクトルフラグ信号が前フレーム
を示すならば、フレームメモリ１４に記憶されている前
フレームの局部復号画像信号を取り込み、動ベクトル検
出部１７からの動ベクトルに従がって、注目ブロックの
動き補償を行なう。動き補償後の予測フレームは、フレ
ームメモリ１６へ送られ、一時的に記憶される。

【００２０】一方、制御部１９では、上記動ベクトル検
出部１７からの動ベクトル情報及び評価関数値の情報に
基づきフィルタ処理を行なうか否かを判断し、その判断
結果をフィルタ部２０に出力する。

【００２１】上記制御部１９は、図３の（Ａ）に示すよ
うに、メモリ１９１ａ，１９１ｂ、加算器１９２ａ，１
９２ｂ、カウンタ１９３ａ，１９３ｂ、比較器１９４
ａ，１９４ｂ、及び論理積回路１９５で構成されてい
る。以下、このような構成の制御部１９の動作を、図３
の（Ｂ）及び（Ｃ）の概念図をもとに説明する。

【００２２】動き補償によるブロック歪みは、実際の画
像の動きの有無にか係わらず、参照ブロックが似かよっ
た画像信号の領域に発生し易いという傾向にある。さら
に、画像の動領域のエッジ付近では、同一方向の移動に
も係わらず、ベクトル検出時には、注目ブロックの動ベ
クトルに対し参照ブロックの動ベクトルが発散する現象
が生じ、ブロック歪み発生の原因となる。そこで、注目
ブロックと参照ブロックとの画像信号の類似度を動ベク
トル検出時の評価関数値で示し、また、注目ブロックと
参照ブロックとの間に於ける動ベクトルの発散度を動ベ
クトルの状態から算出する。

【００２３】図３の（Ｂ）及び（Ｃ）に示されるよう
に、注目ブロック２１と同一位置にある参照ブロックの
評価関数値をａ₀ 、そのブロックの動ベクトルをｖ_O と
し、また注目ブロック２１の近傍に位置する参照ブロッ
クの評価関数値をａ_i 、そのブロックの動ベクトルをｖ
_i とするとき、動き補償によるブロック歪み発生の判定
基準を以下の式で定義する。

【００２４】

【数１】

【００２５】

【数２】 ただし、Ｔｈ₁，Ｔｈ₂はそれぞれ、予め設定されている
閾値である。

【００２６】図３の（Ａ）に示されるように、注目ブロ
ック２１と同一位置にあるブロックの評価関数値ａ₀ を
メモリ１９１ａへ入力し記憶させる。次に、他の参照ブ
ロックの評価関数値ａ₁ を加算器１９２ａへ入力し、メ
モリ１９１ａからａ₀ 値を呼び出し（ａ₀ −ａ₁）なる
演算が行なわれ、その結果がカウンタ１９３ａで絶対値
化されて、その値が蓄えられる。同様に、他の参照ブロ
ックの評価関数値ａ_iについても加算器１９２ａへ入力
後、（ａ₀ −ａ_i ）なる演算をした後、カウンタ１９３
ａで絶対値化し、以前に入力された値に加算する。これ
らの動作を、ａ₁ からａ₈ まで行ない、比較器１９４ａ
に於いて、それまでカウンタ１９３ａでカウントされた
値Σαと、閾値Ｔｈ₁と比較し、

【００２７】

【数３】 の条件を満たすとき、似かよったブロックが存在してい
ると判断し、出力信号“１”を出力する。

【００２８】動ベクトル情報についても、上記評価関数
値情報に於ける処理と同様の処理をメモリ１９１ｂ，加
算器１９２ｂ，カウンタ１９３ｂ，及び比較器１９４ｂ
を用いて行なう。ただし、比較器１９４ｂに於いて、カ
ウンタ１９３ｂにてカウントされた値Σβと閾値Ｔｈ₂
とを比較し、

【００２９】

【数４】

【００３０】の条件を満たすとき、ベクトルが発散して
いるものと判断して、出力信号“１”を出力する。な
お、本実施例では、参照ブロックを注目ブロックと接し
ているブロックとして扱ったが、実際には、これらに限
られるものではない。

【００３１】そして、論理積回路１９５では、両比較器
１９４ａ，１９４ｂの出力結果からフィルタ動作の有無
を判定する。即ち、注目ブロックに対し、複数の参照ブ
ロックが似かよったパターンを持ち（比較器１９４ａの
出力信号が“１”）、且つ注目ブロックの動ベクトルに
対し、複数の参照ブロックの動ベクトルが発散している
（比較器１９４ｂの出力信号が“１”）場合にのみ、ブ
ロック歪み除去のフィルタリングが必要と判定し、論理
積回路１９５から制御信号“１”がフィルタ部２０に対
し出力される。

【００３２】フィルタ部２０へは、フレームメモリ１６
より予測された画像信号がブロック単位で送られ、同時
に制御部１９より制御信号が送られる。フィルタ部２０
では、上記制御信号が“１”のとき、該当ブロックに対
し、フィルタリングが行なわれる。ここで、フィルタ部
２０にて行なわれるフィルタ方式としては、大別すると
以下の方法が挙げられる。 （１）コンボリューションフィルタ（ローパス） （２）ＦＦＴ面でのフィルタリング （３）信号の連続性を保つような置換処理 具体的な例を図４（Ａ）乃至（Ｄ）を参照して説明す
る。

【００３３】今、フレームメモリ１６からの予測フレー
ムが図４の（Ａ）に示すように、１ブロックが８×８画
素で構成される４×３ブロックにより構成されているも
のとする。図４の（Ｂ）は、８×８画素で構成されるブ
ロック（例えば、ブロック２２）内の注目する画素２３
について、その輝度レベルに関し、注目画素２３の位置
情報（ｘ，ｙ）より重みづけを行なう方法である。ま
た、図４の（Ｃ）は、図４の（Ａ）中に参照番号２４で
示すようなブロック境界付近の両ブロックの輝度レベル
の平滑化を行なう方法である。図４の（Ｄ）は、ブロッ
クの外挿処理を行なう方法である。このように、ブロッ
ク歪みを除去するフィルタリング処理について多種の方
式が考えられ、本発明に於いては、いずれの方式を用い
てもかまわない。

【００３４】以上のように、動ベクトル検出時の評価関
数値と動ベクトルとの情報によりフィルタリングの制御
を行なっているため、不必要な歪み除去を防止し、常に
最適なフィルタリングを行なうことができる。

【００３５】

【発明の効果】以上詳述したように、本発明によれば、
動き補償によりブロック歪みが生じ易い領域のみを検出
し、同領域についてのみフィルタリングを行ない、解像
度の低下を最小限に抑圧し最適なブロック歪み除去の動
作を行なうようにすることにより、常に最適なフィルタ
リングを行なうことができ、画質を向上し得る動画像符
号化装置を提供することができる。

【００３６】即ち、本発明によれば、動ベクトル検出時
の評価関数値と動ベクトルとの情報によりフィルタリン
グの制御を行なうため、不必要な歪み除去を防止し、常
に最適なフィルタリングを行なうことができる。従っ
て、画質が向上するという効果が得られる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の第１の実施例のブ
ロック構成図である。

【図２】本発明の動画像符号化装置の第２の実施例のブ
ロック構成図である。

【図３】（Ａ）は図２中の制御部のより詳細なブロック
構成図であり、（Ｂ）及び（Ｃ）はそれぞれ図３の
（Ａ）の制御部の動作を説明するための参照ブロックの
評価関数値及び動ベクトルを示す図である。

【図４】（Ａ）は予測フレームのブロック分けを説明す
るための図、（Ｂ）乃至（Ｄ）はそれぞれ図４の（Ａ）
の予測フレームに対する異なるフィルタ方式を説明する
ための図である。

【図５】従来の動画像符号化装置のブロック構成図であ
る。

【符号の説明】

１，１７…動ベクトル検出部、２…フレーム予測部、３
…フィルタ処理部、１１〜１６…フレームメモリ、１８
…動き補償部、１９…制御部、２０…フィルタ部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 動き補償により、フレーム画像を予測す
   る動画像符号化装置に於いて、 動ベクトルを決定する際に、判断基準となる評価関数を
   算出し、この評価関数に基づいて動ベクトルを検出する
   動ベクトル検出手段と、 上記動ベクトル検出手段により検出された動ベクトルに
   従って予測フレームを作成する予測フレーム作成手段
   と、 上記予測フレーム内の一領域とその周辺領域における動
   ベクトル及び評価関数からこの一領域とその周辺領域と
   の相関を演算し、その演算結果に基づいて、上記予測フ
   レーム作成手段で作成された予測フレームのフィルタリ
   ングを適応的に行なうフィルタリング手段と、 を具備することを特徴とする動画像符号化装置。