JP5649540B2 - 動画像符号化装置及びそのプログラム - Google Patents

Description

本発明は、動画像を符号化する際にループ内フィルタの情報を生成する動画像符号化装置及びそのプログラムに関する。

一般に、符号化側の動画像符号化装置では、入力した動画像のフレーム１枚ずつを原画像として符号化し、符号化処理によって生成したデータを符号化データとして出力する。復号側の動画像復号装置では、符号化側の動画像符号化装置により出力された符号化データを入力し、符号化データを復号して復号画像を生成する。

動画像符号化装置は、それ以前に処理した過去のフレームを参照し、現フレームを符号化する。また、過去のフレームを参照するために、復号側と同様の復号処理を行う。このような、符号化側において復号画像を生成し、生成した復号画像を参照して符号化する処理を符号化ループと呼び、その符号化ループ内で使用されるフィルタをループ内フィルタと呼ぶ。

動画像符号化の標準規格であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣでは、デブロッキングフィルタと呼ばれるループ内フィルタが利用される。デブロッキングフィルタは、符号化側において、基本的な復号処理（例えば、逆量子化、逆直交変換、予測等の処理）の後に、生成された復号画像に対して適用される。また、復号側においても、生成された復号画像に対して適用される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの標準規格のようにブロック単位で処理する符号化方式では、ブロックの境界に歪みが生じやすい。そこで、デブロッキングフィルタを適用することにより、ブロック間の歪みを低減することができる。

デブロッキングフィルタ以外にも、復号画像またはデブロッキングフィルタを適用した後の画像に対して、適応的にループ内フィルタ（ＡＬＦ：Adaptive Loop Filter）を適用する符号化方式が提案されている（例えば非特許文献１）。

図７は、従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０１は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、フィルタリング処理最適化部１１４及び伝送データ生成部１１５を備えている。尚、復号画像に対してデブロッキングフィルタを適用する場合、デブロッキングフィルタは局所復号部１１２の後段に設けられるが、図７では、説明を簡単にするために、それを省略してある。以下、便宜上、デブロッキングフィルタを適用した後の画像も復号画像という。

符号化基本部１１１は、原画像（動画像のフレーム）を入力し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の符号化方式に基づいた基本的な符号化処理を行い、符号化データを生成し、生成した符号化データを局所復号部１１２及び伝送データ生成部１１５に出力する。具体的には、符号化基本部１１１は、フレーム内予測またはフレーム間予測等の予測処理、直交変換処理、量子化処理等を行う。

局所復号部１１２は、符号化基本部１１１から符号化データを入力し、入力した符号化データを復号して復号画像を生成し、生成した復号画像をフィルタ設計部１１３に出力する。尚、局所復号部１１２は、生成した復号画像をフィルタ設計部１１３にそのまま出力するようにしたが、デブロッキングフィルタ（局所復号部１１２の後段に設けられたデブロッキングフィルタ）を介してフィルタ設計部１１３へ出力するようにしてもよい。この場合、デブロッキングフィルタは、局所復号部１１２から復号画像を入力し、フィルタ処理によりブロック間の歪みを低減し、フィルタ処理後の復号画像をフィルタ設計部１１３に出力する。

一般に、ＡＬＦを利用する符号化方式では、フィルタ設計部１１３及びフィルタリング処理最適化部１１４を備える点を特徴とする。フィルタ設計部１１３は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、これら２つの画像に基づいて、現在のフレームについてＡＬＦにて使用するフィルタを設計し、設計したフィルタの情報を新規フィルタ情報としてフィルタリング処理最適化部１１４に出力する。具体的には、フィルタ設計部１１３は、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、予め設定されたフィルタタイプのフィルタ係数値を決定することでフィルタを設計し、フィルタタイプ及びフィルタ係数値を含む新規フィルタ情報をフィルタリング処理最適化部１１４に出力する。この場合、異なるフィルタタイプ、すなわち異なる形状及び／またはサイズのフィルタを利用することで、複数のフィルタを設計してもよい。

図８は、フィルタタイプを説明する図である。フィルタタイプは、フィルタの形状及びサイズにより特定される。図８に示すように、フィルタの形状には、例えば正方形、十字型、菱形があり、フィルタのサイズには、例えば３×３＝９画素、５×５＝２５画素等がある。これらのフィルタタイプの形状及びサイズは、フィルタ処理の単位に対応しており、それぞれの形状及びサイズを単位にしてフィルタ処理が行われる。具体的には、その形状の中心に位置する画素におけるフィルタ適用後の値を算出するために、その周囲の画素が用いられる。例えば、図８の左上に示した、フィルタの形状が正方形であってフィルタのサイズが３×３＝９画素であるフィルタタイプでは、中心の画素におけるフィルタ適用後の値を算出するために、その画素及び周囲８画素を含めた合計９画素が用いられる。

このように、フィルタ設計部１１３は、図８に示した異なるフィルタタイプを利用することで複数のフィルタを設計し、すなわち、異なるフィルタタイプのフィルタ毎に、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるようにフィルタ係数値をそれぞれ決定し、フィルタタイプ毎のフィルタ係数値を含む新規フィルタ情報を生成する。

フィルタリング処理最適化部１１４は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力し、ＲＤ（Rate Distortion：レート歪み）基準にて画像の領域毎に、復号画像に対するフィルタリングの有無、フィルタリング有りの場合のフィルタ情報（適用するフィルタタイプ（フィルタの形状及びサイズ）及びフィルタ係数値等）の最適な選択を行うことで、フィルタリング処理を最適化し、選択した情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）をフィルタリング情報として伝送データ生成部１１５に出力する。

ＲＤ基準とは、ある選択（例えばフィルタタイプの選択）をしたときに発生する符号化ビット量（レート）、及びそのときに生成される復号画像と原画像との間の差分（歪み）を考慮して、その選択の効果を評価する基準である。一般に、符号化処理においては、符号化ビット量を大きくした場合、そのときに生成される復号画像と原画像との間の差分が小さくなることから、ＲＤ基準では、符号化ビット量を大きくする程度と、これに伴って差分が小さくなる程度とが考慮される。具体的には、フィルタリング処理最適化部１１４は、画像の領域毎に、新規フィルタ情報に含まれる各フィルタタイプについて、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。その一方で、フィルタリング処理最適化部１１４は、フィルタを適用しない場合についても、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。そして、フィルタリング処理最適化部１１４は、新規フィルタ情報に含まれる各フィルタタイプについて算出した加重和と、フィルタを適用しない場合について算出した加重和とを含めて、最小となる設定を選択する。すなわち、フィルタを適用しない場合について算出した加重和が最小となる場合は、その領域についてはフィルタリング無しを判定する。また、そうでない場合は、その領域についてはフィルタリング有りを判定し、加重和が最小となるフィルタタイプとそのときのフィルタ係数値等を選択する。このようなＲＤ基準により、フィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）が生成される。

伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１４からフィルタリング情報を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、生成した伝送データを出力する。このようにして出力された伝送データは、動画像符号化装置１０１から動画像復号装置へ伝送される。

非特許文献１の手法では、ＡＬＦに利用するフィルタを動画像のフレーム毎に設計する。符号化側は、設計したフィルタの情報を復号側へ伝送するため、伝送するデータ量が増加する。このため、非特許文献１の手法では、フィルタ情報の伝送に伴う伝送データ量の増加を抑制することが課題となる。そこで、設計したフィルタの情報を保存するフィルタバッファを導入し、フィルタ情報の代わりに、フィルタバッファに保存されているフィルタ情報を指定するフィルタインデックスを伝送することにより、伝送データ量の増加を抑制している（例えば非特許文献２）。

図９は、従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０２は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５、フィルタリング処理最適化部１１６及びフィルタバッファ１１７を備えている。図７に示した動画像符号化装置１０１と図９に示す動画像符号化装置１０２とを比較すると、動画像符号化装置１０２が、フィルタバッファ１１７を備えている点、及び動画像符号化装置１０１のフィルタリング処理最適化部１１４とは異なるフィルタリング処理最適化部１１６を備えている点で相違する。図９において、図７と共通する部分には図７と同一の符号を付し、その詳しい説明は省略する。

図１０は、図９に示した従来のフィルタバッファ１１７の構成を示す図である。フィルタバッファ１１７は、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部１１３により過去のフレームで設計され、かつフィルタリング処理最適化部１１６により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報を過去フィルタ情報として保存する。具体的には、フィルタタイプ「Ｔｙｐｅ１」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報Ｆ_prev11（ｋ₁）〜Ｆ_prev1M（ｋ₁）を保存する。同様に、フィルタタイプ「ＴｙｐｅＮ」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報Ｆ_prevN1（ｋ_N）〜Ｆ_prevNM（ｋ_N）を保存する。ここで、フィルタに関する情報Ｆ_previj（ｋ_A）は、例えば、フィルタタイプ「Ｔｙｐｅｉ」及びフィルタインデックス＃ｊのフィルタに関するｋ_A番目のフィルタ係数値を示す。これらのフィルタタイプ、フィルタインデックス及びフィルタ情報は、フィルタリング処理最適化部１１６により、過去フィルタ情報として書き込まれ、読み出される。尚、復号側の動画像復号装置においても、フィルタバッファ１１７と同様のバッファを備えているものとする。また、フィルタタイプには、フィルタの形状及びサイズが含まれるものとし、フィルタに関する情報には、フィルタ係数値が含まれるものとする。

図９に戻って、フィルタリング処理最適化部１１６は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ１１７から過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を読み出し、新規フィルタ情報及び過去フィルタ情報を用いて、図７に示したフィルタリング処理最適化部１１４と同様に、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタ設計部１１３から入力した新規フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力する。一方、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタバッファ１１７から読み出した過去フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスをフィルタリング情報として伝送データ生成部１１５に出力する。

また、フィルタリング処理最適化部１１６は、最適なフィルタリング処理として新規フィルタを選択した場合、そのフィルタタイプ及びフィルタ係数値等をフィルタバッファ１１７に書き込む。この場合、フィルタバッファ１１７は、フィルタ係数値等を、対応するフィルタタイプの箇所に保存する。フィルタリング処理最適化部１１６は、新たなフィルタ係数値等を書き込む際に、フィルタバッファ１１７に保存されているフィルタ係数値等がその上限（フィルタタイプ毎に最大Ｍ個）を超える場合、そのフィルタタイプについて保存されているフィルタ係数値等のうち最も古いフィルタ係数値等を削除した後、新たなフィルタ係数値等を書き込む。

伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１６からフィルタリング情報を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、動画像復号装置へ伝送する。このように、フィルタリング処理最適化部１１６において過去フィルタ情報が選択された場合、伝送データ生成部１１５は、フィルタ係数値等の代わりに、フィルタタイプ及びそのフィルタを特定するためのフィルタインデックスのみを伝送すればよい。したがって、フィルタ係数値の伝送が不要となるため、伝送データ量の増加を抑制することができる。

Marta Karczewicz, Peisong Chen, Rajan Joshi, Xianglin Wang, Wei-Jung Chien, Rahul Panchal, "Video coding technology proposal by Qualcomm Inc,"JCTVC Contribution JCTVC-A121, p.12, Dresden, Apr. 2010. Chia-Yang Tsai, Chih-Ming Fu, Ching-Yeh Chen, Yu-Wen Huang, and Shawmin Lei, "TE10 Subtest2: Coding Unit Synchronous Picture Quadtree-based Adaptive Loop Filter," JCTVC Contribution JCTVC-C143, Guangzhou, Oct. 2010.

従来のＡＬＦを利用する符号化手法では、異なる形状及び異なるサイズのフィルタ、すなわち異なるフィルタタイプのフィルタが複数用いられ、フィルタはフレーム毎に設計される。そのため、処理コストが大きくなるという問題があった。

また、設計したフィルタに対しては、ＲＤ基準に基づいてフィルタリング処理を最適化する。最適化処理では、各フィルタリングの設定（フィルタリングの有無、フィルタタイプ及びフィルタ係数値等の設定）において、発生する符号化ビット量と、そのときに生成される復号画像の歪み量（原画像との間の差分）を算出し、フィルタリングの効果を評価する。

しかしながら、この最適化処理は計算量が多く、メモリアクセスの回数も多い。そのため、従来の動画像符号化装置１０１，１０２では、伝送遅延が増加したり、回路及び装置が大型化したりする等の問題があった。

図９に示した、フィルタバッファ１１７を備えた動画像符号化装置１０２では、新たに設計したフィルタの情報に加えて、フィルタバッファ１１７に保存されている過去のフィルタ情報も、最適化処理の対象としてフィルタリング処理の評価を行う。フィルタバッファ１１７には複数のフィルタタイプの情報が保存されているため、その各々に対してフィルタリング処理の評価を行う必要がある。その結果、処理コストが大きく増加する。例えば、非特許文献２の手法では、７個のフィルタタイプを利用している。そのため、フレーム毎に７個のフィルタを設計する必要がある。また、フィルタバッファ１１７には、７個のフィルタタイプのそれぞれに対して、最大で８個のフィルタ情報が保存されている。そのため、動画像符号化装置１０２のフィルタリング処理最適化部１１６では、最大で５６個の過去のフィルタ情報、及び新たに設計した７個のフィルタ情報（７個のフィルタタイプに対応した新規のフィルタ情報）のそれぞれに対してフィルタリングの効果の評価が必要となる。

このように、従来のＡＬＦを利用する符号化手法では、複数のフィルタを用いたときにこれらのフィルタを設計する際の処理コストが増大すると共に、フィルタバッファ１１７を備えることによって処理コストが増大するという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、フィルタを設計する際の処理負荷を低減することで、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能な動画像符号化装置及びそのプログラムを提供することにある。

前記目的を達成するために、本発明による動画像符号化装置は、動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、前記符号化データを復号し、復号画像を生成する局所復号部と、複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、フィルタタイプ及びフィルタ係数値を含むフィルタに関する情報を、過去フィルタの情報として保存するフィルタバッファと、前記フィルタバッファに保存された過去フィルタ情報を用いて、前記フィルタタイプのそれぞれに対する有効性の評価値を算出し、前記評価値の大きさに基づいて、前記フィルタ設計部にてフィルタ係数値を決定する際のフィルタタイプを選定する設計フィルタタイプ選定部と、前記設計フィルタタイプ選定部により選定されたフィルタタイプについての、前記フィルタ設計部により生成された新規フィルタの情報と、前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記原画像のフレームと前記過去フィルタが設計されたフレームとの間の時間差を示す前記過去フィルタの新しさを求め、前記過去フィルタが新しいほど、前記過去フィルタのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記原画像のフレーム以前のフレームについて、前記フィルタリング処理最適化部により選択されたフィルタタイプの回数が多いほど、そのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記原画像のフレーム以前のフレームについて、前記フィルタ設計部にて用いる復号画像及び原画像における前記復号画像と前記原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と前記原画像との間の差分から得られる画質改善幅が大きいほど、そのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記評価値が小さい順に、所定数のフィルタタイプを選定することを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記評価値と所定の閾値とを比較し、前記閾値よりも小さい評価値のフィルタタイプを選定することを特徴とする。

また、本発明による動画像符号化装置は、前記設計フィルタタイプ選定部が、前記評価値が小さい順に、所定数のフィルタタイプを選び、前記所定数のフィルタタイプの評価値と所定の閾値とをそれぞれ比較し、前記閾値よりも小さい評価値のフィルタタイプを選定することを特徴とする。

さらに、本発明による動画像符号化プログラムは、コンピュータを、前記動画像符号化装置として機能させることを特徴とする。

以上のように、本発明によれば、フレーム毎にフィルタを設計する際のフィルタ数を削減するようにした。これにより、複数のフィルタを用いてフィルタを設計する際の処理負荷を低減することができる。また、フィルタリング処理の最適化対象となるフィルタ数を削減することができるため、最適化処理の負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

本発明の実施形態による動画像符号化装置の構成を示すブロック図である。 実施例１のフィルタバッファの構成を示す図である。 実施例１による設計フィルタタイプ選定部の処理を示すフローチャートである。 実施例２のフィルタバッファの構成を示す図である。 実施例２による設計フィルタタイプ選定部の処理を示すフローチャートである。 実施例３による設計フィルタタイプ選定部の処理を示すフローチャートである。 従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。 フィルタタイプを説明する図である。 従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。 従来のフィルタバッファの構成を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ＡＬＦを利用し、フィルタバッファを導入して動画像の符号化を行う動画像符号化装置において、フィルタバッファに保存されている過去のフィルタ情報を活用することにより、現フレームで新たに設計するフィルタの数を削減する。また、新たに設計するフィルタの数を削減することにより、フィルタリング処理を最適化する際の処理負荷も低減する。

フィルタバッファには、過去のフレームで設計された複数のフィルタの情報が保存されている。それらの情報を用いて、フィルタタイプ毎にフィルタバッファの有効性を評価する。この有効性は、フィルタの新しさ（当該フィルタが設計されたときのフレームと現フレームとの間の時間差）、フィルタの適用された回数、適用したときの効果（画質改善幅）等に基づいて評価する。ここで、有効性が高いと評価されたフィルタタイプに関しては、現フレームにおいてフィルタを新たに設計しない。現フレームでは有効性が低いと評価されたフィルタタイプのフィルタのみを設計する。これにより、フレーム毎に設計するフィルタの数を削減することができる。

フィルタバッファの有効性を評価するために、フィルタバッファに保存されている過去フィルタ情報において過去フィルタの新しさ（当該過去フィルタが設計されたときのフレームと現フレームとの間の時間差）を考慮する。フレームは時間と共に変化し、異なった画像となる。しかし、フレーム間の時間差が小さい範囲では、互いの画像が類似している可能性が高く、それらの画像から設計したフィルタも類似の効果が得られると期待される。そこで、現フレームとの間の時間差の小さいフレームから設計した過去フィルタは、フィルタバッファの有効性が高いものであると評価し、その過去フィルタのフィルタタイプについては、現フレームの設計対象から除外する。

また、フィルタバッファの有効性を評価するために、フィルタバッファに保存されている過去フィルタ情報において過去フィルタが現フレーム以前に復号画像に適用された回数を考慮する。フィルタが適用されるのは、フィルタリング処理の最適化により選択されたときである。すなわち、そのフィルタを適用することにより効果が得られたときである。したがって、適用された回数の多いフィルタほど、以前のフレームにおける効果が多く得られ、現フレーム以降でも適用効果が得られるものと期待される。そこで、適用された回数の多い過去フィルタは、フィルタバッファの有効性が高いものであると評価し、その過去フィルタのフィルタタイプについては、現フレームの設計対象から除外する。

また、フィルタバッファの有効性を評価するために、現フレーム以前のフレームにおいて、過去フィルタを適用したときに得られた効果（画質改善幅）を考慮する。前述の過去フィルタの適用回数と同様に、現フレーム以降でもその適用効果が期待される。そこで、過去フィルタのそれまでの適用効果が大きい過去フィルタは、フィルタバッファの有効性が高いものであると評価し、その過去フィルタのフィルタタイプについては、現フレームの設計対象から除外する。

このように、本発明では、過去フィルタ情報が保存されたフィルタバッファの有効性（過去フィルタにおけるフィルタタイプ毎の有効性）を評価し、現フレームにて設計するフィルタのフィルタタイプを選定する手段を設ける。

〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１は、符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０、フィルタ設計部２０、フィルタリング処理最適化部３０及びフィルタバッファ４０を備えている。動画像符号化装置１は、ＡＬＦを利用する装置であり、原画像を入力し、原画像の符号化データとフィルタリング情報とを統合した伝送データを生成し、生成した伝送データを出力する。

図９に示した従来の動画像符号化装置１０２と図１に示す動画像符号化装置１とを比較すると、両動画像符号化装置１，１０２共に、符号化基本部１１１、局所復号部１１２及び伝送データ生成部１１５を備えている点で同一である。これに対し、動画像符号化装置１は、動画像符号化装置１０２のフィルタ設計部１１３、フィルタリング処理最適化部１１６及びフィルタバッファ１１７とは異なるフィルタ設計部２０、フィルタリング処理最適化部３０及びフィルタバッファ４０を備え、さらに設計フィルタタイプ選定部１０を備えている点で相違する。

以下、本発明の実施形態による動画像符号化装置１において特徴を有する設計フィルタタイプ選定部１０及びフィルタ設計部２０の概略について説明する。フィルタリング処理最適化部３０及びフィルタバッファ４０については、後述する実施例にて具体的に説明する。設計フィルタタイプ選定部１０は、フィルタバッファ評価手段１１及びフィルタバッファ評価判定手段１２を備えており、フィルタバッファ４０に保存されている過去フィルタ情報に含まれる過去のフレーム番号等を用いて、フィルタタイプ毎の評価値を算出し、フィルタタイプ各々に対して、後段のフィルタ設計部２０において設計処理を適用するか否かを決定する。

フィルタバッファ評価手段１１は、フィルタバッファ４０から過去のフレームにて設計された過去フィルタの情報である過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を読み出し、各フィルタタイプに対する有効性を評価し、フィルタタイプ毎の評価値（フィルタタイプ評価値）をフィルタバッファ評価判定手段１２に出力する。例えば、新しい過去フィルタ、適用回数の多い過去フィルタ、または適用効果の大きかった過去フィルタのフィルタタイプについては有効性の度合いが高くなるように評価値を算出する。

フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１からフィルタタイプ毎の評価値（フィルタタイプ評価値）を入力し、フィルタタイプ評価値に基づいて、後段のフィルタ設計部２０の設計対象となるフィルタタイプを選定し、フィルタタイプ選定結果をフィルタ設計部２０に出力する。例えば、設計対象となるフィルタの数が予め設定されている場合は、フィルタタイプ評価値が小さい順に所定数のフィルタタイプを選定する。また、設計対象となるフィルタの数ではなく、フィルタタイプ評価値を判定する閾値が予め設定されている場合は、その閾値よりも小さいフィルタタイプ評価値のフィルタタイプを選定する。

フィルタ設計部２０は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、さらに、設計フィルタタイプ選定部１０からフィルタタイプ選定結果を入力し、フィルタタイプ選定結果が示す、現フレームにおいて新規フィルタを設計すると判定されたフィルタタイプに対し、原画像及び復号画像に基づいてフィルタを設計する。具体的には、フィルタ設計部２０は、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、フィルタタイプ選定結果が示すフィルタタイプについてのみ、フィルタ係数値を決定することでフィルタを設計し、フィルタタイプ及びフィルタ係数値を含む新規フィルタ情報をフィルタリング処理最適化部３０に出力する。

例えば、フィルタ設計部２０は、設計するフィルタを復号画像に適用した後の画像と原画像との間の二乗誤差を最小化するようにフィルタ係数値を決定する。

そして、フィルタ設計部２０は、フィルタタイプ選定結果が示す、現フレームにおいて新規フィルタを設計すると判定されたフィルタタイプについて、フィルタタイプ毎のフィルタ係数値を含む情報を新規フィルタ情報としてフィルタリング処理最適化部３０に出力する。

このように、動画像符号化装置１のフィルタ設計部２０は、全てのフィルタタイプのフィルタを設計対象とするのではなく、設計フィルタタイプ選定部１０により選定されたフィルタタイプのみを設計対象とし、フィルタを設計するようにした。これにより、フレーム毎にフィルタを設計する際のフィルタ数を削減することができ、処理負荷を低減することができる。また、フィルタリング処理最適化部３０では、フィルタ設計部２０により設計された新規フィルタをフィルタリング処理の最適化対象とするため、最適化対象のフィルタ数を削減することができ、最適化処理の負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

〔実施例１〕
次に、実施例１の動画像符号化装置１について説明する。実施例１は、フィルタバッファ４０に保存された過去フィルタ情報を用いて、現フレームに近いフレームにて処理された過去フィルタに対し、有効性の度合いが高くなるように評価値を算出し、評価値の小さい所定数のフィルタタイプの新規フィルタのみを、フィルタ設計部２０の設計対象とする。

図１を参照して、実施例１による動画像符号化装置１の符号化基本部１１１、局所復号部１１２及び伝送データ生成部１１５は、図７及び図９に示したこれらの構成部と同様の処理を行う。

図２は、実施例１におけるフィルタバッファ４０の構成を示す図である。実施例１のフィルタバッファ４０は、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部２０により過去のフレームで設計され、かつフィルタリング処理最適化部３０により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報を過去フィルタ情報として保存する。具体的には、フィルタタイプ「Ｔｙｐｅ１」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関するフィルタ係数値Ｆ_prev11（ｋ₁）〜Ｆ_prev1M（ｋ₁）、及び当該過去フィルタが設計されたときのフレーム番号ＦＮ_{1_1}〜ＦＮ_{1_M}を保存する。同様に、フィルタタイプ「ＴｙｐｅＮ」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタ係数値Ｆ_prevN1（ｋ_N）〜Ｆ_prevNM（ｋ_N）、及び当該過去フィルタが設計されたときのフレーム番号ＦＮ_{N_1}〜ＦＮ_{N_M}を保存する。ここで、フィルタ係数値Ｆ_previj（ｋ_i）は、フィルタタイプ「Ｔｙｐｅｉ」及びフィルタインデックス＃ｊのフィルタに関するｋ_i番目のフィルタ係数値を示し、フレーム番号ＦＮ_{i_j}は、フィルタタイプ「Ｔｙｐｅｉ」及びフィルタインデックス＃ｊのフィルタがフィルタ設計部２０にて設計され、フィルタリング処理最適化部３０にて選択されたときのフレーム番号を示す。これらのフィルタタイプ、フィルタインデックス、フィルタ係数値及びフレーム番号は、フィルタリング処理最適化部３０により、過去フィルタ情報として書き込まれ、読み出される。尚、復号側の動画像復号装置においても、フィルタバッファ４０と同様のバッファを備えているものとする。また、フィルタタイプには、フィルタの形状及びサイズが含まれるものとする。

図３は、実施例１による設計フィルタタイプ選定部１０の処理を示すフローチャートである。設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、前述のとおり、フィルタバッファ４０に保存されている過去フィルタ情報を参照し、各フィルタタイプに対して有効性を示す評価値を算出する。図３において、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、フィルタバッファ４０から過去フィルタ情報を読み出し（ステップＳ３０１）、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_1}を、過去フィルタ情報に含まれる過去のフレーム番号（過去フィルタが設計されたときのフレーム番号）ＦＮ_{i_j}に基づいて算出する。

具体的には、フィルタバッファ評価手段１１は、現在処理しているフレーム番号からフレーム番号ＦＮ_{i_j}を減算し、両フレーム番号の差Ｔ_{i_j}（現在処理しているフレームとフレーム番号ＦＮ_{i_j}における過去フレームとの間に挟まれるフレームの数）を求め（ステップＳ３０２）、以下の式によりフィルタタイプ評価値Ｖ_{i_1}を算出する（ステップＳ３０３）。両フレーム番号の差Ｔ_{i_j}は、両フレームの時間差に相当し、過去フィルタの新しさを示す指標である。

ここで、ｊは、過去フィルタを指定するインデックスを示し、Ｍ_iは、フィルタバッファ４０に保存されている過去フィルタ情報におけるフィルタタイプｉの過去フィルタの個数を示し、Ｔ_{i_j}は、過去フィルタの新しさ（両フレームとの時間差）を示す。前記式（１）により算出されるフィルタバッファ４０の有効性を示すフィルタタイプ評価値Ｖ_{i_1}は、新しい過去フィルタが多いほど（過去フィルタが設計されたときのフレームが新しい（現フレームに近い）ほど）大きくなる。

フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１により算出されたフィルタタイプ評価値Ｖ_{i_1}に基づいて、フィルタ設計部２０の設計対象となるフィルタタイプを選定する。具体的には、フィルタバッファ評価判定手段１２は、予め設定された設計するフィルタタイプの個数のみ、フィルタタイプ評価値Ｖ_{i_1}が小さい順にフィルタタイプを選定する（ステップＳ３０４）。例えば、設計するフィルタタイプの個数をＬ個（Ｌは正の整数、かつＬ＜Ｎ）とした場合、フィルタタイプ評価値Ｖ_{i_1}が小さい順にＬ個のフィルタタイプを選定する。Ｌの値は、フィルタバッファ評価判定手段１２においてフィルタタイプを選定する前に予め設定されていればよく、処理の途中で値を変化させることも可能である。フィルタバッファ評価判定手段１２は、このようにして選定したフィルタタイプをフィルタタイプ選定結果としてフィルタ設計部２０に出力する（ステップＳ３０５）。

フィルタ設計部２０は、設計フィルタタイプ選定部１０により選定されたフィルタタイプに対し、原画像及び復号画像に基づいて、現フレームにてフィルタを設計し、新規フィルタ情報（選定されたフィルタタイプ毎のフィルタ係数値等）をフィルタリング処理最適化部３０に出力する。設計したフィルタには、後段のフィルタリング処理最適化部３０においてフィルタリングの最適化処理が適用される。

フィルタリング処理最適化部３０は、フィルタ設計部２０から新規フィルタ情報（選定されたフィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ４０から過去フィルタ情報（過去フィルタにおけるフィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を入力し、フィルタリング処理の最適化を行う。フィルタリング処理最適化部３０による処理では、図９に示したフィルタリング処理最適化部１１６の処理に比べ、処理対象とする新規フィルタの数が減少する。フィルタリング処理最適化部３０は、設計フィルタタイプ選定部１０により選定されたフィルタタイプの新規フィルタに関する新規フィルタ情報及びフィルタバッファ４０から読み出した過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部３０は、フィルタリング処理の最適化の際に、新規フィルタを選択した場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力する。一方、過去フィルタを選択した場合は、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスを伝送データ生成部１１５に出力する。また、フィルタを適用しないことを選択した場合は、フィルタリング無しを伝送データ生成部１１５に出力する。フィルタリング処理最適化部３０は、新規フィルタを最適なフィルタリング処理として選択した場合、そのフィルタタイプ及びフィルタ係数値等を、フィルタバッファ４０に書き込むと共に、フィルタリング処理の最適化を行ったときの現在のフレーム番号を、過去フィルタが設計されたときのフレーム番号ＦＮ_{i_j}としてフィルタバッファ４０に書き込む。この場合、フィルタリング処理最適化部３０は、新たなフィルタ係数値及びフレーム番号ＦＮ_{i_j}等を書き込む際に、フィルタバッファ４０に保存されているフィルタ係数値等がその上限（フィルタタイプ毎に最大Ｍ個）を超えないときには、新たなフィルタインデックスの領域に追加して書き込み、その上限を超えるときには、そのフィルタタイプについて保存されているフィルタ係数値等のうち最も古いフィルタ係数値等を削除した後、新たなフィルタ係数値等を書き込む。尚、動画像復号装置においても動画像符号化装置１と同様に、新規フィルタが選択されフィルタリング情報が伝送されたときは、フィルタバッファの同じ場所にその情報が書き込まれる。

以上のように、実施例１の動画像符号化装置１によれば、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１が、フィルタバッファ４０に保存されている過去フィルタ情報を用いて、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_1}を、過去フィルタの新しさＴ_{i_1}に基づいて、前記式（１）により算出するようにした。そして、フィルタバッファ評価判定手段１２が、フィルタタイプ評価値Ｖ_{i_1}の小さい順に、予め設定されたＬ個（＜Ｎ）のフィルタタイプを選定するようにした。そして、フィルタ設計部２０が、設計フィルタタイプ選定部１０により選定されたＬ個のフィルタタイプに対し、現フレームにてフィルタを設計するようにした。これにより、フレーム毎にフィルタを設計する際のフィルタ数を削減することができ、処理負荷を低減することができる。また、フィルタリング処理最適化部３０では、フィルタ設計部２０により設計された新規フィルタをフィルタリング処理の最適化対象とするため、最適化対象のフィルタ数を削減することができ、最適化処理の負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

〔実施例２〕
次に、実施例２の動画像符号化装置１について説明する。実施例２は、フィルタバッファ４０に保存された過去フィルタ情報を用いて、フィルタリング処理最適化部３０にて現フレーム以前に適用された回数の多い過去フィルタについては有効性の度合いが高くなるように評価値を算出し、評価値の小さい所定数のフィルタタイプの新規フィルタのみを、フィルタ設計部２０の設計対象とする。

図１を参照して、実施例２による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２及びフィルタ設計部２０は、実施例１と同様である。実施例２による設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１、フィルタリング処理最適化部３０及びフィルタバッファ４０は、実施例１とは異なる処理を行う。

図４は、実施例２におけるフィルタバッファ４０の構成を示す図である。実施例２のフィルタバッファ４０は、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部２０により過去のフレームで設計され、かつフィルタリング処理最適化部３０により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報を過去フィルタ情報として保存する。具体的には、実施例１と同様のフィルタ係数値及びフレーム番号に加え、適用回数も保存する。すなわち、フィルタタイプ「Ｔｙｐｅ１」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関するフィルタ係数値Ｆ_prev11（ｋ₁）〜Ｆ_prev1M（ｋ₁）、当該過去フィルタが設計されたときのフレーム番号ＦＮ_{1_1}〜ＦＮ_{1_M}、及び現フレーム以前に当該過去フィルタが適用された回数Ｃ_{1_1}〜Ｃ_{1_M}を保存する。同様に、フィルタタイプ「ＴｙｐｅＮ」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関するフィルタ係数Ｆ_prevN1（ｋ_N）〜Ｆ_prevNM（ｋ_N）、当該過去フィルタが設計されたときのフレーム番号ＦＮ_{N_1}〜ＦＮ_{N_M}、及び現フレーム以前に当該過去フィルタが適用された回数Ｃ_{N_1}〜Ｃ_{N_M}を保存する。ここで、現フレーム以前に当該過去フィルタが適用された回数Ｃ_{i_j}は、フィルタタイプ「Ｔｙｐｅｉ」及びフィルタインデックス＃ｊのフィルタがフィルタ設計部２０にて設計され、フィルタリング処理最適化部３０にて選択（適用）されたときの選択回数（適用回数）を示す。これらのフィルタタイプ、フィルタインデックス、フィルタ係数値、フレーム番号及び適用回数は、フィルタリング処理最適化部３０により、過去フィルタ情報として書き込まれ、読み出される。

図５は、実施例２による設計フィルタタイプ選定部１０の処理を示すフローチャートである。設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、フィルタバッファ４０から過去フィルタ情報を読み出し（ステップＳ５０１）、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_2}を、過去フィルタ情報に含まれる、過去フィルタが設計されたときのフレーム番号ＦＮ_{i_j}及び現フレーム以前に過去フィルタが適用された回数Ｃ_{i_j}に基づいて算出する。

具体的には、フィルタバッファ評価手段１１は、現在処理しているフレーム番号からフレーム番号ＦＮ_{i_j}を減算し、両フレーム番号の差を示す過去フィルタの新しさＴ_{i_j}を求める（ステップＳ５０２）。そして、フィルタバッファ評価手段１１は、以下の式によりフィルタタイプ評価値Ｖ_{i_2}を算出する（ステップＳ５０３）。

ここで、ｊは、過去フィルタを指定するフィルタインデックスを示し、Ｍ_iは、フィルタバッファ４０に保存されている過去フィルタ情報におけるフィルタタイプｉの過去フィルタの個数を示し、Ｃ_{i_j}は、フィルタインデックスｊで指定される過去フィルタが現フレーム以前に適用された回数を示し、Ｔ_{i_j}は、過去フィルタの新しさを示す。前記式（２）により算出されるフィルタバッファ４０の有効性を示すフィルタタイプ評価値Ｖ_{i_2}は、新しい過去フィルタが多く、適用された回数が多いほど大きくなる。

フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１により算出されたフィルタタイプ評価値Ｖ_{i_2}に基づいて、フィルタ設計部２０の設計対象となるフィルタタイプを選定する。具体的には、フィルタバッファ評価判定手段１２は、実施例１と同様に、設計するフィルタタイプ数をＬ個（Ｌは正の整数、かつＬ＜Ｎ）とした場合、フィルタタイプ評価値Ｖ_{i_2}が小さい順にＬ個のフィルタタイプを選定する（ステップＳ５０４）。そして、フィルタバッファ評価判定手段１２は、このようにして選定したフィルタタイプをフィルタタイプ選定結果としてフィルタ設計部２０に出力する（ステップＳ５０５）。

フィルタリング処理最適化部３０は、実施例１の処理に加え、最適なフィルタリング処理として選択した過去フィルタについて、現フレーム以前にその過去フィルタが適用された回数Ｃ_{i_j}を算出し、その適用回数Ｃ_{i_j}もフィルタ係数値等と共にフィルタバッファ４０に書き込む。

尚、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、過去フィルタの新しさＴ_{i_j}を用いない場合、現フレーム以前に過去フィルタが適用された回数Ｃ_{i_j}のみを用いて、以下の式により、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_2}’を算出するようにしてもよい。

この式は、前記式（２）において、過去フィルタの新しさをＴ_{i_j}＝１に固定する場合と同じである。この場合、フィルタバッファ４０は、過去フィルタが設計されたときのフレーム番号ＦＮ_{i_j}を保存する必要がなく、このフレーム番号ＦＮ_{i_j}及び過去フィルタの新しさＴ_{i_j}の値を管理する必要もない。したがって、これらの値を増減、保存、読み出し、書き込む等の機能が不要となり、装置及び処理を簡素にすることができる。

以上のように、実施例２の動画像符号化装置１によれば、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１が、フィルタバッファ４０に保存されている過去フィルタ情報を用いて、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_2}，Ｖ_{i_2}’を、現フレーム以前に過去フィルタが適用された回数Ｃ_{i_j}に基づいて、前記式（２）または前記式（３）により算出するようにした。そして、フィルタバッファ評価判定手段１２が、フィルタタイプ評価値Ｖ_{i_2}，Ｖ_{i_2}’の小さい順に、予め設定されたＬ個（＜Ｎ）のフィルタタイプを選定するようにした。そして、フィルタ設計部２０が、設計フィルタタイプ選定部１０により選定されたＬ個のフィルタタイプに対し、現フレームにてフィルタを設計するようにした。これにより、実施例１と同様に、フレーム毎にフィルタを設計する際のフィルタ数を削減すると共に、フィルタリング処理最適化部３０における最適化対象のフィルタ数を削減し、処理負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

〔実施例３〕
次に、実施例３の動画像符号化装置１について説明する。実施例３は、フィルタバッファ４０に保存された過去フィルタ情報を用いて、現フレーム以前の過去フレームに対する適用効果が高い過去フィルタについては有効性の度合いが高くなるように評価値を算出し、評価値の小さい所定数のフィルタタイプの新規フィルタのみを、フィルタ設計部２０の設計対象とする。

図１を参照して、実施例３による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２及びフィルタ設計部２０は、実施例１，２と同様である。また、実施例３のフィルタリング処理最適化部３０は、図９に示した従来のフィルタリング処理最適化部１１６と同様である。実施例３による設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、実施例１，２とは異なる処理を行う。

フィルタバッファ４０は、図２に示した過去フィルタ情報（フィルタタイプ、フィルタインデックス、フィルタ係数値及びフレーム番号）を保存する。

図６は、実施例３による設計フィルタタイプ選定部１０の処理を示すフローチャートである。設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、フィルタバッファ４０から過去フィルタ情報を読み出し（ステップＳ６０１）、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_3}を、過去フィルタの新しさＴ_{i_j}に加えて、現フレーム以前における過去フィルタの適用効果Ｚ_{i_j}を用いることで算出する。

具体的には、フィルタバッファ評価手段１１は、現在処理しているフレーム番号から過去フィルタ情報に含まれるフレーム番号ＦＮ_{i_j}を減算し、両フレーム番号の差を示す過去フィルタの新しさＴ_{i_j}を求める（ステップＳ６０２）。そして、フィルタバッファ評価手段１１は、過去フィルタ適用前の復号画像Ｒ_{i_j}と原画像Ｏ_{i_j}との間の誤差、及び、復号画像Ｒ_{i_j}に過去フィルタを適用した後の画像Ｒ_{i_j}’と原画像Ｏ_{i_j}との間の誤差を算出し、前者の誤差から後者の誤差を減算することで、現フレーム以前における過去フィルタによる画質改善幅を示す過去フィルタの適用効果Ｚ_{i_j}を求め（ステップＳ６０３）、以下の式によりフィルタタイプ評価値Ｖ_{i_3}を算出する（ステップＳ６０４）。

ここで、

は、過去フィルタ適用前の復号画像Ｒ_{i_j}と原画像Ｏ_{i_j}との間の誤差を示し、

は、復号画像Ｒ_{i_j}に過去フィルタを適用した後の画像Ｒ_{i_j}’と原画像Ｏ_{i_j}との間の誤差を示す。ｊは、過去フィルタを指定するフィルタインデックスを示し、Ｍ_iは、フィルタバッファ４０に保存されている過去フィルタ情報におけるフィルタタイプｉの過去フィルタの個数を示し、Ｔ_{i_j}は、過去フィルタの新しさを示し、Ｚ_{i_j}は、現フレーム以前における、フィルタタイプｉのインデックスｊで指定される過去フィルタの適用効果を示す。この適用効果Ｚ_{i_j}である画質改善幅は、過去フィルタを適用する前の復号画像Ｒ_{i_j}と原画像Ｏ_{i_j}との間の誤差と、過去フィルタを適用した後の画像Ｒ_{i_j}’と原画像Ｏ_{i_j}との間の誤差の差分として算出される。前記式（４）により算出されるフィルタタイプ評価値Ｖ_{i_3}は、新しい過去フィルタが多く、現フレーム以前における過去フィルタの適用効果が高いほど大きくなる。

フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１により算出されたフィルタタイプ評価値Ｖ_{i_3}に基づいて、フィルタ設計部２０の設計対象となるフィルタタイプを選定する。具体的には、フィルタバッファ評価判定手段１２は、実施例１，２と同様に、設計するフィルタタイプ数をＬ個（Ｌは正の整数、かつＬ＜Ｎ）とした場合、フィルタタイプ評価値Ｖ_{i_3}が小さい順にＬ個のフィルタタイプを選定する（ステップＳ６０５）。そして、フィルタバッファ評価判定手段１２は、このようにして選定したフィルタタイプをフィルタタイプ選定結果としてフィルタ設計部２０に出力する（ステップＳ６０６）。

尚、フィルタバッファ評価手段１１は、過去フィルタの新しさＴ_{i_j}を用いない場合、現フレーム以前における過去フィルタの適用効果Ｚ_{i_j}のみを用いて、以下の式により、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_3}’を算出するようにしてもよい。

この式は、前記式（４）において、過去フィルタの新しさをＴ_{i_j}＝１に固定する場合と同じである。この場合、フィルタバッファ４０は、過去フィルタが設計されたときのフレーム番号ＦＮ_{i_j}を保存する必要がなく、このフレーム番号ＦＮ_{i_j}及び過去フィルタの新しさＴ_{i_j}の値を管理する必要もない。したがって、これらの値を増減、保存、読み出し、書き込む等の機能が不要となり、装置及び処理を簡素にすることができる。

以上のように、実施例３の動画像符号化装置１によれば、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１が、フィルタバッファ４０に保存されている過去フィルタ情報を用いて、フィルタタイプｉ（＝１・・・Ｎ）毎のフィルタバッファ４０に対する有効性を示すフィルタタイプ評価値Ｖ_{i_3}，Ｖ_{i_3}’を、現フレーム以前における過去フィルタの適用効果Ｚ_{i_j}に基づいて、前記式（４）または前記式（５）により算出するようにした。そして、フィルタバッファ評価判定手段１２が、フィルタタイプ評価値Ｖ_{i_3}，Ｖ_{i_3}’の小さい順に、予め設定されたＬ個（＜Ｎ）のフィルタタイプを選定するようにした。そして、フィルタ設計部２０が、設計フィルタタイプ選定部１０により選定されたＬ個のフィルタタイプに対し、現フレームにてフィルタを設計するようにした。これにより、実施例１，２と同様に、フレーム毎にフィルタを設計する際のフィルタ数を削減すると共に、フィルタリング処理最適化部３０における最適化対象のフィルタ数を削減し、処理負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

〔実施例４〕
次に、実施例４の動画像符号化装置１について説明する。実施例１〜３では、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２が、後段のフィルタ設計部２０の設計対象となるフィルタタイプを選定する際に、予め設定されたフィルタタイプ数Ｌを用いて、フィルタタイプ評価値が小さいＬ個のフィルタタイプを選定する。これに対し、実施例４では、予め設定された閾値Ｔｈを用いて、フィルタタイプ評価値が閾値Ｔｈよりも小さいフィルタタイプの選定を行い、フィルタ設計部２０の設計対象とする。

図１を参照して、実施例４による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１、フィルタ設計部２０、フィルタリング処理最適化部３０及びフィルタバッファ４０は、実施例１〜３と同様である。実施例４による設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２は、実施例１〜３とは異なる処理を行う。

設計フィルタタイプ選定部１０のフィルタバッファ評価手段１２は、前述のとおり、フィルタバッファ評価手段１１から入力したフィルタタイプ毎の評価値（フィルタタイプ評価値）に基づいて、後段のフィルタ設計部２０の設計対象となるフィルタタイプを選定する。

実施例４において、フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１からフィルタタイプ毎のフィルタタイプ評価値を入力し、フィルタタイプ毎のフィルタタイプ評価値と予め設定された閾値Ｔｈとを比較し、フィルタタイプ評価値が閾値Ｔｈ以上の場合、そのフィルタタイプはフィルタ設計部２０の設計対象にならず、現フレームでは設計しないと判定し、そのフィルタタイプをフィルタタイプの選定結果に含めない。一方、フィルタバッファ評価判定手段１２は、フィルタタイプ評価値が閾値Ｔｈよりも小さい場合、そのフィルタタイプはフィルタ設計部２０の設計対象になり、現フレームで設計すると判定し、そのフィルタタイプをフィルタタイプの選定結果に含める。閾値Ｔｈの値は、フィルタバッファ評価判定手段１２においてフィルタタイプを選定する前に予め設定されていればよく、処理の途中で値を変化させることも可能である。フィルタバッファ評価判定手段１２は、フィルタタイプ選定結果をフィルタ設計部２０に出力する。このような閾値Ｔｈを用いたフィルタタイプの選定は、実施例１〜３に対して同様に適用することができる。

以上のように、実施例４の動画像符号化装置１によれば、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２が、フィルタバッファ評価手段１１により算出されたフィルタタイプ評価値が予め設定された閾値Ｔｈよりも小さい場合、そのフィルタタイプをフィルタタイプの選定結果に含めるようにした。そして、フィルタ設計部２０が、設計フィルタタイプ選定部１０により選定されたフィルタタイプに対し、現フレームにてフィルタを設計するようにした。これにより、実施例１〜３と同様に、フレーム毎にフィルタを設計する際のフィルタ数を削減すると共に、フィルタリング処理最適化部３０における最適化対象のフィルタ数を削減し、処理負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

〔実施例５〕
次に、実施例５の動画像符号化装置１について説明する。実施例１〜３では、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２が、後段のフィルタ設計部２０の設計対象となるフィルタタイプを選定する際に、予め設定されたフィルタタイプ数Ｌを用いて、フィルタタイプ評価値が小さいＬ個のフィルタタイプを選定し、実施例４では、予め設定された閾値Ｔｈを用いて、フィルタタイプ評価値が閾値Ｔｈよりも小さいフィルタタイプの選定を行う。これに対し、実施例５では、実施例１〜３のフィルタタイプ数Ｌ及び実施例４の閾値Ｔｈの両方を用いて、フィルタタイプの選定を行い、フィルタ設計部２０の設計対象とする。

図１を参照して、実施例５による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１、フィルタ設計部２０、フィルタリング処理最適化部３０及びフィルタバッファ４０は、実施例１〜４と同様である。実施例５による設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２は、実施例１〜４とは異なる処理を行う。

設計フィルタタイプ選定部１０のフィルタバッファ評価手段１２は、前述のとおり、フィルタバッファ評価手段１１から入力したフィルタタイプ毎の評価値（フィルタタイプ評価値）に基づいて、後段のフィルタ設計部２０の設計対象となるフィルタタイプを選定する。

実施例５において、フィルタバッファ評価判定手段１２は、フィルタバッファ評価手段１１からフィルタタイプ毎のフィルタタイプ評価値を入力し、まず、予め設定されたフィルタタイプ数Ｌの個数のみ、フィルタタイプ評価値が小さい順にフィルタタイプを選ぶ。そして、フィルタバッファ評価判定手段１２は、Ｌ個のフィルタタイプのフィルタタイプ評価値と予め設定された閾値Ｔｈとを比較し、フィルタタイプ評価値が閾値Ｔｈ以上の場合、そのフィルタタイプはフィルタ設計部２０の設計対象にならず、現フレームでは設計しないと判定し、そのフィルタタイプをフィルタタイプの選定結果に含めない。一方、フィルタバッファ評価判定手段１２は、フィルタタイプ評価値が閾値Ｔｈよりも小さい場合、そのフィルタタイプはフィルタ設計部２０の設計対象になり、現フレームで設計すると判定し、そのフィルタタイプをフィルタタイプの選定結果に含める。フィルタタイプ数Ｌ及び閾値Ｔｈの値は、実施例１〜４と同様に、フィルタバッファ評価判定手段１２においてフィルタタイプを選定する前に予め設定されていればよく、処理の途中で値を変化させることも可能である。フィルタバッファ評価判定手段１２は、フィルタタイプ選定結果をフィルタ設計部２０に出力する。このようなフィルタタイプ数Ｌ及び閾値Ｔｈを用いたフィルタタイプの選定は、実施例１〜３に対して同様に適用することができる。

以上のように、実施例５の動画像符号化装置１によれば、設計フィルタタイプ選定部１０のフィルタバッファ評価判定手段１２が、フィルタバッファ評価手段１１により算出されたフィルタタイプ評価値の小さい順に、予め設定されたＬ個のフィルタタイプを選び、さらに、Ｌ個のフィルタタイプについて、そのフィルタタイプ評価値が予め設定された閾値Ｔｈよりも小さい場合、そのフィルタタイプをフィルタタイプの選定結果に含めるようにした。そして、フィルタ設計部２０が、設計フィルタタイプ選定部１０により選定されたフィルタタイプに対し、現フレームにてフィルタを設計するようにした。これにより、実施例１〜４と同様に、フレーム毎にフィルタを設計する際のフィルタ数を削減すると共に、フィルタリング処理最適化部３０における最適化対象のフィルタ数を削減し、処理負荷を低減することができる。したがって、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。

以上、実施例１〜５を挙げて本発明を説明したが、本発明は前記実施例１〜５に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例１〜５では、設計フィルタタイプ選定部１０のフィルタバッファ評価手段１１は、前記式（１）〜（５）を用いてフィルタタイプ評価値を算出するようにしたが、前記式（１）〜（５）は例示であり、本発明はこれらの式に限定されるものではない。本発明においてフィルタタイプ評価値を算出する式は、各フィルタタイプに対する有効性を示す値が算出できればよい。

尚、本発明の実施例１〜５による動画像符号化装置１のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。動画像符号化装置１に備えた符号化基本部１１１、局所復号部１１２、伝送データ生成部１１５、設計フィルタタイプ選定部１０、フィルタ設計部２０、フィルタリング処理最適化部３０及びフィルタバッファ４０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１，１０１，１０２ 動画像符号化装置
１０ 設計フィルタタイプ選定部
１１ フィルタバッファ評価手段
１２ フィルタバッファ評価判定手段
２０，１１３ フィルタ設計部
３０，１１４，１１６ フィルタリング処理最適化部
４０，１１７ フィルタバッファ
１１１ 符号化基本部
１１２ 局所復号部
１１５ 伝送データ生成部

Claims (8)

1. 動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、
   前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、
   前記符号化データを復号し、復号画像を生成する局所復号部と、
   複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、
   フィルタタイプ及びフィルタ係数値を含むフィルタに関する情報を、過去フィルタの情報として保存するフィルタバッファと、
   前記フィルタバッファに保存された過去フィルタ情報を用いて、前記フィルタタイプのそれぞれに対する有効性の評価値を算出し、前記評価値の大きさに基づいて、前記フィルタ設計部にてフィルタ係数値を決定する際のフィルタタイプを選定する設計フィルタタイプ選定部と、
   前記設計フィルタタイプ選定部により選定されたフィルタタイプについての、前記フィルタ設計部により生成された新規フィルタの情報と、前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、
   前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記原画像のフレームと前記過去フィルタが設計されたフレームとの間の時間差を示す前記過去フィルタの新しさを求め、前記過去フィルタが新しいほど、前記過去フィルタのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記原画像のフレーム以前のフレームについて、前記フィルタリング処理最適化部により選択されたフィルタタイプの回数が多いほど、そのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記原画像のフレーム以前のフレームについて、前記フィルタ設計部にて用いる復号画像及び原画像における前記復号画像と前記原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と前記原画像との間の差分から得られる画質改善幅が大きいほど、そのフィルタタイプに対する有効性の評価値が大きくなるように、前記評価値を算出することを特徴とする動画像符号化装置。
5. 請求項１から４に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記評価値が小さい順に、所定数のフィルタタイプを選定することを特徴とする動画像符号化装置。
6. 請求項１から４に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記評価値と所定の閾値とを比較し、前記閾値よりも小さい評価値のフィルタタイプを選定することを特徴とする動画像符号化装置。
7. 請求項１から４に記載の動画像符号化装置において、
   前記設計フィルタタイプ選定部は、
   前記評価値が小さい順に、所定数のフィルタタイプを選び、前記所定数のフィルタタイプの評価値と所定の閾値とをそれぞれ比較し、前記閾値よりも小さい評価値のフィルタタイプを選定することを特徴とする動画像符号化装置。
8. コンピュータを、請求項１から７までのいずれか一項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。

Images