JP6595442B2 - 映像フィルタリング方法、映像フィルタリング装置及びコンピュータプログラム - Google Patents

Description

本発明は、映像フィルタリング方法、映像フィルタリング装置及びコンピュータプログラムに関する。

昨今の半導体技術の進歩を受け、映像撮像機器の映像取得速度が大きく向上している。現状、高速度カメラにより取得される高フレームレート映像の用途は、映像再生時の高画質化と、映像解析の高精度化とに分類される。前者は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫り、高フレームレート化により滑らかな動きを表現することを目的としている。そのため、ディスプレイでのリアルタイム再生を前提としている。

後者は、視覚の検知限を越えた高フレームレート映像を用いることにより、映像解析の高精度化を行うことを目的としている。スロー再生による高速移動物体（例えば、スポーツ映像、ＦＡ(Factory Automation)・検査、自動車等）の解析は代表的な応用例である。現在、撮像系としては、１００００［ｆｐｓ（frame / sec : frame per sec）］を超える高フレームレート映像を取得可能な高速度カメラが存在する。これに対して、現行のディスプレイのフレームレートの上限は１２０−２４０［ｆｐｓ］である。このように、映像の入力・出力システムのフレームレートの上限は非対称であるため、このような高速度カメラで撮影された映像は、スロー再生用途で用いられている。

特開２００４−２０１１６５号公報

視覚の検知限を越えた高フレームレート映像を用いることにより、映像符号化に対して親和性の高いリアルタイム再生用の映像信号を生成できる可能性がある。こうした高フレームレート映像には、時間方向に高密度でサンプリングされたフレーム群を含んでおり、撮影対象の時間軸方向の情報が高い時間分解能で取得されている。そのため、高密度時間サンプリングされたフレーム群（例：１０００Ｈｚ）を用いて、リアルタイム再生用途の映像（例：３０Ｈｚ）を生成すれば、高い時間分解能で映像の生成を行うことができる。

従来手法として、動画像のフレームレートを変換する技術は存在しているが（例えば、特許文献１参照）、発生符号量の低減を目的とした映像符号化の前処理に関する従来手法は、再生フレームレートで映像を取得することが前提となっている。このため、再生フレームレートより高い時間分解能でフレームをサンプリングすることは考慮されていないという問題がある。例えば、単純なフレーム間引き処理を行うことで、フレームレートを下げることは可能であるが、時間方向のエイリアシングに起因する画質劣化が問題となる。こうした問題を回避するために、一般的には、時間軸方向の帯域制限フィルタリングが行われる。

しかしながら、例えば、動画像の符号化手法に適用される動き補償フレーム間予測を用いた符号化器の場合、時間軸方向の帯域制限フィルタリングを行って、時間方向のエイリアシングを低減させたとしても、予測誤差の低減には直接的には結びつかず、必ずしも動画像の符号化に適したフィルタリングにはならない。あわせて、このような時間軸方向の帯域制限フィルタリングでは、高密度にサンプルされたフレームを十分に活用しきれておらず、時間軸方向のフィルタ（以下、時間フィルタともいう。また、時間軸方向のフィルタリングを、時間フィルタリングともいう）としても自由度を活かし切れていない。

従来の３０［ｆｐｓ］、または６０［ｆｐｓ］のフレームレートの映像の場合、フィルタリングのための十分なサンプル（即ち、フレーム）が確保できないため、フィルタの特性を高精度に近似することが困難である。例えば、６０［ｆｐｓ］の映像信号をフィルタリングして３０［ｆｐｓ］の映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下では、フィルタリングの対象となるフレームは２フレームに限定されるため、フィルタリング設計の自由度は低くなる。

これに対して、高フレームレートの映像をフィルタリングする場合、フィルタリング設計の自由度は高くなる。例えば、１０００ｆｐｓの映像信号をフィルタリングして、６２．５ｆｐｓの映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下であっても、１６フレームをフィルタリングの対象とすることができる。すなわち、高フレームレートの映像を入力してフィルタリングにより低フレームレート映像を得る場合、フィルタリングの対象とするフレーム数が増加するため、フィルタリング設計の自由度が高くなる。この自由度の高さを利用することで、符号化効率を向上させることができる可能性があり、時間フィルタに関して、符号化効率の観点から最適化できる余地がある。

上記事情に鑑み、本発明は、時間フィルタリングを行うことにより高フレームレートの映像信号から低フレームレートの映像信号を得る際の符号化量を低減することができる技術の提供を目的としている。

本発明の一態様は、入力映像信号のフレームに対して、フィルタ係数を適用して時間軸方向の線形和として合成するフィルタリング処理により、前記入力映像信号よりも低いフレームレートを有する符号化対象のフレームを生成する映像フィルタリング方法であって、前記符号化対象のフレームが符号化される際の発生符号量の近似値を予め定められる近似式により算出し、算出した前記近似値を用いて前記フィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たす前記フィルタ係数を候補とする候補ステップと、前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度との加重和を最小化する前記フィルタ係数を前記フレームごとに、候補とした前記フィルタ係数から選択する選択ステップと、選択した前記フィルタ係数に基づいて、前記入力映像信号の前記フレームをフィルタリング処理するフィルタリング処理ステップと、を有する映像フィルタリング方法である。

本発明の一態様は、上記の映像フィルタリング方法であって、前記候補ステップにおいて、前記発生符号量が、動き補償フレーム間予測誤差を符号化する際の発生符号量である場合、前記近似式は、前記動き補償フレーム間予測誤差の二乗誤差和に基づいて、前記発生符号量の前記近似値を算出する。

本発明の一態様は、入力映像信号のフレームに対して、フィルタ係数を適用して時間軸方向の線形和として合成するフィルタリング処理により、前記入力映像信号よりも低いフレームレートを有する符号化対象のフレームを生成する映像フィルタリング装置であって、前記符号化対象のフレームが符号化される際の発生符号量の近似値を予め定められる近似式により算出し、算出した前記近似値を用いて前記フィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たす前記フィルタ係数を候補として辞書記憶部に記憶させる辞書生成部と、前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度との加重和を最小化する前記フィルタ係数を前記フレームごとに、前記辞書記憶部に記憶されている前記フィルタ係数の候補から選択する最適化処理部と、前記最適化処理部が選択する前記フィルタ係数に基づいて前記入力映像信号の前記フレームをフィルタリング処理するフィルタリング処理部と、を備える映像フィルタリング装置である。

本発明の一態様は、上記の映像フィルタリング方法をコンピュータに実行させるためのコンピュータプログラムである。

この発明によれば、時間フィルタリングを行うことにより高フレームレートの映像信号から低フレームレートの映像信号を得る際の符号化量を低減することが可能となる。

本実施形態における映像フィルタリング装置の構成を示す図である。 本実施形態における映像フィルタリング装置の処理の流れを示すフローチャートである。 フィルタ係数候補ベクトルの辞書生成処理の流れを示すフローチャートである。 フィルタ係数候補ベクトルの算出処理の流れを示すフローチャートである。 フィルタ係数の最適化処理の流れを示すフローチャートである。 累積コストの算出処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。図１は、本実施形態における映像フィルタリング装置１の構成を示すブロック図である。映像フィルタリング装置１は、映像データ取得部１０、パラメータ取得部１１、辞書記憶部１２、フィルタリング処理部１３、フィルタ係数記憶部１４、辞書生成部２０、最適化処理部３０を備える。

映像データ取得部１０は、外部から供給される映像信号を受信して映像データ、すなわち動画像を構成する画像フレームデータを出力する。以下の説明では、画像のフレームデータを、単に、フレームともいう。また、映像データ取得部１０が出力するフレームを、フィルタリング処理後の符号化対象のフレーム等と区別するために、原フレームともいう。なお、外部から供給される映像信号のフレームレートは、例えば、１００００［ｆｐｓ］等の高フレームレートであるものとする。パラメータ取得部１１は、外部から供給されるパラメータを取得する。このパラメータは、フィルタリング処理部１３によってフィルタ処理されることにより生成されるフレームレートを定めるパラメータであり、後述するパラメータＭである。

フィルタ係数記憶部１４は、最適化処理部３０によって最適化されたフィルタ係数を記憶する。フィルタリング処理部１３は、映像データ取得部１０が出力する映像データを取り込み、フィルタ係数記憶部１４に記憶されているフィルタ係数により映像データのフレームを時間軸方向の線形和として合成する時間フィルタリングを行う。また、フィルタリング処理部１３は、当該時間フィルタリングにより映像データ取得部１０が外部から取得した映像信号のフレームレートよりも低いフレームレートの映像信号を出力する。辞書記憶部１２は、辞書生成部２０によって生成される、フィルタ係数の最適化を行う際の候補となるフィルタ係数候補ベクトルを記憶する。

辞書生成部２０は、合成フレーム生成部２１、符号化処理部２２、符号量予測パラメータ算出部２３、フィルタ係数候補算出部２４、合成フレーム記憶部２５、符号量予測パラメータ記憶部２６、初期フィルタ係数記憶部２７、重み係数記憶部２８を備える。辞書生成部２０において、初期フィルタ係数記憶部２７は、例えば、フィルタ係数が一定値である平均フィルタを予め記憶する。重み係数記憶部２８は、フィルタ係数候補ベクトルの算出の際に適用される重み係数λを予め記憶する。合成フレーム記憶部２５は、合成フレーム生成部２１が生成する合成フレームを記憶する。符号量予測パラメータ記憶部２６は、符号量予測パラメータ算出部２３が算出する符号量予測パラメータαを記憶する。

合成フレーム生成部２１は、初期フィルタ係数記憶部２７に予め記憶されている初期フィルタ係数ベクトルを読み出し、読み出したフィルタ係数ベクトルを映像データ取得部１０が出力する動画像のフレームに適用して合成フレームを生成する。また、合成フレーム生成部２１は、生成した合成フレームを合成フレーム記憶部２５に書き込んで記憶させる。符号化処理部２２は、内部に符号化器を備えており、合成フレーム記憶部２５に記憶されている合成フレームに対して符号化を行う。また、符号化処理部２２は、符号化処理の過程において、合成フレームごとに動き補償フレーム間予測誤差の発生符号量（以下、予測誤差符号量ともいう）と、当該予測誤差の二乗誤差和（以下、予測誤差電力ともいう）とを算出する。ここで、符号化処理部２２に適用される符号化器は、利用者によって予め指定され、例えば、Ｈ．２６４準拠の符号化器が適用される。

符号量予測パラメータ算出部２３は、符号化処理部２２が符号化した全ての合成フレームに対する予測誤差符号量と予測誤差電力の組に基づいて、当該組ごとに符号量予測パラメータαを算出する。また、符号量予測パラメータ算出部２３は、算出した符号量予測パラメータαを符号量予測パラメータ記憶部２６に書き込んで記憶させる。フィルタ係数候補算出部２４は、符号量予測パラメータ記憶部２６に記憶されている符号量予測パラメータαを読み出す。また、フィルタ係数候補算出部２４は、読み出した符号量予測パラメータαと、予め定められるフィルタ設計の評価尺度の近似値を算出する演算式とに基づいて、当該近似値を最小化するフィルタ係数ベクトルを算出する。また、フィルタ係数候補算出部２４は、算出したフィルタ係数ベクトルを、最適化処理部３０が行うフィルタ係数ベクトルの最適化の際に候補となるフィルタ係数候補ベクトルとして辞書記憶部１２に書き込んで記憶させる。

最適化処理部３０は、符号化対象フレーム生成部３１、累積コスト算出部３２、フィルタ係数同定部３３、累積コスト記憶部３４、フィルタ係数インデックス記憶部３５、原フレーム記憶部３６、符号化対象フレーム記憶部３７、重み係数記憶部３８を備える。最適化処理部３０において、重み係数記憶部３８は、累積コスト算出部３２が、累積コストを算出する際に適用する重み係数λを予め記憶する。なお、この重み係数λは、辞書生成部２０の重み係数記憶部２８に記憶されている重み係数λと同一の値である。

累積コスト記憶部３４は、累積コスト算出部３２が算出する累積コストと、累積コスト算出部３２が累積コストを算出する処理の過程における最小値の累積コストとを記憶する。フィルタ係数インデックス記憶部３５は、累積コスト算出部３２が、算出した累積コストに基づいて辞書記憶部１２から選択したフィルタ係数候補ベクトルを示すインデックスを記憶する。原フレーム記憶部３６は、映像データ取得部１０が出力する原フレームを記憶する。符号化対象フレーム記憶部３７は、符号化対象フレーム生成部３１が生成する符号化対象フレームを記憶する。

符号化対象フレーム生成部３１は、映像データ取得部１０が出力する動画像のフレームと、パラメータ取得部１１が取得するフレームレートを定めるパラメータと、辞書記憶部１２に記憶されているフィルタ係数候補ベクトルとに基づいて、時間フィルタリングを行い、符号化対象フレームを生成する。また、符号化対象フレーム生成部３１は、生成した符号化対象フレームを符号化対象フレームに書き込んで記憶させる。また、符号化対象フレーム生成部３１は、映像データ取得部１０が出力する原フレームを取り込む際、原フレームを原フレーム記憶部３６に書き込んで記憶させる。

累積コスト算出部３２は、重み係数記憶部３８に予め記憶されている重み係数λと、累積コスト記憶部３４に記憶されている前ステージの処理での累積コストと、符号化対象フレーム記憶部３７に記憶されている符号化対象フレームと、原フレーム記憶部３６に記憶されている原フレームとに基づいて累積コストを算出する。また、累積コスト算出部３２は、累積コストを算出する際に符号化処理を行うため、辞書生成部２０の符号化処理部２２が備える符号化器と同一の符号化器を備える。また、累積コスト算出部３２は、算出した累積コストを累積コスト記憶部３４に書き込んで記憶させる。また、累積コスト算出部３２は、算出した累積コストの中で最小値の累積コストを検出し、検出した最小値の累積コストを累積コスト記憶部３４に書き込んで記憶させる。また、累積コスト算出部３２は、最小値の累積コストに対応するフィルタ係数候補ベクトルのインデックスをフィルタ係数インデックス記憶部３５に書き込んで記憶させる。

フィルタ係数同定部３３は、フィルタ係数インデックス記憶部３５に記憶されているフィルタ係数候補ベクトルのインデックスに基づいて、フィルタ係数が適用される参照フレームごとの最適なフィルタ係数ベクトルを定めていく同定処理を行う。また、フィルタ係数同定部３３は、当該同定処理により選択した参照フレームごとのフィルタ係数ベクトルをフィルタ係数記憶部１４に書き込んで記憶させる。

（表記法）
本実施形態では、高い時間解像度で撮影された映像を用いて符号化に適した映像を生成する時間フィルタをアルゴリズムを用いて導き出す。まず、（２Δ＋１）タップの時間フィルタにより生成される第ｉフレームは、次式（１）により示される。

なお、表記の簡略化のため、各フレームを一次元信号として示している。上記の時間フィルタにより生成されるフレームを合成フレームという。したがって、式（１）は、第ｉ合成フレームを示す。ｉは、ダウンサンプリング、すなわち時間フィルタリングしてフレームレートが低くなった合成フレームを指定するインデックスであり、非負の整数値である。式（１）においてδ_ｔは、時間フィルタの入力映像信号のフレーム間隔であり、各フレームは、ｔ＝ｊδ_ｔ（ｊ＝０，１，・・・）のタイミングにおいてサンプリングされる。式（１）の右辺のｆ（ｘ，ｔ）（ｘ＝０，・・・，Ｘ−１）は、第ｔフレームの位置ｘにおける画素値である。ｗ_ｉ［ｊ］は、参照フレームに対するフィルタ係数であり、次式（２）の関係を満たす。

式（１）の左辺において、太文字のｗで示されるベクトルｗ_ｉは、式（３）に示すようにフィルタ係数（ｗ_ｉ［−Δ］，・・・，ｗ_ｉ［Δ］）を要素とするベクトルであり、このベクトルをフィルタ係数ベクトルという。ｐ_ｉは、フィルタ位置を補正するパラメータである。

なお、以下の説明において、ベクトルについては式中では太文字で表し、文中においては、上記のベクトルｗ_ｉのように「ベクトル」の文字を付けて、ベクトルでない変数と区別して示すものとする。また、式（１）の左辺のように「＾」を付けた記号は、式中では、式（４）に示すように記号ｆの上に「＾」を付けて示し、文中では「＾ｆ」のように表記する。

Ｍは、時間フィルタにより生成される映像のフレームレートを定めるパラメータであり、前述したように、パラメータ取得部１１が外部から取得する。式（１）の場合、映像フィルタリング装置１のフィルタリング処理部１３が出力する時間フィルタリング後の映像信号のフレームレートは１／（Ｍδ_ｉ）である。なお、本実施形態では、２Δ＋１≦Ｍであるとする。式（１）の特殊形として、フィルタ係数を一定値、すなわちｗ_ｉ［ｊ］＝１／（２Δ＋１）とするフィルタがあり、このフィルタを平均フィルタという。平均フィルタにより出力される第ｉフレームは次式（５）によって示される。

フィルタ係数ベクトルとして選択される候補となるベクトルとして、次式（６）で示されるＮ種類のフィルタ係数候補ベクトルγ_ｎを仮定する。

さらに、これらのフィルタ係数を適用する位置として、Ｐ通りの位置が選択可能であるとする。各フレームでは、Ｎ×Ｐ通りのＮ種類のフィルタ係数候補ベクトルの中から、符号化フレームを生成するために最適となるフィルタ係数ベクトルが選択される。フィルタ係数候補ベクトルの集合を辞書データとよび、この辞書データが辞書記憶部１２に記憶される。また、以下の説明では、表記を簡略化するため、Ｎ種類のフィルタ係数候補ベクトルからなる辞書データ、すなわち辞書記憶部１２に記憶されているフィルタ係数候補ベクトルの集合を式（７）のようにベクトルΓ_Ｎとして示す。

（フィルタ係数の最適化基準）
本実施形態では、時間フィルタの設計における最適化基準として、時間フィルタリングにより生成されたフレームに対する発生符号量を用いる。発生符号量は、動き補償予測（ＭＣ(Motion Compensation)予測）を伴う可逆符号化器を用いて算出することができる。例えば、Ｘ画素からなるフレームをＫ分割して、分割区間ごとに動き補償フレーム間予測を行うとする。すなわち、次式（８）に示すフレームをサイズＸ／Ｋの区間Ｂ［ｋ］（ｋ＝０，１，・・・，Ｋ−１）に分割し、次式（９）に示すフレームを参照フレームとして、各区間Ｂ［ｋ］（ｋ＝０，１，・・・，Ｋ−１）に対して次式（１０）で示される推定変位量ベクトルｄ_ｉの動き補償を行うとする。

この場合、フレーム内の動き補償フレーム間予測誤差は、次式（１１）として示される。

この動き補償フレーム間予測誤差を符号化対象とする符号化器の発生符号量は次式（１２）によって示される。

式（１２）において、式（１３）で示されるＲ_ｅは、動き補償フレーム間予測誤差に対する符号量、Ｒ_ｄ（ｄ_ｉ［０］，・・・，ｄ_ｉ［Ｋ−１］）は、推定変位量ｄ_ｉ［０］，・・・，ｄ_ｉ［Ｋ−１］に対する符号量であり、Ｒ_ｈは、符号化器が生成するヘッダー情報の符号量である。

可逆符号化器の発生符号量を用いる場合、動き補償フレーム間予測誤差は、符号化対象フレーム及び参照フレームのみに依存する。したがって、式（１２）における発生符号量Ψ［ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１］（ただし、ｗは、ベクトルである）は、変位量及びヘッダー情報が定まれば、第ｉフレームに対するフィルタ係数ベクトルｗ_ｉ、フィルタ位置の補正パラメータｐ_ｉ、及び第ｉ−１フレームに対するフィルタ係数ベクトルｗ_ｉ−１、フィルタ位置の補正パラメータｐ_ｉ−１により定まる。

次に、時間フィルタリングにより生成されたフレームと、時間フィルタリングされる前のサンプリング後のフレーム（以下、原フレームともいう）との乖離度として、次式（１４）を定義する。

上記の２種類、すなわち発生符号量と、乖離度との加重和として、次式（１５）の値をフィルタ設計の評価尺度とする。

すなわち、最適化されたフィルタを設計するとは、式（１５）から得られる尺度を最小化するように時間フィルタのフィルタ係数を設計することになる。式（１５）において、次式（１６）で示される発生符号量を考慮することで、時間フィルタリング後の発生符号量を低減する効果が得られる。また、次式（１７）で示される乖離度の項を考慮することで、時間フィルタンリング後のフレームが、原フレームと乖離することを抑止する効果が得られる。

（映像フィルタリング装置による処理）
次に、図２から図６を参照しつつ、映像フィルタリング装置１によって行われる処理について説明する。図２は、本実施形態における映像フィルタリング装置１の処理の流れを示すフローチャートである。映像フィルタリング装置１において映像データ取得部１０は、外部から供給される高フレームレートの映像信号を取得し、動画像のフレームデータ、すなわち原フレームを辞書生成部２０と、最適化処理部３０と、フィルタリング処理部１３とに出力する。パラメータ取得部１１は、外部から供給されるパラメータＭを取得して、辞書生成部２０と最適化処理部３０とに出力する（ステップＳ１）。

辞書生成部２０は、フィルタ係数候補ベクトルの集合である辞書データを生成して、辞書記憶部１２に書き込んで記憶させる（ステップＳ２）。最適化処理部３０は、辞書記憶部１２に記憶されているフィルタ係数候補ベクトルから、最適となるフィルタ係数ベクトル、すなわち上記の式（１５）に基づいて算出されるフィルタ設計の評価尺度を最小にするフィルタ係数ベクトルを選択する。最適化処理部３０は、選択したフィルタ係数ベクトルをフィルタ係数記憶部１４に書き込んで記憶させる（ステップＳ３）。フィルタリング処理部１３は、映像データ取得部１０が出力する原フレームに対して、フィルタ係数記憶部１４に記憶されているフィルタ係数ベクトルを用いて時間フィルタリングを行い、低フレームレートの映像信号を出力する（ステップＳ４）。

（フィルタ係数候補ベクトルの辞書生成処理）
次に、図２のステップＳ２のサブルーチンにおいて辞書生成部２０によって行われるフィルタ係数候補ベクトルの辞書生成処理について図３及び図４を参照しつつ説明する。まず、フィルタ係数候補ベクトルの辞書生成のアルゴリズムの論理について説明する。

式（１２）における動き補償フレーム間予測誤差に対する符号量、すなわち式（１３）で示されるＲ_ｅを、次式（１８）によって近似する。

なお、式（１８）の右辺において、次式（１９）に示す関係が存在する。

上記の式（１８）の近似を用いて、式（１２）に示す発生符号量Ψ［ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１］（ただし、ｗは、ベクトルである）の近似値として次式（２０）が得られる。

なお、式（２０）において、次式（２１）に示す関係が存在する。

式（２０）による近似は、式（１９）に示す関係から、動き補償フレーム間予測誤差の発生符号量を、予測誤差の二乗誤差和で近似していることになる。式（１５）に示すフィルタ設計の評価尺度Ξ［ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１］（ただし、ｗは、ベクトルである）の近似値として、式（２２）が得られる。

式（２２）を最小化するフィルタ係数は、次式（２３）を満たすことになる。

式（２３）において、次式（２４），（２５）に示す関係が成り立つ。

したがって、式（２３）より、次式（２６）が得られる。

また、式（２６）において、次式（２７）に示す関係が存在する。

式（２７）の左辺、＾Ｅ_ｉ（ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１）（ただし、ｗは、ベクトルである）を、予測誤差和という。これに対して、式（１９）のＥ_ｉ（ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１）（ただし、ｗは、ベクトルである）は、前述した予測誤差電力であり別の値である。また、式（２６）において、次式（２８）における関係が存在する。

式（２８）の左辺、＾Φ［ｗ_ｉ，ｐ_ｉ］（ただし、ｗは、ベクトルである）を、合成フレーム乖離和という。これに対して、式（１４）のΦ［ｗ_ｉ，ｐ_ｉ］（ただし、ｗは、ベクトルである）を、合成フレーム乖離電力という。

式（２６）において、αとλが与えられる条件下において、非線形方程式である式（２６）の解として、ベクトルｗ_ｉを求める場合、以下のようにして求解を行う。

式（２６）の左辺を、Ω（ｗ_ｉ）（ただし、ｗは、ベクトルである）とおき、式（２９）とする。なお、Ω（ｗ_ｉ）（ただし、ｗは、ベクトルである）を、フィルタ係数評価量という。

式（２９）に基づいて、次式（３０）に示す反復処理を行う。

式（３０）は、第ｋ回目の反復において得られるベクトルｗ_ｉ ^（ｋ）を示している。式（３０）による反復処理を閾値εにより定まる式（３１）に示す収束条件を満たすまで繰り返し、当該収束条件を満たしたｗ_ｉ ^（ｋ）を解とする。

なお、式（２９）の左辺の勾配ベクトルである式（３２）は、次式（３３）によって求められる。

式（３３）において、次式（３４）に示す関係が存在し、式（３４）の左辺Ｄ（ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１）（ただし、ｗは、ベクトルである）を、合成フレーム差分という。

なお、式（３３）におけるベクトルｆ（ｘ，ｓ，ｌ）は次式（３５）によって定義される。

上記の式（２６）の解は、αの値に応じて定まることになる。ここで、αは、動き補償フレーム間予測誤差の発生符号量を、動き補償フレーム間予測誤差の二乗誤差和により近似する場合に用いるパラメータであり、このパラメータが前述した符号量予測パラメータとなる。符号量予測パラメータαの値として、複数の値を求めておき、各符号量予測パラメータαに対して、式（２６）の解を求めることで、当該解がフィルタ係数ベクトルの候補であるフィルタ係数候補ベクトルとなる。

（辞書生成処理部によるフィルタ係数候補ベクトルの辞書生成処理）
上記の論理にしたがって、辞書生成部２０による処理について説明する。図３に示すように、辞書生成部２０の合成フレーム生成部２１は、初期フィルタ係数記憶部２７からフィルタ係数ベクトルの初期値を読み出す。フィルタ係数ベクトルの初期値は、前述したように平均フィルタに対応するフィルタ係数ベクトルである（ステップＳａ１）。

合成フレーム生成部２１は、映像データ取得部１０が出力する原フレームと、パラメータ取得部１１が取得したパラメータＭと、読み出したフィルタ係数ベクトルの初期値とに基づいて、式（１）の演算を行って合成フレームを生成する。合成フレーム生成部２１は、生成した合成フレームを合成フレーム記憶部２５に書き込んで記憶させる（ステップＳａ２）。合成フレーム生成部２１は、ステップＳａ２の処理を、合成フレームのインデックスｉ＝０，・・・，Ｊ／Ｍ−１の各々について行う。すなわち、合成フレーム生成部２１は、ステップＳａ２の処理をＪ／Ｍ回繰り返して行う（ループ処理Ｌａ１ｓ〜Ｌａ１ｅ）。なお、Ｊは、フィルタへ入力されたフレームの総数を表す。

符号化処理部２２は、合成フレーム記憶部２５からインデックスｉにしたがって合成フレームを読み出し、読み出した合成フレームに対して内部に備える符号化器を用いて符号化を行う。当該符号化器における符号化方式は、例えば、Ｈ．２６４の可逆符号化モードであり、合成フレーム生成部２１が生成した合成フレームのシーケンスに対して、フレーム間予測を伴う動画像符号化が行われる。

符号化処理部２２は、第ｉインデックスの合成フレームに対して、符号化処理の過程で得られる予測誤差の発生符号量（予測誤差符号量）を算出する（ステップＳａ３）。符号化処理部２２は、第ｉインデックスの合成フレームに対して、符号化処理の過程で得られる予測誤差の二乗誤差和（予測誤差電力）を算出する（ステップＳａ４）。符号化処理部２２は、ステップＳａ３，Ｓａ４の処理を、全てのインデックスｉ＝０，・・・，Ｊ／Ｍ−１についてＪ／Ｍ回繰り返して行う（ループ処理Ｌａ２ｓ〜Ｌａ２ｅ）。

符号量予測パラメータ算出部２３は、符号化処理部２２が算出した全ての合成フレームに対する発生符号量と二乗誤差和との組を入力データとして、線形回帰により、式（１８）におけるパラメータβ_０を算出する。符号量予測パラメータ算出部２３は、算出したβ_０を用いて、各合成フレーム、すなわち第０インデックスの合成フレームから第Ｊ／Ｍ−１インデックスの合成フレームまでのＪ／Ｍ枚のフレームに対する発生符号量と二乗誤差和との組に対して、最適な符号量予測パラメータαを算出する。ここで、最適とは、式（１８）における近似誤差が最小化されることを意味する。符号量予測パラメータ算出部２３は、算出した符号量予測パラメータαの各々に対して個々の符号量予測パラメータαを識別可能なインデックスを対応付けて符号量予測パラメータ記憶部２６に書き込んで記憶させる（ステップＳａ５）。

次に、フィルタ係数候補算出部２４は、図４に示すフィルタ係数候補ベクトル算出処理を行う（ステップＳａ６）。フィルタ係数候補算出部２４は、符号量予測パラメータαの個数分、すなわち全ての符号量予測パラメータαについて繰り返してステップＳａ６の処理を行う。フィルタ係数候補算出部２４は、ループ処理Ｌａ３ｓ〜Ｌａ３ｅにおいて処理を繰り返すごとに、次の符号量予測パラメータαを示すインデックスを選択して、次のステージのステップＳａ６の処理を行う（ループ処理Ｌａ３ｓ〜Ｌａ３ｅ）。

以下、図４を参照しつつフィルタ係数候補算出部２４による処理について説明する。フィルタ係数候補算出部２４は、選択しているインデックスに対応する符号量予測パラメータαを符号量予測パラメータ記憶部２６から読み出す（ステップＳｂ１）。フィルタ係数候補算出部２４は、重み係数記憶部２８に予め記憶されている重み係数λを読み出す（ステップＳｂ２）。フィルタ係数候補算出部２４は、以下の演算に用いるフィルタ係数ベクトルを初期化する。この初期化の値は、予め定められており、例えば、２Δ＋１タップのフィルタの場合、全てのフィルタ係数を１／（２Δ＋１）とする平均フィルタであってもよく、その場合、フィルタ係数候補算出部２４は、初期フィルタ係数記憶部２７に記憶されている平均フィルタを読み出して初期化を行ってもよい（ステップＳｂ３）。

フィルタ係数候補算出部２４は、式（２７）に基づいて、予測誤差和を算出する（ステップＳｂ４）。フィルタ係数候補算出部２４は、式（１９）に基づいて、二乗誤差和（予測誤差電力）を算出する（ステップＳｂ５）。フィルタ係数候補算出部２４は、式（２８）に基づいて、合成フレーム乖離和を算出する（ステップＳｂ６）。フィルタ係数候補算出部２４は、式（３４）に基づいて、合成フレーム差分を算出する（ステップＳｂ７）。フィルタ係数候補算出部２４は、算出した予測誤差和と、二乗誤差和と、合成フレーム乖離和と、重み係数λとを式（２９）に代入してフィルタ係数評価量を算出する（ステップＳｂ８）。

フィルタ係数候補算出部２４は、算出した二乗誤差和と、重み係数λと、パラメータＭと、原フレームとを式（３３）に代入してフィルタ係数評価量の勾配を算出する（ステップＳｂ９）。フィルタ係数候補算出部２４は、ステップＳｂ８で算出したフィルタ係数評価量と、ステップＳｂ９で算出したフィルタ係数評価量の勾配の比として、次式（３６）を算出し、算出した値をフィルタ係数ベクトルの更新量とする（ステップＳｂ１０）。

フィルタ係数候補算出部２４は、式（３０）に基づいて、フィルタ係数ベクトルを更新する（ステップＳｂ１１）。フィルタ係数候補算出部２４は、更新前後のフィルタ係数ベクトルが、式（３１）に示す収束条件を満たすか否かを判定する（ステップＳｂ１２）。フィルタ係数候補算出部２４は、収束条件を満たすと判定した場合、更新後のフィルタ係数ベクトルをフィルタ係数候補ベクトルとして辞書記憶部１２に書き込んで記憶させ、図３のループ処理Ｌａ３ｓ〜Ｌａ３ｅに戻る。一方、フィルタ係数候補算出部２４は、収束条件を満たさないと判定した場合、更新したフィルタ係数ベクトルを１つ前のフィルタ係数ベクトルｗ_ｉ ^{（ｋ−１）}として、ステップＳｂ４からの処理を繰り返し行う。フィルタ係数候補算出部２４は、全ての符号量予測パラメータαについてステップＳａ６のフィルタ係数候補ベクトル算出処理を行った場合、処理を終了する。

（フィルタ係数の最適化処理）
次に、図２のステップＳ３のサブルーチンにおいて最適化処理部３０によって行われるフィルタ係数ベクトルの最適化処理について図５及び図６を参照しつつ説明する。まず、フィルタ係数ベクトルの最適化のアルゴリズムの論理について説明する。

発生符号量を最小化するフレームを生成するためには、式（１２）の発生符号量をコスト関数として最小化問題を解き、次式（３７）を満たすＪ／Ｍ組のフィルタ係数ベクトル、及びシフト量を求めることになる。

Ｎ×Ｐ種類のフィルタ係数候補ベクトルからフィルタ係数ベクトルを選択する場合、フィルタ係数ベクトルの取り得る組み合わせは、ＮＰ^Ｊ／Ｍ通りとなり、最適なフィルタ係数ベクトル選択は、指数オーダの計算量が必要になる。そのため、式（３７）の左辺に示す最適な組み合わせ（ｗ_０ ^＊，・・・，ｗ_{Ｊ／Ｍ−１} ^＊，ｐ_０ ^＊，・・・，ｐ_{Ｊ／Ｍ−１} ^＊）（ただし、ｗはベクトルである）を総当たりで探索するためには、非常に多くの時間を要することになり、計算量の観点から現実的ではないことになる。

式（３７）の右辺のΞ［ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１］（ただし、ｗはベクトルである）が、ベクトルｗ_ｉ，ｐ_ｉ、及びベクトルｗ_ｉ−１，ｐ_ｉ−１のみに依存することに着目すれば、式（３７）は、単純マルコフ過程における最適化問題として定式化できる。この最適化問題は、動的計画法に基づき、最適解を多項式オーダの計算量で求めることができる。以下、動的計画法を用いた解法について説明する。まず、ベクトルｗ_ｉ，ｐ_ｉ（ｉ＝１，・・・，Ｊ／Ｍ−１）に対して、次式（３８）を定義する。

式（３８）において、Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）（ただし、ｗはベクトルである）は、第ｉステージにおいて、シフト量ｐ_ｉ、係数ベクトルｗ_ｉとした時間フィルタにより合成フレームを生成した状態に至る過去のステージにおいて、最適な係数ベクトルおよびシフト量を用いた場合のコストの総和を意味する。ここで、ベクトルｗ_ｉ，ｐ_ｉを固定した場合、式（３８）の右辺のΞ［ｗ_ｉ，ｗ_ｉ−１，ｐ_ｉ，ｐ_ｉ−１］（ただし、ｗはベクトルである）が、ベクトルｗ_ｉ−１，ｐ_ｉ−１のみに依存することに着目すると、Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）（ただし、ｗはベクトルである）は、次式（３９）のような漸化式として表すことができる。

なお、式（３９）の右辺のＳ_ｉ−１（ｗ_ｉ−１，ｐ_ｉ−１）（ただし、ｗはベクトルである）は、同様の漸化式を用いて算出済みであるものとし、式（３９）の演算を行う際には、参照可能な値として、レジスタ等の記憶領域に記憶されているものとする。この場合、式（３９）の漸化関係により、Ｓ_ｉ（ｗ_ｉ，ｐ_ｉ）（ただし、ｗはベクトルである）を算出するためには、式（３９）の右辺の次式（４０）の式を最小化する辞書ベクトルΓ_Ｎのフィルタ係数候補ベクトル、シフト量ｐ_ｉを選択すれば十分であることがわかる。

ベクトルｗ_ｉに対するフィルタ係数候補ベクトルのインデックスをｎ_ｉとし、各ｎ_ｉに対して、式（３９）の最小値を与えるフィルタ係数候補ベクトルのインデックスを＾ｎ_ｉ−１（ｎ_ｉ，ｐ_ｉ）として、記憶領域に記憶させておく。また同様に、シフト量についても＾ｐ_ｉ−１（ｎ_ｉ，ｐ_ｉ）として、記憶領域に記憶させておき、後段の処理において参照可能な状態にしておく。式（３９）の漸化式を再帰的に用いることで、式（３７）の最小化問題は次式（４１）として表すことができる。

このように式（３９）の漸化式を用いる手法であれば、式（３７）の最適解である（ｗ_０ ^＊，・・・，ｗ_{Ｊ／Ｍ−１} ^＊，ｐ_０ ^＊，・・・，ｐ_{Ｊ／Ｍ−１} ^＊）（ただし、ｗはベクトルである）は、（ＮＰ）^２Ｊ／Ｍ通りの中から最適解を探索する問題に帰着することができ、多項式オーダの計算量で算出することができる。まず、式（３７）の右辺における次式（４２）の最小値を算出する。

最適解（ｗ_０ ^＊，・・・，ｗ_{Ｊ／Ｍ−１} ^＊，ｐ_０ ^＊，・・・，ｐ_{Ｊ／Ｍ−１} ^＊）（ただし、ｗはベクトルである）は、以下のバックトラック過程により得られる。すなわち、式（４１）を最小化するベクトルｗ_{Ｊ／Ｍ−１}，ｐ_{Ｊ／Ｍ−１}を次式（４３）に示すように、ベクトルｗ_{Ｊ／Ｍ−１} ^＊，Ｐ_{Ｊ／Ｍ−１} ^＊とおく。

ベクトルｗ_{Ｊ／Ｍ−１} ^＊を表すフィルタ係数候補ベクトルのインデックスをｎ_{Ｊ／Ｍ−１}とする。第Ｊ／Ｍ−１フレームのフィルタ係数候補ベクトルのインデックスをｎ_{Ｊ／Ｍ−１}、シフト量をｐ_{Ｊ／Ｍ−１}とした場合、第Ｊ／Ｍ−２フレームに対する最適なフィルタ係数候補ベクトルのインデックス、及び第Ｊ／Ｍ−２フレームに対するシフト量は、それぞれ＾ｎ_{Ｊ／Ｍ−２}（ｎ_{Ｊ／Ｍ−１}，ｐ_{Ｊ／Ｍ−１}）、＾ｐ_{Ｊ／Ｍ−２}（ｎ_{Ｊ／Ｍ−１}，ｐ_{Ｊ／Ｍ−１}）として記憶されている。そこで、第Ｊ／Ｍ−２フレームに対応するフィルタ係数ベクトルを次式（４４）に示すように同定（対応付け）する。

以下、同様の参照処理を行い、他のフレームについても式（４５）に示すように同様にフィルタ係数ベクトルを同定していく。

（最適化処理部によるフィルタ係数の最適化処理）
上記の論理にしたがって、最適化処理部３０による処理について説明する。図５に示すように、最適化処理部３０において符号化対象フレーム生成部３１は、映像データ取得部１０が出力する原フレーム、パラメータ取得部１１が出力するパラメータＭを取り込む。符号化対象フレーム生成部３１は、取り込んだ原フレームを原フレーム記憶部３６に書き込んで記憶させる。また、符号化対象フレーム生成部３１は、辞書記憶部１２からフィルタ係数候補ベクトルを読み出す（ステップＳｃ１）。

符号化対象フレーム生成部３１は、符号化対象フレームのインデックスｉ＝０，・・・，Ｊ／Ｍ−１の各々について、符号Ｌｃ１ｓ〜Ｌｃ１ｅの間の処理を行う。なお、符号化対象フレームも合成フレームと同じく時間フィルタリングにより得られるフレームであるため、同じインデックス「ｉ」で表す。すなわち、符号化対象フレーム生成部３１は、符号Ｌｃ１ｓ〜Ｌｃ１ｅの間の処理をＪ／Ｍ回繰り返して行う（ループ処理Ｌｃ１ｓ〜Ｌｃ１ｅ）。また、符号化対象フレーム生成部３１は、符号化対象フレームに適用するフィルタ係数候補ベクトルｗ_ｉ＝γ_０，・・・，γ_Ｎ−１（なお、ｗとγは、ベクトルである）の各々について、符号Ｌｃ２ｓ〜Ｌｃ２ｅの間の処理を繰り返す。すなわち、符号化対象フレーム生成部３１は、符号Ｌｃ２ｓ〜Ｌｃ２ｅの間の処理をＮ回繰り返して行う（ループ処理Ｌｃ２ｓ〜Ｌｃ２ｅ）。

これら２つのループ処理において、符号化対象フレーム生成部３１は、原フレーム記憶部３６から原フレームを読み出す。符号化対象フレーム生成部３１は、読み出した原フレームに対して、辞書記憶部１２から読み出したフィルタ係数候補ベクトルｗ_ｉをフィルタ係数とする時間フィルタリングを行い符号化対象フレームを生成する。符号化対象フレーム生成部３１は、生成した符号化対象フレームを符号化対象フレーム記憶部３７に書き込んで記憶させる（ステップＳｃ２）。

累積コスト算出部３２は、参照フレームに適用するフィルタ係数候補ベクトルｗ_ｉ−１＝γ_０，・・・，γ_Ｎ−１（なお、ｗとγは、ベクトルである）の各々について、符号Ｌｃ３ｓ〜Ｌｃ３ｅの間の処理である累積コストの算出処理を繰り返す。すなわち、累積コスト算出部３２は、符号Ｌｃ３ｓ〜Ｌｃ３ｅの間の処理をＮ回繰り返して行う（ステップＳｃ３）（ループ処理Ｌｃ３ｓ〜Ｌｃ３ｅ）。

ステップＳｃ３の累積コスト算出処理について図６を参照しつつ説明する。累積コスト算出部３２は、フィルタ係数候補ベクトルをベクトルｗ_ｉ−１とした場合の第ｉ−１ステージおける累積コストＳ_ｉ−１（ｗ_ｉ−１）（ただし、ｗはベクトル）を累積コスト記憶部３４から読み出す。前述したように第ｉ−１ステージにおける累積コストは、算出済みであり、既に累積コスト記憶部３４に記憶されている（ステップＳｄ１）。

累積コスト算出部３２は、フィルタ係数候補ベクトルｗ_ｉ−１を適用して符号化対象フレーム生成部３１が時間フィルタリングにより生成した第ｉ−１ステージの符号化対象フレームを符号化対象フレーム記憶部３７から読み出す。累積コスト算出部３２は、読み出した第ｉ−１ステージの符号化対象フレームを第ｉステージにおける参照フレームとする（ステップＳｄ２）。累積コスト算出部３２は、第ｉステージの原フレームｆ（ｘ，（ｉＭ＋ｋ）δ_ｔ）（ｋ＝０，・・・，Ｍ−１）を原フレーム記憶部３６から読み出す（ステップＳｄ３）。

累積コスト算出部３２は、符号化対象フレーム生成部３１が、ステップＳｃ２において生成した符号化対象フレームと、第ｉステージの参照フレームとに基づいて、内部に備える符号化器を用いて符号化処理を行い、式（１２）にしたがって発生符号量を算出する（ステップＳｄ４）。累積コスト算出部３２は、第ｉステージの原フレームに対する符号化対象フレームの乖離量を式（１４）にしたがって算出する（ステップＳｄ５）。累積コスト算出部３２は、重み係数λを重み係数記憶部３８から読み出す（ステップＳｄ６）。

累積コスト算出部３２は、参照フレームのフィルタ係数をフィルタ係数候補ベクトルｗ_ｉ−１とし、符号化対象フレームのフィルタ係数をフィルタ係数候補ベクトルｗ_ｉとした場合の第ｉステージにおける累積コストを式（４０）に示す演算により算出する。

累積コスト算出部３２は、算出した累積コストと、累積コスト記憶部３４に記憶されている累積コストの暫定最小値とを比較する（ステップＳｄ８）。累積コスト算出部３２は、算出した累積コストが、累積コストの暫定最小値よりも小さいと判定した場合、算出した累積コストを、フィルタ係数をフィルタ係数候補ベクトルｗ_ｉとした場合の第ｉステージにおける累積コストの暫定最小値とする。すなわち、累積コスト算出部３２は、累積コスト記憶部３４に記憶されている累積コストの暫定最小値を算出した累積コストに書き換える（ステップＳｄ９）。ステップＳｄ８及びＳｄ９の処理を繰り返し行うことにより、式（３９）の最小値を求めるｍｉｎの演算が実現されることになる。

累積コスト算出部３２は、フィルタ係数をフィルタ係数候補ベクトルｗ_ｉとした場合の第ｉステージにおける累積コストの暫定最小値を与える参照フレームのフィルタ係数候補ベクトルのインデックスである＾ｎ_ｉ−１（ｎ_ｉ，ｐ_ｉ）をフィルタ係数インデックス記憶部３５に書き込んで記憶させる。なお、過去に算出した第ｉステージにおける累積コストの暫定最小値を与える参照フレームに対応するインデックスが書き込まれている場合、当該インデックスを新たな累積コストの暫定最小値を与える参照フレームのフィルタ係数候補ベクトルのインデックス＾ｎ_ｉ−１（ｎ_ｉ，ｐ_ｉ）に書き換える（ステップＳｄ１０）。その後、ループ処理Ｌｃ３ｓ〜Ｌｃ３ｅを抜けて、符号化対象フレーム生成部３１が、次のステージのループ処理Ｌｃ２ｓ〜Ｌｃ２ｅの処理を繰り返し行う。

一方、ステップＳｄ８において、累積コスト算出部３２は、算出した累積コストが、累積コストの暫定最小値よりも小さいくない、すなわち算出した累積コストが、累積コストの暫定最小値以上の値であると判定した場合、ループ処理Ｌｃ３ｓ〜Ｌｃ３ｅを抜けて、符号化対象フレーム生成部３１が、次のステージのループ処理Ｌｃ２ｓ〜Ｌｃ２ｅの処理を繰り返し行う。

図５に戻り、符号化対象フレーム生成部３１及び累積コスト算出部３２によるループ処理Ｌｃ１ｓ〜Ｌｃ１ｅの間の処理が全て終了すると、フィルタ係数同定部３３は、第Ｊ／Ｍ−１ステージにおける累積コストを最小化するフィルタ係数ベクトルとして、式（４３）により（ｗ_{Ｊ／Ｍ−１} ^＊，ｐ_{Ｊ／Ｍ−１} ^＊）を算出する（ステップＳｃ４）。

フィルタ係数同定部３３は、フィルタ係数インデックス記憶部３５に記憶されている最適なフィルタ係数候補ベクトルをフィルタ係数ベクトルに同定する処理を行う。ベクトルｗ_ｉ ^＊に対応するフィルタ係数候補ベクトルのインデックスをｎ_ｉとし、このｎ_ｉを第ｉフレームのフィルタ係数候補ベクトルのインデックスとする場合、第ｉ−１フレームに対する最適なフィルタ係数候補ベクトルのインデックスは、＾ｎ_ｉ−１（ｎ_ｉ，ｐ_ｉ）としてフィルタ係数インデックス記憶部３５に記憶されている。

フィルタ係数同定部３３は、フィルタ係数ベクトルとしてベクトルｗ_ｉ ^＊に対応するフィルタ係数候補ベクトルを対応付けた場合、第ｉステージの最小累積コストを与える参照フレームのフィルタ係数、すなわち第ｉ−１フレームのフィルタ係数ベクトルｗ_ｉ−１ ^＊を次式（４６）にしたがって同定し、当該フィルタ係数ベクトルｗ_ｉ−１ ^＊をフィルタ係数記憶部１４に書き込んで記憶させる（ステップＳｃ５）。フィルタ係数同定部３３は、ステップＳｃ５の処理を符号化対象フレームのインデックスｉ＝Ｊ／Ｍ−２，・・・，１の各々について行う。これにより、フィルタ係数同定部３３は、式（４４）及び式（４５）に示す同定を行うことになり、フィルタ係数記憶部１４に最適化されたフィルタ係数ベクトルが書き込まれていくことになる（ループ処理Ｌｃ４ｓ〜Ｌｃ４ｅ）。

上記の実施形態の構成により、映像データ取得部１０が、外部から供給される高いフレームレートの映像信号を取り込み、動画像のフレームデータを出力する。パラメータ取得部１１は、フィルタリング処理部１３によるフィルタリング処理後のフレームのフレームレートを定めるパラメータであって映像データ取得部１０が取得する映像信号のフレームレートよりも低いフレームレートとなるように定められるパラメータを外部から取り込む。辞書生成部２０は、当該フレームデータ及びパラメータに基づいて、符号化処理の過程で得られる発生符号量の近似値を予め定められる近似式により算出する。辞書生成部２０は、算出した発生符号量の近似値を用いてフィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たしたフィルタ係数を候補とし、フィルタ係数候補ベクトルとして辞書記憶部１２に書き込んで記憶させる。最適化処理部３０は、辞書記憶部１２に記憶されているフィルタ係数候補ベクトルから発生符号量を最小化するフレームを生成するフィルタ係数候補ベクトルを選択する。最適化処理部３０は、選択したフィルタ係数候補ベクトルをフィルタ係数ベクトルとしてフィルタ係数記憶部１４に書き込んで記憶させる。フィルタリング処理部１３は、映像データ取得部１０が出力するフレームデータに対して、フィルタ係数記憶部１４に記憶されているフィルタ係数ベクトルを適用した時間フィルタリングを行い、パラメータによって定められるフレームレートを有するフレームデータを外部に出力する。これにより、フィルタリング後のフレームデータを符号化する場合に、発生符号量を低減する最適化されたフィルタ係数ベクトルを生成することができる。すなわち、当該最適化されたフィルタ係数を適用した時間フィルタを用いて、高フレームレートの映像信号に対して時間フィルタリングを行い、得られた低フレームレートの映像信号を符号する際に、低い発生符号量で符号化を行うことが可能となる。このように、本実施形態では、時間フィルタリングに適用するフィルタ係数を適切に設定することができることから、時間フィルタリング後の映像に対する主観画質の保持を行うとともに発生符号量の低減を行うことが可能となる。

なお、上記の実施形態において、図３のステップＳａ６として示すフィルタ係数候補ベクトル算出処理を、算出したＪ／Ｍ個の全ての符号量予測パラメータαについて繰り返し行うとしているが、本発明の構成は、当該実施の形態に限られない。例えば、処理の対象とする符号量予測パラメータαの個数を制限したい場合は、符号量予測パラメータαの設定法として、以下のような手法もある。算出したＪ／Ｍ個の符号量予測パラメータαに対して最大値・最小値を求め、この最大値・最小値を上限・下限とする符号量予測パラメータαの設定範囲を定める。設定範囲を分割し、分割した部分範囲毎に符号量予測パラメータαの代表値を設定する。設定範囲の分割数は外部から指定されるものとする。符号量予測パラメータαの代表値の設定方法として、例えば、設定範囲の分割数により均等分割し、分割された区間の重心を代表値として設定する手法がある。

これに対して、計算量の制限が緩く、符号量予測パラメータαの個数を多く設定可能場合は、符号量予測パラメータαの設定法として、算出したＪ／Ｍ個の符号量予測パラメータαとともに、指定された補正値を加える手法がある。例えば、第ｉインデックスの合成フレームに対して求めた符号量予測パラメータをα_ｉとする場合、補正値をδとしてα_ｉ±δα_ｉを符号量予測パラメータとして加えるようにしてもよい。この場合、重複がなければ、符号量予測パラメータは、３Ｊ／Ｍ通りの値のパラメータとなる。なお、δは、辞書生成部２０が備える符号量予測パラメータ記憶部２６等の記憶部に予め記憶させておいてもよいし、外部から与えるようにしてもよい。

また、ある合成フレームに対して求めた符号量予測パラメータがαである場合、補正値をδとして、次式（４７）で示す２γ個の値を符号量予測パラメータとして追加するようにしてもよい。なお、次式（４７）において、γは外部から与えられるものとする。

±１×δα，±２×δα，・・・，±γ×δα・・・（４７）

また、上記の実施形態において、図３に示すステップＳａ５の処理において、符号量予測パラメータ算出部２３が式（１８）におけるβ_０を算出するようにしているが、β_０は、予め定めた固定値を適用するようにしてもよい。

また、上記の実施形態において、辞書生成部２０の符号化処理部２２及び累積コスト算出部３２が内部に備える符号化器として、Ｈ．２６４準拠の符号化器が適用されるとしているが、Ｈ．２６５準拠の符号化器であってもよい。また、これらの符号化器に限られず、他の動画像符号化を行う符号化器を適用するようにしてもよい。また、符号化処理部２２及び累積コスト算出部３２の各々が符号化器を備えるのでなく、映像フィルタリング装置１に１台の符号化器を備えておき、符号化処理部２２及び累積コスト算出部３２が共用するようにしてもよい。

また、上記の実施形態において、初期フィルタ係数記憶部２７は、フィルタ係数が一定値である平均フィルタを予め記憶し、この平均フィルタを初期フィルタとして、合成フレーム生成部２１やフィルタ係数候補算出部２４が処理を行うとしているが、平均フィルタ以外のフィルタを初期フィルタとしてもよい。

また、上記の実施形態の図６に示す累積コストの算出処理において、ステップＳｄ３〜Ｓｄ６の処理を逐次行うようにしているが、原フレームは、乖離量の算出にのみ用いられるため、ステップＳｄ３、Ｓｄ５、Ｓｄ６の処理を、ステップＳｄ４の発生符号量の算出処理と並行に行うようにしてもよい。

また、上記の実施形態において、累積コスト記憶部３４には、第ｉ−１ステージにおける累積コストが既に算出されて記憶されているとしているが、最初に図６に示すステップＳｄ６の処理が行われる際には、初期値となる累積コストが記憶されており、この累積コストは、ステップＳｄ８の比較において、新たに算出した累積コストよりも大きな値となる累積コストが記憶されているものとする。

本実施形態で示した映像フィルタリング装置１に関し、以下の付記を開示する。
（付記１）
入力映像信号のフレームに対して、フィルタ係数を適用して時間軸方向の線形和として合成するフィルタリング処理により、前記入力映像信号よりも低いフレームレートを有する符号化対象のフレームを生成する映像フィルタリング装置であって、
前記符号化対象のフレームが符号化される際の発生符号量の近似値を予め定められる近似式により算出し、算出した前記近似値を用いて前記フィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たす前記フィルタ係数を候補として辞書記憶部に記憶させる辞書生成部と、
前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度との加重和を最小化する前記フィルタ係数を前記フレームごとに、前記辞書記憶部に記憶されている前記フィルタ係数の候補から選択する最適化処理部と、
前記最適化処理部が選択する前記フィルタ係数に基づいて前記入力映像信号の前記フレームをフィルタリング処理するフィルタリング処理部と、
を備える映像フィルタリング装置。
（付記２）
前記辞書生成部は、前記発生符号量が、動き補償フレーム間予測誤差を符号化する際の発生符号量である場合、前記近似式は、前記動き補償フレーム間予測誤差の二乗誤差和に基づいて、前記発生符号量の前記近似値を算出する、付記１に記載の映像フィルタリング装置。
（付記３）
前記近似式は、前記発生符号量を算出する演算式における動き補償フレーム間予測誤差に対する符号量Ｒ_ｅを、前記二乗誤差和をＥ_ｉとして含む上記式（１８）で近似する、付記２に記載の映像フィルタリング装置。
（付記４）
前記式（１８）において、αは、符号量予測パラメータであり、前記辞書生成部は、予め定められるフィルタ係数の初期値を用いて前記時間フィルタリングすることにより生成される複数の前記フレームを符号化し、符号化する際に得られる複数の前記発生符号量と、複数の前記二乗誤差和と、前記式（１８）とに基づいて複数の符号量予測パラメータαを算出する、付記３に記載の映像フィルタリング装置。
（付記５）
前記辞書生成部は、前記符号量予測パラメータαの全てを用いて、前記フィルタ係数の候補を求めるか、または、前記符号量予測パラメータαの数を前記符号量予測パラメータαに基づいて減少させて、前記フィルタ係数の候補を求めるか、または、前記符号量予測パラメータαの数を前記符号量予測パラメータαに基づいて増加させて前記フィルタ係数の候補を求める、付記４に記載の映像フィルタリング装置。
（付記６）
前記最適化処理部は、前記辞書記憶部に記憶されている前記フィルタ係数の候補の各々を適用して、各々に対応する前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度とを算出し、算出した前記発生符号量と前記乖離度との加重和を累積した累積値を最小化する前記フィルタ係数を前記フレームごとに選択する、付記１から５のいずれか一項に記載の映像フィルタリング装置。

上述した実施形態における映像フィルタリング装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…映像フィルタリング装置， １０…映像データ取得部， １１…パラメータ取得部， １２…辞書記憶部， １３…フィルタリング処理部， １４…フィルタ係数記憶部， ２０…辞書生成部， ２１…合成フレーム生成部， ２２…符号化処理部， ２３…符号量予測パラメータ算出部， ２４…フィルタ係数候補算出部， ２５…合成フレーム記憶部， ２６…符号量予測パラメータ記憶部， ２７…初期フィルタ係数記憶部， ２８…重み係数記憶部， ３０…最適化処理部， ３１…符号化対象フレーム生成部， ３２…累積コスト算出部， ３３…フィルタ係数同定部， ３４…累積コスト記憶部， ３５…フィルタ係数インデックス記憶部， ３６…原フレーム記憶部， ３７…符号化対象フレーム記憶部， ３８…重み係数記憶部

Claims (4)

1. 入力映像信号のフレームに対して、フィルタ係数を適用して時間軸方向の線形和として合成するフィルタリング処理により、前記入力映像信号よりも低いフレームレートを有する符号化対象のフレームを生成する映像フィルタリング方法であって、
   前記符号化対象のフレームが符号化される際の発生符号量の近似値を、複数の符号量予測パラメータの候補それぞれを用いて予め定められる近似式により複数算出し、算出した前記近似値毎に前記フィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たす前記フィルタ係数を前記フィルタリング処理に適用するフィルタ係数の候補とする候補ステップと、
   前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度との加重和を最小化する前記フィルタ係数を前記フレームごとに、候補とした前記フィルタ係数から選択する選択ステップと、
   選択した前記フィルタ係数に基づいて、前記入力映像信号の前記フレームをフィルタリング処理するフィルタリング処理ステップと、
   を有する映像フィルタリング方法。
2. 前記候補ステップにおいて、前記発生符号量が、動き補償フレーム間予測誤差を符号化する際の発生符号量である場合、前記近似式は、前記動き補償フレーム間予測誤差の二乗誤差和に基づいて、前記発生符号量の前記近似値を算出する、請求項１に記載の映像フィルタリング方法。
3. 入力映像信号のフレームに対して、フィルタ係数を適用して時間軸方向の線形和として合成するフィルタリング処理により、前記入力映像信号よりも低いフレームレートを有する符号化対象のフレームを生成する映像フィルタリング装置であって、
   前記符号化対象のフレームが符号化される際の発生符号量の近似値を、複数の符号量予測パラメータの候補それぞれを用いて予め定められる近似式により複数算出し、算出した前記近似値毎に前記フィルタ係数の評価を行い、評価結果が予め定められる収束条件を満たす前記フィルタ係数を前記フィルタリング処理に適用するフィルタ係数の候補として辞書記憶部に記憶させる辞書生成部と、
   前記符号化対象のフレームの発生符号量と、前記フィルタリング処理前後のフレームの乖離度との加重和を最小化する前記フィルタ係数を前記フレームごとに、前記辞書記憶部に記憶されている前記フィルタ係数の候補から選択する最適化処理部と、
   前記最適化処理部が選択する前記フィルタ係数に基づいて前記入力映像信号の前記フレームをフィルタリング処理するフィルタリング処理部と、
   を備える映像フィルタリング装置。
4. 請求項１又は２に記載の映像フィルタリング方法をコンピュータに実行させるためのコンピュータプログラム。

Images