WO2020003936A1

WO2020003936A1 - フィルタ選択方法、フィルタ選択装置及びフィルタ選択プログラム

Info

Publication number: WO2020003936A1
Application number: PCT/JP2019/022307
Authority: WO
Inventors: 幸浩坂東; 誠之高村; 清水　淳
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2018-06-27
Filing date: 2019-06-05
Publication date: 2020-01-02
Anticipated expiration: 2020-12-27
Also published as: JP2020005081A

Abstract

フィルタ選択方法は、低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成するステップと、高い時間解像度の動画像のフレームと低い時間解像度の動画像の符号化対象フレームとの乖離度を符号化対象フレームごとに取得し、符号化対象フレームの発生符号量と乖離度との加重和を最小化するフィルタ係数を、予め定められた範囲内に乖離度の和が収まるように、フィルタ係数の候補の集合から選択するステップとを含む。

Description

フィルタ選択方法、フィルタ選択装置及びフィルタ選択プログラム

　本発明は、フィルタ選択方法、フィルタ選択装置及びフィルタ選択プログラムに関する。

　昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。

　画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、被写体の滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置が動画像を等速再生することが前提である。

　一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。

　動画像の入力システムのフレームレートの上限と動画像の出力システムのフレームレートの上限とは非対称である。すなわち、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓまでである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（特許文献１参照）。

特開２００４－２０１１６５号公報

　視覚の検知限を越えた高フレームレート画像を用いることにより、動画像の符号化処理に対して親和性の高い等速再生用の画像を生成することができる。高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等の等速再生用の画像を生成すれば、等速再生用の画像の生成を高い時間分解能で制御することが可能である。

　しかしながら、符号発生量の低減を目的とした動画像符号化の前処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。

　高フレームレート画像のフレームを単純に間引く処理では、時間方向のエイリアシングに起因する画質劣化が問題となる。このような問題を回避するには、時間フィルタによる時間軸方向の帯域制限フィルタリングが必要である。

　一方、動き補償フレーム間予測を用いる符号化器では、時間方向のエイリアシングの低減は、予測誤差の低減に直接の関係がない。また、動き補償フレーム間予測を用いる符号化器では、高密度時間サンプリングされたフレームが十分に活用されておらず、時間フィルタとしての自由度には制約がある。

　すなわち、３０ｆｐｓ又は６０ｆｐｓ等の低フレームレート画像の場合、フィルタリングのための十分な数のサンプル（フレーム）が確保できないため、フィルタの特性を高精度に近似することは困難である。例えば、６０ｆｐｓの動画像信号をフィルタリングすることによって６０ｆｐｓの動画像信号から３０ｆｐｓの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下では、フィルタリングの対象のフレームは２（＝６０／３０）フレームに限定されるという制約がある。

　一方、高フレームレート画像の場合、フィルタ設計の自由度は拡張される。例えば、１０００ｆｐｓの動画像信号をフィルタリングすることによって、１０００ｆｐｓの動画像信号から６２．５ｆｐｓの動画像信号が生成される場合、フィルタリングの対象のフレームが重複しないという条件下でも、フィルタリングの対象のフレームは、２フレームよりも多い１６（＝１０００／６２．５）フレームとすることができる。このように、高フレームレート画像から低フレームレート画像を生成する場合、フィルタリング設計の自由度は高い。この自由度の高さを利用することで、符号化器は符号化効率を向上させることができる可能性がある。ここで、符号化器は、符号化処理における低フレームレート画像の発生符号量を低減した上で、低フレームレート画像の客観画質を一定以上に保つ必要がある。

　しかしながら、従来のフィルタ選択装置は、動画像符号化の前処理において、時間フィルタによって高フレームレート画像から生成される低フレームレート画像の発生符号量を符号化器が低減した上で、低フレームレート画像の客観画質を符号化器が一定以上に保つように、低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することができない場合があった。

　上記事情に鑑み、本発明は、時間フィルタによって高フレームレート画像から生成される低フレームレート画像の発生符号量を符号化器が低減した上で、低フレームレート画像の客観画質を符号化器が一定以上に保つように、低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能であるフィルタ選択方法、フィルタ選択装置及びフィルタ選択プログラムを提供することを目的としている。

　本発明の一態様は、フィルタ選択装置が実行するフィルタ選択方法であって、低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成するステップと、前記高い時間解像度の動画像のフレームと前記低い時間解像度の動画像の符号化対象フレームとの乖離度を前記符号化対象フレームごとに取得し、前記符号化対象フレームの発生符号量と前記乖離度との加重和を最小化する前記フィルタ係数を、予め定められた範囲内に前記乖離度の和が収まるように、前記フィルタ係数の候補の集合から選択するステップとを含むフィルタ選択方法である。

　本発明の一態様は、上記のフィルタ選択方法であって、前記乖離度を更新するステップを更に含み、前記選択するステップでは、更新された前記乖離度に基づいて前記乖離度の和を反復して算出し、前記更新するステップでは、前記乖離度を表す構成要素の前回までの算出結果を記憶部に記録し、前記前回までの算出結果を前記記憶部から取得し、取得された前記前回までの算出結果に基づいて前記乖離度を更新する。

　本発明の一態様は、低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成するフィルタと、前記高い時間解像度の動画像のフレームと前記低い時間解像度の動画像の符号化対象フレームとの乖離度を前記符号化対象フレームごとに取得し、前記符号化対象フレームの発生符号量と前記乖離度との加重和を最小化する前記フィルタ係数を、予め定められた範囲内に前記乖離度の和が収まるように、前記フィルタ係数の候補の集合から選択する選択部とを備えるフィルタ選択装置である。

　本発明の一態様は、上記のフィルタ選択装置であって、前記乖離度を更新する更新部を更に備え、前記選択部は、更新された前記乖離度に基づいて前記乖離度の和を反復して算出し、前記更新部は、前記乖離度を表す構成要素の前回までの算出結果を記憶部に記録し、前記前回までの算出結果を前記記憶部から取得し、取得された前記前回までの算出結果に基づいて前記乖離度を更新する。

　本発明の一態様は、上記のフィルタ選択装置としてコンピュータを機能させるためのフィルタ選択プログラムである。

　本発明により、時間フィルタによって高フレームレート画像から生成される低フレームレート画像の発生符号量を符号化器が低減した上で、低フレームレート画像の客観画質を符号化器が一定以上に保つように、低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。

フィルタ選択装置の構成例を示す図である。フィルタ選択装置の動作例を示すフローチャートである。

　本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、フィルタ選択装置１の構成例を示す図である。フィルタ選択装置１は、フィルタの係数を選択する情報処理装置である。フィルタ選択装置１は、記憶部１０と、取得部１１と、フィルタ１２と、符号化器１３と、初期化部１４と、更新部１５と、選択部１６とを備える。

　各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

　記憶部１０は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。記憶部１０は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。記憶部１０は、例えば、フィルタリング処理前の高い時間解像度の動画像のフレーム群と、データテーブルと、プログラムとを記憶する。

　取得部１１は、高い時間解像度の動画像のフレーム（高フレームレート画像）を、符号化対象フレームの原画像として取得する。取得部１１は、高い時間解像度の動画像のフレーム群を、記憶部１０に記録する。フィルタ１２は、時間フィルタである。フィルタ１２は、高い時間解像度の動画像のフレームを、取得部１１から取得する。

　フィルタ１２は、選択部１６によって選択された係数ベクトル及びシフト量に基づいて、高い時間解像度の動画像のフレームに対してフィルタリング処理（ダウンサンプリング）を実行する。フィルタ１２は、フィルタリング処理によって生成された低い時間解像度の動画像の符号化対象フレーム（低フレームレート画像）を、符号化器１３及び選択部１６に出力する。

　符号化器１３は、低い時間解像度の動画像の符号化対象フレームに対して、動き補償予測（Motion Compensation Prediction）を用いた可逆符号化を実行する。符号化器１３は、低い時間解像度の動画像の符号化対象フレームの発生符号量を表す情報を、選択部１６に出力する。

　初期化部１４は、各フレーム（ステージ）のフィルタリング処理に関して、フィルタリング処理によるフィルタ係数が施される時間位置（フィルタリングによるダウンサンプリング時刻）のシフト量を初期化する。初期化部１４は、反復回数を表すインデックスｋを０に初期化する。初期化部１４は、フィルタリング処理前の高い時間解像度の動画像のフレームと、フィルタリング処理後の低い時間解像度の動画像の符号化対象フレームとの乖離度に乗算される係数λの値を、所定値に初期化する。

　更新部１５は、閾値Ｄ_ｔｈを取得する。更新部１５は、乖離度の和Ｄ_ｋを選択部１６から取得する。更新部１５は、反復回数を表すインデックスｋと、乖離度Φに乗算される係数λの値とを、初期化部１４から取得する。更新部１５は、符号化対象フレームの発生符号量が最小化し、符号化対象フレームの客観画質が一定以上に保たれるように、乖離度の和Ｄ_ｋと閾値Ｄ_ｔｈとの比較結果に基づいて、乖離度Φに乗算される係数λを更新する。
更新部１５は、乖離度Φに乗算される係数λの値を、選択部１６に出力する。

　選択部１６は、フィルタリング処理前の高い時間解像度の動画像のフレーム群を、記憶部１０から取得する。選択部１６は、フィルタリング処理後の低い時間解像度の動画像の符号化対象フレームを、フィルタ１２から取得する。選択部１６は、低い時間解像度の動画像の符号化対象フレームの発生符号量を表す情報を、符号化器１３から取得する。

　選択部１６は、フィルタリング処理前の高い時間解像度の動画像のフレームと、フィルタリング処理後の低い時間解像度の動画像の符号化対象フレームとの乖離度を、符号化対象フレームごとに算出する。選択部１６は、低い時間解像度の動画像の符号化対象フレームの発生符号量と乖離度との加重和を算出する。以下、選択される係数ベクトルの候補を「係数候補ベクトル」という。

　選択部１６は、発生符号量と乖離度との加重和に基づいて、係数候補ベクトルの集合の中から、加重和を最小化する係数ベクトル（フィルタ係数）を選択する。すなわち、選択部１６は、発生符号量と乖離度との加重和に基づいて、係数候補ベクトルの集合の中から、低い時間解像度の符号化対象フレームを生成するために最適な係数ベクトルを選択する。選択部１６は、発生符号量と乖離度との加重和に基づいて、フィルタ係数が施される時間位置（フィルタリングによるダウンサンプリング時刻）のシフト量を選択してもよい。

　このように、符号化に適した低い時間解像度の動画像の符号化対象フレームは、選択部１６によって選択された係数ベクトル及びシフト量に基づく時間フィルタを用いて、高い時間解像度の動画像のフレーム群から生成される。

　選択部１６は、複数のフレームについて乖離度の和Ｄ_ｋを算出する。選択部１６は、乖離度が更新された場合、乖離度の和Ｄ_ｋを更新する。選択部１６は、乖離度の和Ｄ_ｋを更新部１５に出力する。

　次に、フィルタ選択装置１の構成例の詳細を説明する。
　［表記法］
　以下では、表記の簡略化のため、動画像の各フレームは一次元信号として表される。（２Δ＋１）タップの時間フィルタに基づいて生成された第ｉフレームは、式（１）のように表される。

　ｉは、ダウンサンプリング後のフレームを指定するインデックスを表す。インデックスは、非負の整数値をとる。δ_tは、フィルタ１２に入力される動画像のフレームの間隔を表す。各フレームは、時刻t＝ｊδ_t（ｊ＝０，１，…）においてサンプリングされる。f（ｘ，t）（ｘ＝０，…，Ｘ－１）は、第tフレームの空間位置ｘにおける画素値である。
ｗ_ｉ［ｊ］は、動き補償予測に用いられる参照フレームに対するフィルタ係数を表す。ｗ_ｉ［ｊ］は、式（２）の関係を満たす。

　以下、係数ベクトルは、文章中の数式ではＷ_ｉのように大文字で表記される。式（１）において、左辺のＷ_ｉは、フィルタ係数を要素とする係数ベクトルＷ_ｉ＝（ｗ_ｉ［－Δ］，…，ｗ_ｉ［Δ］）を表す。ｐ_ｉは、フィルタ係数が施される時間位置を補正するパラメータを表す。

　Ｍは、フィルタ１２から出力される動画像の符号化対象フレームのフレームレートを決定するパラメータ（ダウンサンプリング比）を表す。式（１）において、フィルタ１２から出力される動画像の符号化対象フレームのフレームレートは、１／（Ｍδ_ｔ）である。
乖離度の和Ｄ_ｋは、Σ^Ｍ－１ _ｉ＝０Φ［Ｗ_ｉ，ｐ_ｉ］である。なお、（２Δ＋１≦Ｍ）が満たされている。

　式（１）に示された時間フィルタの特殊形として、フィルタ係数を一定値ｗ［ｉ］＝１／（２Δ＋１）とするフィルタを、「平均フィルタ」という。平均フィルタから出力される第ｉフレームは、式（３）のように表される。

　Ｎ種類の係数候補ベクトルは、γ_ｎ＝（γ_ｎ［－Δ］，…，γ_ｎ［Δ］），（ｎ＝０，…，Ｎ－１）と表記される。また、係数候補ベクトルから選択された係数ベクトルのフィルタ係数が施される時間位置は、Ｐ通りの時間位置から選択可能である。選択部１６は、低い時間解像度の動画像の符号化対象フレームを生成するために最適な係数ベクトルを、（Ｎ×Ｐ）通りのＮ種類の係数候補ベクトルの中から、高い時間解像度の動画像のフレームごとに選択する。

　以下では、係数候補ベクトルの集合を「辞書」という。表記の簡略化のため、Ｎ種類の係数候補ベクトルから構成される辞書を、「Γ_Ｎ＝（γ_０，…，γ_Ｎ－１）」と表記する。

　「フィルタ係数の最適化の規準］
　選択部１６は、フィルタ１２から出力されたフレーム（時間フィルタによって生成されたフレーム）における発生符号量を、時間フィルタの設計における最適化の規準として用いる。発生符号量を表す情報は、動き補償予測を用いた可逆符号化を実行する符号化器１３から得られる。

　Ｘ個の画素から構成されているフレームをＫ個に分割して、分割された区間ごとに動き補償フレーム間予測を行う場合について説明する。以下では、数式において文字の上に記載される記号（例えば、＾）は、その文字の直前に記載される。

　取得部１１は、フレーム＾ｆ（ｘ，ｉＭδ_ｔ，Ｗ_ｉ，ｐ_ｉ）を、サイズ（Ｘ／Ｋ）の区間Ｂ［ｋ］（ｋ＝０，１，…，Ｋ－１）に分割する。符号化器１３がフレーム^ｆ（ｘ，（ｉ－１）Ｍδ_ｔ，Ｗ_ｉ－１，ｐ_ｉ－１）を参照フレームとして、各区間Ｂ［ｋ］（ｋ＝０，１，…，Ｋ－１）に対して動き補償（変位量ｄ_ｉ＝（ｄ_ｉ［０］，…，ｄ_ｉ［Ｋ－１］）を実行する場合、そのフレーム内の動き補償フレーム間予測誤差は、式（４）のように表現される。

　この動き補償フレーム間予測誤差を符号化とする符号化器１３から得られる発生符号量Ψは、式（５）のように表される。

　ここで、Ｒ_ｈは、符号化器１３が生成するヘッダー情報の符号量を表す。Ｒ_ｄ（ｄ_ｉ［０］，…，ｄ_ｉ［Ｋ－１］）は、推定変位量ｄ_ｉ［０］，…，ｄ_ｉ［Ｋ－１］に関する符号量を表す。Ｒ_ｅ（ｅ_ｉ（０，Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１），…，ｅ_ｉ（Ｘ－１，Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１））は、動き補償フレーム間予測誤差に関する符号量を表す。

　可逆符号化を実行する符号化器１３から得られる発生符号量Ψが用いられているため、動き補償フレーム間予測誤差は、符号化対象フレーム及び参照フレームのみに依存する。
したがって、式（５）における発生符号量Ψは、変位量と、ヘッダ情報と、第ｉフレームに対する係数ベクトルＷ_ｉと、第ｉフレームに対してフィルタ係数が施される時間位置の補正パラメータであるシフト量ｐ_ｉと、第（ｉ－１）フレームに対する係数ベクトルＷ_ｉ－１と、第（ｉ－１）フレーム対してフィルタ係数が施される時間位置の補正パラメータであるシフト量ｐ_ｉ－１とにより定まる。

　選択部１６は、サンプリングされた高い時間解像度の動画像のフレーム（原画像）と、フィルタ１２から出力された動画像の符号化対象フレーム（フィルタリングにより生成された動画像のフレーム）との乖離度Φとして、式（６）の値を算出する。

　選択部１６は、式（５）に示された発生符号量Ψと式（６）に示された乖離度との加重和として、式（７）の値を算出する。式（７）の値は、フィルタ１２のフィルタ設計の評価尺度を表す。

　ここで、λは、加重和の係数として、乖離度Φ［Ｗ_ｉ，ｐ_ｉ］に乗算される係数である。λの値は、初期化部１４によって初期化される。λの値は、更新部１５によって更新される。選択部１６は、初期化又は更新されたλの値を取得する。選択部１６は、式（７）に示された評価尺度が最小化されるように、フィルタ１２を設計する。発生符号量Ψ［Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１］に基づいてフィルタ１２が設計されることで、フィルタリングにより生成された動画像の発生符号量を低減する効果が期待できる。また、乖離度Φ［Ｗ_ｉ，ｐ_ｉ］に基づいてフィルタ１２が設計されることで、フィルタリングにより生成された動画像とサンプリングされた動画像とが乖離することを抑止する効果が期待できる。

　［フィルタ係数の最適化］
　選択部１６は、発生符号量を最小化するフレームをフィルタ１２が生成するように、式（５）の発生符号量をコスト関数とする最小化問題を解く。選択部１６は、式（８）を満たす（Ｊ／Ｍ）組の係数ベクトル及びシフト量を算出する。Ｊは、高い時間解像度の動画像のフレーム数を表す。

　（Ｎ×Ｐ）種類の係数ベクトルを係数候補ベクトルとする場合、係数ベクトル及びシフト量の組合せは、ＮＰ^Ｊ／Ｍ通りとなる。最適な係数ベクトルを選択部１６が選択するためには、指数オーダの演算量が必要である。このため、係数ベクトル及びシフト量の最適な組み合わせ（Ｗ^＊ _０，…，Ｗ^＊ _{J／Ｍ－１}，ｐ^＊ _０，…，ｐ^＊ _{Ｊ／Ｍ－１}）を総当りで探索することは、演算量の観点から現実的ではない。

　Ξ［Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１］がＷ_ｉ,ｐ_ｉ及びＷ_ｉ－１,ｐ_ｉ－１のみに依存することに着目すれば、式（８）は、単純マルコフ過程における最適化問題として定式化可能である。単純マルコフ過程における最適化問題は、動的計画法によって、多項式オーダの演算量で最適解を算出することが可能である。以下では、動的計画法を用いた解法を示す。

　選択部１６は、Ｗ_ｉ,ｐ_ｉ（ｉ＝１，…，Ｊ／Ｍ－１）に関して、式（９）のＳ_ｉ（Ｗ_ｉ，ｐ_ｉ）を定義する。

　Ｓ_ｉ（Ｗ_ｉ，ｐ_ｉ）は、第ｉステージにおいて、シフト量ｐ_ｉでシフトされたフィルタ係数Ｗ_ｉによって第ｉフレームが生成され、その状態に至る経路において最適な係数ベクトルが用いられた場合における、コストの総和を表す。ここで、Ｗ_ｉ,ｐ_ｉがそれぞれ固定された場合、Ξ［Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１]がＷ_ｉ－１,ｐ_ｉ－１のみに依存することに着目すると、Ｓ_ｉ（Ｗ_ｉ，ｐ_ｉ）は、式（１０）のような漸化式として表される。

　なお、第（ｉ－１）ステージにおいて、Ｓ_ｉ－１（Ｗ_ｉ－１，ｐ_ｉ－１）は、同様の漸化式を用いて算出済みである。Ｓ_ｉ－１（Ｗ_ｉ－１，ｐ_ｉ－１）は、Ｓ_ｉ（Ｗ_ｉ，ｐ_ｉ）の算出時には、参照可能な値としてレジスタ等の記憶部に記憶されている。

　式（１０）に示されているように、選択部１６は、Ξ［Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１]＋Ｓ_ｉ－１（Ｗ_ｉ－１，ｐ_ｉ－１）を最小化する係数候補ベクトル及びシフト量ｐ_ｉを辞書Γ_Ｎから選択することによって、Ｓ_ｉ（Ｗ_ｉ，ｐ_ｉ）を算出する。

　以下、係数ベクトルＷ_ｉに対する係数候補ベクトルのインデックスをｎ_ｉと表記する。
選択部１６は、式（１０）が最小値となる係数候補ベクトルのインデックス^ｎ_ｉ－１（ｎ_ｉ，ｐ_ｉ）を、ｎ_ｉごとに記憶部１０に記録する。選択部１６は、式（１０）が最小値となるシフト量＾ｐ_ｉ－１（ｎ_ｉ，ｐ_ｉ）を、ｎ_ｉごとに記憶部１０に記録する。これによって、選択部１６は、式（１０）が最小値となる係数候補ベクトルのインデックス^ｎ_ｉ－１（ｎ_ｉ，ｐ_ｉ）と、シフト量＾ｐ_ｉ－１（ｎ_ｉ，ｐ_ｉ）とを、後段の処理において記憶部１０から取得することができる。

　式（１０）の漸化式が再帰的に用いられることで、式（８）の最小化問題は、式（１１）のように表される。

　このように、式（１０）の漸化式が再帰的に用いられる方法であれば、式（８）の最適解（Ｗ^＊ _０，…，Ｗ^＊ _{Ｊ／Ｍ－１}，ｐ^＊ _０，…，ｐ^＊ _{Ｊ／Ｍ－１}）は、｛（ＮＰ）^２Ｊ／Ｍ｝通りの中から最適解を探索する問題に帰着される。これによって、選択部１６は、多項式オーダの演算量で、式（１１）を算出することが可能である。

　Σ^{Ｊ／Ｍ－１} _ｉ＝１［Ｗ_ｉ，Ｗ_ｉ－１，ｐ_ｉ，ｐ_ｉ－１］の最小値が算出された場合、選択部１６は、最適解（Ｗ^＊ _０，…，Ｗ^＊ _{Ｊ／Ｍ－１}，ｐ^＊ _０，…，ｐ^＊ _{Ｊ／Ｍ－１}）を、以下に示されるバックトラック過程によって算出する。

　式（１２）のＳ_{Ｊ／Ｍ－１}（ｗ_{Ｊ／Ｍ－１},ｐ_{Ｊ／Ｍ－１}）を最小化する係数候補ベクトル及びシフト量の組み合わせは、（Ｗ^＊ _{Ｊ／Ｍ－１},ｐ^＊ _{Ｊ／Ｍ－１}）と表される。

　Ｗ^＊ _{Ｊ／Ｍ－１}を表す係数候補ベクトルのインデックスは、ｎ_{Ｊ／Ｍ－１}と表される。
第（Ｊ／Ｍ－１）フレームに対する係数候補ベクトルのインデックスは、ｎ_{Ｊ／Ｍ－１}と表される。第（Ｊ／Ｍ－１）フレームに対するシフト量は、ｐ_{Ｊ／Ｍ－１}と表される。

　第（Ｊ／Ｍ－２）フレームに対する最適な係数候補ベクトルのインデックスは、＾ｎ_{Ｊ／Ｍ－２}（ｎ_{Ｊ／Ｍ－１}，ｐ_{Ｊ／Ｍ－１}）として、記憶部１０に記憶されている。第（Ｊ／Ｍ－２）フレームに対するシフト量は、＾ｐ_{Ｊ／Ｍ－２}（ｎ_{Ｊ／Ｍ－１}，ｐ_{Ｊ／Ｍ－１}）として、記憶部１０に記憶されている。

　選択部１６は、第（Ｊ／Ｍ－２）フレームに対する係数ベクトル及びシフト量の組み合わせを、｛Ｗ^＊ _{Ｊ／Ｍ－２}＝γ_{＾ｎＪ／Ｍ－２}（ｎ_{Ｊ／Ｍ－１}，ｐ_{Ｊ／Ｍ－１}）,ｐ^＊ _{Ｊ／Ｍ－２}＝＾ｐ_{Ｊ／Ｍ－２}（ｎ_{Ｊ／Ｍ－１}，ｐ_{Ｊ／Ｍ－１}）｝と同定する。

　選択部１６は、バックトラック過程において、｛Ｗ^＊ _{Ｊ／Ｍ－３}＝γ_{＾ｎＪ／Ｍ－３}（ｎ_{Ｊ／Ｍ－２}，ｐ_{Ｊ／Ｍ－２}）,ｐ^＊ _{Ｊ／Ｍ－３}＝＾ｐ_{Ｊ／Ｍ－３}（ｎ_{Ｊ／Ｍ－２}，ｐ_{Ｊ／Ｍ－２}）｝,…,｛Ｗ^＊ _０＝γ_＾ｎ０（ｎ_１，ｐ_１）,ｐ^＊ _０＝＾ｐ_０（ｎ_１，ｐ_１）｝のように、同様の参照処理を繰り返す。このように、選択部１６は、係数ベクトル及びシフト量の組み合わせを選択する。

　次に、乖離度Φ［Ｗ_ｉ，ｐ_ｉ］に乗算される係数λの更新処理における、乖離度の制約について説明する。
　式（６）に示された乖離度は、式（１３）のように変形可能である。

　式（７）に示された係数λの更新処理において、更新部１５は、式（１２）に示された、Σ^Ｍ－１ _ｋ＝０Σ_ｘｆ（ｘ，（ｉＭ＋ｋ）δ_ｔ）^２の値を算出する。更新部１５は、算出結果を必要に応じて参照するため、算出結果を記憶部１０に記録する。

　式（７）に示された係数λの更新処理において、更新部１５は、式（１２）に示された、Σ^Ｍ－１ _ｋ＝０Σ_ｘｆ（ｘ，（ｉＭ＋ｐ_ｉ＋ｊ）δ_ｔ）^２の値と、Σ^Ｍ－１ _ｋ＝０Σ_ｘｆ（ｘ，（ｉＭ＋ｋ）δ_ｔ）ｆ（ｘ，（ｉＭ＋ｐ_ｉ＋ｊ）δ_ｔ）の値と、Σ^Ｍ－１ _ｋ＝０Σ_ｘｆ（ｘ，（ｉＭ＋ｐ_ｉ＋ｊ）δ_ｔ）ｆ（ｘ，（ｉＭ＋ｐ_ｉ＋ｊ’）δ_ｔ）の値とが算出過程において初出である場合、これらの値をｐ_ｉ及びｊについて算出する。

　更新部１５は、更新された乖離度に基づいて選択部１６が乖離度の和Ｄ_ｋを反復して算出する場合、乖離度を表す構成要素の前回までの算出結果を、必要に応じて記憶部１０に予め記録する。更新部１５は、このような構成要素の前回までの算出結果を、必要に応じて記憶部１０から取得する。更新部１５は、取得された前回までの算出結果に基づいて乖離度を更新する。

　図２は、フィルタ選択装置１の動作例を示すフローチャートである。初期化部１４は、反復回数を表すインデックスｋを０に初期化する（ステップＳ１０１）。初期化部１４は、パラメータを初期化する。例えば、初期化部１４は、予め定められた初期値であるλ_０の値にλ_ｋの値を初期化する（ステップＳ１０２）。選択部１６は、上記の［フィルタ係数の最適化］の説明に記載された選択処理を実行する。選択部１６は、係数λ_ｋを用いて、各ステージにおける係数ベクトル及びシフト量を選択する（ステップＳ１０３）。選択部１６は、ｉ＝０からｉ＝Ｍ－１までについて、乖離度Φ［Ｗ_ｉ，ｐ_ｉ］を加算する。すなわち、選択部１６は、乖離度の和Ｄ_ｋ＝Σ^Ｍ－１ _ｉ＝０Φ［Ｗ_ｉ，ｐ_ｉ］を算出する（ステップＳ１０４）。

　更新部１５は、乖離度の和Ｄ_ｋが閾値Ｄ_ｔｈよりも大きいか否かを判定する（ステップＳ１０５）。乖離度の和Ｄ_ｋが閾値Ｄ_ｔｈよりも大きい場合（ステップＳ１０５：ＹＥＳ）、更新部１５は、λ_ｋ－１がλ_ｋよりも小さいか否かを判定する（ステップＳ１０６）。λ_ｋ－１がλ_ｋよりも小さい場合（ステップＳ１０６：ＹＥＳ）、更新部１５は、λ_ｋ＋１の値を２λ_ｋとする（ステップＳ１０７）。λ_ｋ－１がλ_ｋ以上である場合（ステップＳ１０６：ＮＯ）、更新部１５は、λ_ｋ＋１の値をλ_ｋ／２とする（ステップＳ１０８）。

　更新部１５は、乖離度の和Ｄ_ｋが閾値Ｄ_ｔｈ未満である場合（Ｄ_ｋが（Ｄ_ｔｈ－ε）以下である場合）（ステップＳ１０５：ＮＯ）、更新部１５は、λ_ｋ－１がλ_ｋよりも大きいか否かを判定する（ステップＳ１０９）。λ_ｋ－１がλ_ｋよりも大きい場合（ステップＳ１０９：ＹＥＳ）、更新部１５は、λ_ｋ＋１の値を２λ_ｋとする。λ_ｋ－１がλ_ｋ以下である場合（ステップＳ１０９：ＮＯ）、更新部１５は、λ_ｋ＋１の値をλ_ｋ／２とする（ステップＳ１１１）。更新部１５は、インデックスｋの値を１インクリメントする（ステップＳ１１２）。

　選択部１６は、収束条件が満たされているか否かを判定する（ステップＳ１１３）。収束条件は、例えば、Ｄ_ｔｈ－ε≦Ｄ_ｋ＜Ｄ_ｔｈが満たされるという条件である。収束条件は、例えば、指定の閾値に反復回数が到達するという条件でもよい。収束条件が満たされていない場合（ステップＳ１１３：ＮＯ）、選択部１６は、ステップＳ１０３に処理を戻す。収束条件が満たされている場合（ステップＳ１１３：ＹＥＳ）、選択部１６は、図２に示された処理を終了する。このようにして、選択部１６は、辞書に記録された係数ベクトル及びシフト量の組み合わせを、時間フィルタのパラメータとして選択する。

　以上のように、実施形態のフィルタ選択装置１は、フィルタ１２と、選択部１６とを備える。フィルタ１２は、低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成する。選択部１６は、高い時間解像度の動画像のフレームと低い時間解像度の動画像の符号化対象フレームとの乖離度を符号化対象フレームごとに取得する。選択部１６は、符号化対象フレームの発生符号量と乖離度との加重和を最小化するフィルタ係数を、予め定められた制約範囲内（Ｄ_ｔｈ－ε≦Ｄ_ｋ＜Ｄ_ｔｈ）に乖離度の和Ｄ_ｋが収まるように、フィルタ係数の候補の集合（辞書）から選択する。

　これによって、実施形態のフィルタ選択装置１は、時間フィルタによって高フレームレート画像から生成される低フレームレート画像の発生符号量を符号化器が低減した上で、低フレームレート画像の客観画質を符号化器が一定以上に保つように、低フレームレート画像の符号化効率を向上させる時間フィルタの係数を選択することが可能である。

　実施形態のフィルタ選択装置１は、フィルタリング後の動画像の主観画質を保持することが可能である。実施形態のフィルタ選択装置１は、フィルタリング後の動画像の発生符号量を低減することが可能である。実施形態のフィルタ選択装置１は、動画像のフレームに関する加重和の累積値を最小化する係数ベクトルを、選択することが可能である。

　実施形態のフィルタ選択装置１は、更新部１５を更に備えてもよい。更新部１５は、フィルタ係数に応じた発生符号量に基づいて、他のフィルタ係数に応じた発生符号量の予測分布を取得してもよい。更新部１５は、他のフィルタ係数に応じた発生符号量の予測値を、予測分布に基づいて取得してもよい。更新部１５は、発生符号量の予測値が最小化する他のフィルタ係数に応じた発生符号量に基づいて、フィルタ係数の候補の集合を生成してもよい。

　これによって、実施形態のフィルタ選択装置１は、係数ベクトルの辞書の動的更新を伴う時間フィルタリングにおいて、辞書設計処理及び選択処理の最適化が可能である。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　上述した実施形態におけるフィルタ選択装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

　本発明は、動画像の符号化装置に適用可能である。

　１…フィルタ選択装置、１０…記憶部、１１…取得部、１２…フィルタ、１３…符号化器、１４…初期化部、１５…更新部、１６…選択部

Claims

　フィルタ選択装置が実行するフィルタ選択方法であって、
　低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成するステップと、
　前記高い時間解像度の動画像のフレームと前記低い時間解像度の動画像の符号化対象フレームとの乖離度を前記符号化対象フレームごとに取得し、前記符号化対象フレームの発生符号量と前記乖離度との加重和を最小化する前記フィルタ係数を、予め定められた範囲内に前記乖離度の和が収まるように、前記フィルタ係数の候補の集合から選択するステップと
　を含むフィルタ選択方法。
　前記乖離度を更新するステップを更に含み、
　前記選択するステップでは、更新された前記乖離度に基づいて前記乖離度の和を反復して算出し、
　前記更新するステップでは、前記乖離度を表す構成要素の前回までの算出結果を記憶部に記録し、前記前回までの算出結果を前記記憶部から取得し、取得された前記前回までの算出結果に基づいて前記乖離度を更新する、請求項１に記載のフィルタ選択方法。
　低い時間解像度の動画像の符号化対象フレームを、高い時間解像度の動画像のフレームから、フィルタ係数に応じて生成するフィルタと、
　前記高い時間解像度の動画像のフレームと前記低い時間解像度の動画像の符号化対象フレームとの乖離度を前記符号化対象フレームごとに取得し、前記符号化対象フレームの発生符号量と前記乖離度との加重和を最小化する前記フィルタ係数を、予め定められた範囲内に前記乖離度の和が収まるように、前記フィルタ係数の候補の集合から選択する選択部と
　を備えるフィルタ選択装置。
　前記乖離度を更新する更新部を更に備え、
　前記選択部は、更新された前記乖離度に基づいて前記乖離度の和を反復して算出し、
　前記更新部は、前記乖離度を表す構成要素の前回までの算出結果を記憶部に記録し、前記前回までの算出結果を前記記憶部から取得し、取得された前記前回までの算出結果に基づいて前記乖離度を更新する、請求項３に記載のフィルタ選択装置。
　請求項３又は請求項４に記載のフィルタ選択装置としてコンピュータを機能させるためのフィルタ選択プログラム。