JP6871147B2 - 画像生成装置、画像生成方法及び画像生成プログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。

ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ等の多くの画像符号化規格がある。次世代の画像符号化規格として策定されたＨＥＶＣ（High Efficiency Video Coding）は、今後の普及が見込まれている。ＨＥＶＣでは、スケーラビリティに対応したＳＨＶＣ(Scalable HEVC)という拡張規格が策定された。ＳＨＶＣでは、解像度、フレームレート、ビット深度といった各要素に対する階層的な符号化及び復号が可能である。

特に、フレームレートにおけるスケーラビリティを意味する時間方向階層符号化では、画像生成装置は、６０Ｐ又は５０Ｐの画像ビットストリームの対応デコーダ及び受信機への前方互換性を担保した上で、高フレームレートである１２０Ｐ又は１００Ｐの画像ビットストリームを生成する。このために必要とされる技術の規格化が進められている。例として、日本国内のデジタル放送では、ＡＲＩＢ（一般社団法人電波産業会）が、ＳＴＤ−Ｂ３２「デジタル放送における画像符号化、音声符号化及び多重化方式」において、１２０Ｐ高フレームレートを対応フォーマットとしてサポートしている。ＡＲＩＢにおける１２０Ｐの画像ビットストリームは、ＳＨＶＣに準拠した時間方向階層符号化方式によるエンコードを前提としている。１２０Ｐの画像ビットストリームは、６０Ｐ相当のベースレイヤ・ストリームと、１２０Ｐ及び６０Ｐの差分となるエンハンスメントレイヤ・ストリームとに分離されて伝送される。

１２０Ｐの入力画像から６０Ｐのベースレイヤを生成する際、１２０Ｐの入力画像の２フレームごとに１フレームが取り出されることで、１２０Ｐの偶数番フレームはそのままで６０Ｐのベースレイヤとなり、１２０Ｐの奇数番フレームはエンハンスメントレイヤとなる。このため、最も単純に６０Ｐを生成する手法として、デシメーション（decimation）と呼ばれる手法が多く用いられている。上記の生成手法によるベースレイヤを６０Ｐの画像ビットストリームの対応デコーダが再生する場合、シャッタースピードが１／１２０秒以下のフレームは、１／６０秒間隔で表示される。このため、動きのぱらつきやストロボ効果が生じやすく、従来の６０Ｐの画像ビットストリームよりも主観品質が低下する傾向にある。

６０Ｐのベースレイヤの別の生成手法として、１２０Ｐにおける連続する２フレーム（偶数番フレーム、奇数番フレーム）を１セットとし、２フレームの平均画像をベースレイヤとする生成方法がある。この生成方法では、デシメーションと同様に、１２０Ｐの奇数番フレームはエンハンスメントレイヤとなる。６０Ｐ対応デコーダは、ベースレイヤのみをデコードすることで、６０Ｐ平均画像を再生する。１２０Ｐの画像ビットストリームの対応デコーダは、平均画像のベースレイヤと奇数番フレームであるエンハンスメントレイヤとをそれぞれデコードする。１２０Ｐの画像ビットストリームの対応デコーダは、平均画像と奇数番フレームとから偶数番フレームを再生することで、１２０Ｐの画像ビットストリームの再生を実行する。この手法では、画像生成装置は、フレーム平均によってベースレイヤを生成するため、ベースレイヤにて６０Ｐ相当のシャッタースピードを模擬することが可能である。画像生成装置は、動きのぱらつきやストロボ効果の抑制が期待できるが、所定閾値以上に動きが高速である画像では、輪郭が二重になった平均画像という不自然な画像が目立ち、デシメーションによる主観画質劣化とは異なる主観画質劣化が画像に生じうる。

上記のようなストロボ効果や二重画像による主観画質劣化を抑える６０Ｐの画像ビットストリームの生成手法として、米国のデジタルテレビジョン規格を策定するＡＴＳＣ（Advanced Television Systems Committee）は、連続する２フレームを重み付き平均した画像を高フレームレート１２０Ｐ又は１００Ｐの時間階層符号化を実行する際に６０Ｐ又は５０Ｐベースレイヤとすることを提案し、この提案を規格化した（非特許文献１参照）。

時系列で連続する２フレームを重み付き平均した画像を６０Ｐ又は５０Ｐベースレイヤとすることの目的は、入力画像ごとに適切な重み係数を設定することによって、ストロボ効果と二重画像との両方がバランス良く抑制された６０Ｐの画像ビットストリームの生成するためである。重み係数は、シンタックスとして、符号化ストリームとともに１２０Ｐの画像ビットストリームの対応デコーダに伝送される。このため、１２０Ｐの画像ビットストリームの対応デコーダは、デコードされたベースレイヤ及びエンハンスメントレイヤとシンタックスとしての重み係数とから、１２０Ｐの画像ビットストリームを再生する。

ATSC Standard: Video-HEVC(A/341)

非特許文献１に記載の手法では、重み係数の決定は、エンコーダ利用者に完全に委ねられている。このため、画像のシーンごとにストロボ効果及び二重画像のバランスを考慮した適切な重み係数を設定することは困難である。一般に画像符号化では、時間的に異なるフレームを用いて符号化を実行する画面間符号化が用いられている。画像生成装置は、画面間の差分値を削減するために、符号化対象画像と参照画像との間で動き予測処理を実行する。画像生成装置は、差分値と動きベクトル情報とを符号化することで、情報量を削減している。画像生成装置は、エンハンスメントレイヤのフレームに対しても、同様の画面間動き予測をベースレイヤのフレームを参照して実行する。

従来の画像生成装置は、１２０Ｐ画像の奇数番フレームと偶数番フレームとの重み付き平均画像をベースレイヤとし、１２０Ｐ画像の奇数フレームをエンハンスメントレイヤとする。このため、ベースレイヤが算術平均画像に近づくほどベースレイヤの適切な動きベクトルを画像生成装置が予測することが困難となるので、ベースレイヤの符号量は増大する。

時間階層符号化による画像配信では、画像生成装置は、ベースレイヤとエンハンスメントレイヤとの両方を固定ビットレート（CBR: Constant Bit Rate）で符号化することが多い。しかしながら、画像生成装置がストロボ効果及び二重画像による主観画質のみを考慮して係数を決定するだけでは、上記の符号化効率低下によって客観画質は劣化してしまう。このように、従来の画像生成装置は、主観画質及び客観画質を向上させることができない場合があった。

上記事情に鑑み、本発明は、主観画質及び客観画質を向上させることが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的としている。

本発明の一態様は、所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置であって、前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類する分類部と、前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成する第三の画像生成部と、前記第三の画像に基づいて前記第二の時系列出力画像を生成する第二の画像生成部とを備え、前記第三の画像生成部は、前記第二の時系列出力画像において、前記第三の画像に時系列で隣接する他の前記第三の画像を合成するために用いられた他の前記第一の画像と前記他の第三の画像を合成するために用いられた他の前記第二の画像との関係に基づいて、前記第一の画像と前記第二の画像とを合成する、画像生成装置である。

本発明の一態様は、所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置であって、前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類する分類部と、前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成する第三の画像生成部と、前記第三の画像に基づいて前記第二の時系列出力画像を生成する第二の画像生成部と、前記第一の画像の特徴量である第一特徴量を前記第一の画像から抽出し、前記第二の画像の特徴量である第二特徴量を前記第二の画像から抽出する特徴量抽出部を備え、前記第三の画像生成部は、前記第一特徴量と前記第二特徴量とに基づいて、前記第一の画像と前記第二の画像とを合成する画像生成装置である。

本発明の一態様は、上記の画像生成装置であって、前記分類部は、前記第一の画像と前記第二の画像との関係に基づいて、前記第一の画像の重み係数と前記第二の画像の重み係数とを決定し、前記第三の画像生成部は、前記第一の画像の重み係数と前記第二の画像の重み係数とに基づいて、前記第一の画像と前記第二の画像とを合成する。

本発明の一態様は、上記の画像生成装置であって、前記分類部は、前記第一の画像に応じた予測誤差と前記第二の画像に応じた予測誤差とに基づいて、前記第一の画像の重み係数と前記第二の画像の重み係数とを決定する。

本発明の一態様は、上記の画像生成装置であって、前記分類部は、前記第一の画像に応じた動きベクトルと前記第二の画像に応じた動きベクトルとに基づいて、前記第一の画像の重み係数と前記第二の画像の重み係数とを決定する。

本発明の一態様は、上記の画像生成装置であって、前記分類部は、前記第一の画像と前記第二の画像との間で予測誤差又は動きベクトルの差が大きいほど、前記第一の画像の重み係数と前記第二の画像の重み係数との差を大きくする。

本発明の一態様は、所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置が実行する画像生成方法であって、前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類するステップと、前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成するステップと、前記第三の画像に基づいて前記第二の時系列出力画像を生成するステップとを含み、前記第三の画像を生成するステップでは、前記第二の時系列出力画像において、前記第三の画像に時系列で隣接する他の前記第三の画像を合成するために用いられた他の前記第一の画像と前記他の第三の画像を合成するために用いられた他の前記第二の画像との関係に基づいて、前記第一の画像と前記第二の画像とを合成する、画像生成方法である。

本発明の一態様は、所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置のコンピュータに、前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類する手順と、前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成する手順と、前記第三の画像に基づいて前記第二の時系列出力画像を生成する手順とを実行させ、前記第三の画像を生成する手順では、前記第二の時系列出力画像において、前記第三の画像に時系列で隣接する他の前記第三の画像を合成するために用いられた他の前記第一の画像と前記他の第三の画像を合成するために用いられた他の前記第二の画像との関係に基づいて、前記第一の画像と前記第二の画像とを合成する手順を実行させるための画像生成プログラムである。

本発明により、主観画質及び客観画質を向上させることが可能である。

実施形態における、画像生成装置の構成の例を示す図である。 実施形態における、階層符号化重み係数決定部の構成の例を示す図である。 実施形態における、階層符号化入力画像生成部による画像生成方法の例を示す図である。 実施形態における、ＡＲＩＢ規定の時間方向階層符号化の参照構造の例を示す図である。 実施形態における、予測残差解析部の動作の例を示すフローチャートである。 実施形態における、Ｄｐｉｃ＿ｄｉｆｆの分類の例を示す図である。 実施形態における、重み係数の変更の例を示す図である。 実施形態における、動きベクトル解析部の動作の例を示すフローチャートである。 実施形態における、重み係数の変更の例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
以下では、「符号化ブロック」は、一例として、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ等における「マクロブロック」である。以下では、「符号化ブロック」は、一例として、ＨＥＶＣにおける「コーディングユニット（ＣＵ）」又は「プレディクションユニット（ＰＵ）」でもよい。

図１は、画像生成装置１００の構成の例を示す図である。画像生成装置１００は、画像を生成し、生成された画像を符号化する装置である。画像生成装置１００は、画像生成部２００と、符号化部３００とを備える。

各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

画像生成装置１００は、記憶部を更に備えてもよい。記憶部は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。記憶部は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。

画像生成装置１００は、過去の画素値予測結果と動きベクトル統計量と原画像の特徴量とに基づいて、重み係数を適応的に更新する。画像生成装置１００は、符号化性能についても考慮された階層符号化入力画像を生成する。これによって、画像生成装置１００は、主観画質及び客観画質を向上することができる。

主観画質は、具体的な指標によって測れるものでなくてもよい。例えば、ＭＳ−ＳＳＩＭ（multi-scale structural similarity）等の主観画質指標は、本実施形態における二重像のような時間的差分には対応しきれない。仮に主観画質が具体的な指標で測れるものであれば、画像を符号化する装置は、その指標に基づいて重み係数が変更するだけで、主観画質及び客観画質を向上させることが可能である。本実施形態における二重像のような時間的差分を扱う場合には、主観画質は、具体的な指標で測れるものではない。

過去の画像を使う場合に、画像に直接起因する特徴量を利用するよりも画像の符号化結果として得られた値を利用する理由は、画像の符号化結果として得られた値を利用したほうが、ベース画像をより正確に生成することが可能であるからである。画像生成装置１００は、画像の特徴量でなく画像の符号化結果を利用することで、客観画質の影響をより確実にベース画像の生成に反映できる。画像生成装置１００は、予測誤差又は動きベクトルを利用する場合、現在の符号化対象フレームの予測誤差又は動きベクトルを解析するのではなく、過去のフレームの予測誤差又は動きベクトルを解析する。このため、画像生成装置１００は、符号量及び客観画質に直結する部分を解析の対象とするため、ベース画像をより正確に生成すること可能である。画像生成装置１００は、現在の符号化対象フレームの画像特徴量を解析できるので、シーンチェンジのように急に画像が変化する場合でも影響を受けにくい。

画像生成装置１００は、時間方向階層符号化の規格に基づいて、符号化処理を実行する。画像生成装置１００は、時間方向階層符号化において画面間参照による動き探索を実行する場合、符号化対象フレームがベースレイヤ又はエンハンスメントレイヤのいずれでも、別のベースレイヤのフレームを参照した動き補償を実行する。

画像生成部２００は、画像を生成する機能部である。画像生成部２００は、階層符号化重み係数決定部２０１と、階層符号化入力画像生成部２０２とを備える。階層符号化重み係数決定部２０１は、時間方向階層符号化におけるベースレイヤを原画像の奇数番フレーム及び偶数番フレームの重み付き平均から生成する際に用いられる重み係数を、過去の符号化結果と原画像の特徴量とに基づいて決定する。つまり、階層符号化重み係数決定部２０１は、第一の画像と第二の画像との関係に基づいて、第一の画像の重み係数と第二の画像の重み係数とを決定する。

階層符号化重み係数決定部２０１は、複数のフレームごとに重み係数を決定してもよい。例えば、階層符号化重み係数決定部２０１は、イントラフレームが挿入されるタイミングで重み係数を変更する。例えば、階層符号化重み係数決定部２０１は、時間識別子（Temporal ID）が０となるフレームが挿入されるタイミングで重み係数を変更してもよい。

階層符号化入力画像生成部２０２は、重み係数を重み係数変更部４０４から取得する。階層符号化入力画像生成部２０２は、重み係数及び原画像に基づいて、階層符号化用の入力画像を生成する。

符号化部３００は、画像生成部２００によって生成された画像を、Ｈ．２６４／ＡＶＣやＨＥＶＣ等の画像符号化規格に基づいて符号化する。画像生成装置１００は、符号化対象の画像信号（原画像）と符号化パラメータとを取得する。画像生成装置１００は、取得された画像信号を指定された符号化パラメータに従って符号化し、符号化結果を符号化ビットストリームとして出力する。

符号化部３００は、符号化対象ピクチャの符号量予測と符号量配分と量子化パラメータ制御とを実行する。符号化部３００は、決定された量子化パラメータに従って、画像を符号化する。符号化部３００は、Ｈ．２６４／ＡＶＣやＨＥＶＣ等の符号化規格に基づいて、取得された画像信号のピクチャを符号化ブロックに分割し、符号化ブロック単位で符号化する。

符号化部３００は、イントラ予測処理部３０１と、インター予測処理部３０２と、予測残差信号生成部３０３と、変換・量子化処理部３０４と、エントロピー符号化部３０５と、逆量子化・逆変換処理部３０６と、復号信号生成部３０７と、ループフィルタ処理部３０８とを備える。

符号化部３００は、入力画像信号に対して時間階層符号化を実行する。イントラ予測処理部３０１は、画像生成部２００から出力された入力画像信号を取得する。インター予測処理部３０２は、動き探索を実行する。インター予測処理部３０２は、動き探索の結果を、動きベクトル情報として画像生成部２００の階層符号化重み係数決定部２０１に出力する。予測残差信号生成部３０３は、イントラ予測処理部３０１又はインター予測処理部３０２の出力である予測信号と入力画像信号との差分を求め、差分を予測残差信号として変換・量子化処理部３０４及び画像生成部２００に出力する。

変換・量子化処理部３０４は、予測残差信号に離散コサイン変換等の直交変換を施し、変換係数を量子化する。変換・量子化処理部３０４は、量子化された変換係数をエントロピー符号化部３０５及び逆量子化・逆変換処理部３０６に出力する。エントロピー符号化部３０５は、量子化された変換係数をエントロピー符号化し、エントロピー符号化の結果を、符号化ストリームとして画像生成装置１００の外部に出力する。

逆量子化・逆変換処理部３０６は、量子化された変換係数に逆量子化及び逆直交変換を施し、予測残差復号信号を出力する。復号信号生成部３０７は、イントラ予測処理部３０１又はインター予測処理部３０２の出力である予測信号と予測残差復号信号とを加算することで、符号化対象ブロックごとに復号信号を生成する。インター予測処理部３０２は、復号信号を参照画像として用いる。復号信号生成部３０７は、復号信号をループフィルタ処理部３０８に出力する。ループフィルタ処理部３０８は、符号化歪みを低減するフィルタリング処理を復号信号に施し、フィルタリング処理後の画像を参照画像としてインター予測処理部 ３０２に出力する。

図２は、階層符号化重み係数決定部２０１の構成の例を示す図である。階層符号化重み係数決定部２０１は、予測残差解析部４０１と、動きベクトル解析部４０２と、画像特徴解析部４０３と、重み係数変更部４０４とを備える。予測残差解析部４０１は、過去の複数のフレームの予測残差を解析する。予測残差解析部４０１は、過去の複数のフレームの予測残差を重み係数変更部４０４に出力する。動きベクトル解析部４０２は、統計処理によって過去の複数のフレームの動きベクトルを解析する。画像特徴解析部４０３は、過去の複数のフレームの原画像の画像特徴量を、重み係数変更部４０４に出力する。

重み係数変更部４０４は、重み係数を変更するか否かを判定する。重み係数変更部４０４は、重み係数を変更する場合に重み係数を決定する。重み係数変更部４０４は、階層符号化入力画像生成部２０２に重み係数を出力する。

図３は、階層符号化入力画像生成部２０２による画像生成方法の例を示す図である。階層符号化入力画像生成部２０２は、連続する原画像の２フレーム（偶数番フレーム、奇数番フレーム）を１セットとして、２フレームを加重平均する際の重み係数を適宜更新する。階層符号化入力画像生成部２０２は、重み係数ｗを（０．５＜ｗ＜１）とし、偶数番フレームと奇数番フレームとをｗ：（１−ｗ）の比率で加重平均する。ベースレイヤは、偶数番フレームと奇数番フレームとがｗ：（１−ｗ）の比率で加重平均された画像である。エンハンスメントレイヤは、奇数番フレームそのものである。階層符号化入力画像生成部２０２は、重み係数ｗを複数のフレームごとに更新する。階層符号化入力画像生成部２０２は、フレーム番号４のフレームの重み係数を、ｗ１からｗ２に変更する。階層符号化入力画像生成部２０２は、生成されたベースレイヤフレーム及びエンハンスメントレイヤフレームを、階層符号化における入力画像として符号化部３００に出力する。

図４は、ＡＲＩＢ規定の時間方向階層符号化の参照構造の例を示す図である。図４では、各ピクチャは、参照のパターンに応じて５個の階層に分類される。分類された階層に応じて、各ピクチャのフレームには、時間識別子が割り当てられる。図４に示されているように、全てのフレームがT時間識別子＝３以下のフレームを参照先としている。ベースレイヤであるかエンハンスメントレイヤであるかに関わらず、符号化対象フレームの符号化では、常にベースレイヤフレームが参照される。

（時間識別子＝０、１、２、３）が割り当てられているフレームは、ベースレイヤである。時間識別子＝４が割り当てられているフレームは、エンハンスメントである。図４では、各符号化対象フレームにおける動き予測先の参照フレームが矢印で示されている。フレーム番号１からフレーム番号１５までのピクチャでは、前方向と後方向との計２枚の参照フレームを用いる双方向動き探索が実行される。重み係数ｗが（０.５＜ｗ＜１）の範囲で小さくなるほど、階層符号化入力画像生成部２０２によって生成されるベースレイヤには、二重画像の影響が強まる原画像における動きの高速性が大きいほど、階層符号化入力画像生成部２０２によって生成されるベースレイヤには、二重画像の影響が強まる。

エンハンスメントレイヤは、原画像の奇数番フレームそのものであるため、二重画像ではなく通常の一重画像である。参照先フレームは常にベースレイヤであることから、ベースレイヤの符号化対象フレームの符号化では、二重画像から他の二重画像が参照される。エンハンスメントレイヤの符号化対象フレームの符号化では、二重画像から一重画像が参照される。このため、ベースレイヤに対する二重画像の影響が大きくなるほど、二重画像から一重画像への参照という本来では不自然な参照が実行されるエンハンスメントレイヤにおいて、動き予測時の予測残差が増大する。ベースレイヤに対する二重画像の影響が大きくなるほど、エンハンスメントレイヤにおいて、符号量が増大し、又は客観画質が低下する傾向にある。二重画像同士の参照であるベースレイヤにおいては、エンハンスメントレイヤの場合と比較して動き予測時の予測残差が増大しにくく、符号量の増大や客観画質の低下は生じにくい。

次に、予測残差解析部４０１の出力に基づいて重み係数変更部４０４が重み係数を更新する動作を説明する。

図５は、予測残差解析部４０１の動作の例を示すフローチャートである。予測残差解析部４０１は、符号化開始後、フレーム番号を意味するＦを初期化する（ステップＳ５０１）。予測残差解析部４０１は、番号がＦのフレームの予測残差値の総和を意味するＤｐｉｃ（Ｆ）を初期化する（ステップＳ５０２）。予測残差解析部４０１は、予測残差信号生成部３０３が処理した符号化対象ＣＴＵについて、各ピクセルにおける予測残差信号を取得する（ステップＳ５０３）。

予測残差解析部４０１は、取得された予測残差信号をＣＴＵ内の全ピクセルについて合計し、合計結果としてＤｃｔｕを取得する。すなわち、Ｄｃｔｕは、符号化対象ＣＴＵの予測誤差値の総和である（ステップＳ５０４）。予測残差解析部４０１は、ＣＴＵの予測誤差値の総和Ｄｃｔｕを、フレーム番号Ｆのフレーム予測誤差値Ｄｐｉｃの値に加算する（ステップＳ５０５）。

予測残差解析部４０１は、予測誤差値の符号化対象ＣＴＵがピクチャ内の終端に位置するＣＴＵであるか否かを判定する（ステップＳ５０６）。符号化対象ＣＴＵがピクチャ内の終端のＣＴＵでない場合（ステップＳ５０６：ＮＯ）、予測残差解析部４０１は、ステップＳ５０３に処理を戻す。符号化対象ＣＴＵがピクチャ内の終端のＣＴＵである場合（ステップＳ５０６：ＹＥＳ）、予測残差解析部４０１は、現在のＤｐｉｃ（Ｆ）の値をフレーム番号Ｆのフレーム予測誤差値として記憶部に記録する。予測残差解析部４０１は、フレーム番号Ｆを１だけ増やす（ステップＳ５０７）。

予測残差解析部４０１は、現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ以上であるか否かを判定する（ステップＳ５０８）。Ｆ＿ｌｉｍは、例えば、イントラフレームが挿入されるフレーム間隔、Ｔｅｍｐｏｒａｌ ＩＤ（時間識別子）＝０が割り当てられたフレームが挿入される間隔である。時間識別子＝０が割り当てられたフレームが挿入される間隔は、例えば、図４では「１６」である。

現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ未満である場合（ステップＳ５０８：ＮＯ）、予測残差解析部４０１は、ステップＳ５０２に処理を戻す。現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ以上である場合（ステップＳ５０８：ＹＥＳ）、更新頻度Ｆ＿ｌｉｍ以上であることが重み係数の更新タイミングとなったことを意味するので、予測残差解析部４０１は、直近のＦ＿ｌｉｍフレームにおけるＤｐｉｃの平均値を算出する。予測残差解析部４０１は、Ｄｐｉｃの平均値を、ベースレイヤとエンハンスメントレイヤとで別々に算出する。ベースレイヤのＤｐｉｃの平均値は、Ｄｐｉｃ＿ｂ＿ａｖｅと表される。エンハンスメントレイヤのＤｐｉｃの平均値は、Ｄｐｉｃ＿ｅ＿ａｖｅと表される（ステップＳ５０９）。

予測残差解析部４０１は、Ｄｐｉｃ＿ｂ＿ａｖｅとＤｐｉｃ＿ｅ＿ａｖｅの差としてＤｐｉｃ＿ｄｉｆｆを算出する。Ｄｐｉｃ＿ｄｉｆｆは、直近のＦ＿ｌｉｍフレーム内における、ベースレイヤのフレーム予測誤差値の平均と、エンハンスメントレイヤのフレーム予測誤差値の平均の差である。Ｄｐｉｃ＿ｄｉｆｆが増加することは、エンハンスメントレイヤがベースレイヤに比べて予測精度が低下していることを意味する。このため、Ｄｐｉｃ＿ｄｉｆｆが一定値よりも大きい場合、ベースレイヤの二重画像の影響が大きく、二重画像から一重画像への参照であるエンハンスメントレイヤにおいて動き予測時の予測残差が増大していると予想される。このため、Ｄｐｉｃ＿ｄｉｆｆが一定値よりも大きい場合には、Ｄｐｉｃ＿ｄｉｆｆを減少させるような重み係数の調整が必要である。つまり、Ｄｐｉｃ＿ｄｉｆｆが大きくなるほど、Ｄｐｉｃ＿ｄｉｆｆを減少させるように重み係数を調整する必要がある。予測残差解析部４０１は、Ｄｐｉｃ＿ｄｉｆｆの値を重み係数変更部４０４に出力する（ステップＳ５１０）。予測残差解析部４０１は、ステップＳ５０１に処理を戻す。

図５に示されたフローチャートでは、予測残差解析部４０１は、ベースレイヤ及びエンハンスメントレイヤともに、フレーム予測誤差の平均値を算出する。予測残差解析部４０１は、特定の条件を満たしたフレームのみについて、フレーム予測誤差の平均値を算出してもよい。例えば、ベースレイヤのフレーム予測誤差値Ｄｐｉｃ＿ｂ＿ａｖｅを求める際、予測残差解析部４０１は、時間識別子＝３のフレームのみを対象として、フレーム予測誤差の平均値を算出する。同一時間識別子では予測誤差値が近い値になることが多いので、予測残差解析部４０１は、時間識別子＝３のフレームのみを対象とすることで、ぶれの少ないＤｐｉｃ＿ｂ＿ａｖｅの値が得られる。予測残差解析部４０１は、平均を算出する対象となるＦ＿ｌｉｍ枚のフレームのうち予測誤差値が外れ値となっているフレームを除外して、フレーム予測誤差の平均値を算出してもよい。予測残差解析部４０１は、Ｄｐｉｃ＿ｂ＿ａｖｅとＤｐｉｃ＿ｅ＿ａｖｅとを算出する代わりに、フレーム予測誤差の中央値を算出してもよい。

図６は、Ｄｐｉｃ＿ｄｉｆｆの分類の例を示す図である。重み係数変更部４０４は、取得されたＤｐｉｃ＿ｄｉｆｆの値を、所定の段階Ｐｄに分類する。図６では、Ｄｐｉｃ＿ｄｉｆｆは４段階に分類されている。Ｐｄは段階を表す。段階Ｐｄが大きいほど、二重像の影響は大きい。図６では、Ｄｐｉｃ＿ｄｉｆｆは、等間隔のｘを用いて分類されている。各閾値の間隔は、等間隔である必要はない。また、分類は４段階である必要もない。

Ｄｐｉｃ＿ｄｉｆｆの分類のための各閾値は、使用者によって定められる。各閾値は、時間方向階層符号化においてどのような参照構造を用いるか、ストロボ効果と二重画像とのバランスをどの程度とするか、元々のシャッタースピードがどの程度か等に応じて定められる。

図７は、重み係数ｗの変更の例を示す図である。図７には、段階を表すＰｄの大きさに従って、重み係数ｗの値を変更する手法の例が示されている。Ｐｄが４である場合、ベースレイヤの二重画像の影響が想定以上に生じることで、動き予測の精度低下と符号量の増大とが引き起こされている可能性が高い。このため、重み係数変更部４０４は、重み係数を現在値よりも０．２増加させることで、ベースレイヤが偶数番フレームに近づくようにする。Ｐｄが３である場合も同様に、重み係数変更部４０４は、ベースレイヤが偶数番フレームに近づくようにする。Ｐｄが３である場合、重み係数変更部４０４は、重み係数の増加変化分を、Ｐｄが４である場合よりも小さくする。

Ｐｄが２である場合、重み係数変更部４０４は、ストロボ効果と二重画像とのバランスが想定通りとなっているとみなし、重み係数を変更しない。Ｐｄが２である場合、ベースレイヤで二重画像よりもストロボ効果の影響が大きくなっている可能性が高いため、重み係数変更部４０４は、重み係数を現在の重み係数よりも減少させることで、ベースレイヤが平均画像に近づくようにする。これによって、重み係数変更部４０４は、ストロボ効果の影響を抑えることで主観画質を向上させることができる。

次に、動きベクトル解析部４０２による解析結果に基づいて重み係数変更部４０４が重み係数を更新する場合について説明する。

動きベクトル解析部４０２は、動き予測結果として算出された動きベクトルの平均値に基づいて、入力画像における動きの大きさを判定する。

図８は、動きベクトル解析部４０２の動作の例を示すフローチャートである。動きベクトル解析部４０２は、重み係数の更新タイミングであるＦ＿ｌｉｍフレームのうちの特定の１フレームについてのみ、動きベクトルの平均値を算出する。符号化の開始後、動きベクトル解析部４０２は、フレーム番号Ｆを０に初期化する（ステップＳ６０１）。動きベクトル解析部４０２は、動きベクトルノルムのピクチャ平均値を表すＭｐｉｃと、ＣＴＵの個数を表すＮｃｔｕとを、それぞれ０に初期化する（ステップＳ６０２）。動きベクトル解析部４０２は、インター予測処理部３０２が処理した符号化対象ＣＴＵについて、動きベクトル情報を取得する（ステップＳ６０３）。

動きベクトル解析部４０２は、平均値を算出する対象である特定のフレーム番号Ｆ＿ｔａｒとフレーム番号Ｆとが等しいか否かを判定する。例えば、１６フレームごとに重み係数変更部４０４が重み係数を更新し、更新する直前の１フレームについてのみ動きベクトル解析部４０２が動きベクトル平均値を算出する場合、Ｆ＿ｌｉｍは１６であり、Ｆ＿ｔａｒは１５である。動きベクトルの平均値を算出する対象である特定のフレーム番号Ｆ＿ｔａｒが二重画像同士の参照であるため、動きベクトル解析部４０２は、動き予測の精度が低下しにくいベースレイヤのフレーム番号を選択することが望ましい（ステップＳ６０４）。

フレーム番号Ｆ＿ｔａｒとフレーム番号Ｆとが異なる場合（ステップＳ６０４：ＮＯ）、動きベクトル解析部４０２は、ステップＳ６０７に処理を進める。フレーム番号Ｆ＿ｔａｒとフレーム番号Ｆとが等しい場合（ステップＳ６０４：ＹＥＳ）、動きベクトル解析部４０２は、動きベクトルのノルムを算出する。ＣＴＵごとに複数の動きベクトルが存在することがあり得るので、動きベクトル解析部４０２は、符号化対象ＣＴＵが持つ全ての動きベクトルのノルムを算出する。動きベクトル解析部４０２は、動きベクトルのノルムの平均値をＭｃｔｕとして算出する（ステップＳ６０５）。動きベクトル解析部４０２は、ＣＴＵごとの動きベクトルのノルムの平均値Ｍｃｔｕを、Ｍｐｉｃの値に加算する（ステップＳ６０６）。

動きベクトル解析部４０２は、予測誤差値の符号化対象ＣＴＵがピクチャ内の終端に位置するＣＴＵであるか否かを判定する（ステップＳ６０７）。符号化対象ＣＴＵがピクチャ内の終端のＣＴＵでない場合（ステップＳ６０７：ＮＯ）、動きベクトル解析部４０２は、ステップＳ６０３に処理を戻す。符号化対象ＣＴＵがピクチャ内の終端のＣＴＵである場合（ステップＳ６０７：ＹＥＳ）、動きベクトル解析部４０２は、フレーム番号Ｆを１だけ増やす（ステップＳ６０８）。

動きベクトル解析部４０２は、現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ以上であるか否かを判定する（ステップＳ６０９）。現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ未満である場合（ステップＳ６０９：ＮＯ）、動きベクトル解析部４０２は、ステップＳ６０３に処理を戻す。現在のフレーム番号Ｆが重み係数の更新頻度Ｆ＿ｌｉｍ以上である場合（ステップＳ６０９：ＹＥＳ）、更新頻度Ｆ＿ｌｉｍ以上であることが重み係数の更新タイミングとなったことを意味するので、動きベクトル解析部４０２は、動きベクトルが算出されたＣＴＵの数であるＮｃｔｕでＭｐｉｃの値を除算することによって、動きベクトルのノルムのフレーム平均値を算出する（ステップＳ６１０）。動きベクトル解析部４０２は、動きベクトルのノルムのフレーム平均値Ｍｐｉｃを、重み係数変更部４０４に出力する（ステップＳ６１１）。

重み係数変更部４０４は、予測残差解析部４０１の出力に基づいて重み係数を更新する場合と同様に、重み係数を更新する。重み係数変更部４０４は、取得されたＭｐｉｃの値に応じて、所定の段階ＰｍにＭｐｉｃを分類する。以下では、Ｍｐｉｃの値が大きいほど、段階Ｐｍの値は大きい。段階Ｐｍの値が大きい場合、画像内の動きが大きいことで、ベースレイヤにおいて二重画像の影響が想定以上に生じている可能性が高い。このため、重み係数変更部４０４は、重み係数を現在の値よりも大きくすることで、画質を向上させる。段階Ｐｍの値が小さい場合、ベースレイヤにおいて二重画像の影響よりもストロボ効果の影響が大きくなっている可能性が高い。このため、重み係数変更部４０４は、重み係数を現在の値よりも小さくする。

次に、画像特徴解析部４０３による解析結果に基づいて重み係数変更部４０４が重み係数を更新する場合について説明する。

画像特徴解析部４０３は、原画像の特徴量をフレームごとに抽出する。特徴量として抽出される値は、例えばフレーム間差分値である。画像特徴解析部４０３は、現在の符号化対象フレームと１フレーム前のフレームとの間の差分に基づいて、各ピクセルにおける画素値の差分絶対値を算出する。画像特徴解析部４０３は、全てのピクセルのおける差分絶対値を合計することによって、符号化対象フレームの特徴量を取得する。

画像特徴解析部４０３は、重み係数を更新するタイミングのフレームであるＦ＿ｌｉｍフレームごとに、フレームの特徴量Ｃｖａｌとして算出する。画像特徴解析部４０３は、フレームの特徴量Ｃｖａｌの値を、重み係数変更部４０４に出力する。フレーム間の差分絶対値を特徴量として用いる場合、フレームの特徴量Ｃｖａｌの値が大きいことは、画像内の動きの変化が激しいことを意味する。したがって、フレームの特徴量Ｃｖａｌの値が大きいほど、二重画像の影響は増加すると予想される。

重み係数変更部４０４は、予測残差解析部４０１又は動きベクトル解析部４０２の出力に基づいて重み係数を更新する場合と同様に、重み係数を更新する。重み係数変更部４０４は、取得されたＣｖａｌの値に応じて、所定の段階ＰｃにＣｖａｌを分類する。以下では、Ｃｖａｌの値が大きいほど、段階Ｐｃの値は大きい。段階Ｐｃの値が大きい場合、重み係数変更部４０４は、重み係数を現在の値よりも大きくすることで、二重像の影響を抑えて画質を向上させる。段階Ｐｃの値が小さい場合、重み係数変更部４０４は、重み係数を現在の値よりも小さくする。

次に、予測残差解析部４０１による解析結果と、動きベクトル解析部４０２による解析結果と、画像特徴解析部４０３による解析結果とに基づいて重み係数変更部４０４が重み係数を更新する場合について説明する。

予測残差解析部４０１は、Ｄｐｉｃ＿ｄｉｆｆを重み係数変更部４０４に出力する。動きベクトル解析部４０２は、Ｍｐｉｃを重み係数変更部４０４に出力する。動きベクトル解析部４０２は、Ｃｖａｌを重み係数変更部４０４に出力する。

重み係数変更部４０４は、取得されたＤｐｉｃ＿ｄｉｆｆの値を、所定の段階Ｐｄに分類する。段階Ｐｄの値が大きいほど、二重画像の影響が支配的である。重み係数変更部４０４は、取得されたＭｐｉｃの値に応じて、所定の段階ＰｍにＭｐｉｃを分類する。段階Ｐｍの値が大きいほど、二重画像の影響が支配的である。重み係数変更部４０４は、取得されたＣｖａｌの値に応じて、所定の段階ＰｃにＣｖａｌを分類する。段階Ｐｃの値が大きいほど、二重画像の影響が支配的である。

図９は、重み係数の変更の例を示す図である。重み係数変更部４０４は、段階Ｐｄの値と段階Ｐｍの値と段階Ｐｃの値との乗算結果に基づいて、重み係数の変化量を決定する。図９では、重み係数変更部４０４は、一例として、段階Ｐｃの値と段階Ｐｃの値と段階Ｐｃの値との乗算結果に基づいて、重み係数の変化量を決定する。重み係数変更部４０４は、段階Ｐｃの値と段階Ｐｃの値と段階Ｐｃの値との加算結果に基づいて、重み係数の変化量を決定してもよい。重み係数変更部４０４は、段階Ｐｃの値と段階Ｐｃの値と段階Ｐｃの値とのうちの中央値に基づいて、重み係数の変化量を決定してもよい。重み係数変更部４０４は、決定された重み係数の更新値を、階層符号化入力画像生成部２０２に出力する。

以上のように、実施形態の画像生成装置１００は、所定の時間間隔で並べられた画像群である１２０Ｐ等の時系列画像（第一の時系列原画像）に基づいて、所定の時間間隔よりも長い時間間隔で並べられた画像群である６０Ｐ等の時系列画像（第二の時系列出力画像）を生成する画像生成装置である。

画像生成装置１００は、分類部としての階層符号化重み係数決定部２０１と、第三の画像生成部としての階層符号化入力画像生成部２０２と、第二の画像生成部としての符号化部３００とを備える。分類部は、１２０Ｐ等の時系列画像を、ベース画像群とエンハンス画像群とに分類する。第三の画像生成部は、ベース画像群に含まれるベース画像とベース画像に時系列で隣接する画像であってエンハンス画像群に含まれるエンハンス画像とを合成する。第三の画像生成部は、６０Ｐ等の時系列画像において、出力されるベース画像（以下「出力ベース画像」という）に時系列で隣接する他の出力ベース画像を合成するために用いられた他のベース画像と当該他の出力ベース画像を合成するために用いられた他のエンハンス画像との関係に基づいて、ベース画像とエンハンス画像とを合成する。第三の画像生成部は、合成結果であるベース画像を、当該出力ベース画像として生成する。第二の画像生成部は、出力されるベース画像に基づいて、６０Ｐ等の時系列画像を生成する。

これによって、実施形態の画像生成装置１００は、主観画質及び客観画質を向上させることが可能である。

つまり、画像生成装置１００は、時系列の過去の原画像における、画素値の予測結果と動きベクトル統計量と画像特徴量等とを用いることで、符号化性能についても考慮して重み係数を適応的に変更する。これによって、画像生成装置１００は、画像符号化における時間方向階層符号化処理において、フレームの加重平均をより効率的に算出することが可能である。画像生成装置１００は、画像符号化における時間方向階層符号化処理において、より効率的にベースレイヤを生成することが可能である。

まとめ
・過去の予測誤差量の利用について
画像生成装置１００は、過去のベースレイヤフレームとエンハンスレイヤフレームとのそれぞれについて予測誤差の平均量を算出する。画像生成装置１００は、予測誤差が一定値以上の場合、画像を平均化しないように重み係数を変更する。画像生成装置１００は、予測誤差が一定値以下の場合、画像を平均化するように重み係数を変更する。これによって、画像生成装置１００は、符号化性能を保ったままバランスの良い６０Ｐ画像を生成することが可能である。

・過去の動き探索結果の動きベクトル情報の利用について
画像生成装置１００は、動きベクトルの統計処理を行い、大きな動きベクトルが一定割合以上存在する場合、画像を平均化しないように重み係数を変更する。画像生成装置１００は、大きな動きベクトルが一定割合未満である場合、画像を平均化するように重み係数を変更する。

・原画像の特徴量の利用について
画像生成装置１００は、ベースレイヤフレーム及びエンハンスレイヤフレームを生成する前の原画像の特徴量を抽出する。フレーム間差分が一定値以上である場合、画像生成装置１００は、画像を平均化しないように重み係数を変更する。フレーム間差分が一定値未満である場合、画像生成装置１００は、平均化する方向へ重み係数を変更する。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

時間階層符号化を実行する画像符号化装置及び画像符号化プログラムに適用可能である。

１００…画像生成装置、２００…画像生成部、２０１…階層符号化重み係数決定部、２０２…階層符号化入力画像生成部、３００…符号化部、３０１…イントラ予測処理部、３０２…インター予測処理部、３０３…予測残差信号生成部、３０４…変換・量子化処理部、３０５…エントロピー符号化部、３０６…逆量子化・逆変換処理部、３０７…復号信号生成部、３０８…ループフィルタ処理部、４０１…予測残差解析部、４０２…動きベクトル解析部、４０３…画像特徴解析部、４０４…重み係数変更部

Claims (5)

1. 所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置であって、
   前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類する分類部と、
   前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成する第三の画像生成部と、
   前記第三の画像に基づいて前記第二の時系列出力画像を生成する第二の画像生成部とを備え、
   前記分類部は、前記第一の画像と前記第二の画像との間で予測誤差又は動きベクトルの差が大きいほど、前記第一の画像の重み係数と前記第二の画像の重み係数との差を大きくなるように、前記第一の画像の重み係数と前記第二の画像の重み係数とを決定し、
   前記第三の画像生成部は、前記第二の時系列出力画像において、前記第一の画像の重み係数と前記第二の画像の重み係数とに基づいて、前記第一の画像と前記第二の画像とを合成する、
   画像生成装置。
2. 前記第一の画像の特徴量である第一特徴量を前記第一の画像から抽出し、前記第二の画像の特徴量である第二特徴量を前記第二の画像から抽出する特徴量抽出部をさらに備え、
   前記第三の画像生成部は、
   前記第一特徴量と前記第二特徴量、及び、前記第一の画像の重み係数と前記第二の画像の重み係数とに基づいて、前記第一の画像と前記第二の画像とを合成する、
   請求項１に記載の画像生成装置。
3. 所定の時間間隔で並べられた画像群である第一の時系列原画像に基づいて、前記所定の時間間隔よりも長い時間間隔で並べられた画像群である第二の時系列出力画像を生成する画像生成装置が実行する画像生成方法であって、
   前記第一の時系列原画像を第一の時系列画像と第二の時系列画像とに分類するステップと、
   前記第一の時系列画像に含まれる第一の画像と前記第一の画像に時系列で隣接する画像であって前記第二の時系列画像に含まれる第二の画像とを合成し、合成結果である第三の画像を生成するステップと、
   前記第三の画像に基づいて前記第二の時系列出力画像を生成するステップとを含み、
   前記分類するステップは、前記第一の画像と前記第二の画像との間で予測誤差又は動きベクトルの差が大きいほど、前記第一の画像の重み係数と前記第二の画像の重み係数との差を大きくなるように、前記第一の画像の重み係数と前記第二の画像の重み係数とを決定することを含み、
   前記第三の画像を生成するステップは、前記第二の時系列出力画像において、前記第一の画像の重み係数と前記第二の画像の重み係数とに基づいて、前記第一の画像と前記第二の画像とを合成することを含む、
   画像生成方法。
4. 前記第一の画像の特徴量である第一特徴量を前記第一の画像から抽出し、前記第二の画像の特徴量である第二特徴量を前記第二の画像から抽出するステップをさらに含み、
   前記第三の画像を生成するステップは、前記第一特徴量と前記第二特徴量、及び、前記第一の画像の重み係数と前記第二の画像の重み係数とに基づいて、前記第一の画像と前記第二の画像とを合成することを含む、
   請求項３に記載の画像生成方法。
5. コンピュータを請求項１又は請求項２に記載の画像生成装置として機能させるための画像生成プログラム。

Images