JP6480310B2 - 映像符号化方法、映像符号化装置及び映像符号化プログラム - Google Patents

Description

本発明は、映像符号化方法、映像符号化装置及び映像符号化プログラムに関する。

固定カメラ撮影は、映像における最も基本となるカメラワークである。監視カメラやテレビ会議、遠隔講義、スタジオ番組なども、固定されたカメラにより撮影されることが多い。かかる映像コンテンツは特に、録画が長時間に及ぶ・頻繁に用いられる・長期間の保存が求められる・帯域削減が求められる・解像度が高い等という特徴を持っている。

一般に映像を蓄積・伝送する際、映像圧縮符号化技術が用いられるが、固定カメラ映像については上記の理由により、符号化を効率化することによるメリットが大きいため、効率の改善が強く望まれる映像対象である。

映像符号化国際規格Ｈ．２６４／ＡＶＣ（Advanced Video Coding、例えば、非特許文献１参照）およびＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding、例えば、非特許文献２参照）は、テレビ会議などでの利用を想定した「長期間参照フレーム」という機構を有している。これは、テレビ会議における背景のように長時間変化しない画像等を長期間フレームメモリに格納し、符号化・復号時に参照をし続けられるようにし、以て符号化効率を向上させるための技術である。同時に、伝送路誤りに対しても頑健になるという特徴がある。

また、前述の２つの国際規格では、符号化フレームに「非表示指示」をつけることができる。このように指示されたフレームは、映像復号装置では表示または出力がなされない。これは、具体的には符号化ストリーム内のスライスヘッダと言われる部分において、シンタクス要素output_flag_present_flagを１、pic_output_flagを０とすることで実現される。

映像符号化国際規格ＭＰＥＧ−４（例えば、非特許文献３参照）は、必ずしも固定されていないカメラの動きに応じ事前に映像の各フレームを移動・変形したもの複数枚から合成した、一般に一フレームより縦横画素数の大きな背景画像(スプライトと呼ばれる)を符号化し、それを逐次切り出して符号化対象フレームに対応する背景予測画面を生成できる。背景に含まれない、手前の物体(前景、オブジェクトと呼ばれる)は、別途その形状と絵柄を符号化し、背景に重畳して表示できる。この規格に基づいた方式として非特許文献４や非特許文献５があり、オフライン処理を前提とし前景と背景を明に分離後に符号化する。

また、非特許文献６の方法は、前景と背景の分離を明には行わず、背景画像と入力フレームの差分信号を符号化する。背景と差分信号は別々に符号化され、二つのビットストリームが伝送される。

さらに、非特許文献７のＭｃＦＩＳ−Ｉ方式は、固定カメラ映像から背景画像を生成し、それを映像シーケンスに先立ち先頭のＩフレームとして符号化し、長時間参照フレームに保存し、もともとの映像シーケンスを、そのフレームを参照しながら符号化する方法である。この方式ではＨ．２６４／ＡＶＣ等に準拠した符号ストリームが生成される。Ｈ．２６５／ＨＥＶＣにも原理的に対応は可能である。また背景の部分的・全体的な揺れにも対応できる。さらにシーンチェンジを検出した際に背景をＩフレームとして伝送しなおすため、背景の変動にも対応できる。また、同じく非特許文献７のＭｃＦＩＳ−Ｄ方式は、背景画像を生成符号化することなく、復号された情報から動的に背景画像を生成し参照する方法である。

ISO/IEC 14496-10:2014 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding ISO/IEC 23008-2:2015 Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 2: High efficiency video coding ISO/IEC 14496-2:2004 Information technology -- Coding of audio-visual objects -- Part 2: Visual 岡田重樹, 秦泉寺久美, 渡辺裕, 小林直樹, スプライト符号化を利用したMPEG-4マルチモード符号化方式の研究, 2000年画像符号化シンポジウム, P-P2.5, Nov. 2000 A. Hakeem, K. Shafique, M.Shah, "An Object-based Video Coding Framework for Video Sequences Obtained From Static Cameras", Proc. ACM-MM, pp. 608-617, Nov. 2005 X. Zhang, L. Liang, Q. Huang, Y. Liu, T. Huang, W. Gao, "An Efficient Coding Scheme for Surveillance Videos Captured by Stationary Cameras", Proc. VCIP2010, vol. SPIE 7744, pp. 7442A-1-10, July 2010 M. Paul, W. Lin, C. Lau, B. Lee, "A Long-Term Reference Frame for Hierarchical B-Picture-Based Video Coding", IEEE Tr. CSVT, vol. 24, issue 10, pp. 1729-1742, Oct. 2014

ところで、非特許文献４、５の方法は、入力画と背景画との差分の閾値処理を施すことで前景を生成・分離し、背景と別扱いする手順および符号化する必要があったため、そのための処理が必要であった。また背景生成については、映像フレームの非線形な変形と合成といった、複雑な処理が必要で、実時間処理には向かないという問題がある。また、背景の全体の揺れは表現できるが部分の揺れは表現できない。背景に明るさや絵柄の変化が生じた場合も対応できず、画面間予測の効率が低下し、符号量の増大や画質の低下を招いていた。

また、前景と背景を分けて符号化するオブジェクト対応符号化方式（独自方式もしくはかかる符号化に対応した唯一の国際規格ＭＰＥＧ−４を用いる必要があり、一般映像に対してより符号化効率の高いＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣを用いることができなかった。

また、非特許文献６の方法は、Ｈ．２６４／ＡＶＣを用いるものであるがビットストリームが複数生成されるためその統合と分離の処理が余分に必要であった。また背景が微小に揺れる場合は補償されないため差分信号の増大を招いていた。

また、非特許文献７のＭｃＦＩＳ−Ｉ法は、前景を分離することなく、またＭＰＥＧ−４を用いず、Ｈ．２６４／ＡＶＣあるいはＨ．２６５／ＨＥＶＣ等の国際規格に準拠しうるものであるが、背景生成は多数のパラメータを必要とする複雑な方法で行っていた。また背景の変動が起きた場合に改めて背景画像をＩフレームとして挿入するため、背景変化にも対応は可能である。しかしながら、符号化済みフレームの情報を用いない画面内符号化（Ｉフレーム符号化）を行うため符号量が増大するという問題がある。

非特許文献７のＭｃＦＩＳ−Ｄ法は、復号側の手順がＨ．２６４／ＡＶＣあるいはＨ．２６５／ＨＥＶＣと異なるため、これらの復号器やビットストリームが国際規格に準拠したものではなく、既存の規格準拠復号装置では再生できないという問題があった。また符号化側と復号側でともに背景を動的に生成するため、特に復号側の負荷が従来方式より増大するという問題がある。

さらに、映像の画素信号値には雑音が、状況により強弱の差はあるが、撮像した時点で必ず重畳している。背景画像を作成する際、時間的な平均効果が施されるため、雑音をある程度除くことができる。背景画像からのフレーム間予測により、符号化対象フレームを予測する場合、符号化対象フレームに元々含まれる雑音は予測残差に現れることになるが、従来はこの予測残差をそのまま符号化しようとしていた。雑音の低減した背景画像を作ったにも関わらず、改めて雑音を符号化することは無駄であるが、従来はこの無駄により効率の低下が生じるという問題がある。

本発明は、このような事情に鑑みてなされたもので、国際規格に準拠しつつ、より少ない符号量でより高い品質の復号映像を得ることができる映像符号化方法、映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明の一態様は、入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、前記入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、前記背景画像をフレーム間動き補償符号化する符号化ステップと、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有する映像符号化方法である。

本発明の一態様は、前記映像符号化方法であって、前記入力映像を予測する際、前記背景画像のフレームを参照している領域の面積を取得する面積取得ステップと、前記面積のフレーム全体に占める割合が所定の閾値を下回った場合は前記入力映像から再度背景画像を生成する背景画像再生成ステップとをさらに有する。

本発明の一態様は、前記映像符号化方法であって、前記入力映像を符号化する際、前記背景画像のフレームを参照して生成された予測残差信号に対しては、所定のフィルタ処理を施すフィルタリングステップをさらに有する。

本発明の一態様は、入力映像の信号を符号化する映像符号化装置であって、前記入力映像の複数フレームから背景画像を生成する背景画像生成手段と、前記背景画像をフレーム間動き補償符号化する符号化手段と、前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加手段とを備える映像符号化装置である。

本発明の一態様は、コンピュータに、前記映像符号化方法を実行させるための画像符号化プログラムである。

本発明によれば、映像符号化において、背景部分の予測効率を高めることができるため、より少ない符号量でより高い品質の復号映像が得られるという効果が得られる。

一般的な映像符号化装置の構成を示すブロック図である。 図１に示す映像符号化装置の処理動作を示すフローチャートである。 背景画像生成装置の動作を示す説明図である。 背景画像を生成する処理の動作を示すフローチャートである。 本発明の第１実施形態における映像符号化装置の構成をブロック図である。 本発明の第２実施形態における映像符号化装置の構成をブロック図である。 図６に示す映像符号化装置の動作を示すフローチャートである。 本発明の第３実施形態における映像符号化装置の構成を示すブロック図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。始めに、Ｈ．２６５／ＨＥＶＣやＨ．２６４／ＡＶＣその他の一般的な映像符号化装置の構成を説明する。図１は、一般的な映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置は、符号化対象の映像信号１００を入力し、ブロックに分割してブロック毎に符号化し、符号化データ１０６として出力する。映像符号化装置は、減算部１０２、変換部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０７、逆変換部１０８、加算部１０９、歪除去フィルタ１１０、フレームメモリ１１１、画面内予測部１１２、画面間予測部１１３を備える。

次に、図２を参照して、図１に示す映像符号化装置の処理動作を説明する。図２は、図１に示す映像符号化装置の処理動作を示すフローチャートである。まず映像のブロックは、Ｈ．２６５／ＨＥＶＣではＰｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、予測単位と呼ばれる処理単位ごとに別途生成される予測信号１０１を減算部１０２において減算し、予測残差信号１１９とする（ステップＳ１）。この予測残差信号１１９を変換部１０３において変換（ＤＣＴ）し、量子化部１０４において量子化し（ステップＳ２）、エントロピー符号化部１０５においてエントロピー符号化して、符号化データ１０６として出力する（ステップＳ３）。

一方、量子化後の値は逆量子化部１０７において逆量子化し、逆変換部１０８において逆変換（逆ＤＣＴ）を施し（ステップＳ４）、加算部１０９において予測信号１０１と加算して復号画像を再現する（ステップＳ５）。続いて、その信号に対し、歪除去フィルタ１１０において歪除去を施し（ステップＳ６）、フレームメモリ１１１に記憶する（ステップＳ７）。

蓄えられる信号は、本映像符号化装置に対応する画像復号装置が求める復号映像信号と同じ信号となる。メモリ内の信号は、通常は所定の時刻が経過すると消去される。ただし長時間参照フレーム指示のついた信号は、明示的に別途指示があるまでフレームメモリに残り続ける。また参照されないという指示がついた信号は、フレームメモリに記憶されない。

このフレームメモリの内容を用いて画面内予測部１１２または画面間予測部１１３により、次に予測する単位の予測信号１０１を生成する（ステップＳ８）。動き補償予測を行わずフレーム内の予測単位がすべて画面内予測され符号化されるフレームをＩ（Ｉｎｔｒａ）フレームと呼ぶ。

次に、背景画像生成装置について説明する。図３は、背景画像生成装置の動作を示す説明図である。図３に示す背景画像生成装置は、別途与えられるフレーム使用枚数Ｎ（Ｎは自然数）に基づき、入力映像の時系列画素値に演算を施すことを繰り返し、背景画像を生成する。ここで、画像内の特定の位置に着目した時系列画素値がｐ１、ｐ２、・・・、ｐＮとなっているとし、演算結果をｑとする。画像内のすべての画素位置について同様の演算を施して、一枚の背景画像を生成する。

施す演算として、例えば平均値（ｐ１＋ｐ２＋・・・＋ｐＮ）／Ｎや、ｐ１〜ｐＮのメディアン値、モード値等を用いることができる。この演算を、各画素位置で時系列画素値を求めることなく、ヒストグラムにより等価に求める具体的な方法について以降説明する。

ここでは０から２５５の整数値をとる８ビット画像の場合での説明を行うが、８ビットを超えるまたは下回る映像信号については画素値の取りうる範囲が変化するだけの単純な変更で対応できるために説明を省略する。またカラー画像は「赤青緑」もしくは「輝度および色差２種」の３要素で画素値が表現されるが、各要素について以降の処理を独立に行う。

本実施形態では例えば、画面内各画素位置に画素値頻度ヒストグラムを持たせる。そのためにＷ（幅）×Ｈ（高さ）×２５６の要素を持つ３次元配列 Ａ［１．．Ｗ］［１．．Ｈ］［０．．２５５］を用意し、処理に先立ち配列の全要素を０で初期化する。ここでＷは画像の縦方向の画素数、Ｈは画像の縦方向の画素数である。

入力されるフレームを処理するたびに、全画素位置（ｘ，ｙ）について、配列Ａを次のように更新する。
Ａ［ｘ］［ｙ］［Ｉ（ｘ，ｙ）］：＝Ａ［ｘ］［ｙ］［Ｉ（ｘ，ｙ）］＋１
ここでＩ（ｘ，ｙ）は、対象フレームの画素位置（ｘ，ｙ）における画素値である。
これを入力されるフレームの数（Ｎ）だけ繰り返す。

このようにして配列Ａが得られたのち、以下のように背景画像を作ることができる。各画素位置（ｘ，ｙ）について、平均値は

として求められる。

メディアン値は

として求められる。

またモード値は

として求められる。

なおＭｃＦＩＳ−Ｉでは、各画素位置の特徴量を過去の履歴から適応的に場合分けして保持し、時間的に新しい画素ほど大きな重みをつけた平均値としており、本手法よりも演算量は大きい。

この処理の流れを図４を参照して説明する。図４は、背景画像を生成する処理の動作を示すフローチャートである。まず、背景画像生成装置は、ヒストグラムを初期化する（ステップＳ１１）。そして、背景画像生成装置は、処理対象フレームを１枚読み込む（ステップＳ１２）。背景画像生成装置は、読み込んだフレームの各画素位置（ｘ，ｙ）の画素値Ｉ（ｘ，ｙ）を得て（ステップＳ１３）、それを該位置ヒストグラムＡ［ｘ］［ｙ］［Ｉ（ｘ，ｙ）］に加算する（ステップＳ１４）。

次に、背景画像生成装置は、全画素位置を終えたか判定し（ステップＳ１５）、ＮｏであればステップＳ１３に戻る。一方、Ｙｅｓであれば、背景画像生成装置は、Ｎ枚全ての処理対象フレームを終えたかを判定し（ステップＳ１６）、ＮｏであればステップＳ１２に戻る。Ｙｅｓであれば、背景画像生成装置は、各画素位置（ｘ，ｙ）のヒストグラムＡ［ｘ］［ｙ］［０〜２５５］を取得し（ステップＳ１７）、前述の平均やメディアン等の演算を施す（ステップＳ１８）。

次に、背景画像生成装置は、その結果を背景画像メモリの該位置（ｘ，ｙ）に保存する（ステップＳ１９）。そして、背景画像生成装置は、全画素位置を終えたか判定し（ステップＳ２０）、ＮｏであればステップＳ１７に戻る。Ｙｅｓであれば、背景画像生成装置は、背景画像メモリの内容を背景画像信号として出力し終了する（ステップＳ２１）。

次に、図５を参照して、本発明の第１実施形態における映像符号化装置の構成を説明する。図５は、同実施形態における映像符号化装置の構成を示すブロック図である。映像信号３００は、図１に示す映像符号化装置と同様の符号化装置３０１および図３、４に動作を示した背景画像生成装置と同様の背景画像生成装置３０２に入力される。背景画像生成装置３０２は背景画像信号３０３を生成する。

最初のＮフレームが経過すると、符号化装置３０１に背景画像信号３０３が入力される。符号化装置３０１はその背景画像を、既に符号化されたＮ枚の復号画像の全てまたは一部を用いてフレーム間動き補償符号化し、同時にこの符号に長期間参照フレーム指示および非表示指示を付加する。このようにして符号化された映像信号は、符号化データ３０４として出力される。

＜第２実施形態＞
次に、図６を参照して、本発明の第２実施形態における映像符号化装置の構成を説明する。図６は、同実施形態における映像符号化装置の構成を示すブロック図である。この図において、図５に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図５に示す装置と異なる点は、背景更新制御装置３０６を備えている点である。背景更新制御装置３０６は、符号化装置３０１から背景参照予測単位割合３０５を入力し、背景更新信号３０７を背景画像生成装置３０２に対して出力する。

Ｈ．２６５／ＨＥＶＣ、Ｈ．２６４／ＡＶＣ等の高能率映像符号化においては、既に復号された映像フレームを複数枚蓄積しこれを参照する機構がある。本実施形態では複数枚の蓄積フレームのうち一枚を（入力映像には存在せず、第１実施形態により符号化装置３０１が生成し符号化・出力された）背景画像とするものであり、符号化時にフレーム間予測を行う際に「どの蓄積フレームを参照するか」という情報は符号化データ中に明に記述される。

この情報を確認することで、背景参照予測単位割合３０５を得ることができる。例えばあるフレームを１枚符号化した際、背景画像の入った蓄積フレームを参照した参照単位の個数がＮＢ個、背景以外の蓄積フレームを参照した個数がＮＮ個とすると、背景参照予測単位割合（％）は
ＮＢ／（ＮＮ＋ＮＢ）×１００［％］
となる。

予測単位の大きさは一般に可変であるので、ＮＢ、ＮＮの値を、「個数」の代わりに各予測単位内の「画素数の和」（面積）として、背景参照予測単位割合を同様に求めてもよい。

ここで、図７を参照して、図６に示す映像符号化装置の動作を説明する。図７は、図６に示す映像符号化装置の動作を示すフローチャートである。最初のＮフレームが経過した後も符号化装置３０１は映像信号３００の符号化を続けながら、各フレームの予測単位のうち背景画像を用いて動き補償予測される予測単位の占める割合を、背景参照予測単位割合３０５として出力する。同時に背景画像生成装置３０２は、背景画像信号を出力した後、改めて背景画像を生成し始める。

背景更新制御装置３０６は、背景参照予測単位割合３０５を入力し（ステップＳ２１）、これが一定の閾値を下回ったか（例えば１０％未満か否かなど）を判定し（ステップＳ２２）、下回っていれば背景更新信号３０７を出力し（ステップＳ２３）、背景画像生成装置３０２に伝える。背景画像生成装置３０２は、それまでに蓄積したヒストグラム情報から背景画像信号３０３を生成させ、前述した背景画像の符号化を開始させる。ここで符号化装置３０１では背景画像信号を、画面内予測符号化（Ｉフレーム符号化）するのではなく、直前までの映像が符号化蓄積された情報も予測に用いる画面間予測符号化を行う。このようにして符号化された映像信号は、符号化データ３０４として出力される。

このような構成により、背景が照明条件等で徐々に変化し、古い背景画像から背景が乖離した場合でも、直近の映像内容の変化を利用した効率的な追従と符号化が可能となる。

＜第３実施形態＞
次に、図８を参照して、本発明の第３実施形態における映像符号化装置の構成を説明する。図８は、同実施形態における映像符号化装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、フィルタ１２０、スイッチ１２２を備えている点である。スイッチ１２２は、画面間予測部１１３から出力するフィルタ制御情報１２１に基づいて切り替えを行う。

画面間予測部１１３は、背景フレームを参照して予測信号を生成した場合、予測残差信号１１９に対しフィルタを施すよう指示するフィルタ制御情報１２１を発生する。この場合、予測残差信号１１９はフィルタ１２０に伝わり、フィルタ処理が施される。フィルタとして、例えば［１ ２ １］／４を縦横に施すフィルタやガウシアンフィルタ、その他低域通過フィルタなどが考えられる。

前述の［１ ２ １］／４を縦横に施すフィルタの一形態を次に示す。予測残差信号は２次元状の離散信号であり、Ｒ［ｘ］［ｙ］（ｘ＝１．．Ｎ， ｙ＝１．．Ｍ）と表すこととする。まず横方向に［１ ２ １］フィルタを施した信号Ｒ’を以下のように求める。
Ｒ’［ｘ］［ｙ］＝Ｒ［ｘ−１］［ｙ］＋２×Ｒ［ｘ］［ｙ］＋Ｒ［ｘ＋１］［ｙ］（ｘ＝２．．Ｎ−１，ｙ＝１．．Ｍ）

次いで縦方向に［１ ２ １］フィルタを施し１６で除し四捨五入した信号Ｒ’’を次のように求める。これがフィルタ１２０の出力信号となる。
Ｒ’’［ｘ］［ｙ］＝（Ｒ’［ｘ］［ｙ−１］＋２×Ｒ’［ｘ］［ｙ］＋Ｒ’［ｘ］［ｙ＋１］＋８）／１６（ｘ＝１．．Ｎ， ｙ＝２．．Ｍ−１）

上記算法はできるだけ演算誤差が出ないようにしたものであるが、フィルタ手順はこれに限ったものでなく、Ｒ’を求めるときに４で除し、Ｒ’’を求めるときに再び４で除してもよい。また低域通過フィルタの強度を、目標符号化レート（発生する符号量）の高低により、弱めたり高めたりしてもよい。

このような構成により、雑音重畳の比較的少ない背景画像と、雑音重畳の比較的大きい映像信号の差分信号に含まれる雑音が低減され、符号量が低減される効果が得られる。

以上説明したように、固定カメラ映像符号化において、雑音重畳の少ない背景画像を別途生成・符号化しこれを後続の映像符号化に用いることで復号信号を原画像に近づけるようにした。この構成によれば、背景が変化した場合の追従をより少ない符号量で実現できる。またこの構成によれば、映像に含まれる雑音の影響を減らして符号化することができる。したがって、画像符号化において、より高い符号化効率が実現され、より少ない符号量でより高い品質の復号画像を得ることができる。

また、この構成によれば、固定カメラ映像符号化において、前景を抽出する処理を行うことなく背景画像を静的あるいは動的に生成し、符号化し、それを参照し、かつ映像信号に含まれる雑音信号の符号化を抑制することで、より少ない符号量でより高い品質の復号映像を、Ｈ．２６４／ＡＶＣあるいはＨ．２６５／ＨＥＶＣ等の国際規格に準拠しつつ、得ることができる。

前述した実施形態における映像符号化装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像・映像の非可逆符号化において、映像品質の改善および符号化ビットレートの削減を目的として、画像の符号化・復号を行うことが不可欠な用途に適用できる。

１００…映像信号、１０１…予測信号、１０２…減算部、１０３…変換部、１０４…量子化部、１０５…エントロピー符号化部、１０６…符号化データ、１０７…逆量子化部、１０８…逆変換部、１０９…加算部、１１０…歪除去フィルタ、１１１…フレームメモリ、１１２…画面内予測部、１１３…画面間予測部、１１９…予測残差信号、１２０…フィルタ、１２１…フィルタ制御情報、１２２…スイッチ、３００…映像信号、３０１…符号化装置、３０２…背景画像生成装置、３０３…背景画像信号、３０４…符号化データ、３０５…背景参照予測単位割合、３０６…背景更新制御装置、３０７…背景更新信号

Claims (6)

1. 入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、
   前記入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、
   前記背景画像をフレーム間動き補償符号化する符号化ステップと、
   前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップとを有し、
   前記背景画像生成ステップでは、前記入力映像に含まれる各フレームの同一の座標位置の画素値同士を関連付けることで、前記背景画像の前記同一の座標位置の画素値を決定する、
   映像符号化方法。
2. 入力映像の信号を符号化する映像符号化装置が行う映像符号化方法であって、
   前記入力映像の複数フレームから背景画像を生成する背景画像生成ステップと、
   前記背景画像をフレーム間動き補償符号化する符号化ステップと、
   前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加ステップと、
   前記入力映像を予測する際、前記背景画像のフレームを参照している領域の面積を取得する面積取得ステップと、
   前記面積のフレーム全体に占める割合が所定の閾値を下回った場合は前記入力映像から再度背景画像を生成する背景画像再生成ステップと
   を有する映像符号化方法。
3. 前記入力映像を符号化する際、前記背景画像のフレームを参照して生成された予測残差信号に対しては、所定のフィルタ処理を施すフィルタリングステップ
   をさらに有する請求項１に記載の映像符号化方法。
4. 前記関連付けは、各フレームの前記同一の座標位置の画素値の平均、メディアン又はモードのいずれかである、
   請求項１に記載の映像符号化方法。
5. 入力映像の信号を符号化する映像符号化装置であって、
   前記入力映像の複数フレームから背景画像を生成する背景画像生成手段と、
   前記背景画像をフレーム間動き補償符号化する符号化手段と、
   前記背景画像の符号に長期間参照フレーム指示及び非表示指示を付加する指示付加手段とを備え、
   前記背景画像生成手段は、前記入力映像に含まれる各フレームの同一の座標位置の画素値同士を関連付けることで、前記背景画像の前記同一の座標位置の画素値を決定する、
   映像符号化装置。
6. コンピュータに、請求項１から４のいずれか１項に記載の映像符号化方法を実行させるための画像符号化プログラム。

Images