JP4939890B2

JP4939890B2 - 映像符号化装置、映像復号化装置及び映像復号化方法

Info

Publication number: JP4939890B2
Application number: JP2006271167A
Authority: JP
Inventors: 圭里中西
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-10-02
Filing date: 2006-10-02
Publication date: 2012-05-30
Anticipated expiration: 2026-10-02
Also published as: US8320691B2; JP2008092301A; US20080080779A1

Description

本発明は、フレーム間符号化が行われる映像に対する映像符号化装置、映像復号化装置及び映像復号化方法に関する。

近年においては、映像を構成する時系列の画像に対して、MPEG等の動き補償を伴うフレーム間符号化を行う符号化手段を用いることにより、フレーム間符号化を行わない場合よりも動画像の画像データ量を低減する映像符号化装置や、符号化された映像或いは画像を復号化する映像復号化装置が広く用いられるようになった。
このような場合、従来例の映像符号化装置においては、符号化を行おうとする画像として特に煙、炎等のように時間的な変化が激しい、換言すると異なるフレーム間における対応する画像の動き量若しくはずれ量が大きい特定領域を含む画像が符号化対象となる場合には、フレーム間符号化に伴う予測誤差が大きくなりがちとなる。

予測誤差が大きくなる場合は、フレーム内で符号化を行うイントラピクチャ（I-pictureと略記）を多く入れるなどの対応を行う場合があるが、いずれにしても符号量が増大してしまうという問題がある。
なお、特許文献１には、煙の領域を検出する装置が開示されている。
しかしながら、この特許文献１における装置は、符号化或いは復号化を行う手段を開示していない。
特開２００４−３０２２５号公報

本発明は上述した点に鑑みてなされたもので、煙、炎等、動き量若しくはずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化を可能とする映像符号化装置、その符号化に対する復号化を可能とする映像復号化装置及び映像復号化方法を提供することを目的とする。

本発明の一実施形態に係る映像復号化装置は、フレーム内符号化及びフレーム間符号化によって生成した符号化画像であって、前記フレーム間符号化に際して、色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を前記特定画像以外の背景画像又は置換画像で置換して生成された符号化画像中のフレーム間符号化されたフレームについて、前記特定領域以外の画像部分をフレーム間復号化する復号化手段と、前記符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、を具備する。

本発明の映像復号化装置によれば、煙、炎等、動き量若しくはずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化を可能とする。
また、本発明の映像復号化装置及び映像復号化方法によれば、前記小さな符号量での符号化された映像に対する復号化を可能とする。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る映像符号化装置１の構成を示す。この映像符号化装置１は、入力される入力画像２に対して煙、炎等、動きが激しい或いは時間的な変化が大きい特定領域を検出する特定領域検出部３を有する。
つまり、煙、炎等、動きが激しい或いは時間的な変化が大きい特定領域の場合には、動き検出を伴うフレーム間符号化を行った場合にはその予測誤差或いはフレーム間符号化量が増大してしまう。
このため、本実施形態では、このような特性を示す特定領域を検出し、その特定領域に対してはそのままの状態では、フレーム間符号化を行わないようにする。
この特定領域検出部３により検出された特定領域を含むフレームの画像は、背景合成部４に入力される。

背景合成部４は、イントラピクチャ（I-pictureと略記）の以外の画像においては、特定領域部分の画像データを除去し、その特定領域部分を、より予測誤差が小さくできる背景画像等で置換した背景合成画像（或いは置換画像）を生成する。
なお、I-pictureは、フレーム内で符号化が行われる画像（フレーム）であり、これ以外の画像、つまりインターピクチャの画像は、フレーム間符号化が行われる。
背景合成部４から出力される背景合成画像は、所定画素数からなる（Macro Block等の）ブロックに分割されて画像符号化部５に入力され、この画像符号化部５は、入力される背景合成画像の各ブロックを符号化して出力画像２２を生成する。この画像符号化部５は、通常広く採用されている画像符号化装置に該当する。

なお、背景合成部４は、I-pictureのフレームの場合には、特定領域部分の情報を生成する（この情報は映像復号時に用いられる）が、入力画像のまま、分割されたブロックを、画像符号化部５に出力する。
そして、後述する第２の実施形態等で説明する映像復号化装置３１側においては、映像符号化装置１から出力される符号化された画像に対して、I-picture以外のフレームに対して、背景画像等で置換等された特定領域部分に対して、I-pictureにおける特定領域部分の情報を用いて煙、炎等の特性を示す特定領域を復号化する処理を行うことになる。上記特定領域検出部３は、入力画像２が、煙等が有する色相に合致する領域か否かを検出する色相検出回路６と、この色相検出回路６により検出された領域を含むフレームを格納する第１のフレームバッファ７と、フレーム間の画像から動き若しくは画像間のずれ量を検出する動き／ずれ量検出回路８とを有する。

色相検出回路６は、入力画像のカラー画像を、例えばR、G、B成分に分解する。そして、色相検出回路６は、分解したRGB画像成分が、煙等が持つ特徴の１つとなるその色相範囲内に入るか否かを閾値と比較することにより検出する。
色相検出回路６による閾値との比較により、煙等の特定画像部分が有する色相範囲内にある特定領域の可能性を持つ候補領域と判定された場合には、そのフレームが第１のフレームバッファ７に格納され、次のフレームにおいても、色相検出回路６は同様の検出を行う。
そして、隣接するフレーム間で色相検出により、閾値以内で一致すると判定された両候補領域に対して、動き／ずれ量検出回路８は、例えば対応する両候補領域の中心位置間のずれ量による動き量や、対応する両画素値の差の２乗和（２乗の積算値）等の算出により、両候補領域間の動き量若しくはずれ量が閾値を超えるか否かを検出（判定）する。

動き／ずれ量検出回路８は、両候補領域間の動き量若しくはずれ量が閾値を超えるか否かを検出（判定）することにより、煙、炎等の特定画像が持つ主要な特徴としてのフレーム間符号化の際の予測誤差が大きくなって（従って、符号化量が増大しまう）特定領域であるか否かの判定を行う。
なお、動き／ずれ量検出回路８による上記２乗和等の算出の代わりに両候補領域間の動きベクトルの値の検出を行い、その値が閾値を超えるか否かにより特定画像に相当する特定領域であるか否かを判定しても良い。
そして、そのような判定が行われた特定領域部分に対して、次の背景合成部４は、その特定領域以外の例えば背景画像等で置換する処理を行う。
なお、特定領域検出部３は、色相検出と動き／ずれ量検出の他に、特定領域か否かの検出精度を上げるため、さらに濃度を調べる方法もある。具体的には、あるブロックに対して輝度値・色差の分散行列を求め、閾値に収まる成分の数を数えることで、煙等の特定画像部分が持つ特定領域であるか否かを判定することができる。

背景合成部４は、特定領域検出部３を経た画像における特定領域を除去する特定領域除去＆背景生成回路９と、この特定領域除去＆背景生成回路９により特定領域が除去された残りのフレーム画像部分を格納する第２のフレームバッファ１０とを有する。
また、特定領域除去＆背景生成回路９は、第２のフレームバッファ１０から特定領域が除去された残りのフレーム画像部分を読み出し、その特定領域部分に背景画像等で置換して背景合成画像を生成して、その背景合成画像を複数のブロックに分割して、各ブロックを画像符号化部５に出力する。
なお、上述したように背景合成部４は、フレーム間符号化を行わない、つまり動きベクトルを検出しないI-pictureの場合には、入力画像２における特定領域部分を背景画像等で置換する処理を行うことなく、複数のブロックに分割して、各ブロックを、画像符号化部５に出力する。

（I-picture以外に対して）この背景合成部４における特定領域除去＆背景生成回路９は、予測誤差が大きくなってしまう特定領域を、少なくともその特定領域以外となる背景画像等の所定画像で埋める（置換する）までの処理手順の概略は、
（ａ）I-pictureの前後の数フレームの画像から予測誤差が大きくなってしまう煙等の特定領域に対して、その特定領域でなく背景が映っているフレームを探す。
（ｂ）そして、注目している特定領域を含むブロックと同じ位置のブロックを背景画像のブロックとして採用する。
（ｃ）また、あるフレームの前後で背景が映っているものがあれば、動き補償した上で背景画像のブロックとして採用しても良い。
この他、特定領域を含むブロックを、上述した背景画像ではなく、特定領域の平均の色相、例えば特定領域が煙の場合には、煙の平均的な色相値となる白色のブロックで埋める等の処理を適用しても良い。つまり、特定領域を背景画像や置換画像等の所定画像で置換しても良い。

煙等、予測誤差が大きくなってしまう特定領域を背景画像で置換する方法についてさらに補足説明する。図２はI-pictureの次の（I-picture以外の）フレーム（１）とさらに次のフレーム（２）とを示す。また、ここでは、特定領域として煙の場合で示している。図２の上側に示すようにI-pictureの前後（ここでは後）における注目しているフレーム（１）に特定領域として煙のブロックＡが存在する場合、他のフレーム（２）の同位置のブロックＡ′が、そのフレーム（２）において煙領域でなければ背景画像として採用する。
一方、ブロックＢのように他のフレーム（２）におけるブロックＢ′においても煙で完全に覆われている場合には、上述したように前後の数フレームから煙でなく、背景が映っているフレームを探し、そのフレームにおける背景のブロックが動きベクトルを持っている時は動き補償を行う。

また、煙のブロックＡのように大部分が煙で覆われていて、残りの数画素の小さい部分が背景として見えている場合は、背景が映っている画素で最も距離が近い画素で背景を補間する。また、煙が映っている一連のフレームにおいて、時間変化に関係なく煙しかない全画素真っ白なブロックについては背景画像を探さずに周囲のブロックの画素値の平均を画素値として持つ単調なブロックを背景画像に設定する。
この場合、隣接する２つのI-pictureの間となる数フレーム程度だけ考えれば十分である。以上により、I-pictureの以外のフレームについては煙等が一切現れない背景合成画像が生成され、このブロックが画像符号化部５に入力される。
そして、画像符号化部５は、そのようなフレームのブロックに対して、本来の煙等の特定画像部分に対する動きベクトル検出を行うことなく、つまり特定領域部分が背景画像等で置換された背景合成画像に対して、通常のフレーム間符号化による画像符号化を行うことになる。

このため、本来の煙等を含む画像のままでフレーム間符号化を行った場合における予測誤差量が増大し、そのフレーム間符号化量が増大してしまうことを回避できるようになる。この画像符号化部５は、入力される背景合成画像のブロックに対して減算を行う減算器１１と、この減算器１１の出力信号を離散コサイン変換（ＤＣＴと略記）するＤＣＴ回路１２と、このＤＣＴ回路１２の出力信号を量子化して出力する量子化回路１３とを有する。
なお、I-pictureのフレームの場合には、背景合成画像の代わりにI-pictureのブロックが減算器１１をスルーして、ＤＣＴ回路１２に入力される。
この画像符号化部５は、入力されるブロックについてのＤＣＴ係数あるいは後述する動きベクトルを可変長符号化したパケットに区切って、ビットストリーム信号の出力画像を出力する可変長符号化回路１４を有する。

この画像符号化部５は、上記量子化回路１３から出力されたＤＣＴ係数を逆量子化する逆量子化回路（図１ではＩＱと略記）１５と、逆量子化されたＤＣＴ係数をさらに逆離散コサイン変換する逆ＤＣＴ回路（図１ではＩＤＣＴと略記）１６とを有する。
また、この画像符号化部５は、逆離散コサイン変換された画像を加算する加算器１７と、この加算器１７の出力を格納するフレームメモリ１８と、このフレームメモリ１８に格納されていた画像が入力され、動き補償された予測画像を作成する動き補償回路（或いは予測画像作成回路）１９とを有する。なお、フレームメモリ１８には、背景合成画像も入力される。
動き補償回路１９により作成された予測画像は、減算器１１と加算器１７とに出力される。

また、画像符号化部５は、入力される背景合成画像（のブロック）と、フレームメモリ１８に格納された画像を参照画像として動き検出を行う動き検出回路２０と、この動き検出回路２０から出力されるブロックの動きベクトルが入力されることにより、出力されるブロックへの動きを示す信号である動きベクトルを予測する動きベクトル予測回路２１とを有する。
このような構成の画像符号化部５は、この画像符号化部５に入力される画像がI-pictureの場合には、イントラ符号化（フレーム内符号化）を行うのみであり、イントラ符号化されて可変長符号化回路１４から、イントラ符号化された出力画像２２が出力される。
これに対して、I-picture以外の場合には、フレームメモリ１８に格納された画像を参照画像として、次に入力される背景合成画像のブロックに対して、参照画像のブロックとブロックマッチングを行う。そして、画像符号化部５は、参照画像のブロックからの動きベクトルを検出すると共に、動き補償された予測画像を作成して、入力される背景合成画像から予測画像を減算した予測誤差の画像データを符号化する。

つまり、I-picture以外の（インター）フレームの場合には、画像符号化部５は、フレーム間符号化を行う。この場合、上述したように煙等のように予測誤差が大きくなる特定領域は、周囲の背景画像等で置換されているので、予測誤差が大きくなることなく、フレーム間符号化を行うことができる。
従って、この映像符号化装置１を用いて動画像（映像）の符号化を行うことにより、その動画像におけるI-picture以外の各フレームは、煙等の各特定領域が予測誤差を小さくできる背景画像等の所定画像で置換されているので、小さなデータ量でフレーム間符号化を行うことができる。
本実施形態における映像符号化装置１による概略の動作は、図３のようになる。入力画像２は、映像符号化装置１に入力され、ステップＳ１において特定領域検出部３は、入力画像２から特定領域の検出を行う。

特定領域が検出された場合には、次のステップＳ２において例えば特定領域検出部３は、入力画像２がI-pictureか否かの判定を行う（換言すると、入力画像２をI-pictureとして符号化するか否かの判定を行う）。そしてI-pictureの場合には、次のステップＳ３において、そのI-pictureが画像符号化部５に送られ、この画像符号化部５は、I-picturとしてイントラ符号化を行う。
一方、ステップＳ１において特定領域が検出されない場合にも、ステップＳ４において入力画像２がI-pictureか否かの判定が行われる。そして、入力画像２がI-pictureの場合には、ステップＳ３に移り、I-pictureに対してイントラ符号化が行われる。
また、ステップＳ２において入力画像２がI-pictureでないと判定された場合には、ステップＳ５に進み、このステップＳ５において特定領域除去＆背景合成部４は、特定領域部分を背景画像等で置換して背景合成画像を生成する。そして、次のステップＳ６において画像符号化部５は、I-picture以外の背景合成画像に対してフレーム間符号化を行う。

また、ステップＳ４において入力画像２がI-pictureでないと判定された場合にも、このステップＳ６においてフレーム間符号化が行われる。
このように動作する本実施形態は、入力画像２が煙等、動き量又はずれ量が大きく、予測誤差が大きくなる特定領域が有るか否かを特定領域検出部３により検出し、そのような特定領域が検出されない場合には通常の符号化処理を行う。
逆に、特定領域が検出された場合にはI-picture以外のフレームに対して、特定領域部分を背景画像等で置換して、フレーム間符号化を行う。
従って、本実施形態によれば、煙等、動き量又はずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化が可能となる。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。図４は、本発明の第２の実施形態に係る映像復号化装置３１の構成を示す。
この映像復号化装置３１は、第１の実施形態に係る映像符号化装置１により符号化された出力画像２２のストリーム信号が入力されることにより、復号化の処理を行う。その際、最初のI-pictureのフレームにおける煙等の特定画像部分を利用して、I-picture以外のフレームにおける特定領域部分を復号（再生）する。
このため、この映像復号化装置３１は、通常の映像復号化を行う第１の映像復号化部３２に、特定領域部分に対する映像復号化を行う第２の映像復号化部３３を備えている。ストリーム信号は、第１の映像復号化部３２を構成する可変長復号化回路３４に入力される。

この可変長復号化回路３４には、最初にI-pictureのフレームに対する符号化されたストリーム信号が入力され、可変長復号化回路３４は、そのストリーム信号における可変長符号を、固定長の符号に戻し、逆量子化回路３５に出力する。
また、I-pictureに続くI-picture以外のフレームの場合には、可変長復号化回路３４は、同様に可変長符号を、固定長の符号に戻し、逆量子化回路３５に出力すると共に、ストリーム信号における符号化された動きベクトルのデータ部分を抽出して動きベクトル再構成回路３６に出力する。
動きベクトル再構成回路３６は、入力された符号化された動きベクトルから動き補償処理で参照する動きベクトルの位置情報を算出する。そして、この動きベクトル再構成回路３６は、算出した動きベクトルの位置情報を動き補償回路３７に送る。動き補償回路３７は、動きベクトルの位置情報を用いて、動き補償した予測画像を生成する。

逆量子化回路３５は、固定長符号により予測残差の再生ＤＣＴ係数値を生成し、逆ＤＣＴ回路３８に出力する。この逆ＤＣＴ回路３８は、例えば８×８個の係数を再生予測残差画像に変換し、加算器３９に出力する。
加算器３９は、再生予測残差画像に、動き補償回路３７から出力される予測画像が第２の映像復号化部３３を経て入力され、この予測画像を加算して、再生画像を生成する。なお、I-pictureの場合には、動き補償することなく、再生画像が生成される。
第２の映像復号化部３３は、特定領域を除いた画像部分の場合には、動き補償回路３７から出力される予測画像を加算器３９に出力する。一方、特定領域部分の場合にはこの第２の映像復号化部３３で生成した予測特定画像を加算器３９に出力し、特定領域部分にこの予測特定画像を埋め込み、特定領域部分が予測特定画像で置換された再生画像が生成されるようにする。

この再生画像は、出力端子から出力画像として出力されると共に、フレームメモリ４０に送られ、動き補償する際の参照画像としてフレームメモリ４０に格納される。
このフレームメモリ４０に格納された画像は、動き補償回路３７に出力され、この動き補償回路３７は、フレームメモリ４０に格納されている画像を参照画像として動きベクトル再構成回路３６から得られる動きベクトルの位置情報に基づいて動き補償し、予測画像を生成する。得られた予測画像は加算器３９に出力され、次のフレームの再生画像の生成に利用される。
また、本実施形態においては、第２の映像復号化部３３は、フレームメモリ４０に格納された最初のI-pictureにおける煙等の特定画像部分を用いて、I-picture以外のフレームにおける特定領域部分に対応する予測画像（以下、予測特定画像という）を生成し、この予測特定画像で特定領域部分を置換して、再生画像を生成する処理を行う。

そのため、この第２の映像復号化部３３は、最初のI-pictureの画像を用いて次のI-pictureが現れるまで、本来の画像となる煙等に相当する予測特定画像を生成する予測特定画像生成回路４１と、この予測特定画像生成回路４１により生成された予測特定画像をI-picture以外のフレームにおける特定領域に埋め込む等の処理により特定領域の特定画像として復号する特定画像合成回路４２とを有する。
この予測特定画像生成回路４１は、本実施形態においては予測特定画像としてシミュレーションによるシミュレーション画像を生成するシミュレーション画像生成回路４１ａを備えている。
シミュレーション画像による予測特定画像を生成するため、以下に示すようなNavier-Stokes方程式を利用する。I-picture以外のフレームにおける特定領域における元画像に相当する予測特定画像を生成するまでの手順の概略は以下のようになる。

（ａ）符号化された各フレームを復号化する。
（ｂ）最初のI-pictureのフレームにおける煙等の特定画像の各位置に初期条件として速度ベクトルと圧力（及び必要に応じて外力）を与える。
（ｃ）その初期条件の下で、離散化した2次元Navier-Stokes方程式を解いて次のフレームでの位置を予測し、予測特定画像を特定領域に埋め込み、合成して次のフレームを生成する。
（ｄ）その予測特定画像を次のフレームを予測する画像として採用し、さらに速度ベクトルと圧力を初期条件として、（ｃ）のように更に次のフレームを生成する。
（ｅ）上記（ｃ）（ｄ）の操作を次のI-pictureが現れるまで繰り返し行い、I-pictureの間の各フレームにおける特定領域に対する予測特定画像を生成する。

なお、（ｃ）において、予測特定画像を特定領域に埋め込み、特定画像を生成する処理を、最後に纏めて行うようにしても良い。以下では、この処理を最後に行う方法で説明する。
これらの手順に関して以下、説明する。
第１の実施形態で述べたとおり、I-picture以外のフレームにおいては煙等の本来の特定画像部分に相当する特定領域は、別の所定画像で置換されており、従って元画像の動きの情報は、符号化された後の情報には含まれていない。
そこで、除去されている煙等、元画像部分の動きを、シミュレーションにより生成されるシミュレーション画像により予測特定画像とする。
本実施形態では、元画像部分が例えば煙とし、煙の場合には、この煙を流体と見なしてその流体の振る舞いを記述する2次元Navier-Stokes方程式［数式１］を採用する。

また、2次元Navier-Stokes方程式を、ｘ、ｙ成分［数式２］に分け、それを離散化し、差分方程式［数式３］にすることによって近似的に解き、煙の動きを算出する。
［数式１］
(∂/∂ｔ＋(ｗ・∇))ｗ＝ν・∇^２ｗ−∇ｐ−ｆ(ｔ，ｘ，ｙ) （１−１）
∇ｗ＝０（１−２）
但し、∇^２＝∂^２/∂ｘ^２＋∂^２/∂ｙ^２、ｗ＝ｗ（ｕ，ｖ）
［数式２］
(∂/∂ｔ＋ｕ∂/∂ｘ＋ｖ∂/∂ｙ)ｕ＝ν・∇^２ｕ−∂ｐ/∂ｘ−ｆ_ｘ(ｔ，ｘ) （２−１）
(∂/∂ｔ＋ｕ∂/∂ｘ＋ｖ∂/∂ｙ)ｖ＝ν・∇^２ｖ−∂ｐ/∂ｙ−ｆ_ｙ(ｔ，ｙ) （２−２））
［数式３］
圧力項：
ｕ＝ｐ/４+ｄＵ_ｘ ^２+ｄＵ_ｙ ^２+２・ｄＵ_ｙ/ｄＵ_ｘ-(ｄＵ_ｘ+ｄＶ_ｙ)+ｆ(ｔ,ｘ,ｙ)/(Δｘ・Δy) （３−１）
ｘ成分：
ｕ_ｔ＋１＝ｕ_ｔ+｛ν・(ｒ（ｕ）−４ｕ)-ｄＰ_ｘ-ｕ・ｄＵ_ｘ-ｖ・ｄＵ_ｙ+ｆ_ｘ(ｔ,ｘ)｝・Δｔ
（３−２）
ｙ成分：
ｖ_ｔ＋１＝ｖ_ｔ+｛ν・(ｒ（ｖ）−４ｖ)-ｄＰ_ｙ-ｕ・ｄＶ_ｘ-ｖ・ｄＵ_ｙ+ｆ_ｙ(ｔ,ｙ)｝・Δｔ
（３−３）
但し、ｒ(ｕ)＝ｕ(ｘ+Δｘ，ｙ)+ｕ(ｘ-Δｘ，ｙ)+ ｕ(ｘ，ｙ+Δｙ)+ｕ(ｘ，ｙ-Δｙ)、
ｄＵ_ｘ＝(ｕ_ｉ＋１-ｕ_ｉ−１)/(２Δｘ)，ｄＵ_ｙ＝(ｕ_ｊ＋１-ｕ_ｊ−１)/(２Δｙ)，Δｘ＝Δｙ＝１，
Δｔはフレーム間隔の時間などである。
なお、数式１における（１−１）が2次元Navier-Stokes方程式であり、（１−２）により、煙の湧き出しが無い条件を課している。また、数式１におけるｗは速度ベクトル、νは粘性係数、ｐは圧力、ｆは外力を示す。

また、（１−１）は、数式２の様にｘ，ｙ成分に分けられる。
一般に、Navier-Stokes方程式は非線形偏微分方程式であり、一般解を具体的に求めることは困難である。そこでNavier-Stokes方程式を時間方向に離散化し、差分方程式にした上で積分することで解く。
そこで、数式２を差分方程式に直したものが数式３における（３−２）及び（３−３）となる。なお、（３−１）は、速度ベクトルのｘ成分を表す（３−２）及びｙ成分を表す（３−３）中における圧力項を表している。
このように差分化したNavier-Stokes方程式を解く際に重要になるのが初期条件の選び方である。初期条件を誤って選択すると、次々に求められる煙の画像が、次のI-pictureとの間で大きな乖離が生じかねない。そこで初期条件の設定は、例えば図５に示すように行う。

なお、図５は、上側が映像復号化装置３１に順次入力される（実際には符号化された）フレームを示し、その下側にシミュレーションで生成される煙の予測特定画像を示す。図５の下側では、予測特定画像の部分を生成するが、上側のフレーム（ｉ）と対応付けして示している。
図５の最も左に示すフレームは、最初のI-pictureのフレームを示し、このフレームにおける煙の画像部分に初期条件を設定する。
初期条件としては、煙を形成する各粒子の速度ベクトル、圧力、外力ベクトル、粘性係数の4つであるが、粘性係数に関しては、全フレームで一定とする。まず最初のI-pictureのフレーム（１）において、煙の各粒子に適当な初期条件を与える。図５では速度ベクトルｕ_１ｘ，ｖ_１ｙと圧力ｐの初期値ｕ_１ｘ ^０，ｖ_１ｙ ^０、ｐ^０を設定した様子を示している。

そして次のフレーム（２）に対応する予測特定画像、次のフレーム（３）に対応する予測特定画像、という具合にして時系列的に次のI-pictureのフレーム（ｎ）に相当するフレーム（ｎ）における煙の予測特定画像を生成していく。
なお、図５ではフレーム（１）での速度ベクトルｕ_１ｘ，ｖ_１ｙが、フレーム（２）に対応する予測特定画像、I-pictureのフレーム（ｎ）に対応するフレーム（ｎ）における予測特定画像ではそれぞれｕ_２ｘ，ｖ_２ｙ、ｕ_ｎｘ，ｖ_ｎｙのように変化する。
図５の最も右における下側に示すフレーム（ｎ）まで、煙の予測特定画像（或いはシミュレーション画像）を生成したところで、その上に示す実際のI-pictureのフレーム（ｎ）における実際の煙の画像との比較を行う。
比較を行う具体的な方策としては、例えば煙の画像領域における対応する画素値の差の絶対値の2乗和を取るなどして比較を行う。

ここで画素値とは輝度値及び色差値であり、輝度値のみ比較してもよいし、輝度値と色差値の両方を比較してもよい。
このようにして、初期条件を変更して複数組の煙の予測特定画像を生成する。そして、次のI-pictureの煙の画像領域との画素値の差の絶対値の2乗和が最も小さくなるときの初期条件を元のI-pictureの最適な初期条件として選ぶ。
さらに煙の各粒子の初期条件を摂動（小さく変動）させ、次のI-pictureの煙の画像領域との比較を行うことで各粒子の速度ベクトルと圧力を最適なものに選び、前の数フレームを（差分方程式を逆に解く、即ち微分することで）適宜修正しても良い。
但し、各フレームにおける煙の各粒子に働く外力に関しては、初期条件からNavier-Stokes方程式を解くことでは得られないので、各フレームの各粒子毎に外力を摂動させて、最適なものを選ぶようにしても良い。

具体的には、「I-pictureの煙の粒子の速度ベクトル、圧力の初期条件を一つ固定して、次のI-pictureまでのフレームの煙粒子の外力ベクトルを摂動させて、次のI-pictureとの差が最適になるように各フレームの各粒子の外力ベクトルを決定する」を、他の速度ベクトル等の初期条件で最適なものを探すごとに実行し、次のI-pictureとの差が最適になるようにする。このようにして自然な煙の流れを実現することができる。
このようにして、I-pictureとの差が最適になる煙の予測特定画像を生成できた場合には、時系列的に生成された煙の各予測特定画像を、各予測特定画像と最も近い関係になるフレームにおける所定領域に填め込むことにより、特定領域が特定画像で復号された再生画像を生成する。
図６は、本実施形態に係る映像復号化装置３１による映像復号化方法の動作内容の概略を示す。

最初のステップＳ１１において可変長復号化回路３４は、入力されるストリ−ム信号（符号化画像）がI-pictureか否かの判定を行う。そして、I-pictureの場合にはステップＳ１２に示すように第１の映像復号化装置３２によりイントラ復号化（フレーム内復号化）が行われる。
また、この復号化されたI-pictureは、フレームメモリ４０に格納され、ステップＳ１３に示すように第２の映像復号化部３３は、その特定領域の画像を用いて、I-picture以外のフレームの特定領域の元画像に対応する予測特定画像（シミュレーション画像）を生成する。
一方、I-pictureでない場合には、ステップＳ１４に示すように、第１の映像復号化部３２は、フレーム間復号化により、特定領域以外の画像を復号化する。そして、ステップＳ１５において、ステップＳ１３とステップＳ１４でそれぞれ生成された画像が合成されて再生画像が生成される。

図６の映像復号化する処理方法においては、I-picture以外のフレームの特定領域は、その元画像よりも小さい符号量で符号化されているので、小さい符号量で符号化された映像の復号化ができる効果を有する。

次に図７により図５で説明した予測特定画像（シミュレーション画像）を生成する動作を説明する。
図７は、第２の映像復号化部３３により、図５で説明した処理を行う動作内容を示すフローチャートである。図７では図５の場合と同様に特定画像が煙の場合で説明する。最初のステップＳ２１において予測特定画像生成回路４１は、最初のI-pictureの煙の画像領域における各点に適当な初期条件を設定する。
そして、次のステップＳ２２においてこの予測特定画像生成回路４１におけるシミュレーション画像生成回路４１ａを構成する例えばＣＰＵは、次のI-pictureに至るまでの時間、上述したシミュレーションを行う。
次のステップＳ２３において、ＣＰＵは、シミュレーションにより得られた次のI-pictureの煙に対応する煙の予測特定画像としてのシミュレーション画像とを比較する。

次のステップＳ２４においてＣＰＵは、この比較結果が閾値以下かの判定を行う。そして、閾値以下にならない場合には、ステップＳ２５において設定された初期条件を変更して、ステップＳ２２に戻る。
このようにして、ステップＳ２４の判定処理において、比較結果が閾値以下になった場合には、ステップＳ２６に進む。
ステップＳ２６において特定画像合成回路４２は、両I-picture間のフレームにおける特定領域をシミュレーション結果で置換する。そして、この処理を終了する。
このようにして、本実施形態は、I-picture以外の（インター）フレームにおいても煙等の元画像を、符号量が小さいストリーム信号としての画像符号化信号から生成することができる。
このように本実施形態によれば、符号量が小さくされた（符号化された）映像から復号化を行うことができる。
また、本実施形態によれば、映像符号化装置側から伝送する符号化された映像情報の伝送量を低減できる効果を有する。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。第２の実施形態は、符号化された画像に対して映像復号時に、フレーム間符号化が行われるフレームにおける特定領域部分に対して、I-pictureの特定画像からシミュレーションで生成したシミュレーション画像で置換等する処理を適用した。
本実施形態は、符号化時にシミュレーションで生成したシミュレーション画像を生成する。また、この場合、シミュレーション画像を、符号化時における煙等の実際の特定画像（元画像）と比較し、その比較結果に応じてシミュレーション画像と、実際の特定画像を符号化する。
図８は本発明の第３の実施形態に係る映像符号化装置１Ｂの構成を示す。入力画像２は、図１に示した特定領域検出部３に入力され、特定領域検出部３は入力画像に特定領域が存在するか否かの有無及び存在する場合における特定領域を検出する。

この特定領域検出部３により特定領域が検出された場合の出力は、特定領域除去部９Ａに入力されると共に、マルチプレクサ５２の第１の入力端に入力される。
特定領域除去回路９Ａは、特定領域検出部３により検出された特定領域を除去し、背景生成回路５３に出力する。
背景生成回路５３は、入力画像から特定領域を除去して、背景画像等で置換して背景合成画像を生成し、フレームバッファ５１に出力すると共に、シミュレーション回路５３に出力する。
フレームバッファ５１には、入力画像２も入力される。そして、このフレームバッファ５１は、入力画像から背景画像等で置換される特定領域を差し引いた特定領域部分の画像を画像比較回路５４に出力する。

なお、I-pictureのフレームの場合には、特定領域除去回路９Ａは特定領域を除去しないで、背景生成回路９Ｂを経てシミュレーション回路５３とマルチプレクサ５２に出力する。このシミュレーション回路５３には、特定領域の情報も入力される。
このシミュレーション回路５３は、I-pictureのフレームからその特定領域における煙等の画像部分に対してシミュレーションを行い、I-picture以外の各フレームにおける特定領域に対応するシミュレーション画像を生成して画像比較回路５４に出力する。
また、このシミュレーション回路５３は、このシミュレーション画像を生成する情報を符号化してマルチプレクサ５２の他方の入力端に出力する。
画像比較回路５４は、シミュレーション回路５３から出力されるシミュレーション画像と、フレームバッファ５１から出力される煙等の実際の特定画像部分とを比較して、その比較結果によりマルチプレクサ５２の切換（選択）を制御する。

例えば、画像比較回路５４は、シミュレーション画像と対応する特定画像部分とで各画素値の差の２乗和が閾値を超えるか否かを比較する。比較した結果が、閾値を超える場合には、マルチプレクサ５２から入力画像２が画像符号化部５に出力されるように切換を制御する。なお、画像比較回路５４は、比較結果が閾値を超える場合、その結果をシミュレーション回路５３に戻し、さらに異なる初期条件でシミュレーションを行わせるようにすることもできる。
一方、画像比較回路５４は、閾値以下となる場合には、背景合成画像にシミュレーション画像を生成する情報が付加された状態で画像符号化部５に出力されるように切換を制御する。
従って、画像符号化部５は、シミュレーション画像と対応する特定画像部分とが閾値を超えるずれが検出された場合には、実際に煙等を含む入力画像２に対して、通常の画像符号化を行う。一方、閾値以下のずれの場合には、画像符号化部５は、特定領域が置換された背景合成画像とシミュレーション画像を生成する情報に対して符号化を行う。
また、上記特定領域検出部３により特定領域が検出されない場合には、入力画像２は、この画像符号化部５を構成する減算器１１、フレームメモリ１８、動き補償回路１９、動き検出回路２０に入力され、画像符号化部５は、通常の画像符号化を行う。

なお、マルチプレクサ５２からの出力信号は、画像符号化部５における減算器１１，フレームメモリ１８、動き補償回路１９，動き検出回路２０に入力される。図８における画像符号化部５におけるその他の構成は、図１にて説明したのでその説明を省略する。
本実施形態に係る映像符号化装置１Ｂは、例えば図９に示すような動作を行う。
最初のステップＳ３１において、入力画像２が煙等の特定画像を含むか否かを特定領域検出部３により検出する。
特定領域が検出されない場合には、ステップＳ３７に進み、入力画像２を通常の方式で符号化する。つまり、特定領域が検出されない場合には、既存の方式と同様に画像符号化部５により符号化を行う。
一方、特定領域が検出された場合には、ステップＳ３２に進み、I-picture以外の場合には、特定領域除去回路５１は、入力画像２から特定領域を除外し、背景生成回路９Ｂは背景画像等を挿入し、背景合成画像を生成する。なお、I-pictureの場合には、このフレームと、その場合における特定領域の情報がシミュレーション回路５３に入力される。

次のステップＳ３３においてシミュレーション回路５３は、最初のI-pictureにおける特定領域の画像に対して、初期条件を設定して、第２の実施形態において説明したように各フレームに対応するシミュレーション画像を次のI-pictureに至るまで順次、生成する。そして、次のステップＳ３４において、画像比較回路５４は、シミュレーション画像と、実際に入力される各フレームにおける特定領域の画像とに対して、例えば特定領域のMacro Block毎に対応する画素値の差の２乗和を算出する。
そして、次のステップＳ３５において、画像比較回路５４は、対応する画素値の差の２乗和の特定領域の１Macro Block当たりの平均値が閾値を超えるか否かを比較（判定）する。
この比較結果が閾値を超える画像のフレームに対しては、ステップＳ３７に示すようにそのフレームを既存の方式と同様に画像符号化部５により通常の画像符号化を行う。つまり、I-picture以外のフレームにおいても煙等の元画像を含む状態のまま、そのフレームを画像符号化する。なお、この場合、閾値を超える場合には、初期条件を変更して同様の処理を繰り返すようにしても良い。

そして、初期条件を変更して、閾値以下になる場合には、ステップＳ３６に進むようにし、初期条件を変更して設定された回数、同様の処理を行っても、閾値を超える場合にはステップＳ３７に進むようにしても良い。
一方、比較結果が閾値を超えないフレームのものに対しては、ステップＳ３６に示すように、そのフレームにおける特定領域を除いた背景画像部分を既存の方式と同様に画像符号化部５により符号化を行う。この場合、特定領域部分に対しては、画像符号化部５によりシミュレーション画像を生成する情報を符号化する。
このような処理を行うことにより、シミュレーションによるシミュレーション画像が適正に生成された場合には、従来例の場合よりも符号化した場合における符号量を小さくできる。つまり、符号量を低減できる。

また、本実施形態に係る映像符号化装置１Ｂによれば、煙等の動き量等が大きい特定領域が存在した場合、その特定領域の元画像をシミュレーションにより生成したシミュレーション画像が適切に元画像を表しているか否かを、元画像との比較により判定できる（比較結果が得られる）。
この比較結果は、例えばフレーム単位（の短い時間間隔）で得ることができる。従って、シミュレーションをより適切に行い易くなる。
また、シミュレーションにより生成した情報を用いることにより、以下に説明する映像復号化装置３１Ｂ側における映像復号化をより少ない処理で行うことを可能とする。

図１０は、第３の実施形態に係る映像符号化装置１Ｂに対応する映像復号化装置３１Ｂの構成を示す。
この映像復号化装置３１Ｂは、図４の映像復号化装置３１において、加算器３９に入力される信号を切り換える切換手段（選択手段）として例えばマルチプレクサ５９を設けた第１の映像復号化部３２Ｂと、予測特定画像生成回路４１をシミュレーション画像生成回路４１ａとした第２の映像復号化部３３Ｂとにしている。
このマルチプレクサ５９は、通常は動き補償回路３７から出力される予測画像を加算器３９に入力されるように選択しており、可変長復号化回路３４の出力信号に、シミュレーション画像を生成する情報が存在するか否かを検出し、その情報が存在すると、第２の映像復号化部３３Ｂの出力が加算器３９に入力されるように切り換える。

また、シミュレーション画像を生成する情報は、シミュレーション画像生成回路４１ａに入力され、このシミュレーション画像生成回路４１ａは、この情報を用いて図８のシミュレーション回路５３によるシミュレーション画像を生成する。
そして、このシミュレーション画像は、特定画像合成回路４２及び加算器３９により特定領域部分に埋め込む等の合成処理がされて再生画像が生成される。なお、図１０において、特定画像合成回路４２は、シミュレーション画像とその周囲の背景画像とは混在するブロック部分では、動き補償回路３７からの予測画像も入力され、特定画像合成回路４２は、は両画像を合成する。

図１１は、図１０の映像復号化装置３１Ｂによる映像復号化方法の概略の動作内容のフローチャートを示す。図１１は、図６において、ステップＳ１３以降の処理が変更された内容となっている。以下、異なる点のみを説明する。
この映像復号化装置３１Ｂにおいては、ステップＳ１２の後のステップＳ１３′において、I-picture以外のフレームにおける特定フレームにおけるその特定領域の元画像に対応するシミュレーション画像を生成する。ここで、特定フレームとは、I-picture以外のフレームにおけるシミュレーション画像を生成する情報が付加されているフレームを意味する。

また、ステップＳ１１においてI-pictureでないと判定された場合には、ステップＳ１４′に示すように通常のフレーム間復号化により復号化された画像を生成する。この場合、特定領域が置換されたものと置換されていない符号化画像の両方が含まれる。
そして、ステップＳ１４′により生成された画像は、ステップＳ１５′により特定フレームか否かが判定され、特定フレームでない場合にはステップＳ１６に進み、ステップＳ１４′で生成された画像が再生画像として出力される。ステップＳ１６の処理は、図１０において、動き補償回路３７の予測画像がマルチプレクサ５９を経て加算器３９で加算されて生成される再生画像に相当する。
一方、ステップＳ１５′において特定フレームと判定された場合には、ステップＳ１７４においてＳ１４′で生成された画像における特定領域部分がステップＳ１３′で生成されたシミュレーション画像で置換する合成により再生画像が生成される。

本実施形態に係る映像復号化装置３１Ｂによれば、入力される符号化された画像に、煙等の動き量等が大きい特定領域が存在した場合においても、その特定領域の元画像をシミュレーションにより生成できる場合にはその情報が付加されているので、（予め算出された）その情報を利用することにより効率良くかつ少ない処理量で復号化された再生画像を生成できる。
なお、シミュレーションによりシミュレーション画像を生成する例として、上述の数式２では２次元に簡略化しているが、３次元として扱い、その結果を２次元平面に投影するようにしても良い。また、上述した例では、煙に対してNavier-Stokes方程式を適用したシミュレーションの場合を説明したが、炎やその他の特定画像に対してもシミュレーションを適用することもできる。例えば、モンテカルロ法を用いたシミュレーションを利用しても良い。
また、上述した各実施形態等を組み合わせたり、変形などした実施形態等も本発明に属する。

本発明の第１の実施形態に係る映像符号化装置の構成を示すブロック図。背景合成部による特定領域を背景画像で補間する動作説明図。第１の実施形態に係る映像符号化装置の動作内容を示すフローチャート。本発明の第２の実施形態に係る映像復号化装置の構成を示すブロック図。シミュレーションにより特定領域の元画像を生成する動作説明図。第２の実施形態に係る映像復号化装置の概略の動作内容を示すフローチャート。第２の実施形態に係る映像復号化装置における第２の映像復号化部の動作内容を示すフローチャート。本発明の第３の実施形態に係る映像符号化装置の構成を示すブロック図。第３の実施形態に係る映像符号化装置の動作内容を示すフローチャート。本発明の第３の実施形態に係る映像復号化装置の構成を示すブロック図。図１０の映像復号化装置による映像復号化の動作内容を示すフローチャート。

符号の説明

１、１Ｂ…映像符号化装置
２…入力画像
３…特定領域検出部
４…背景合成部
５…画像符号化部
３１、３１Ｂ…映像復号化装置
４１ａ…シミュレーション画像生成回路

Claims

フレーム内符号化及びフレーム間符号化によって生成した符号化画像であって、前記フレーム間符号化に際して、色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を前記特定画像以外の背景画像又は置換画像で置換して生成された前記符号化画像中のフレーム間符号化されたフレームについて、前記特定領域以外の画像部分をフレーム間復号化する復号化手段と、
前記符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、
を備えることを特徴とする映像復号化装置。
映像を構成する時系列で入力される画像から色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を検出する特定領域検出手段と、
前記特定領域検出手段により検出された特定領域部分の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションにより以後のフレームの特定領域部分のシミュレーション画像を生成するシミュレーション画像生成手段と、
前記入力される画像に対してフレーム内符号化及びフレーム間符号化を含む符号化処理を行うものであって、前記特定領域についての前記フレーム内符号化及びフレーム間符号化のうち前記フレーム間符号化に代えて前記シミュレーション画像生成手段のシミュレーションに関する情報の符号化を行う符号化手段と、
を備えることを特徴とする映像符号化装置。
映像を構成する時系列で入力される画像から色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を検出する特定領域検出手段と、前記特定領域検出手段により検出された特定領域部分の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションにより以後のフレームの特定領域部分のシミュレーション画像を生成するシミュレーション画像生成手段と、前記入力される画像に対してフレーム内符号化及びフレーム間符号化を含む符号化処理を行うものであって、前記特定領域についての前記フレーム内符号化及びフレーム間符号化のうち前記フレーム間符号化に代えて前記シミュレーション画像生成手段のシミュレーションに関する情報の符号化を行う符号化手段と、を備える映像符号化装置によって符号化された符号化画像中のフレーム間符号化されたフレームについて、前記特定領域以外の画像部分をフレーム間復号化する復号化手段と、
前記映像符号化装置によって符号化された符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行うと共に前記シミュレーションに関する情報の復号化を行い、復号結果の画像及びシミュレーションに関する情報を用いて、前記シミュレーション画像を復元し、復元した前記シミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、
を備えることを特徴とする映像復号化装置。
映像を構成する時系列で入力される画像から色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を検出する特定領域検出手段と、フレーム内符号化及びフレーム間符号化を含む符号化処理を行うものであって、前記特定領域検出手段により検出された特定領域についてのフレーム間符号化に際して、前記特定画像以外の背景画像又は置換画像で置換したフレームの画像を符号化処理する符号化手段と、を備えた映像符号化装置によって符号化された符号化画像中のフレーム間符号化されたフレームについて、前記特定領域以外の画像部分をフレーム間復号化する復号化ステップと、
前記映像符号化装置によって符号化された符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方式的に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成ステップと、
を備えることを特徴とする映像復号化方法。