JP7315821B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像生成方法、及びプログラムに関する。

映像符号化国際規格によって規定されたＨ．２６４／ＡＶＣ（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）等の通信方式は、「長時間参照フレーム」という機構を有している。これは、例えばテレビ会議等の映像内の背景部分のように変化しない領域の画像や、回転物のように特定周期で同じ絵柄が現れるような映像の特定フレームをフレームメモリに長時間格納して、符号化時及び復号時に参照し続けることができるようにする機構である。また、符号化や参照はされるが表示はされない画像（以下、「追加画像」という。）を生成し、当該追加画像を用いて入力映像の符号化及び復号を行う機構も存在する。従来、この長時間参照フレームの機構と追加画像の機構を用いることによって、符号化効率を向上させるとともに、伝送路誤りに対してより頑健な符号化を実現する技術がある。例えば、特許文献１に記載の映像符号化装置は、連続する複数の符号化対象画像における同位置の画素の画素値について平均値又はメディアン値等を算出することによって追加画像（背景画像）を生成する。

特開２０１７－９２８８６号公報

特許文献１に記載の映像符号化装置のように、複数の符号化対象画像における同位置の画素の画素値を用いて追加画像（背景画像）を生成する従来の符号化は、例えば上記のテレビ会議等のように、変化しない背景と短時間に大きく変化する前景との差が顕著な映像を符号化する場合において有効である。しかしながら、このような従来の符号化では、例えば揺らぐ水面を通して見える水底の映像等のように、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化した場合に、動き補償予測の予測精度が低下することがある。これにより、符号量の増大や復号画像の画質の低下が生じるという課題があった。

本発明は、上記のような技術的背景に鑑みてなされたものであり、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化する場合であっても、符号量の増大や画質の低下を抑えることができる追加画像を生成することができる技術を提供することを目的とする。

本発明の一態様は、第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部を備える画像生成装置である。

また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記時系列フレーム群を構成する第１のフレームの一部領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの一部領域を前記参照画像の第２の領域とするように前記参照画像を生成する。

また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記第２のフレームの一部領域を前記第２の領域とした後、前記時系列フレーム群を構成する第３のフレームの一部領域を前記第２の領域とする場合、前記第２のフレームの一部領域と前記第３のフレームの一部領域とのメディアンとなる画像を前記第２の領域とする。

また、本発明の一態様は、上記の画像生成装置であって、前記時系列フレーム群を用いて得られた暫定的な参照画像である暫定参照画像を取得する暫定参照画像取得部をさらに備え、前記参照画像生成部は、前記第１の領域の位置を、前記第１のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置とし、前記第２の領域の位置を、前記第２のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置として、前記参照画像を生成する。

また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部によって生成された前記参照画像は、前記時系列フレーム群を符号化する映像符号化装置によって符号化される画像であって、かつ、前記映像符号化装置に対応する映像復号装置によって復号される映像において表示されない画像である。

また、本発明の一態様は、上記の画像生成装置であって、前記参照画像生成部は、前記時系列フレーム群を構成するフレームにおいて予測された位置が整数位置である場合、前記参照画像の対応する領域の画素に対して第１の重みを加え、前記時系列フレーム群を構成するフレームにおいて予測された位置が非整数位置を含む場合、原画像の画素値に基づいて前記非整数位置の画素の画素値を生成し、生成された前記画素値を、前記参照画像の対応する領域の複数の画素の画素値とし、更に前記参照画像の対応する領域の複数の画素に対してそれぞれ第２の重みを加え、かつ、前記複数の画素に対して与えられた前記第２の重みの和が前記第１の重みと等しくなるようにする。

また、本発明の一態様は、上記の画像生成装置であって、不可視の物体の性質に起因して被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、前記不可視の物体の性質に基づく画像の変化が抑制され、前記被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部を備える。

また、本発明の一態様は、第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成方法であって、前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成ステップを有する画像生成方法である。

また、本発明の一態様は上記の画像生成装置としてコンピュータを機能させるためのプログラムである。

本発明により、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化する場合であっても、符号量の増大や画質の低下を抑えることができる追加画像を生成することができる。

一般的な映像符号化装置の機能構成を示すブロック図である。 一般的な映像符号化装置の動作を示すフローチャートである。 一般的な映像符号化における追加画像の利用を示す説明図である。 本発明の一実施形態に係る映像符号化システムの全体構成図である。 本発明の一実施形態に係る画像生成装置３０２による追加画像の生成を示す説明図である。 本発明の一実施形態に係る画像生成装置３０２による追加画像生成時の重み付けを示す説明図である。 本発明の一実施形態に係る画像生成装置３０２による追加画像生成時の重み付けを示す説明図である。 本発明の一実施形態に係る画像生成装置３０２による追加画像生成時の重み付けを示す説明図である。 本発明の一実施形態に係る画像生成装置３０２の機能構成を示すブロック図である。 本発明の一実施形態に係る画像生成装置３０２の動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。はじめに、例えばＨ．２６５／ＨＥＶＣやＨ．２６４／ＡＶＣ等の一般的な映像符号化装置の構成について説明する。

図１は、一般的な映像符号化装置の機能構成を示すブロック図である。図１に示すように、一般的な映像符号化装置（以下、単に「映像符号化装置」という。）は、符号化対象の映像信号１００（原信号）を入力として、当該映像信号１００を、例えばｎ×ｎ画素のブロックに分割する。そして、映像符号化装置は、予測と直交変換といった処理を通してブロック単位で符号化を行う。映像符号化装置は、当該符号化によって生成された符号化データ１０６（「０」と「１」の二値信号列であるビットストリーム）を出力する。

図1に示すように、映像符号化装置は、減算部１０２と、変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０７と、逆変換部１０８と、加算部１０９と、歪除去フィルタ１１０と、フレームメモリ１１１と、画面内予測部１１２と、画面間予測部１１３と、を含んで構成される。

次に、図２を参照して、図１に示す映像符号化装置の処理動作を説明する。図２は、一般的な映像符号化装置の処理動作を示すフローチャートである。

まず、映像符号化装置は、例えば外部の装置（図示せず）等からの映像信号１００の入力を受け付け、入力された映像信号１００を例えばｎ×ｎ画素のブロックに分割する。そして、映像符号化装置は、ブロック単位に分割された映像信号１００を減算部１０２に入力する。

減算部１０２は、映像信号１００をブロック単位に取得する。また、減算部１０２は、予測単位（ＰＵ；Prediction Unit）と呼ばれる処理単位ごとに別途生成された予測信号１０１を、画面内予測部１１２又は画面間予測部１１３から取得する。そして、減算部１０２は、映像信号１００から予測信号１０１を減算することによって、予測残差信号１１９（原信号との差分信号）を生成する（ステップＳ１）。減算部１０２は、生成された予測残差信号１１９を変換部１０３へ出力する。

変換部１０３は、減算部１０２から出力された予測残差信号１１９を取得する。変換部１０３は、取得した予測残差信号１１９に対して、サンプリングを行い離散的な信号に変換する離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）を行う（ステップＳ２）。変換部１０３は、離散コサイン変換がなされた予測残差信号１１９を量子化部１０４へ出力する。

量子化部１０４は、変換部１０３から出力された予測残差信号１１９を取得する。量子化部１０４は、取得した予測残差信号１１９を量子化する（ステップＳ２）。量子化部１０４は、量子化された予測残差信号１１９を、エントロピー符号化部１０５及び逆量子化部１０７へ出力する。

エントロピー符号化部１０５は、量子化部１０４から出力された予測残差信号１１９を取得する。エントロピー符号化部１０５は、取得した予測残差信号１１９をエントロピー符号化することによって符号化データ１０６を生成する（ステップＳ３）。エントロピー符号化部１０５は、生成された符号化データ１０６を、例えば本映像符号化装置に対応する映像復号装置等の外部の装置（図示せず）へ出力する。

その一方で、逆量子化部１０７も、量子化部１０４から出力された予測残差信号１１９を取得する。逆量子化部１０７は、取得した予測残差信号１１９を逆量子化する（ステップＳ４）。逆量子化部１０７は、逆量子化された予測残差信号１１９を逆変換部１０８へ出力する。

逆変換部１０８は、逆量子化部１０７から出力された予測残差信号１１９を取得する。逆変換部１０８は、取得した予測残差信号１１９に対して、逆離散コサイン変換（逆ＤＣＴ）を行う（ステップＳ４）。逆変換部１０８は、逆離散コサイン変換がなされた予測残差信号１１９を加算部１０９へ出力する。

加算部１０９は、逆変換部１０８から出力された予測残差信号１１９を取得する。また、加算部１０９は、予測単位（ＰＵ）ごとに別途生成された予測信号１０１を、画面内予測部１１２又は画面間予測部１１３から取得する。加算部１０９は、予測残差信号１１９と予測信号１０１とを加算することによって復号映像を示す信号を生成する（ステップＳ５）。
加算部１０９は、生成された信号を歪除去フィルタ１１０へ出力する。

歪除去フィルタ１１０は、加算部１０９から出力された、復号映像を示す信号を取得する。歪除去フィルタ１１０は、取得した信号に対して、歪除去を行う（ステップＳ６）、歪除去フィルタ１１０は、歪み除去がなされた信号をフレームメモリ１１１に記憶させる（ステップＳ７）。

フレームメモリ１１１に蓄積される信号は、本映像符号化装置に対応する映像復号装置が求める復号映像信号と同じ信号となる。なお、フレームメモリ１１１に蓄積された信号は、通常、所定の時刻が経過すると自動的に消去される。ただし、長時間参照される指示が付された信号（すなわち、長時間参照フレーム）は、自動的には削除されず、明示的な削除指示がなされた際に削除される。また、参照されないことを示す指示が付された信号は、フレームメモリ１１１に記憶されない。

画面内予測部１１２又は画面間予測部１１３は、フレームメモリ１１１にと蓄積された信号を参照し、画面内予測（イントラ予測）又は画面間予測（インター予測）を行い、次のブロックの符号化に用いられる予測信号１０１を生成する（ステップＳ８）。画面内予測部１１２又は画面間予測部１１３は、生成された予測信号１０１を減算部１０２及び加算部１０９へ出力する。

映像符号化装置に入力された画像の全てのブロックについて、上記ステップＳ１～ステップＳ８までの処理が繰り返された後、図２のフローチャートが示す映像符号化装置の動作が終了する。

図３は、一般的な映像符号化装置における追加画像の利用を説明するための模式図である。図３に示すように、映像符号化装置は、追加画像を参照したり、符号化対象のフレームの前後のフレームを参照したり、同一フレーム内の他の画素を参照したりすることによって予測を行い、原画（入力画像）の各フレームを符号化する。

追加画像は、符号化が行われる前に、原画を用い予め生成される。例えば、原画の各フレームの同位置の画素ごとに、画素値の平均値あるいはメディアン値がそれぞれ算出される。そして、算出された平均値あるいはメディアン値を画素値とする追加画像が生成される。

［映像符号化システムの構成］
以下、本発明の一実施形態に係る映像符号化システムの全体構成について説明する。
図４は、本発明の一実施形態に係る映像符号化システムの全体構成図である。図４に示すように、映像符号化システムは、映像符号化装置３０１と、画像生成装置３０２と、を含んで構成される。

映像符号化装置３０１は、図１及び図２を参照して機能構成及び動作を説明した、一般的な映像符号化装置である。映像符号化装置３０１は、生成された符号化データ３０３を、例えば映像符号化装置３０１に対応する映像復号装置等の外部の装置（図示せず）へ出力する。なお、映像符号化装置３０１は、画像生成装置３０２からの追加画像信号３０４の入力を受け付け、当該追加画像信号３０４に基づく追加画像を参照して映像信号３００１を符号化する。

画像生成装置３０２は、映像符号化装置３０１に入力される映像信号３００と同一の映像信号の入力を受け付ける。画像生成装置３０２は、入力された映像信号３００に基づいて追加画像を生成する。画像生成装置３０２は、生成された追加画像を示す追加画像信号３０４を映像符号化装置３０１へ出力する。

［追加画像の生成］
以下、本発明の一実施形態に係る画像生成装置３０２による追加画像の生成について説明する。

図５は、本発明の一実施形態に係る画像生成装置３０２による追加画像の生成を示す説明図である。まず、画像生成装置３０２は、任意の方法により、暫定の追加画像（以下、「暫定追加画像」という。）を生成する。なお、画像生成装置３０２は、上述した従来の追加画像の生成方法、すなわち、原画の各フレームの同位置の画素ごとに、画素値の平均値あるいはメディアン値をそれぞれ算出する方法等によって、暫定追加画像を生成してもよい。

画像生成装置３０２は、暫定追加画像を参照しながら、原画の各フレームに対してそれぞれ動き補償予測符号化を行う。ここで、画像生成装置３０２は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測された領域にあたる画像（原信号）を、別途生成した更新用の追加画像（以下、「更新用追加画像」という。）にコピーする。このとき、画像生成装置３０２は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。

上記のように、暫定追加画像が参照される度に、原画の画像が更新用追加画像にコピーされるため、その都度、更新用追加画像が更新されていく。なお、画像生成装置３０２は、任意の方法により、初期時点の更新用追加画像を生成することができる。例えば、画像生成装置３０２は、上記生成された暫定追加画像と同一の画像を、初期時点の更新用追加画像として用いてもよい。

画像生成装置３０２は、所定のフレーム数の動き補償予測符号化を終えた場合、その時点における更新用追加画像を、新たな暫定追加画像とする。そして、画像生成装置３０２は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う。

このように、画像生成装置３０２は、原画のフレーム群に対する動き補償予測符号化を繰り返し行い、その都度、暫定追加画像を更新していく。そして、画像生成装置３０２は、所定の条件が満たされた場合、当該フレーム群に対する動き補償予測符号化の繰り返し処理を終了させる。画像生成装置３０２は、繰り返し処理を終了させた時点における暫定追加画像を最終的な追加画像とし、当該最終的な追加画像に基づく追加画像信号３０４を映像符号化装置３０１へ出力する。

なお、動き補償予測符号化の繰り返し処理を終了させるための上記所定の条件とは、例えば、画像圧縮率の値が収束すること（すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になること）である。あるいは、上記所定の条件は、1つ前の繰り返し処理と比較して画像圧縮率が悪化すること、画像圧縮率が所定の値を満たすこと、又は、所定の回数の繰り返し処理が行われたこと等であってもよい。

なお、画像生成装置３０２は、更新用追加画像において、複数のフレームからコピーが行われた画素については、例えばコピーされた複数の画素値の平均値を当該画素の画素値とする。

なお、画像生成装置３０２は、映像信号３００においてシーンチェンジを検出した場合には、検出した時点で新たな暫定追加画像及び更新用追加画像を生成するようにしてもよい。

なお、上記生成された最終的な追加画像を示す追加画像信号３０４は、映像符号化装置３０１へ出力され、映像信号３００の符号化に用いられる。また、追加画像信号３０４も符号化がなされる。そして、映像符号化装置３０１は、原画と追加画像とが符号化されたデータである符号化データ３０３を出力する。

映像符号化装置３０１に対応する映像復号装置（図示せず）は、映像符号化装置３０１から出力された符号化データ３０３を取得する。そして、映像復号装置は、原画と追加画像とが符号化された符号化データ３０３を復号する。なお、復号された追加画像は、映像復号装置による原画に対する復号処理において参照のために用いられるが、表示はされない画像である。

なお、上記のように、例えば、画素値の平均値あるいはメディアン値をそれぞれ算出することによって初期時点の更新用追加画像が生成された場合、平均値やメディアン値が用いられることから、当初の更新用追加画像は鮮明度が低い（ぼやけた）画像となる。その後、上述したように、更新用追加画像に対して原画そのもののコピーがなされるため、上記の繰り返し処理が行われる度に、更新用追加画像の鮮明度は高くなっていく。

なお、上述したように、画像生成装置３０２は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、原画における予測された領域の画像をコピーしていく。そのため、更新用追加画像は、不規則な被写体の動きの影響が排除された画像に近いものとなる。すなわち、例えば揺らぐ水面等の不規則な動きの影響が排除された、揺らぎのない、水底あるいは水中の物体の画像に近いものとなる。

なお、動き補償予測によって予測された原画上の位置は、整数の座標値で表すことができる画素位置（以下、「整数位置」という。）ではない場合がある。この場合、画像生成装置３０２は、以下のようにして原画を更新用追加画像にコピーすればよい。

図６～８は、本発明の一実施形態に係る画像生成装置３０２による追加画像生成時の重み付けを示す説明図である。図６は、コピー元の原画におけるコピー対象の画素の画素位置が、Ｘ座標及びＹ座標ともに整数位置である場合を示している。この場合、画像生成装置３０２は、例えば、原画上の画素の画素値に対して、重み４の重み付けを行ったうえで更新用追加画像へのコピーを行う。

また、図７は、コピー元の原画におけるコピー対象の画素の画素位置が、Ｘ座標は整数位置ではない位置（以下、「非整数位置」という。）であり、Ｙ座標は整数位置である場合を示している。この場合、画像生成装置３０２は、Ｘ軸方向に隣り合う整数位置の画素値を用いて補間を行うことによって、Ｘ軸方向に隣り合う整数位置の間に存在する非整数位置における画素値を算出する。そして、画像生成装置３０２は、算出された補間画像の画素値に対してそれぞれ重み２の重み付けを行ったうえで、更新用追加画像の整数位置へのコピーを行う。

また、図８は、コピー元の原画におけるコピー対象の画素の画素位置が、Ｘ座標及びＹ座標ともに非整数位置である場合を示している。この場合、画像生成装置３０２は、Ｘ軸方向及びＹ軸方向に隣り合う整数位置の画素値を用いて補間を行うことによって、当該整数位置に囲まれた非整数位置における画素値を算出する。そして、画像生成装置３０２は、算出された補間画像の画素値に対して、それぞれ重み１の重み付けを行ったうえで、更新用追加画像の整数位置へのコピーを行う。

このように、画像生成装置３０２は、コピー元の原画におけるコピー対象の画素の画素位置が整数位置であっても、あるいは、コピー元の原画におけるコピー対象の画素の画素位置が非整数位置であっても、コピーされる画素値に対して付与される重みの和が等しくなるようにして更新用追加画像への画像のコピーを行う。

なお、ある画像領域に対して、暫定追加画像と暫定追加画像以外の画像とから双方向動き補償予測がなされる場合には、更新用追加画像への原画のコピーが行われないようにすることが好ましい。なぜならば、当該画像領域は、有効な追加画像を生成するにあたって相応しくないためである。

なお、補間の方法については、例えばＨ．２６５／ＨＥＶＣ等で用いられている一般的な方法を用いることができる。

［画像生成装置の機能構成］
以下、本発明の一実施形態に係る画像生成装置３０２の機能構成について説明する。画像生成装置３０２は、第１の被写体（例えば水面）の性質に起因して第２の被写体（例えば、水底又は水中の物体）が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群（原信号）を符号化する場合に参照される追加画像（参照画像）を生成するための装置である。

図９は、本発明の一実施形態に係る画像生成装置３０２の機能構成を示すブロック図である。図９に示すように、画像生成装置３０２は、映像信号取得部３２１と、暫定追加画像生成部３２２と、更新用追加画像生成部３２３と、繰り返し処理部３２４と、追加画像信号出力部３２５と、を含んで構成される。

映像信号取得部３２１は、映像符号化装置３０１に入力される映像信号３００と同一の映像信号を取得する。映像信号取得部３２１は、取得した映像信号３００を、暫定追加画像生成部３２２及び繰り返し処理部３２４へ出力する。

暫定追加画像生成部３２２は、映像信号取得部３２１から出力された映像信号３００を取得する。映像信号取得部３２１は、取得した映像信号３００に基づいて暫定追加画像を生成する。暫定追加画像生成部３２２は、生成した暫定追加画像を繰り返し処理部３２４へ出力する。このように、暫定追加画像生成部３２２（暫定参照画像取得部）は、映像信号３００に基づく原画の時系列フレーム群を用いて得られた暫定的な参照画像である暫定追加画像（暫定参照画像）を得る。

更新用追加画像生成部３２３は、更新用追加画像を生成する。更新用追加画像生成部３２３は、例えば、暫定追加画像生成部３２２によって生成された暫定追加画像と同一の画像を更新用追加画像として用いる。更新用追加画像生成部３２３は、生成された更新用追加画像を繰り返し処理部３２４へ出力する。

繰り返し処理部３２４は、映像信号取得部３２１から出力された映像信号３００を取得する。また、繰り返し処理部３２４は、暫定追加画像生成部３２２から出力された暫定追加画像を取得する。また、繰り返し処理部３２４は、更新用追加画像生成部３２３から出力された更新用追加画像を取得する。

繰り返し処理部３２４は、暫定追加画像を参照しながら、映像信号３００に基づく原画の各フレームに対してそれぞれ動き補償予測符号化を行う。繰り返し処理部３２４は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測された領域の画像（原信号）を、更新用追加画像にコピーする。このとき、繰り返し処理部３２４は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。

映像信号３００に基づく所定数の全てのフレームに対して、上記の符号化及び更新用追加画像へのコピーが完了した場合、繰り返し処理部３２４は、繰り返し処理の終了条件を満たすか否かについての判定を行う。例えば、繰り返し処理部３２４は、画像圧縮率の値が収束したこと（すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になったこと）を終了条件として、判定を行う。

終了条件を満たしていないと判定した場合、繰り返し処理部３２４は、その時点における更新用追加画像を新たな暫定追加画像とする。そして、繰り返し処理部３２４は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う。

一方、繰り返し処理部３２４は、ステップＳ１０７において終了条件を満たしたと判定した場合、その時点の暫定追加画像を最終的な追加画像として、追加画像信号出力部３２５へ出力する。

繰り返し処理部３２４（参照画像生成部）は、上記の構成によって、第１の被写体（例えば水面）の性質に基づく画像の変化が抑制され、第２の被写体（例えば、水底又は水中の物体）の見かけ上の変形が抑制された追加画像（参照画像）を生成していく。また、繰り返し処理部３２４は、映像信号３００に基づく時系列フレーム群を構成する第１のフレームの一部領域を更新用追加画像（参照画像）の第１の領域とし、時系列フレーム群を構成する第２のフレームの一部領域を更新用追加画像（参照画像）の第２の領域とするように更新用追加画像（参照画像）を生成する。

また、繰り返し処理部３２４（参照画像生成部）は、第２のフレームの一部領域を第２の領域とした後、時系列フレーム群を構成する第３のフレームの一部領域を第２の領域とする場合、第２のフレームの一部領域と第３のフレームの一部領域とのメディアンとなる画像を第２の領域とする。

また、繰り返し処理部３２４（参照画像生成部）は、第１の領域の位置を、第１のフレームの一部領域を対象とした予測の際の暫定追加画像（暫定参照画像）内の参照位置と同じ位置とし、第２の領域の位置を、第２のフレームの一部領域を対象とした予測の際の暫定追加画像（暫定参照画像）内の参照位置と同じ位置として、更新用追加画像（参照画像）を生成する。

なお、繰り返し処理部３２４（参照画像生成部）によって生成された最終的な追加画像（参照画像）は、時系列フレーム群を符号化する映像符号化装置３０１によって符号化される画像であって、かつ、映像符号化装置３０１に対応する映像復号装置（図示せず）によって復号される映像において表示されない画像である。

繰り返し処理部３２４（参照画像生成部）は、時系列フレーム群を構成するフレームにおいて予測された位置が整数位置である場合、更新用追加画像（参照画像）の対応する領域の画素に対して第１の重みを加える。また、繰り返し処理部３２４は、時系列フレーム群を構成するフレームにおいて予測された位置が非整数位置を含む場合、原画像の画素値に基づいて当該非整数位置の画素の画素値を生成し、生成された当該画素値を、更新用追加画像（参照画像）の対応する領域の複数の画素の画素値とする。そして、繰り返し処理部３２４は、更に更新用追加画像（参照画像）の対応する領域の複数の画素に対してそれぞれ第２の重みを加える。ここで、繰り返し処理部３２４は、当該複数の画素に対して与えられた第２の重みの和が、第１の重みと等しくなるようにする。

追加画像信号出力部３２５は、繰り返し処理部３２４から出力された追加画像を取得する。追加画像信号出力部３２５は、当該追加画像を示す追加画像信号３０４を、映像符号化装置３０１へ出力する。

［画像生成装置の動作］
以下、本発明の一実施形態に係る画像生成装置３０２の動作について説明する。
図１０は、本発明の一実施形態に係る画像生成装置３０２の動作を示すフローチャートである。本フローチャートは、画像生成装置３０２に対して、映像符号化装置３０１に入力される映像信号３００と同一の映像信号が入力される際に開始する。

映像信号取得部３２１は、映像信号３００を取得する（ステップＳ１０１）。暫定追加画像生成部３２２は、取得した映像信号３００に基づいて暫定追加画像を生成する（ステップＳ１０２）。更新用追加画像生成部３２３は、更新用追加画像を生成する（例えば、ステップＳ１０２で生成した暫定追加画像と同一の画像を更新用追加画像として用いる）（ステップＳ１０３）。

繰り返し処理部３２４は、生成された暫定追加画像を参照して、映像信号３００に基づく原画の各フレームに対してそれぞれ動き補償予測符号化を行う（ステップＳ１０４）。繰り返し処理部３２４は、暫定追加画像を参照して動き補償予測符号化を行った場合、原画のフレームにおいて予測の対象となった領域の画像（原信号）を、更新用追加画像にコピーする（ステップＳ１０５）。このとき、繰り返し処理部３２４は、上記の動き補償予測符号化において参照した暫定追加画像内の位置と同位置となる更新用追加画像の位置に、上記原画の画像をコピーする。

映像信号３００に基づく所定数の全てのフレームに対して、上記ステップＳ１０４による符号化、及び上記ステップＳ１０５による更新用追加画像へのコピーが完了した場合（ステップＳ１０６・ＹＥＳ）、繰り返し処理部３２４は、繰り返し処理の終了条件を満たすか否かについての判定を行う（ステップＳ１０７）。例えば、繰り返し処理部３２４は、画像圧縮率の値が収束したこと（すなわち、画像圧縮率の改善割合が、1つ前の繰り返し処理と比較して所定の値以内になったこと）を終了条件として、判定を行う。

終了条件を満たしていないと判定した場合（ステップＳ１０７・ＮＯ）、繰り返し処理部３２４は、その時点における更新用追加画像を新たな暫定追加画像をとするように、当該暫定追加画像更新する（ステップＳ１０８）。そして、繰り返し処理部３２４は、新たな暫定追加画像を参照しながら、再び上記と同一の各フレームに対してそれぞれ動き補償予測符号化を行う（ステップＳ１０４）。

一方、繰り返し処理部３２４が、ステップＳ１０７において終了条件を満たしたと判定した場合（ステップＳ１０７・ＮＯ）、追加画像信号出力部３２５は、その時点における暫定追加画像を最終的な追加画像として、当該追加画像を示す追加画像信号３０４を、映像符号化装置３０１へ出力する（ステップＳ１０９）。以上で、図１０のフローチャートが示す画像生成装置３０２の動作が終了する。

以上説明したように、本発明の一実施形態に係る画像生成装置３０２は、第１の被写体（例えば水面）の性質に起因して第２の被写体（例えば、水底又は水中の物体）が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像（追加画像）を生成する装置である。そして、画像生成装置３０２は、前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する繰り返し処理部３２４（参照画像生成部）を備える。

上記の構成を備えることによって、画像生成装置３０２は、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像を符号化の対象にする場合であっても、符号量の増大や画質の低下を抑えることができる。

なお、上述した実施形態においては、一例として、符号化対象の映像が、揺らぐ水面を通して見える水底、あるいは水中の物体が撮像された映像である場合について説明したが、これに限られるものではない。例えば、本発明は、曲面に映っている物体、不可視の物体あるいは大気の揺らぎの影響を受けて揺らいで見える物体、風によってはためく旗、及び、脈動・拍動・鼓動する細胞あるいは物体等の、非線形な動き、不規則な動き、あるいは緩急のある動きを含む映像に対する符号化全般において有効である。

上述した実施形態における画像生成装置３０２の一部または全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。

１０２…減算部、１０３…変換部、１０４…量子化部、１０５エントロピー符号化部、１０７…逆量子化部、１０８…逆変換部、１０９…加算部、１１０…歪除去フィルタ、１１１…フレームメモリ、１１２…画面内予測部、１１３…画面間予測部、３０１…映像符号化装置、３０２…画像生成装置、３２１…映像信号取得部、３２２…暫定追加画像生成部、３２３…更新用追加画像生成部、３２４…繰り返し処理部、３２５…追加画像信号出力部

Claims (6)

1. 第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、
   非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
   を備え、
   前記参照画像生成部は、
   前記時系列フレーム群を構成する第１のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第２の領域とするように前記参照画像を生成する
   画像生成装置。
2. 第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、
   前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
   を備え、
   前記参照画像生成部は、
   前記時系列フレーム群を構成する第１のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第２の領域とするように前記参照画像を生成し、
   前記第２のフレームの一部領域を前記第２の領域とした後、前記時系列フレーム群を構成する第３のフレームの一部領域を前記第２の領域とする場合、前記第２のフレームの一部領域と前記第３のフレームの一部領域とのメディアンとなる画像を前記第２の領域とする
   画像生成装置。
3. 第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、
   前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部と、
   前記時系列フレーム群を用いて得られた暫定的な前記参照画像である暫定参照画像を取得する暫定参照画像取得部と、
   を備え、
   前記参照画像生成部は、
   前記時系列フレーム群を構成する第１のフレームの一部領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの一部領域を前記参照画像の第２の領域とするように前記参照画像を生成し、
   前記第１の領域の位置を、前記第１のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置とし、前記第２の領域の位置を、前記第２のフレームの一部領域を対象とした予測の際の前記暫定参照画像内の参照位置と同じ位置として、前記参照画像を生成する
   画像生成装置。
4. 不可視の物体の性質に起因して被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成装置であって、
   非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記不可視の物体の性質に基づく画像の変化が抑制され、前記被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成部
   を備え、
   前記参照画像生成部は、
   前記時系列フレーム群を構成する第１のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第２の領域とするように前記参照画像を生成する
   画像生成装置。
5. 第１の被写体の性質に起因して第２の被写体が時間的に見かけ上変形するように撮像されたフレームの集合である時系列フレーム群を符号化する場合に参照される参照画像を生成する画像生成方法であって、
   非線形な動き、不規則な動き、あるいは緩急のある動きをするという性質である前記第１の被写体の性質に基づく画像の変化が抑制され、前記第２の被写体の見かけ上の変形が抑制された前記参照画像を生成する参照画像生成ステップと、
   前記時系列フレーム群を構成する第１のフレームの動き補償予測符号化によって予測された領域を前記参照画像の第１の領域とし、前記時系列フレーム群を構成する第２のフレームの前記動き補償予測符号化によって予測された領域を前記参照画像の第２の領域とするように前記参照画像を生成するステップと、
   を有する画像生成方法。
6. 請求項１から請求項４のうちいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのプログラム。

Images