JP6292968B2

JP6292968B2 - 疑似ｈｄｒ画像推定装置及び方法

Info

Publication number: JP6292968B2
Application number: JP2014095079A
Authority: JP
Inventors: 秀樹三ツ峰; 寛史盛岡; 英彦大久保
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-05-02
Filing date: 2014-05-02
Publication date: 2018-03-14
Anticipated expiration: 2034-05-02
Also published as: JP2015213234A

Description

本発明は、疑似ＨＤＲ画像推定装置及び方法に関する。

従来から、デジタル画像処理において、通常の低ダイナミックレンジ（ＬｏｗＤｙｎａｍｉｃＲａｎｇｅ：ＬＤＲ）のカメラを用いて撮像された画像から、高ダイナミックレンジ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ：ＨＤＲ）のカメラによって撮像された画像（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅＩｍａｇｉｎｇ：ＨＤＲＩ）のような幅広いダイナミックレンジの画像を合成する技術が知られている。

そのような技術として、非特許文献１のような多重露光による技術が知られている。この技術は、露光量を変更しながら数度撮影し、それぞれの環境を整合させて画像を合成する技術である。

Ｐ．Ｅ．ＤｅｂｅｖｅｃａｎｄＪ．Ｍａｌｉｋ："Ｒｅｃｏｖｅｒｉｎｇｈｉｇｈｄｙｎａｍｉｃｒａｎｇｅｒａｄｉａｎｃｅｍａｐｓｆｒｏｍｐｈｏｔｏｇｒａｐｈ"，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ１９９７，ｐｐ．３６９−３７８，１９９７．

しかしながら、この技術は、露光量を変更しながら数度撮影する必要があり、煩雑な撮影作業が伴うので、リアルタイムに扱うことができず、バーチャルスタジオなどには利用できない。バーチャルスタジオに代表される３ＤＣＧ（ｔｈｒｅｅ−ＤｉｍｅｎｓｉｏｎａｌＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ：３次元コンピュータグラフィックス）では、整合された自然な映像をリアルタイムに合成する必要がある。

そこで、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像（疑似ＨＤＲ画像と言う。）をリアルタイムに生成することができる装置が求められている。

本発明は、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる疑似ＨＤＲ画像推定装置及び方法を提供することを目的とする。

バーチャルスタジオに代表される３ＤＣＧと実写の映像合成では、自然な映像を生成するためには、それぞれの環境を整合させる必要があることが知られている。これらには、時間的整合、幾何学的整合、光学的整合があげられる。
本発明では、光学的整合のうち、照明条件の整合に関する課題を解決するものである。これは、実写に反映されている照明条件と、３ＤＣＧを描画する際に利用する照明条件の整合である。

すなわち、本発明は、低ダイナミックレンジのカメラを用いてリアルタイムに高ダイナミックレンジの画像情報を取得する手法に関するもので、取得する画像情報の精度を３次元コンピュータグラフィックス技術により画像を描画する際に必要となる照明情報などに利用可能な程度とし、かつ事前に照明の配置などを計測しておき、照明効果が線形和であることを利用し各照明の強度を推定し、これを用いて画像情報の飽和している照明領域の輝度値を推定することにより、疑似的な高ダイナミックレンジ画像や、３ＤＣＧ描画で有益な周囲画像と照明情報を取得するものである。

通常撮影で設定されるレンズのアイリスやカメラのゲイン設定で、飽和しているのは大概の領域は照明領域である。このことから、本手法では、低ダイナミックレンジカメラで撮影した画像の飽和している部分の値を高ダイナミックレンジで撮影した場合に見込まれる輝度値として内挿する。また、内挿手段として、照明の輝度分布をガウス分布と仮定し、また、飽和していない部分との境界で違和感のないようにつなぎ合わせることで、疑似的にＨＤＲＩを生成する。

さらに、周囲画像と照明情報として取り出すことで、用途として、例えば、３ＤＣＧの描画で既存のライブラリ（例えばＯｐｅｎＧＬなど）で容易に利用可能な形としているが、これには、飽和している部分に対し、インペイント処理を施すことで、照明の写りこんでいない画像を作成している。

以上の処理には、各照明の強度情報が必要であるが、低ダイナミックレンジの画像から推定するために、照明効果が線形和となることを利用し、照明強度を直接計測するのではなく、照明装置により照らされた周囲の照明効果の状態から、照明強度を未知数として方程式を解くことにより推定している。この方程式の解法には、事前に各照明単体での照明効果を計測し利用することで簡易化、精度確保を図っている。

ここで、ＬＤＲ画像から照明の強度を求める原理について説明する。これには、照明装置により照らされた周囲の照明効果の状態から、照明の効果が線形和となることを利用したものである。
例えば、照明効果として、ハイライト以外の部分は拡散反射が支配的であることから、Ｌａｍｂｅｒｔ面とみなすと、図１に示すとおり、入射角に依存した反射を行う。説明の都合上、２次元モデルで説明する。
物体表面のある点Ｐ１、Ｐ２に対する照明による影響は、式（１）の様に表わされ、照明の位置や入射角により異なる。

ここでｒ_１、ｒ_２、ｒ_３、ｒ_４は、光源から被写体面への距離、Ｌ_１、Ｌ_２は光源強度、Ｋ_１、Ｋ_２は拡散反射係数である。
これより、被写体からの反射光は各照明効果の線形和であることが分かる。また、それらは照明位置が一定であれば、照明強度Ｌ_１、Ｌ_２をパラメータとして一意に決定される。これは図２の３次元モデルを考慮しても同様である。
したがって、撮影画像の実飽和領域の画素値を左辺とし、照明強度Ｌを未知数として方程式とすることができる。
ここで、右辺の照明強度Ｌ_１、Ｌ_２以外の部分は個別の照明を一つずつ点灯させ、そのときの撮影画像の各画素の輝度値を用いると、式（２）となる。

このときの照明強度と画素のスケール係数ｓとは、事前に単一照明で撮影する際に、その照明領域が飽和しないようにカメラゲインやシャッタースピードなどを調整し、調整した減衰率と求めた画素値とから求めることができる（式（３））。

ここで、ｓ、ｒ、ｃｏｓは定数ｃに置き換えることができる。したがって照明強度をＬ、撮影画像の各画素の輝度をＩとすると式（４）と表わせ、この方程式を解くことで、照明強度を推定することが可能になる。

具体的には、式（５）のような逆行列を求めて置くことで、計算コストを掛けずに求めることが可能である。

しかし、撮影画像の画素数と、照明灯体の数の関係から、現実的には非正方行列となり、また、画素値にノイズが含まれているため、疑似逆行列を求め用いる。

具体的には、以下のような解決手段を提供する。
（１）低ダイナミックレンジのカメラを用いて画像を生成する疑似ＨＤＲ画像推定装置であって、前記画像を構成する画素の輝度値に基づいて照明の強度を推定するための照明推定行列であって前記低ダイナミックレンジのカメラによって撮影される撮影場所において予め算出された前記照明推定行列を記憶する照明基本情報記憶部と、前記撮影場所において、前記低ダイナミックレンジのカメラを用いて撮影された画像を取得する画像取得部と、前記画像取得部によって取得された前記画像を構成する画素のうち、前記画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における前記画素の輝度値と、前記照明推定行列とに基づいて、前記撮影場所における前記照明の強度を推定する照明強度推定部と、前記照明強度推定部によって推定された前記照明の強度に基づいて、前記低ダイナミックレンジ領域以外の領域における前記画素の輝度値を算出する輝度値算出部と、前記輝度値算出部によって算出された前記輝度値に基づいて、前記低ダイナミックレンジ領域と前記低ダイナミックレンジ領域以外の領域とにおける前記画素の輝度値を調整した画像を生成する画像生成部と、を備える疑似ＨＤＲ画像推定装置。

（１）の構成によれば、（１）に係る疑似ＨＤＲ画像推定装置は、画像を構成する画素の輝度値に基づいて照明の強度を推定するための照明推定行列であって低ダイナミックレンジのカメラによって撮影される撮影場所において予め算出された照明推定行列を記憶する照明基本情報記憶部を備え、照明推定行列が予め算出された撮影場所において、低ダイナミックレンジのカメラを用いて撮影された画像を取得し、取得した画像を構成する画素のうち、画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における画素の輝度値と、予め算出された照明推定行列とに基づいて、撮影場所における照明の強度を推定し、推定した照明の強度に基づいて、低ダイナミックレンジ領域以外の領域における画素の輝度値を算出し、算出した輝度値に基づいて、低ダイナミックレンジ領域と低ダイナミックレンジ領域以外の領域とにおける画素の輝度値を調整した画像を生成する。

したがって、（１）に係る疑似ＨＤＲ画像推定装置は、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる。

（２）前記撮影場所に設置された照明装置の各々について、照明装置によって生ずる照明の照明強度及び照明位置を含む照明情報を取得する照明情報取得部と、前記撮影場所において撮影対象を撮影する前記低ダイナミックレンジのカメラの撮影位置を含む撮影情報を取得する撮影情報取得部と、照明された領域が飽和しないように減衰率が調整された前記低ダイナミックレンジのカメラにより撮影された前記撮影対象の画像を取得する調整画像取得部と、単一の前記照明装置によって照明された前記撮影対象の画像を前記調整画像取得部により取得し、取得した画像を構成する画素の輝度値と、前記減衰率とから画素のスケール係数を算出するスケール係数算出部と、前記照明装置ごとに前記スケール係数算出部によって算出された前記スケール係数に基づいて、前記照明強度と前記画素の輝度値とを関連付ける前記照明推定行列を算出する推定行列算出部と、前記照明情報取得部により取得された前記照明情報と、前記撮影情報取得部により取得された前記撮影情報と、前記推定行列算出部によって算出された前記照明推定行列とを、前記照明基本情報記憶部に記憶させる記憶制御部と、をさらに備える（１）に記載の疑似ＨＤＲ画像推定装置。

（２）の構成によれば、（２）に係る疑似ＨＤＲ画像推定装置は、（１）に記載の疑似ＨＤＲ画像推定装置に加えてさらに、撮影場所に設置された照明装置の各々について、照明装置によって生ずる照明の照明強度及び照明位置を含む照明情報を取得し、撮影場所において撮影対象を撮影する低ダイナミックレンジのカメラの撮影位置を含む撮影情報を取得し、照明された領域が飽和しないように減衰率が調整された低ダイナミックレンジのカメラにより撮影された撮影対象の画像を取得し、単一の照明装置によって照明された撮影対象の画像を取得し、取得した画像を構成する画素の輝度値と、減衰率とから画素のスケール係数を算出し、照明装置ごとに算出されたスケール係数に基づいて、照明強度と画素の輝度値とを関連付ける照明推定行列を算出し、照明情報と、撮影情報と、照明推定行列とを、照明基本情報記憶部に記憶させる。

したがって、（２）に係る疑似ＨＤＲ画像推定装置は、照明推定行列を作成して、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる。

（３）照明情報取得部は、前記照明位置を、複数のカメラを用いて推定し、画像を構成する画素の輝度値が一定の値以上である領域を照明部分と判定する照明位置推定部と、前記照明位置推定部によって前記照明部分と判定された領域に基づいて照明領域マスクを作成する照明領域マスク作成部と、をさらに備える（２）に記載の疑似ＨＤＲ画像推定装置。

したがって、（３）に係る疑似ＨＤＲ画像推定装置は、照明位置を測定し、照明領域マスクによって除いた領域に基づいて推定した照明強度に基づいて、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに、より精度よく生成することができる。

（４）（１）に記載の疑似ＨＤＲ画像推定装置が実行する方法であって、前記画像取得部が、前記撮影場所において、前記低ダイナミックレンジのカメラを用いて撮影された画像を取得する画像取得ステップと、前記照明強度推定部が、前記画像取得ステップによって取得された前記画像を構成する画素のうち、前記画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における前記画素の輝度値と、前記照明推定行列とに基づいて、前記撮影場所における前記照明の強度を推定する照明強度推定ステップと、前記輝度値算出部が、前記照明強度推定ステップによって推定された前記照明の強度に基づいて、前記低ダイナミックレンジ領域以外の領域における前記画素の輝度値を算出する輝度値算出ステップと、前記画像生成部が、前記輝度値算出ステップによって算出された前記輝度値に基づいて、前記低ダイナミックレンジ領域と前記低ダイナミックレンジ領域以外の領域とにおける前記画素の輝度値を調整した画像を生成する画像生成ステップと、を備える方法。

したがって、（４）に係る方法は、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる。

本発明によれば、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる。
さらに、本発明では、事前作業が必要であるが、撮影中は煩雑な作業がなく、画像の取得がリアルタイムにできるため、特に生放送において、バーチャルスタジオの映像合成における違和感の低減やフォトリアルなＣＧ生成などクオリティの面での飛躍的な向上が可能である。
すなわち、本発明では、事前に照明の基本情報を取得しておくことで、疑似的ではあるが、３ＤＣＧを描画する際、リアリティのある映像を生成するために利用可能なリアルタイムに変化するＨＤＲＩや、周囲映像、照明情報を通常の低ダイナミックレンジのカメラで取得可能とする。この手法は、フォトリアリスティックな３ＤＣＧを描画可能とするだけではなく、実写とＣＧの映像合成を行う場合に、照明条件の整合した自然な映像を生成することが可能になるなどの効果がある。
また、本発明は、バーチャルスタジオなど、テレビスタジオでの番組制作における映像合成に利用可能であるが、その他、照明位置は限定されるが、簡易にリアルタイムに変化するＨＤＲＩを取得可能であることから、動画３ＤＣＧにおける照明情報として利用可能であるほか、ＨＤＲＩを利用する各種アプリケーションに利用可能である。

本発明の一実施形態に係る疑似ＨＤＲ画像推定装置の処理を説明するための説明図である。本発明の一実施形態に係る疑似ＨＤＲ画像推定装置の処理を説明するための別の説明図である。本発明の実施形態１に係る疑似ＨＤＲ画像推定装置の構成を示す図である。本発明の実施形態１に係る疑似ＨＤＲ画像推定装置の事前処理を示すフローチャートである。本発明の実施形態１に係る疑似ＨＤＲ画像推定装置の画像生成処理を示すフローチャートである。本発明の実施形態２に係る疑似ＨＤＲ画像推定装置の構成を示す図である。本発明の実施形態２に係る疑似ＨＤＲ画像推定装置の事前処理を示すフローチャートである。本発明の実施形態２に係る疑似ＨＤＲ画像推定装置の画像生成処理を示すフローチャートである。本発明の実施形態２に係る映像合成システムを説明するための説明図である。

［実施形態１］
以下、本発明の実施形態について、図を参照しながら説明する。
本発明において、リアルタイムに疑似ＨＤＲ画像を推定するためには、事前情報を取得する必要がある。事前情報は、各照明を個別にＯＮ／ＯＦＦすることで得られる、各照明の位置と、基底となる各照明による周囲への影響状態を含む情報である。
実施形態１では、事前処理において、撮影場所に設置される照明装置の位置、撮影対象の位置、及び低ダイナミックレンジのカメラ１０１の位置が既知であり、疑似ＨＤＲ画像推定装置１０は、照明基本情報記憶部３１に予め記憶された事前情報に基づいて、事前処理と同一の環境下で照明の強度が変化する場合に、低ダイナミックレンジのカメラ１０１により撮影された撮影対象の画像から、疑似ＨＤＲ画像をリアルタイムに生成する。

図３は、本発明の実施形態１に係る疑似ＨＤＲ画像推定装置１０の構成を示す図である。疑似ＨＤＲ画像推定装置１０は、疑似ＨＤＲ画像をリアルタイムに推定し、生成するために、画像取得部１１と、照明強度推定部１２と、輝度値算出部１３と、画像生成部１４と、照明基本情報記憶部３１と、画像記憶部３２とを備え、事前処理のために、照明情報取得部２１と、撮影情報取得部２２と、調整画像取得部２３と、スケール係数算出部２４と、推定行列算出部２５と、記憶制御部２６とを備える。各部ごとに詳述する。

照明基本情報記憶部３１は、画像を構成する画素の輝度値に基づいて照明の強度を推定するための照明推定行列であって低ダイナミックレンジのカメラ１０１によって撮影される撮影場所において予め算出された照明推定行列を記憶する。
照明推定行列は、後述する推定行列算出部２５により予め算出され、式（５）で表わされるものである。

画像取得部１１は、照明推定行列が算出された撮影場所において、低ダイナミックレンジのカメラ１０１を用いて撮影された画像を取得する。具体的には、画像取得部１１は、低ダイナミックレンジのカメラ１０１から撮像素子で撮影された画像をデジタルデータとして取得し、画像記憶部３２に記憶させる。低ダイナミックレンジでのデジタルデータは、例えば、１画素あたりＲＧＢそれぞれ８ビット、２５６階調で表現される。

照明強度推定部１２は、画像取得部１１によって取得された画像を構成する画素のうち、画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における画素の輝度値と、照明推定行列とに基づいて、撮影場所における照明の強度を推定する。具体的には、照明強度推定部１２は、画素の輝度値が所定の輝度値以下であるか否か（すなわち、輝度を示すレンジを超えているか否か）を判定し、所定の輝度値以上である領域の輝度値を除き、所定の輝度値以下である低ダイナミックレンジ領域における画素の輝度値を求める。照明強度推定部１２は、求めた低ダイナミックレンジ領域における画素の輝度値を行列形式にしたものと、照明推定行列との乗算により、撮影場所における照明の強度（例えば、数式（４）におけるＬ_０〜Ｌ_ｎ−１）を算出し、算出した照明の強度によって撮影対象が照明されていると推定する。

輝度値算出部１３は、照明強度推定部１２によって算出された照明の強度に基づいて、低ダイナミックレンジ領域以外の領域における画素の輝度値を算出する。具体的には、輝度値算出部１３は、照明強度推定部１２によって推定された照明の強度に、例えば、数式（４）に基づいて、推定した照明の強度における画素の輝度値を算出する。

画像生成部１４は、輝度値算出部１３によって算出された輝度値に基づいて、低ダイナミックレンジ領域と低ダイナミックレンジ領域以外の領域とにおける画素の輝度値を調整した画像を生成する。具体的には、画像生成部１４は、輝度値算出部１３によって算出された輝度値を、低ダイナミックレンジ領域以外の輝度値とし、低ダイナミックレンジ領域と低ダイナミックレンジ領域以外の画素の輝度値を調整（例えば、領域の境界における輝度値の変化を調整）した画像を生成する。
なお、疑似ＨＤＲ画像推定装置１０は、画像取得部１１から画像生成部１４の処理を繰り返し、連続して撮影される映像の処理を行う。

次に、事前処理における照明推定行列の算出について説明する。
照明情報取得部２１は、撮影場所に設置された照明装置の各々について、照明装置によって生ずる照明の照明強度及び照明位置を含む照明情報を取得する。照明情報は、予め測定され、入力されるとしてもよい。また、後述する実施形態２のように、複数のカメラを用いて測定され、入力されるとしてもよい。

撮影情報取得部２２は、撮影場所において撮影対象を撮影する低ダイナミックレンジのカメラ１０１の撮影位置を含む撮影情報を取得する。撮影情報は、予め測定され、入力されるとしてもよい。

調整画像取得部２３は、照明された領域が飽和しないように減衰率（例えば、カメラゲインやシャッタースピードなど）が調整された低ダイナミックレンジのカメラ１０１により撮影された撮影対象の画像を取得する。

スケール係数算出部２４は、単一の照明装置によって照明された撮影対象の画像を調整画像取得部２３により取得し、取得した画像を構成する画素の輝度値と、減衰率とから画素のスケール係数を算出する。

推定行列算出部２５は、照明装置ごとにスケール係数算出部２４によって算出されたスケール係数に基づいて、照明強度と画素の輝度値とを関連付ける照明推定行列を算出する。

記憶制御部２６は、照明情報取得部２１により取得された照明情報と、撮影情報取得部２２により取得された撮影情報と、推定行列算出部２５によって算出された照明推定行列とを、照明基本情報記憶部３１に記憶させる。

図４は、本発明の実施形態１に係る疑似ＨＤＲ画像推定装置１０の事前処理を示すフローチャートである。疑似ＨＤＲ画像推定装置１０は、コンピュータ及びその周辺装置が備えるハードウェア並びに該ハードウェアを制御するソフトウェアによって構成され、以下の処理は、それぞれの制御部（例えば、ＣＰＵ）が、ＯＳの下で所定のソフトウェアに従い実行する処理である。

ステップＳ１０１において、ＣＰＵ（照明情報取得部２１）は、照明情報を取得する。より具体的には、ＣＰＵは、撮影場所に設置された照明装置の各々について、照明強度及び設置位置を含む照明情報を取得する。

ステップＳ１０２において、ＣＰＵ（撮影情報取得部２２）は、撮影情報を取得する。より具体的には、ＣＰＵは、撮影場所において撮影対象を撮影する低ダイナミックレンジのカメラ１０１の撮影位置を含む撮影情報を取得する。

ステップＳ１０３において、ＣＰＵ（調整画像取得部２３、スケール係数算出部２４）は、単一の照明の下での調整された画像を、照明ごとに取得する。より具体的には、ＣＰＵは、照明された領域が飽和しないように減衰率（例えば、カメラゲインやシャッタースピードなど）が調整された低ダイナミックレンジのカメラ１０１により撮影された撮影対象の画像であって単一の照明装置によって照明された画像を、照明装置ごとに取得する。

ステップＳ１０４において、ＣＰＵ（推定行列算出部２５）は、照明推定行列を算出する。より具体的には、ＣＰＵは、照明装置ごとにステップＳ１０３によって算出されたスケール係数に基づいて、照明強度と画素の輝度値とを関連付ける照明推定行列を算出する。

ステップＳ１０５において、ＣＰＵ（記憶制御部２６）は、照明情報と、撮影情報と、照明推定行列とを照明基本情報記憶部３１に記憶させる。より具体的には、ＣＰＵは、ステップＳ１０１において取得された照明情報と、ステップＳ１０２において取得された撮影情報と、ステップＳ１０４において算出された照明推定行列とを、照明基本情報記憶部３１に記憶させる。

図５は、本発明の実施形態１に係る疑似ＨＤＲ画像推定装置１０の画像生成処理を示すフローチャートである。

ステップＳ１１１において、ＣＰＵ（画像取得部１１）は、ＬＤＲ画像を取得する。より具体的には、ＣＰＵは、低ダイナミックレンジのカメラ１０１を用いて撮影された画像を取得する。

ステップＳ１１２において、ＣＰＵ（照明強度推定部１２）は、照明の強度を推定し、照明強度情報を作成する。より具体的には、ＣＰＵは、ステップＳ１１１において取得された画像を構成する画素のうち、画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における画素の輝度値と、照明基本情報記憶部３１に記憶された照明推定行列とに基づいて、照明の強度を推定し、照明強度情報を作成する。

ステップＳ１１３において、ＣＰＵ（輝度値算出部１３）は、ＬＤＲ領域を推定し、ＨＤＲ領域（ＬＤＲ領域以外の領域）の輝度を推定する。より具体的には、ＣＰＵは、ステップＳ１１２において推定した照明の強度に基づいて、数式（４）に基づいて、推定したＬＤＲ領域以外のＨＤＲ領域について、推定した照明の強度における画素の輝度値を算出する。

ステップＳ１１４において、ＣＰＵ（画像生成部１４）は、疑似ＨＤＲ画像を生成する。より具体的には、ＣＰＵは、ステップＳ１１３において算出した輝度値を、ＨＤＲ領域（低ダイナミックレンジ領域以外）の輝度値とし、低ダイナミックレンジ領域とＨＤＲ領域（低ダイナミックレンジ領域以外の領域）との境界における輝度値の変化を調整した画像を生成する。

ステップＳ１１５において、ＣＰＵ（画像生成部１４）は、終了か否かを判断する。より具体的には、ＣＰＵは、操作者から終了を示す指示を受け付けたか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理を終了し、ＮＯの場合、ＣＰＵは、処理をステップＳ１１１に移す。

［実施形態２］
実施形態２では、疑似ＨＤＲ画像推定装置１０は、複数のカメラを備え、照明に関する位置情報を取得する。また、ＣＧ作成などでの利用を想定し、疑似ＨＤＲ画像推定装置１０は、疑似ＨＤＲ画像と合わせて、周囲のＬＤＲ全周囲画像と、照明の３次元位置と強度を推定する。映像合成システム１は、疑似ＨＤＲ画像推定装置１０が提供する出力情報（照明除去画像、疑似ＨＤＲ画像、照明強度情報など）を利用する。

図６は、本発明の実施形態２に係る疑似ＨＤＲ画像推定装置１０の構成を示す図である。疑似ＨＤＲ画像推定装置１０は、実施形態１と同様の構成に加え、事前処理における照明情報取得部２１は、照明位置推定部２１１と照明領域マスク作成部２１２とをさらに備える。各部ごとに詳述する。

まず、事前処理について述べる。
照明位置推定部２１１は、基底となる照明情報及び位置情報を取得する。照明位置推定部２１１は、照明位置を、２台のカメラ１０１，１０２で構成されるステレオカメラにより計測する。ここで、「照明は一定以上の明るさの部位」と仮定する。照明位置推定部２１１は、撮影画像上で飽和あるいは一定以上の輝度領域を照明部分と判定する。具体的には、照明位置推定部２１１は、ステレオカメラで、ある一定以上の領域を対象に、視体積交差法により、照明の３次元位置を推定する。
各照明装置を点灯状態が重複しないよう順に点灯させると、各照明装置が点灯した状態で照明位置推定部２１１が推定した照明の位置が得られる。

照明領域マスク作成部２１２は、照明領域マスクを作成する。照明領域マスク作成部２１２は、照明位置推定部２１１の処理によって照明部分と判定された領域に基づいて照明領域マスクを作成する。照明領域マスクは、以降の処理で、飽和している画素が推定精度に影響を与えることを防止するため、次の照明推定行列の算出における行の削除のために用いられる。

実施形態１と同様に、撮影情報取得部２２と、調整画像取得部２３と、スケール係数算出部２４と、推定行列算出部２５とにより、照明推定行列を算出する。
ここで、推定行列算出部２５は、列の情報を取得する際に、輝度値が飽和あるいは、一定以上のため照明部分と判定された行については、推定に影響を与えるため削除する。
以上により、各照明が撮影画像に寄与する行列係数（列）の情報を容易に取得することができる。
このように照明推定行列を事前に求め疑似ＨＤＲ画像を求めるが、ここで、現実的には非正方行列で映像ノイズなどの影響もあるため疑似逆行列を求めることになるが、本実施例では特異値分解（ＳＶＤ）により求める。ただし、本発明はこれを限定するものではなくＱＲ分解などによるものでも実現可能である。

次に、リアルタイムに疑似ＨＤＲ画像を推定する処理について述べる。疑似ＨＤＲ画像推定処理は、事前情報取得に用いたステレオカメラを用い、それらの撮影画像と事前取得した情報を用いて、疑似ＨＤＲ画像の推定を行う。ここでは、説明を簡単にするため、ステレオカメラの片方（例えば、カメラ１０１）に関して説明を行う。この時点で、事前情報として、照明の位置（３次元位置と、カメラ１０１で撮影する画像情報２次元位置）と、周囲画像から各照明の強度を推定するための照明推定行列が準備されている。

図６においては、事前情報は、照明基本情報記憶部３１に格納されており、疑似ＨＤＲ画像推定装置１０は、これらの情報と、低ダイナミックレンジのカメラ１０１，１０２からの画像とを用い、各照明の強度を推定し、これらの結果から、疑似ＨＤＲ画像の生成、照明を除去したＬＤＲ画像を生成する。

実施形態１と同様に、画像取得部１１は、低ダイナミックレンジのカメラ１０１，１０２によって撮影されたＬＤＲ画像を取得し、画像記憶部３２に記憶させる。照明強度推定部１２は、取得された画像に基づいて、照明領域マスク作成部２１２によって作成され照明基本情報記憶部３１に記憶されている照明領域マスクを用いて、照明領域以外の画素値が対象となるよう行列を作成し、照明基本情報記憶部３１に記憶されている照明推定行列に掛けることで、各照明の強度を推定する。

実施形態１と同様に、輝度値算出部１３は、ＬＤＲ領域を推定し、ＬＤＲ領域以外（ＨＤＲ領域と言う。）の輝度を推定する。輝度値算出部１３は、撮影画像上の飽和していない領域をＬＤＲ領域として抽出する。
ＬＤＲ領域以外の領域は撮影した際の画像フォーマットのダイナミックレンジには収まらない値をとっているため、輝度値算出部１３は、この部分の画素値を推定する。すなわち、輝度値算出部１３は、照明強度推定部１２によって推定された照明の強度に基づいて、輝度値を算出する。

さらに、画像生成部１４は、照明の輝度分布がガウス分布になっていると仮定し、求めた照明強度を基準にスケーリングした２Ｄ（２次元）ガウス分布上の輝度情報を作成し、対象となる領域の重心位置とガウス分布の中心が一致するように配置したうえで、ＰｏｉｓｓｏｎＩｍａｇｅＥｄｉｔｉｎｇの手法を利用し、ＬＤＲとの境界領域の不自然さを除きつつ合成を行い、疑似的なＨＤＲ画像を作成する。

図７は、本発明の実施形態２に係る疑似ＨＤＲ画像推定装置１０の事前処理を示すフローチャートである。

ステップＳ２０１において、ＣＰＵ（照明情報取得部２１、照明位置推定部２１１、照明領域マスク作成部２１２）は、照明位置を含む照明情報を取得し、照明領域マスクを作成する。

ステップＳ２０２において、ＣＰＵ（撮影情報取得部２２）は、実施形態１と同様に、撮影情報を取得する。

ステップＳ２０３において、ＣＰＵ（調整画像取得部２３、スケール係数算出部２４）は、実施形態１と同様に、単一の照明の下での調整された画像を、照明ごとに取得する。

ステップＳ２０４において、ＣＰＵ（推定行列算出部２５）は、ステップＳ２０１において作成した照明領域マスクによって削除された部分を除いた照明推定行列を算出する。より具体的には、ＣＰＵは、照明装置ごとにステップＳ２０３によって算出されたスケール係数であって、ステップＳ２０１において作成した照明領域マスクによって削除された部分を除いたスケール係数に基づいて、照明強度と画素の輝度値とを関連付ける照明推定行列を算出する。

ステップＳ２０５において、ＣＰＵ（記憶制御部２６）は、実施形態１と同様に、照明情報と、撮影情報と、照明推定行列とを照明基本情報記憶部３１に記憶させる。

図８は、本発明の実施形態２に係る疑似ＨＤＲ画像推定装置１０の画像生成処理を示すフローチャートである。

ステップＳ２１１において、ＣＰＵ（画像取得部１１）は、実施形態１と同様に、ＬＤＲ画像を取得する。

ステップＳ２１２において、ＣＰＵ（照明強度推定部１２）は、照明領域マスクを用いて照明の強度を推定し、照明強度情報を作成する。より具体的には、ＣＰＵは、ステップＳ２１１において取得された画像を構成する画素のうち、照明基本情報記憶部３１に記憶されている照明領域マスクを用いて、画素の輝度値が所定の輝度値以上である領域を除いた画素の輝度値と、照明基本情報記憶部３１に記憶された照明推定行列とに基づいて、照明の強度を推定し、照明強度情報を作成する。

ステップＳ２１３において、ＣＰＵ（輝度値算出部１３）は、実施形態１と同様に、ＬＤＲ領域を推定し、ＨＤＲ領域（ＬＤＲ領域以外の領域）の輝度を推定する。

ステップＳ２１４において、ＣＰＵ（画像生成部１４）は、ＬＤＲ領域との境界処理を行って疑似ＨＤＲ画像を生成する。より具体的には、ＣＰＵは、照明の輝度分布をガウス分布とみなして、求めた照明強度を基準にスケーリングした２次元ガウス分布上の輝度情報を作成し、疑似ＨＤＲ画像を生成する。

ステップＳ２１５において、ＣＰＵ（画像生成部１４）は、実施形態１と同様に、終了か否かを判断し、この判断がＹＥＳの場合、ＣＰＵは、処理を終了し、ＮＯの場合、ＣＰＵは、処理をステップＳ２１１に移す。

図９は、本発明の実施形態２に係る映像合成システム１を説明するための説明図である。映像合成システム１は、疑似ＨＤＲ画像推定装置１０によって推定された疑似ＨＤＲ画像を利用し、これを周囲照明情報として、ＩＢＬ（Ｉｍａｇｅ−ｂａｓｅｄＬｉｇｈｔｉｎｇ）によりＣＧ描画装置５０でＣＧを描画することで、実写空間と整合のとれた照明効果を与えたＣＧ映像が作成でき、実写映像５０１と、作成され記憶されているＣＧ映像５０２とを映像合成装置５１によって合成することで、違和感のない合成映像５０３を作成できる。

疑似ＨＤＲ画像推定装置１０は、疑似ＨＤＲ画像の作成において、インペイント処理をするとしてもよい。疑似ＨＤＲ画像推定装置１０は、疑似ＨＤＲ画像の作成と並行し、写りこんだ照明を除去したＬＤＲ領域のみの画像を作成する。この情報と照明情報はＣＧコンテンツ作成に有益なものである。
具体的には、疑似ＨＤＲ画像推定装置１０は、画像取得部１１で取得したＬＤＲ画像に対し、ＬＤＲ領域の推定によって求めた情報を利用し、ＬＤＲ領域以外の領域を対象にインペイント処理を行うことで、照明を除去したＬＤＲ画像を作成する。ここで、本実施例ではインペイント処理は、高速マーチング法に基づく画像インペイント技術（Ａ．Ｔｅｌｅａ，“Ａｎｉｍａｇｅｉｎｐａｉｎｔｉｎｇｔｅｃｈｎｉｑｕｅｂａｓｅｄｏｎｔｈｅｆａｓｔｍａｒｃｈｉｎｇｍｅｔｈｏｄ”，ＪｏｕｒｎａｌｏｆＧｒａｐｈｉｃｓＴｏｏｌｓ，９（１）：２３３４，２００４．）の手法を用いたが、これを限定するものではなく、他の技術（ＢｅｒｔａｌｍｉｏＭ．，ＢｅｒｔｏｚｚｉＡ．Ｌ．，ＳａｐｉｒｏＧ．，“Ｎａｖｉｅｒ−ｓｔｏｋｅｓ，ｕｉｄｄｙｎａｍｉｃｓ，ａｎｄｉｍａｇｅａｎｄｖｉｄｅｏｉｎｐａｉｎｔｉｎｇ”，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２００１．ＣＶＰＲ２００１．Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００１ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎ，ｖｏｌ．１，ｎｏ．，ｐｐ．Ｉ−３５５，Ｉ−３６２ｖｏｌ．１，２００１）や、その他の手法でも実現可能である。以上の処理により、照明の写りこんでいない映像を作成できる。

このようにして取得した情報は、ＨＤＲＩを用いたＩＢＬや、照明情報を点光源などのモデルにあてはめ、従来のＣＧ描画ＡＰＩ（例えばＯｐｅｎＧＬなど）で描画することで実空間と照明の整合のとれたＣＧをレンダリング可能である。また、照明の写りこんでいない映像はテカリ、つまり鏡面反射を起こし、かつ一定の滑らかな表面を持つＣＧ被写体への写りこみを表現可能であるため、写りこみはＬＤＲＩを利用し、照明効果は、推定した照明強度を点光源モデルに割り当てたもので表現することで、効率的かつ表現力豊かなＣＧの描画を行うことが可能になる。

また、これらＬＤＲ画像取得の際に、カメラ台数を増やす、あるいは光学部分を工夫することで、全方位の情報を取得することは容易である。
本実施例では１８０度魚眼レンズを取り付けたカメラ（広角撮影カメラ）を上下方向に向け全方位の情報を取得している。
さらに、本実施例では照明強度として説明を行ったが、マルチバンドの照明情報として扱ってもよく、例えば、赤、青、緑の光の３原色で分光し、それぞれで照明強度を推定する、あるいは疑似ＨＤＲＩ画像を生成することも可能であり、本発明はバンド数を限定したり、可視光領域に限定するものではない。

本実施形態１によれば、疑似ＨＤＲ画像推定装置１０は、撮影場所に設置された照明装置の各々について、照明装置によって生ずる照明の照明強度及び照明位置を含む照明情報を取得し、撮影場所において撮影対象を撮影する低ダイナミックレンジのカメラ１０１の撮影位置を含む撮影情報を取得し、照明された領域が飽和しないように減衰率が調整された低ダイナミックレンジのカメラ１０１により撮影された撮影対象の画像を取得し、単一の照明装置によって照明された撮影対象の画像を取得し、取得した画像を構成する画素の輝度値と、減衰率とから画素のスケール係数を算出し、照明装置ごとに算出されたスケール係数に基づいて、照明強度と画素の輝度値とを関連付ける照明推定行列を算出し、照明情報と、撮影情報と、照明推定行列とを、照明基本情報記憶部３１に記憶させる。
そして、疑似ＨＤＲ画像推定装置１０は、照明推定行列が予め算出された撮影場所において、低ダイナミックレンジのカメラ１０１を用いて撮影された画像を取得し、取得した画像を構成する画素のうち、画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における画素の輝度値と、予め算出された照明推定行列とに基づいて、撮影場所における照明の強度を推定し、推定した照明の強度に基づいて、低ダイナミックレンジ領域以外の領域における画素の輝度値を算出し、算出した輝度値に基づいて、低ダイナミックレンジ領域と低ダイナミックレンジ領域以外の領域とにおける画素の輝度値を調整した画像を生成する。
したがって、疑似ＨＤＲ画像推定装置１０は、低ダイナミックレンジのカメラ１０１を用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに生成することができる。

本実施形態２によれば、疑似ＨＤＲ画像推定装置１０は、照明位置を複数のカメラ１０１，１０２を用いて推定し、画像を構成する画素の輝度値が一定の値以上である領域を照明部分と判定し、照明部分と判定した領域に基づいて照明領域マスクを作成し、照明領域マスクを用いて、画素の輝度値が所定の輝度値以上である領域を除いた画素の輝度値と、照明推定行列とに基づいて、照明の強度を推定し、照明強度情報を作成する。また、疑似ＨＤＲ画像推定装置１０は、照明の輝度分布がガウス分布になっていると仮定し、求めた照明強度を基準にスケーリングした２次元ガウス分布上の輝度情報を作成し、対象となる領域の重心位置とガウス分布の中心が一致するように配置したうえで、ＰｏｉｓｓｏｎＩｍａｇｅＥｄｉｔｉｎｇの手法を利用し、ＬＤＲとの境界領域の不自然さを除きつつ合成を行い、疑似的なＨＤＲ画像を作成する。
したがって、疑似ＨＤＲ画像推定装置１０は、照明位置を測定し、照明領域マスクによって除いた領域に基づいて推定した照明強度に基づいて、低ダイナミックレンジのカメラを用いて、高ダイナミックレンジのカメラによる画像と同様の画像をリアルタイムに、より精度よく生成することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０疑似ＨＤＲ画像推定装置
１１画像取得部
１２照明強度推定部
１３輝度値算出部
１４画像生成部
２１照明情報取得部
２１１照明位置推定部
２１２照明領域マスク作成部
２２撮影情報取得部
２３調整画像取得部
２４スケール係数算出部
２５推定行列算出部
２６記憶制御部
３１照明基本情報記憶部
３２画像記憶部

Claims

低ダイナミックレンジのカメラを用いて画像を生成する疑似ＨＤＲ画像推定装置であって、
前記画像を構成する画素の輝度値に基づいて照明の強度を推定するための照明推定行列であって前記低ダイナミックレンジのカメラによって撮影される撮影場所において予め算出された前記照明推定行列を記憶する照明基本情報記憶部と、
前記撮影場所において、前記低ダイナミックレンジのカメラを用いて撮影された画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像を構成する画素のうち、前記画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における前記画素の輝度値と、前記照明推定行列とに基づいて、前記撮影場所における前記照明の強度を推定する照明強度推定部と、
前記照明強度推定部によって推定された前記照明の強度に基づいて、前記低ダイナミックレンジ領域以外の領域における前記画素の輝度値を算出する輝度値算出部と、
前記輝度値算出部によって算出された前記輝度値に基づいて、前記低ダイナミックレンジ領域と前記低ダイナミックレンジ領域以外の領域とにおける前記画素の輝度値を調整した画像を生成する画像生成部と、
を備える疑似ＨＤＲ画像推定装置。
前記撮影場所に設置された照明装置の各々について、前記照明装置によって生ずる照明の照明強度及び照明位置を含む照明情報を取得する照明情報取得部と、
前記撮影場所において撮影対象を撮影する前記低ダイナミックレンジのカメラの撮影位置を含む撮影情報を取得する撮影情報取得部と、
照明された領域が飽和しないように減衰率が調整された前記低ダイナミックレンジのカメラにより撮影された前記撮影対象の画像を取得する調整画像取得部と、
単一の前記照明装置によって照明された前記撮影対象の画像を前記調整画像取得部により取得し、取得した画像を構成する画素の輝度値と、前記減衰率とから画素のスケール係数を算出するスケール係数算出部と、
前記照明装置ごとに前記スケール係数算出部によって算出された前記スケール係数に基づいて、前記照明強度と前記画素の輝度値とを関連付ける前記照明推定行列を算出する推定行列算出部と、
前記照明情報取得部により取得された前記照明情報と、前記撮影情報取得部により取得された前記撮影情報と、前記推定行列算出部によって算出された前記照明推定行列とを、前記照明基本情報記憶部に記憶させる記憶制御部と、
をさらに備える請求項１に記載の疑似ＨＤＲ画像推定装置。
照明情報取得部は、
前記照明位置を、複数のカメラを用いて推定し、画像を構成する画素の輝度値が一定の値以上である領域を照明部分と判定する照明位置推定部と、
前記照明位置推定部によって前記照明部分と判定された領域に基づいて照明領域マスクを作成する照明領域マスク作成部と、をさらに備える請求項２に記載の疑似ＨＤＲ画像推定装置。
請求項１に記載の疑似ＨＤＲ画像推定装置が実行する方法であって、
前記画像取得部が、前記撮影場所において、前記低ダイナミックレンジのカメラを用いて撮影された画像を取得する画像取得ステップと、
前記照明強度推定部が、前記画像取得ステップによって取得された前記画像を構成する画素のうち、前記画素の輝度値が所定の輝度値以下である低ダイナミックレンジ領域における前記画素の輝度値と、前記照明推定行列とに基づいて、前記撮影場所における前記照明の強度を推定する照明強度推定ステップと、
前記輝度値算出部が、前記照明強度推定ステップによって推定された前記照明の強度に基づいて、前記低ダイナミックレンジ領域以外の領域における前記画素の輝度値を算出する輝度値算出ステップと、
前記画像生成部が、前記輝度値算出ステップによって算出された前記輝度値に基づいて、前記低ダイナミックレンジ領域と前記低ダイナミックレンジ領域以外の領域とにおける前記画素の輝度値を調整した画像を生成する画像生成ステップと、
を備える方法。