JP6187640B2

JP6187640B2 - 画像合成方法及び装置

Info

Publication number: JP6187640B2
Application number: JP2016131395A
Authority: JP
Inventors: インジャオ; リイェヌリィウ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-07-03
Filing date: 2016-07-01
Publication date: 2017-08-30
Anticipated expiration: 2036-07-01
Also published as: CN106327454B; JP2017016663A; CN106327454A

Description

本発明は合成画像を生成する方法及び装置に関するものであり、より具体的には、本発明はソース画像中のオブジェクトをターゲット画像中へ合成する方法及び装置に関するものである。

画像合成技術の目的は、異なる環境下で撮影した一枚のソース画像と一枚のターゲット画像を合成して一枚の画像とすることにある。しかし光照射条件等の不一致のゆえに、合成した画像は通常人に真実ではない感じを与えてしまう。例えば、ターゲット画像の光照射方向は左から右、ソース画像の光照射方向は右から左として、ターゲット画像の光照射方向、あるいはソース画像の光照射方向に対して処理をせずに直接合成画像を生成した場合、見る人に通常この画像を真実でないと思わせる。

本発明の実施例の目的は、合成画像を生成する方法及び装置を提供することにあり、上述の過度な増強問題を解決する。

本発明の一つの実施例は画像合成方法を提供し、その方法は、ソース画像、ソース画像の深度情報及びターゲット画像を取得すること；ターゲット画像の光照射情報を確定すること；ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成すること；及び、光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することを含む。

本発明のもう一つの実施例は画像合成装置を提供し、その装置は、ソース画像、ソース画像の深度情報及びターゲット画像を取得するための画像取得ユニット；ターゲット画像の光照射情報を確定するための光照射情報確定ユニット；ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成するための光照射最適化ユニット；及び、光照射を最適化したソース画像及びターゲット画像に基づき合成画像を生成するための画像合成ユニットを含む。

上述した本発明の実施例が提供する画像合成方法及び装置では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。

本発明の一実施例の画像合成方法のフローチャートである。本発明の一例である、取得したターゲット画像の光照射情報を確定する方法のフローチャートである。本発明の一例である、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する方法のフローチャートである。本発明の一例である、ターゲット画像中でソース画像に融合する位置を確定する方法のフローチャートである。本発明の一例である、サイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する処理の説明図である。本発明の一例である、ソース画像を生成する方法のフローチャートである。本発明の一実施例の画像合成装置のブロック図である。本発明の一例である光照射情報確定ユニットのブロック図である。本発明の一例である光照射最適化ユニットのブロック図である。本発明の実施例に基づく画像合成のハードウェアシステムのハードウェアブロック図である。

当業者が本発明をより良く理解するため、図面を参考に本発明の最適な実施例を詳細に説明する。注意すべき点として、本明細書及び図面において、基本的に同じステップ及び要素は同じ図面標記（符号）を用いて示し、かつこれらのステップ及び要素の重複する説明については省略する。

本発明の実施例において、例えば、ソース画像は人物、動物等をオブジェクトとした画像でよい。ソース画像はソース画像中から抽出する人物、動物等のオブジェクトが存在する領域の画像でよい。その他に、本発明の実施例において、深度カメラ（二眼カメラ、TOFカメラ等）によってソース画像を撮影し、ソース画像の深度情報を取得できる。

図1は本発明の実施例である画像合成方法のフローチャートである。以下は、図1を参考に本発明の実施例である画像合成方法100を説明する。図1が示すように、ステップS101では、ソース画像、ソース画像の深度情報及びターゲット画像を取得する。取得したソース画像の地平面とターゲット画像の地平面が平行であれば好適である。例えば、ステップS101においてまずソース画像を取得することができる。例えば、カメラ等の装置によってソース画像をキャプチャでき、ネットワーク等によってソース画像を受信することもできる。その後ステップS101においてソース画像の地面領域及びターゲット画像の地面領域を確定し、かつソース画像の地面領域及びターゲット画像の地面領域をアライメントすることができる。最後にステップS101においてアライメントしたソース画像中でオブジェクト検出を行い、ソース画像を取得することができる。

ステップS102では、取得したターゲット画像の光照射情報を確定することにより、ターゲット画像中の光照射方向を得ることができる。本発明の一つの例では、ステップS102において、陰影領域と物体領域の対応関係及びレイトレーシング原理に基づき、ターゲット画像の光照射方向を推測することができる。図2は本発明の一つの例である、取得したターゲット画像の光照射情報を確定する方法200のフローチャートである。図2が示すように、ステップS201において、ターゲット画像中の物体及び陰影を検出することができる。例えば、ターゲット画像をHSV色空間へ転換し、その後彩度に基づきターゲット画像を前景領域、陰影領域及び背景領域に分け、かつ前景領域中の物体を認識することができる。ステップS202において認識した物体と陰影領域の対応関係を確定する。例えば、形状に基づいて物体と陰影領域の間の対応関係を確定できる。その後ステップS203において確定した関係に基づき、ターゲット画像中の光線の照射方向（つまり、光照射方向）を推測してターゲット画像の光照射情報とする。

図1に戻り、ステップS103では、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。図3は本発明の一つの例である、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する方法300のフローチャートである。

いくつかの合成画像では、ソース画像は不適切な場所に挿入されるかもしれない。例えば合成画像中、ソース画像中の人はターゲット画像中の車の屋根の上へ挿入されるかもしれず、見る人にこの画像は真実ではないと思わせてしまう。そこで、図3が示すように、ステップS301ではターゲット画像中でソース画像に融合する位置を確定することができる。写真を撮影する際、人は通常展示品の近くの位置に立つので、ターゲット画像中、参考物体（例えば展示品）の周囲の地面領域をソース画像に融合する位置とすることができる。

図4は、本発明の一つの例である、ターゲット画像中でソース画像に融合する位置を確定する方法400のフローチャートである。図4が示すように、ステップS401では、カラーに基づいてターゲット画像を分割する。例えばターゲット画像の三次元モデルを生成し、カラークラスタリング法を用いてターゲット画像の三次元モデルを分割できる。ステップS402において、分割したターゲット画像中で参考物体を確定する。具体的には、カラーに基づいて、分割したターゲット画像中で参考物体を確定することができる。例えば、似たカラーを有する領域が地平面及びその他の平面（例えば地平面に垂直な平面）中に同時に分布している場合、これらの領域は物体領域に属すると確定し、かつ物体領域に基づいて参考物体を確定することができる。その後ステップS403において、地平面中から参考物体周囲の地面領域を抽出する。例えば、カラーに基づいて地平面中から参考物体周囲の地面領域を抽出することができる。具体的には、似たカラーを有した領域が地面平面にしか分布しない場合、これらの領域は地面領域に属すると確定できる。最後にステップS404において、撮影構図原理に基づき参考物体周囲の地面領域中でソース画像の融合する具体的な位置を確定する。

他の代替方法として、ステップS301においてユーザーとの交互結果に基づきターゲット画像中でソース画像の融合する位置を確定することもできる。

その他に、ソース画像とターゲット画像の比例関係が常識に合わず、例えば巨大な人が小さな自動車の傍らに立っているならば、見る人もこの画像は真実ではないと考える。そこで、合成されるソース画像のサイズに対してさらに調整を行うことができる。図3に戻り、ステップS302においてターゲット画像中の消失点を確定する。その後ステップS303において確定した消失点、ソース画像に融合する位置に基づいてソース画像のサイズを調整することにより、サイズを最適化したソース画像を生成する。

本発明の一つの例では、ステップS302において、上述の参考物体が存在する領域で消失点を確定することができる。その後ステップS303において、消失点に基づきターゲット画像の透視方向を確定し、かつソース画像のサイズと透視方向に沿ったソース画像の消失点までの距離に基づいてソース画像のサイズを調整することができる。その透視方向に沿った、ソース画像のサイズとソース画像の消失点までの距離は反比例する。

具体的には、三次元空間において平行する二本の直線は二次元画像において消失点と交差し、この二本の直線に垂直な直線に基づいてカメラまでの距離を確定することができる。具体的に言えば、一本の同じ垂直線上の点のカメラまでの距離は同じである。本発明の実施例では、ソース画像が一本の同じ垂直線上で移動する時、サイズは変わらない。本発明の実施例ではこれらの垂直線を等寸法線と呼ぶ。本発明の一つの例では、ステップS303において、幾何学的推理方法を用いることによって等寸法線を算出し、その後目標物体とソース画像の比例関係に基づいて、等寸法線それぞれに対応するサイズ因子を算出し、かつサイズ因子及びソース画像に融合する位置に基づいてソース画像をスケーリングし、サイズを最適化したソース画像を生成することができる。

ステップS304において、サイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。物体表面の明暗関係は物体の深度と異なって作られる。光線が物体に照射される時、一部分は深度の大きい領域に妨げられ、それによって隣接する深度の小さい領域上に陰影を形成する。よって、本発明の一つの例では、ステップS304においてターゲット画像の光照射情報及びソース画像の深度情報に基づいて、ターゲット画像の光照射情報の示す光照射方向上に沿ってサイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成し、その後サイズを最適化したソース画像及び光照射参考図に基づいて光照射を最適化したソース画像を生成することができる。例えば、光照射方向に沿ってソース画像に対応する深度画像の深度勾配を計算することにより、物体上に形成する表面陰影の位置を取得できる。その後深度画像中の勾配が大きい部分を増強し、勾配が小さい部分は弱めず、光照射参考図となる。

正確にソース画像中の光照射を調節するため、好適には、ステップS304においてサイズを最適化したソース画像の光照射成分及びカラー成分を抽出することができ、例えば固有画像分解によって、最適化したソース画像のカラー画像を光照射成分及びカラー成分に分けることができる。その後ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像の光照射成分を調整することにより、調節後の光照射成分を生成し、かつカラー成分及び調節後の光照射成分に対して再構成を行うことで光照射を最適化したソース画像を生成することができる。

また、処理過程において画像のテクスチャ情報を変更してしまうことを避けるため、ステップS304において加重最小二乗フィルタのようなフィルタ装置をさらに用いることができ、前記光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成し、かつ粗層上においてのみ輝度調節を行うことができる。具体的には、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース粗層画像を調整することにより、光照射を最適化した粗層画像を生成し、かつ密層画像及び光照射を最適化した粗層画像に対して再構成を行うことで調節後の光照射成分を生成できる。例えば、上述のように光照射参考図を生成した状況下では、光照射参考図と粗層画像をガウスの重みに基づいて一緒に融合し、光照射を最適化した後の粗層画像を生成できる。

図5は本発明の一つの例である、サイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する処理の説明図である。図5が示すように、サイズを最適化したソース画像500中から光照射成分510及びカラー成分520を抽出する。光照射成分510に対してフィルタリングを行うことで密層画像511及び粗層画像512を生成する。別の面では、ターゲット画像の光照射情報531及びソース画像の深度情報532に基づいて、ターゲット画像の光照射情報が示す光照射方向上に沿って最適化したソース画像の光照射勾配を計算することにより、光照射参考図540を生成する。生成した光照射参考図540を用いて粗層画像512に対し調整を行うことで光照射を最適化した粗層画像512’を生成し、その後密層画像511、光照射を最適化した粗層画像512’及びカラー成分520に対して再構成を行うことで光照射を最適化したソース画像550を生成する。

図1に戻り、ステップS104において、光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することができる。例えば、光照射を最適化したソース画像をステップS301に基づいて確定したソース画像に融合する位置へ挿入することで合成画像を生成することができる。

また、本発明の一つの例では、さらに光照射状況に基づき、ソース画像の陰影を生成することができる。図6は本発明の一つの例である、ソース画像を生成する方法のフローチャートである。図6が示すように、ステップS601において光照射を最適化したソース画像のシルエットを計算する。その後ステップS602においてターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことでソース画像の陰影を生成する。具体的には、ステップS602において最初に、ターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことにより、オブジェクト画像の陰影が存在する陰影領域を確定できる。その後ターゲット画像中の陰影の強度に基づいて陰影領域の画像の輝度を調整することにより、ソース画像の陰影を生成する。例えば、上述で図2と合わせて説明した方法200中のステップS201で述べたように、ターゲット画像の前景領域及び陰影領域を確定することができる。さらに以下の公式[1]によって陰影の強度βを算出することができる。

式中、Cはターゲット画像中の色値、Sはターゲット画像中に含まれる陰影の色値、Lはターゲット画像中に含まない陰影の色値である。その後、ソース画像の位置に基づいて生成した陰影生成も合成画像中へ挿入することができる。

上述の本発明の実施例で提供する画像合成方法では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。

以下は、図7を参考に本発明の実施例である画像合成装置を説明する。図7は本発明の実施例である画像合成装置700のブロック図を示したものである。図7が示すように、本実施例の画像合成装置700には、画像取得ユニット710、光照射情報確定ユニット720、光照射最適化ユニット730及び画像合成ユニット740が含まれる。画像合成装置700の各ユニットは上述の図1中の画像合成方法100の各ステップ／機能をそれぞれ実行することができる。よって、以下は画像合成装置700の主要部材に対してのみ説明し、上述で図1〜6と合わせて説明済みである詳細な内容は省略する。

例えば、画像取得ユニット710は、ソース画像、ソース画像の深度情報及びターゲット画像を取得できる。取得するソース画像の地平面とターゲット画像の地平面は平行であることが好適である。例えば、画像取得ユニット710はまずソース画像を取得することができる。例えば、カメラ等の装置によってソース画像をキャプチャでき、ネットワーク等によってソース画像を受信することもできる。その後画像取得ユニット710はソース画像の地面領域及びターゲット画像の地面領域を確定し、かつソース画像の地面領域及びターゲット画像の地面領域をアライメントすることができる。最後に画像取得ユニット710はアライメントしたソース画像中でオブジェクト検出を行い、ソース画像を取得することができる。

光照射情報確定ユニット720は、取得したターゲット画像の光照射情報を確定することにより、ターゲット画像中の光照射方向を得ることができる。本発明の一つの例では、光照射情報確定ユニット720は、陰影領域と物体領域の対応関係及びレイトレーシング原理に基づき、ターゲット画像の光照射方向を推測することができる。図8は本発明の一つの例である、光照射情報確定ユニットのブロック図である。図8が示すように、光照射情報確定ユニット720には検出モジュール810、対応確定モジュール820及び光照射情報生成モジュール830が含まれる。

具体的には、検出モジュール810はターゲット画像中の物体及び陰影を検出することができる。例えば、ターゲット画像をHSV色空間へ転換し、その後彩度に基づきターゲット画像を前景領域、陰影領域及び背景領域に分け、かつ前景領域中の物体を認識することができる。対応確定モジュール820は認識した物体と陰影領域の対応関係を確定する。例えば、形状に基づいて物体と陰影領域の間の対応関係を確定できる。その後光照射情報生成モジュール830は確定した関係に基づき、ターゲット画像中の光線の照射方向（つまり、光照射方向）を推測してターゲット画像の光照射情報とする。

図7に戻り、光照射最適化ユニット730は、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。図9は本発明の一つの例である、光照射最適化ユニット730のブロック図である。図9が示すように、光照射最適化ユニット730には融合位置確定モジュール910、消失点確定モジュール920、調整モジュール930と光照射最適化画像生成モジュール940が含まれる。

具体的には、融合位置確定モジュール910はターゲット画像中でソース画像に融合する位置を確定することができる。写真を撮影する際、人は通常展示品の近くの位置に立つので、ターゲット画像中、参考物体（例えば展示品）の周囲の地面領域をソース画像に融合する位置とすることができる。

本発明の一つの例では、融合位置確定モジュール910は色に基づいてターゲット画像を分割することができる。例えばターゲット画像の三次元モデルを生成し、カラークラスタリング法を用いてターゲット画像の三次元モデルを分割できる。その後、融合位置確定モジュール910は分割したターゲット画像中で参考物体を確定する。具体的には、カラーに基づいて、分割したターゲット画像中で参考物体を確定することができる。例えば、似たカラーを有する領域が地平面及びその他の平面（例えば地平面に垂直な平面）中に同時に分布している場合、これらの領域は物体領域に属すると確定し、かつ物体領域に基づいて参考物体を確定することができる。その後融合位置確定モジュール910は地平面中から参考物体周囲の地面領域を抽出する。例えば、カラーに基づいて地平面中から参考物体周囲の地面領域を抽出することができる。具体的には、似たカラーを有した領域が地面平面にしか分布しない場合、これらの領域は地面領域に属すると確定できる。最後に融合位置確定モジュール910は、撮影構図原理に基づき参考物体周囲の地面領域中でソース画像の融合する具体的な位置を確定する。

代替方法として、本発明の別の例では、融合位置確定モジュール910はユーザーとの交互結果に基づきターゲット画像中でソース画像の融合する位置を確定することもできる。

消失点確定モジュール920はターゲット画像中の消失点を確定することができる。その後調整モジュール930は確定した消失点、ソース画像に融合する位置に基づいてソース画像のサイズを調整し、サイズ最適化したソース画像を生成する。

本発明の一つの例では、消失点確定モジュール920は上述の参考物体が存在する領域で消失点を確定することができる。その他に、調整モジュール930は消失点に基づきターゲット画像の透視方向を確定し、かつソース画像のサイズと透視方向に沿ったソース画像の消失点までの距離に基づいてソース画像のサイズを調整することができる。その透視方向に沿った、ソース画像のサイズとソース画像の消失点までの距離は反比例する。

具体的には、三次元空間において平行する二本の直線は二次元画像において消失点と交差し、この二本の直線に垂直な直線に基づいてカメラまでの距離を確定することができる。具体的に言えば、一本の同じ垂直線上の点のカメラまでの距離は同じである。本発明の実施例では、ソース画像が一本の同じ垂直線上で移動する時、サイズは変わらない。本発明の実施例ではこれらの垂直線を等寸法線と呼ぶ。本発明の一つの例では、調整モジュール930は幾何学的推理方法を用いることによって等寸法線を算出し、その後目標物体とソース画像の比例関係に基づいて、等寸法線それぞれに対応するサイズ因子を算出し、かつサイズ因子及びソース画像に融合する位置に基づいてソース画像をスケーリングし、サイズを最適化したソース画像を生成することができる。

光照射最適化生成モジュール940はサイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。物体表面の明暗関係は物体の深度と異なって作られる。光線が物体に照射される時、一部分は深度の大きい領域に妨げられ、それによって隣接する深度の小さい領域上に陰影を形成する。よって、本発明の一つの例では、光照射最適化生成モジュール940はターゲット画像の光照射情報及びソース画像の深度情報に基づいて、ターゲット画像の光照射情報の示す光照射方向上に沿ってサイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成し、その後サイズを最適化したソース画像及び光照射参考図に基づいて光照射を最適化したソース画像を生成することができる。例えば、光照射方向に沿ってソース画像に対応する深度画像の深度勾配を計算することにより、物体上に形成する表面陰影の位置を取得できる。その後深度画像中の勾配が大きい部分を増強し、勾配が小さい部分は弱めず、光照射参考図となる。

正確にソース画像中の光照射を調節するため、好適には、光照射最適化生成モジュール940はサイズを最適化したソース画像の光照射成分及びカラー成分を抽出することができ、例えば固有画像分解によって、最適化したソース画像のカラー画像を光照射成分及びカラー成分に分けることができる。その後ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像の光照射成分を調整することにより、調節後の光照射成分を生成し、かつカラー成分及び調節後の光照射成分に対して再構成を行うことで光照射を最適化したソース画像を生成することができる。

この他に、処理過程において画像のテクスチャ情報を変更してしまうことを避けるため、光照射最適化生成モジュール940は加重最小二乗フィルタのようなフィルタ装置をさらに用いることができ、上述の光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成し、かつ粗層上においてのみ輝度調節を行うことができる。具体的には、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース粗層画像を調整することにより、光照射を最適化した粗層画像を生成し、かつ密層画像及び光照射を最適化した粗層画像に対して再構成を行うことで調節後の光照射成分を生成できる。例えば、上述のように光照射参考図を生成した状況下では、光照射参考図と粗層画像をガウスの重みに基づいて一緒に融合し、光照射を最適化した後の粗層画像を生成できる。

図7に戻り、画像合成ユニット740は光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することができる。例えば、光照射を最適化したソース画像を直前に確定したソース画像に融合する位置へ挿入することで合成画像を生成することができる。

この他に、本発明の一つの例では、画像合成装置700には陰影生成ユニットをさらに含めることができ、光照射状況に基づいて、ソース画像の陰影を生成する。具体的には、陰影生成ユニットはまず、光照射を最適化したソース画像のシルエットを計算し、その後ターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことでソース画像の陰影を生成する。例えば、陰影生成ユニットはターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことにより、オブジェクト画像の陰影が存在する陰影領域を確定できる。その後、例えば上述の公式[1]によって算出したターゲット画像中の陰影の強度に基づいて陰影領域の画像の輝度を調整することにより、ソース画像の陰影を生成する。画像合成ユニット740はさらに、生成した陰影を合成画像中へ挿入することができる。

上述した本発明の実施例が提供する画像合成装置では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。

この他に、本発明のもう一つの例として、本発明はさらに画像合成のハードウェアシステムによって実行することができる。図10は本発明の実施例に基づく画像合成のハードウェアシステム1000のハードウェアブロック全体図である。図10が示すように、画像合成のハードウェアシステム1000には、例えばステレオカメラが撮影した画像フレーム、ステレオカメラのパラメータ、または初期視差画像等の、外部から画像または情報を入力するために用い、具体的な形式にはキーボード、マウス、及び通信ネットワークと接続したリモート入力装置等を含むがこれらに限らない入力装置1010、上述の本発明の実施例の画像合成方法を実行するために用い、具体的な形式にはコンピュータの中央処理機またはその他処理能力を有するチップ等を含むがこれらに限らず、またさらにインターネットのようなネットワークへ接続し（図示せず）、処理過程での必要に基づき処理後の画像等をリモートへ伝送する等もできる処理装置1020、外部に上述を実行して生成した合成画像を出力するための、例えばディスプレイ、プリンター及び通信ネットワークと接続するリモート出力装置等を含む出力装置1030、及び揮発性または非揮発性の方法で上述の本発明の実施例の画像合成方法のようなコンピュータコマンド、及び元画像、ソース画像、深度情報、ターゲット画像等を記憶するための、例えばランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、ハードディスク、または半導体メモリ等の各種揮発性または非揮発性メモリを含む記憶装置1040を含むことができる。

技術分野に属する当業者であれば、本発明はシステム、装置、方法またはコンピュータプログラム製品として実現できることを知っている。よって、本発明は以下の形式を具体的に実現することができ、即ち、完全なハードウェアでよく、完全なソフトウェアであってもよく（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、さらにはハードウェアとソフトウェアを組み合わせた形式であってもよく、本文は一般に、「コンポーネント」、「モジュール」、「装置」または「システム」と呼ぶ。この他に、いくつかの実施例では、本発明は一つまたは複数のコンピュータ可読媒体におけるコンピュータのプログラム製品の形式として実現することができ、当該コンピュータ可読媒体中にはコンピュータ可読のプログラムコードを含めることができる。

一つまたは複数のコンピュータ可読媒体を任意の組み合わせで採用することができる。コンピュータ可読媒体はコンピュータ可読信号媒体あるいはコンピュータ可読記憶媒体でよい。コンピュータ可読媒体は例えば、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置または器材でよく、あるいは任意の以上の組み合わせでよいがこれらに限らない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）には、一つまたは複数のケーブル接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、消去可能プログラマブル読み取り専用メモリ（EPROMまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み出し専用メモリ（CD-ROM）、光記憶装置、磁気記憶装置、または上述の任意の適切な組み合わせが含まれる。本書類において、コンピュータ可読記憶媒体は包含するかまたはプログラムを記憶したどんな有形媒体であってもよく、当該プログラムはコマンド実行されて使用するシステム、装置または器材、あるいはそれらを組み合わせて使用できる。

コンピュータ可読の信号媒体はベースバンド中または搬送波の一部として伝播するデータ信号を含むことができ、それにはコンピュータ可読のプログラムコードを搭載する。この伝播するデータ信号は様々な形式を採用でき、電磁信号、光信号または上述の任意の適切な組み合わせを含むがこれらに限らない。コンピュータ可読の信号媒体はさらにコンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、コマンド実行により使用されるシステム、装置または器材、あるいはそれらを組み合わせて使用するプログラムを送信、伝播または伝送することができる。

コンピュータ可読媒体上に包含されるプログラムコードは、いかなる適切な媒体を用いてでも伝送でき、ワイヤレス、ケーブル、光ケーブル、RF等、あるいは上述の任意の適切な組み合わせを含むがこれらに限らない。

本発明の諸動作を実行するためのコンピュータプログラムコードは一つまたは複数のプログラミング言語またはその組み合わせにより作成でき、前記プログラミング言語には例えばJava(登録商標)、Smalltalk、C＋＋といったプロジェクト指向のプログラミング言語を含み、さらに「C」言語または同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは完全にユーザーコンピュータ上で実行しても、部分的にユーザーコンピュータ上で実行しても、独立するソフトウェアパッケージとして実行しても、一部をユーザーコンピュータ上、一部をリモートコンピュータ上で実行しても、または完全にリモートコンピュータまたはサーバー上で実行してもよい。リモートコンピュータに関する状況においては、リモートコンピュータは任意の種類のインターネット―ローカルネットワーク（LAN）または広域ネットワーク（WAN）を含む―によってユーザーコンピュータへ接続することができ、あるいは、外部コンピュータ（例えばインターネットサービスプロバイダを利用してインターネット接続する）へ接続することもできる。

前記本発明実施例の方法、装置（システム）とコンピュータプログラム製品のフローチャート及び／またはブロック図を参照し本発明を説明した。理解しなければならないことは、フローチャート及び／またはブロック図の各ブロック及びフローチャート及び／またはブロック図における各ブロックの組み合わせ、全てはコンピュータの命令に基づいて実施することができる。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータまたは他のプログラム可能データ処理装置のプロセッサを提供することができ、それに基づいてある機械を作り出す、これらのコンピュータプログラム命令はコンピュータまたは他のプログラム可能データ処理装置の実行によって、フローチャット及び／またはブロック図中のブロック中の指定する機能／操作を実施する装置を作り出した。

これらのコンピュータプログラム命令をコンピュータまたは他のプログラム可能データ処理装置の特定の方式によって仕事させることができるコンピュータ可読媒体中に記憶することもでき、このように、コンピュータ可読媒体中に命令を記憶するならばフローチャット及び／またはブロック図中のブロック中の指定する機能／操作を実施する命令装置（instruction）を含む製造品（manufacture）を作り出す。

コンピュータプログラム命令をコンピュータ、他のプログラム可能データ処理装置、または他の設備上へロードすることもできる、コンピュータ、他のプログラム可能データ処理装置または他の設備上で一連の動作ステップを実行させ、コンピュータ実施プロセスを生成する、それに基づいてコンピュータまたは他のプログラム可能データ処理装置上で実行される命令はフローチャート及び／またはブロック図中のブロック中の指定する機能／動作を実施するためのプロセスを提供することができる。

添付図中のフローチャートとブロック図は本発明の複数の実施例によるシステム、方法とコンピュータプログラム製品の実施可能なシステムアーキテクチャ、機能と動作を示したものである。この点で、フローチャー及び／またはブロック図中の各ブロックはモジュール、セグメント及び／またはコードの一部を代表することができる、前記モジュール、セグメント及び／またはコードの一部は一つまたは複数の実施するために指定する論理機能の実行可能命令を含む。注意しなければならないのは、ブロック図及び／またはフローチャート中の各ブロック、及びブロック図及び／またはフローチャート図中の組み合わせは、指定する機能または動作の専用ハードウェアベースシステムに基づいて実施することができる、または専用ハードウェアとコンピュータ命令の組み合わせに基づいて実装することができる。

以上、本発明の各実施例を説明し、前記説明は例示的なものであり、包括的ではなく、かつ開示された各実施例に限定されない。説明する各実施例の範囲と精神を逸脱しない状況下で、当業者には多数の改正と変更は明らかなことである。本文中で使用する用語の選択は、各実施例の原理、実際の応用または市場の技術への進歩を最も良く説明するため、または当業者が本文で開示された各実施例を理解させるためである。

Claims

ソース画像、前記ソース画像の深度情報及びターゲット画像を取得するステップと、
前記ターゲット画像の光照射情報を確定するステップと、
前記ソース画像の深度情報及び前記ターゲット画像の光照射情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するステップと、
前記光照射を最適化したソース画像及び前記ターゲット画像に基づいて合成画像を生成するステップとを含み、
前記ソース画像の深度情報及び前記ターゲット画像の光照射情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するステップは、
前記ターゲット画像中で前記ソース画像に融合する位置を確定するステップと、
前記ターゲット画像中の消失点を確定するステップと、
確定した前記消失点及び前記ソース画像に融合する位置に基づいて前記ソース画像のサイズを調整することにより、サイズを最適化したソース画像を生成するステップと、
前記サイズを最適化したソース画像、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整し、前記光照射を最適化したソース画像を生成するステップとを含む、画像合成方法。
前記サイズを最適化したソース画像、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整し、前記光照射を最適化したソース画像を生成するステップは、
前記サイズを最適化したソース画像の光照射成分及びカラー成分を抽出するステップと、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像の光照射成分を調整することにより、調節後の光照射成分を生成するステップと、
前記カラー成分及び前記調節後の光照射成分に対して再構成を行うことにより、前記光照射を最適化したソース画像を生成するステップとを含む、請求項１に記載の画像合成方法。
前記サイズを最適化したソース画像、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整し、前記光照射を最適化したソース画像を生成するステップは、
前記光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成するステップを含み、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像の光照射成分を調整することにより、調節後の光照射成分を生成するステップは、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記粗層画像を調整することにより、光照射を最適化した粗層画像を生成するステップと、
前記密層画像及び前記光照射を最適化した粗層画像に対して再構成を行うことにより、前記調節後の光照射成分を生成するステップとを含む、請求項２に記載の画像合成方法。
前記ソース画像の光照射成分、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するステップは、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて、前記ターゲット画像の光照射方向に沿って前記サイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成するステップと、
前記サイズを最適化したソース画像及び前記光照射参考図に基づいて前記光照射を最適化したソース画像を生成するステップとを含む、請求項１に記載の画像合成方法。
前記ソース画像を取得するステップは、
前記ソース画像を取得するステップと、
前記ソース画像の地面領域及び前記ターゲット画像の地面領域を確定するステップと、
前記ソース画像の地面領域及び前記ターゲット画像の地面領域をアライメントするステップと、
アライメントしたソース画像中でオブジェクト検出を行い、前記ソース画像を取得するステップとを含む、請求項１に記載の画像合成方法。
前記ターゲット画像中で前記ソース画像に融合する位置を確定するステップは、
前記ターゲット画像中の参考物体を確定するステップと、
前記ターゲット画像中で、参考物体と隣接する地面領域を融合に適した前記ソース画像の位置とするステップとを含む、請求項１に記載の画像合成方法。
前記ターゲット画像中の消失点を確定するステップは、
前記参考物体が存在する領域において消失点を確定するステップを含み、
前記画像合成方法は、
確定した消失点に基づいて前記ターゲット画像の透視方向を生成するステップと、
前記透視方向に沿った、前記ソース画像のサイズと前記ソース画像の消失点までの距離は反比例するステップとをさらに含む、請求項６に記載の画像合成方法。
前記光照射を最適化したソース画像のシルエットを計算するステップと、
前記ターゲット画像の光照射情報に基づいて前記ソース画像のシルエットに対し投影を行うことにより、前記ソース画像の陰影を生成するステップと、
前記ソース画像の陰影に基づいて前記合成画像を生成するステップとをさらに含む、請求項１に記載の画像合成方法。
ソース画像、前記ソース画像の深度情報及びターゲット画像を取得するための画像取得ユニットと、
前記ターゲット画像の光照射情報を確定するための光照射情報確定ユニットと、
前記ソース画像の深度情報及び前記ターゲット画像の光照射情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するための光照射最適化ユニットと、
前記光照射を最適化したソース画像及び前記ターゲット画像に基づいて合成画像を生成するための画像合成ユニットを含み、
前記光照射最適化ユニットは、
前記ターゲット画像中で前記ソース画像に融合する位置を確定するステップと、
前記ターゲット画像中の消失点を確定するステップと、
確定した前記消失点及び前記ソース画像に融合する位置に基づいて前記ソース画像のサイズを調整することにより、サイズを最適化したソース画像を生成するステップと、
前記サイズを最適化したソース画像、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整し、前記光照射を最適化したソース画像を生成するステップとを行う、画像合成装置。
コンピュータに、請求項１〜８の任意の1項に記載の画像合成方法を実行させるためのプログラム。
請求項１０に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。