JP5916248B2 - 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体 - Google Patents

Description

本発明は画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体に関する。

携帯端末などに含まれるカメラを用いて風景などを撮影し、その風景の画像に合うようなコンピュータグラフィックスの画像を重畳し、重畳された画像をその携帯端末などに含まれる表示デバイスに表示させる技術（いわゆる拡張現実技術）がある。

カメラから取得された背景の画像に３次元コンピュータグラフィックスの画像を重ね合わせると、コンピュータグラフィックスの画像の明るさや色が不自然に見えることがある。

本発明は上記課題を鑑みてなされたものであって、その目的は、カメラから取得された背景の画像に３次元コンピュータグラフィックスの画像を重ね合わせる場合に、その重ね合わせられた画像をユーザに対してより自然に見せることのできる技術を提供することにある。

上記課題を解決するために、本発明にかかる画像生成装置は、オブジェクトの画像が重ね合わせられる背景の画像を取得する背景画像取得手段と、前記背景の画像のうち１または複数の箇所について色を抽出する色抽出手段と、前記１または複数の箇所について抽出された色に基づいて前記オブジェクトを照らす光源が出力する光の色を決定する光源決定手段と、前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画する描画手段と、前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成する出力画像生成手段と、を含む。

また、本発明にかかる画像生成方法は、オブジェクトの画像が重ね合わせられる背景の画像を取得するステップと、前記背景の画像のうち１または複数の箇所について色を抽出するステップと、前記１または複数の箇所について抽出された色に基づいて前記オブジェクトを照らす光源が出力する光の色を決定するステップと、前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画するステップと、前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成するステップと、を含む。

また、本発明にかかるプログラムは、オブジェクトの画像が重ね合わせられる背景の画像を取得し、前記背景の画像のうち１または複数の箇所について色を抽出し、前記１または複数の箇所について抽出された色に基づいて前記オブジェクトを照らす光源が出力する光の色を決定し、前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画し、前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成する、処理をコンピュータに実行させる。

また、本発明にかかるコンピュータ読取り可能な情報記憶媒体は、上記プログラムを格納する。

本発明によれば、カメラから取得された背景の画像に３次元コンピュータグラフィックスの画像を重ね合わせる場合に、背景の画像に、その背景の画像に応じたコンピュータグラフィックスの画像を重畳させ、本構成を有さない場合より自然な重畳された出力画像を出力することができる。

本発明の一態様では、画像処理装置は前記複数の箇所の位置を決定する位置決定手段をさらに含んでもよい。

本発明の一態様では、画像処理装置は前記背景の画像に基づいて、前記オブジェクトの表示態様を決定するオブジェクト決定手段をさらに含み、前記位置決定手段は、前記決定されたオブジェクトの表示態様に基づいて、前記複数の箇所の位置を決定してもよい。

本発明の一態様では、前記位置決定手段は、前記オブジェクトが視点から離れるにつれて、前記複数の箇所のうち最も所定の側にある箇所と、最も前記所定の側の反対側にある箇所との距離が小さくなるように前記複数の箇所の位置を決定してもよい。

この態様によれば、例えば遠くの空にあるオブジェクトがカメラに近い部屋の中の色に影響されて不自然になる現象の発生を抑えることができる。

本発明の一態様では、前記描画手段は、前記色抽出手段が抽出した前記１または複数の箇所の色に基づいて前記描画された前記オブジェクトの色を補正してもよい。

この態様によれば、例えば描画されるオブジェクトの明るさと背景画像の明るさとの違いが補正されることにより、本構成を有さない場合より自然な出力画像を出力することができる。

本発明の一態様では、前記光源決定手段は、前記背景画像を撮影するカメラと異なるカメラが取得した画像の明るさにさらに基づいて、前記オブジェクトの手前に配置される光源が出力する光の色を決定してもよい。

この態様によれば、背景画像が捉えられない光の影響をオブジェクトの画像に反映することができる。

本発明の実施形態にかかる携帯端末のハードウェア構成の一例を示す図である。 カメラを含む携帯端末と被写体との関係の一例を概略的に示す図である。 本発明の実施形態にかかる携帯端末が実現する機能を示すブロック図である。 本発明の実施形態にかかる携帯端末の処理フローの一例を示す図である。 カメラにより取得された背景画像の一例を示す図である。 描画されるオブジェクトとカメラと光源との配置の一例を示す図である。 背景画像と描画されたオブジェクトの画像とが合成された画像の一例を示す図である。

以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。

図１は、本発明の実施形態にかかる携帯端末１のハードウェア構成の一例を示す図である。携帯端末１は、スマートフォンやタブレット端末、携帯ゲーム機などの情報端末である。携帯端末１は、プロセッサ１１、記憶部１２、通信部１３、操作入力部１４、カメラ１５、表示部１６を含む。

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３や操作入力部１４、カメラ１５、表示部１６等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。

記憶部１２は、ＤＲＡＭやフラッシュメモリ等のメモリ素子によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。

通信部１３は無線ＬＡＮを構成する集積回路やアンテナなどにより構成されている。通信部１３は、ネットワークを介して他の装置と通信する機能を有する。なお、通信部１３は、有線ＬＡＮに接続するための端子や回路を有していてもよい。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。

操作入力部１４は、ユーザからの入力を検出するハードウェアであり、例えばタッチパネルやボタンである。操作入力部１４は、プロセッサ１１の制御に基づいてユーザの物理的な入力を検出し、検出された情報をプロセッサ１１や記憶部１２に入力する。

カメラ１５は撮像素子やレンズを含み、プロセッサ１１の制御に基づいてカメラ１５の前方にある物体などの画像を撮影し、その画像を示す信号を出力する。本実施形態におけるカメラ１５は、カメラの前方の一定の範囲のみを撮影するものであり、全方向の画像を撮影するものではない。

表示部１６はディスプレイ等の表示出力デバイスと、それを制御する回路とを含んでいる。表示部１６は、プロセッサ１１の制御に基づいて、表示出力デバイスに画像を表示させる。

次に本実施形態にかかる携帯端末１を利用する環境の概要を説明する。図２は、カメラ１５を含む携帯端末１と被写体との関係の一例を概略的に示す図である。ユーザ２は携帯端末１のカメラ１５を用いて撮影範囲３１内にある机や窓などの物体の画像を撮影し、携帯端末１はその撮影された画像を背景の画像として、その背景の画像に３次元のコンピュータグラフィックスの画像を重畳させた出力画像のデータを生成する。携帯端末１は生成された出力画像を携帯端末１に内蔵されているディスプレイに表示する。携帯端末１が撮影するのは静止画であってもよいし動画であってもよい。なお、本実施形態で撮影され、処理の対象となるのはあくまでカメラ１５からみて前方の撮影範囲３１内にある被写体となる物体であり、撮影範囲３１の外にある物体の画像は用いない。また撮影範囲３１の外の画像を反射により撮影させるための球状の鏡などを撮影範囲３１内に設置することは想定していない。

以下では上述の画像処理を実現する方法について説明する。図３は、本発明の実施形態にかかる携帯端末１が実現する機能を示すブロック図である。携帯端末１は機能的に、背景画像取得部５１、抽出位置決定部５２、色抽出部５３、光源決定部５４、オブジェクト描画部５５、出力画像生成部５６、オブジェクト決定部５７を含む。これらの機能は、プロセッサ１１が記憶部１２に格納されるプログラムを実行し、操作入力部１４やカメラ１５、表示部１６を制御することで実現される。

背景画像取得部５１は、プロセッサ１１、記憶部１２およびカメラ１５を中心として実現される。背景画像取得部５１は、カメラ１５が撮影した画像であって、３次元コンピュータグラフィックスの画像であるオブジェクトの画像が重ね合わせられる背景の画像（以下では「背景画像」と記載する）を取得する。なお、背景画像取得部５１は、その背景画像の取得を繰返し行うことで動画の１フレームの画像を取得してもよいし、ユーザ２が指定した瞬間の静止画の画像を取得してもよい。ここで、背景画像取得部５１は図２に示すようにカメラ１５の撮影方向にある撮影範囲３１の内にある物体の画像を背景画像として撮影する。

オブジェクト決定部５７は、プロセッサ１１および記憶部１２を中心として実現される。オブジェクト決定部５７は、背景画像に基づいて、背景画像に重ね合わせられるオブジェクトの表示位置や向きなど（表示態様）を決定する。

抽出位置決定部５２は、プロセッサ１１および記憶部１２を中心として実現される。抽出位置決定部５２は、オブジェクトの表示位置や向きに基づいて、背景画像内の複数の箇所の位置を決定する。この複数の箇所は色が抽出される箇所である。また抽出位置決定部５２は、背景画像に重ね合わせられるオブジェクトがカメラ１５に相当する画像描画における視点の位置から離れるにつれて、その複数の箇所が狭い範囲に存在するようにその複数の箇所の位置を決定してもよい。その場合、例えば、背景画像に重ね合わせられるオブジェクトがカメラ１５に相当する位置から離れるにつれて、その複数の箇所のうち最も右側や上側（ある方向の側の端）にある箇所と、最も左側や下側（反対側の端）にある箇所との距離が小さくなってよい。なお、色を抽出する箇所の数は１であってもよい。

色抽出部５３は、プロセッサ１１および記憶部１２を中心として実現される。色抽出部５３は、背景画像取得部５１により取得された背景画像のうち、抽出位置決定部５２により決定された箇所のそれぞれについて色を抽出する。なお、色抽出部５３が抽出する色は、カメラ１５の撮影範囲３１の内に存在する物体の色となる。

光源決定部５４は、プロセッサ１１および記憶部１２を中心として実現される。光源決定部５４は、１または複数の箇所のそれぞれについて抽出された色に基づいて、仮想空間内でオブジェクトの手前に配置される光源が出力する光の色を決定する。

オブジェクト描画部５５は、プロセッサ１１および記憶部１２を中心として実現される。オブジェクト描画部５５は決定された光源の光の色に基づいて仮想空間にあるオブジェクトの画像を描画する。また、オブジェクト描画部５５は色抽出部５３が抽出した１または複数の箇所の色に基づいて描画されたオブジェクトの色を補正する。より具体的には、オブジェクト描画部５５は色抽出部５３が抽出した１または複数の箇所の色に基づく調整値（例えば複数の箇所の色の輝度平均の値）を、描画されたオブジェクトの色の値に乗算することで、オブジェクトの色を補正する。

出力画像生成部５６は、プロセッサ１１、記憶部１２および表示部１６を中心として実現される。出力画像生成部５６は描画されたオブジェクトの画像と背景画像とを重畳させた出力画像を生成し、生成された出力画像を表示部１６に表示させる。

図４は、本発明の実施形態にかかる携帯端末１の処理フローの一例を示す図である。以降では処理フローに基づいて携帯端末１が実現する機能について説明する。ここで、動画に対してオブジェクトを重ねる場合には、図４に示す処理はある期間が経過するたびに繰返し行われる。

はじめに、背景画像取得部５１は、カメラ１５が撮影した背景画像のデータを取得する（ステップＳ１０１）。カメラ１５は、カメラ１５より前方（撮影方向）にある物体の画像を背景画像として撮影し、背景画像取得部５１はその背景画像のデータを取得する。なお、動画に対する処理をする場合には、背景画像取得部５１は、背景画像のデータをある時間が経過するごとに繰り返し取得し、背景画像のデータを取得するたびに抽出位置決定部５２などに以降の処理を実行させる。

図５は、カメラ１５により取得された背景画像の一例を示す図である。図５に示す背景画像は図２の撮影範囲３１内の物体の画像であり、３次元のオブジェクト４２の画像が重ね合わせられる背景の画像である。なお、図５には後述する抽出領域３２、下抽出領域３３、オブジェクト４２が配置される仮想的な位置も記載している。図５では、窓の部分が明るく、また机は赤などの特定の色であるとする。

次に、オブジェクト決定部５７は、背景画像に基づいて、オブジェクト４２の仮想空間内の位置や向きなどを決定する（ステップＳ１０２）。より具体的には、オブジェクト決定部５７は、背景画像からマーカとなる物体（例えば図５におけるテーブル）を認識し、またそのマーカの実空間内の３次元位置と姿勢とを推定する。そして、オブジェクト決定部５７は、そのマーカに関連づけられたコンテンツとなるオブジェクトの描画用データと、マーカとの相対位置および姿勢とを記憶部１２から取得し、推定された３次元位置や姿勢と取得された相対位置（例えばオブジェクト４２とテーブルとの相対位置を示すベクトル）とに基づいて、オブジェクト４２の仮想の３次元空間での中心位置や姿勢を決定する。ここで、背景画像からマーカを認識する画像認識技術や、そのマーカに対応するオブジェクト４２の位置を決定する処理は公知のものであり、例えば国際公開第２０１３／０６１５０４号にも記載されている。

次に、抽出位置決定部５２は、オブジェクト４２の仮想の３次元空間での中心位置に基づいて、オブジェクト４２の画像を背景画像に重ね合わせた場合におけるオブジェクト４２の中心の背景画像内の座標および深さを計算する（ステップＳ１０３）。抽出位置決定部５２は、中心の背景画像における位置を示す座標を、３次元空間におけるオブジェクト４２の中心位置とディスプレイ（背景画像）に相当する平面とを用いた公知の透視変換をすることなどにより取得する。また抽出位置決定部５２は、オブジェクト４２の中心位置の深さを計算する。深さは、カメラ１５に相当する視点の位置を原点とし、撮影方向をｚ軸とする座標系におけるｚ座標に相当する。深さは、仮想空間上のカメラ１５に相当する位置と、仮想空間におけるオブジェクト４２の中心位置との距離であってもよい。抽出位置決定部５２は、さらに、オブジェクト４２の中心位置やオブジェクト４２を構成するスケルトンやメッシュなどの配置に基づいて、オブジェクト４２が背景画像内でどの程度の大きさとなるかを計算してもよい。大きさは、中心位置からオブジェクト４２の端までの背景画像内の長さの最大値や平均値であってよい。なお、オブジェクト４２の中心は厳密である必要はなく、オブジェクト４２内にある基準となる位置であればよい。

抽出位置決定部５２は、オブジェクト４２の中心の座標や深さに基づいて、背景画像のうち色を抽出する箇所を決定する（ステップＳ１０４）。なお、色を抽出する箇所は領域であっても点であってもよい。以下では色を抽出する箇所が領域（抽出領域３２）であるとして説明する。図５に示す抽出領域３２の数は９であり、抽出領域３２の配置は３行３列である。抽出位置決定部５２は、抽出領域３２のうち最もある方向の側（例えば上側や左側）にあるものと、最もその反対側（例えば下側や右側）にあるものとの距離が、計算された深さが大きくなる（オブジェクト４２がカメラ１５に相当する位置から離れる）につれて小さくなるように複数の抽出領域３２の位置を決定する。また抽出位置決定部５２は、オブジェクト４２が小さくなるにつれてその距離が小さくなるように複数の抽出領域３２の位置を決定してもよい。

例えば、オブジェクト４２の中央の座標を（ｘｃ，ｙｃ）とし、オブジェクト４２の中央の深さをｚ１、オブジェクト４２の大きさをｓとした場合に、ｍ行ｎ列目の抽出領域の座標（ｘ１，ｙ１）は、以下の式で表される。

ここで、ＡおよびＢは画像の大きさなどの特性に応じて定まる定数である。この式では中央の抽出領域３２の座標とオブジェクト４２の中央位置とが同じことを前提としているが、抽出位置決定部５２は中央の抽出領域３２の座標をオブジェクト４２によらず固定として複数の抽出領域３２の位置を算出してもよい。なお抽出位置決定部５２は、中央などの一部を除く抽出領域３２が、オブジェクト４２が描画される部分より外側に存在するように抽出領域３２の位置を決定する。

また、抽出位置決定部５２は下抽出領域３３の位置も決定する。下抽出領域３３は仮にオブジェクト４２が背景画像に描画された場合にそのオブジェクト４２の下端より下となり、かつ最も下側にある抽出領域３２より上となる位置に決定される。

そして、色抽出部５３は、背景画像のうち決定された箇所から色を抽出する（ステップＳ１０５）。より具体的には、色抽出部５３は決定された抽出領域３２のそれぞれについて、その抽出領域３２内の色の値を平均化した値（例えばＲＧＢ値）を抽出された色として取得する。抽出領域３２内の色の値を平均化すると、背景画像の細かな模様などの影響を除くことができる。また、背景画像のノイズによる影響を除くために、色抽出部５３はそれぞれの抽出領域３２の色の値の時系列データを統計的に処理することで色を抽出してもよい。例えば、抽出領域３２の色の値の時系列データにローパスフィルタを適用し、結果として計算されたフィルタ後の時系列データのうち現時点での色の値を抽出された色としてもよいし、単に時系列データを平均化して取得した色の値を抽出された色の値としてもよい。また、色抽出部５３は、抽出領域３２と同様の方法で、下抽出領域３３から色を抽出する。

次に、光源決定部５４は、仮想空間内でオブジェクト４２の手前（オブジェクト４２からみて視点側）に配置される前側光源４３の発光色を決定する（ステップＳ１０６）。より具体的には、光源決定部５４は各抽出領域３２について抽出された色に基づいて、オブジェクト４２の手前に配置される抽出領域３２と同じ数の前側光源４３のそれぞれについて発光色を決定する。抽出領域３２と前側光源４３とは１対１に対応づけられており、光源決定部５４は、各前側光源４３に対応する抽出領域３２から抽出された色をその前側光源４３の発光色として決定してよい。また、光源決定部５４は、下抽出領域３３から抽出された色に基づいて、オブジェクト４２の下に配置される下側光源４４の発光色を決定する（ステップＳ１０６）。下側光源４４の発光色は下抽出領域３３から抽出された色であってよい。なお、光源決定部５４は、前側光源４３や下側光源４４の発光色として抽出された色の明るさなどが修正された色を決定してもよい。

図６は、描画されるオブジェクト４２と視点４１と光源との配置の一例を示す図である。図６は仮想空間内のオブジェクト４２や前側光源４３、下側光源４４を横から見た図であり、複数の前側光源４３のうち一部は省略されている。仮想空間における視点４１はカメラ１５に相当する位置を示している。投影面４７はディスプレイで画像が表示される領域に相当し、描画範囲４６内のオブジェクト４２の画像が後にオブジェクト描画部５５により描画される。中心軸４５はカメラ１５の撮影方向に相当し、視点４１から見た投影面４７の中心の向きを示す。図６の例では、オブジェクト４２は光を散乱する表面を有する球体であるとする。ここでは投影面４７の描画範囲が背景画像の全体に相当するものとする。

前側光源４３の位置は、視点４１および中心軸４５の方向に応じて定まり、視点４１の位置や中心軸４５が動くと光源の位置も移動する。より具体的には、例えば視点４１に対する前側光源４３のそれぞれの相対位置は定まっており、視点４１の位置と中心軸４５の方向と、その相対位置に基づいて各前側光源４３の位置が計算される。その相対位置はオブジェクト４２の大きさや形などの特性に応じて切り替えられてもよい。また相対位置を示す関数、例えば視点４１の位置と中心軸４５の方向とオブジェクト４２の大きさとの関数により前側光源４３の位置が求められてもよい。下側光源４４は、オブジェクト４２の下に配置される。

次に、オブジェクト描画部５５は、前側光源４３や下側光源４４を用いて、オブジェクト４２の画像を描画する（ステップＳ１０７）。この処理はいわゆるレンダリング処理である。

そして、オブジェクト描画部５５は、複数の抽出領域３２等について抽出された色に基づく調整値を、描画されたオブジェクト４２の画像の色の値に乗算する（ステップＳ１０８）。オブジェクト描画部５５は、例えば抽出領域３２や下抽出領域３３から抽出した色の輝度平均を調整値として取得し、その調整値を色の値に乗算する。こうすることで、描画されるオブジェクト４２全体の明るさを背景画像にあわせることが可能となる。

次に、出力画像生成部５６は、描画されたオブジェクト４２の画像と背景画像とが重畳された出力画像を生成し（ステップＳ１０９）、その重畳された出力画像を表示させる（ステップＳ１１０）。

図７は、背景画像と描画されたオブジェクト４２の画像とが合成された出力画像の一例を示す図である。図７では、背景画像の右側や下側が暗いことに対応して、オブジェクト４２の画像でも右下側が少し暗くなり、また机の色の色味もオブジェクト４２の色に反映されている。平面的な画像である背景画像から抽出される色、言い換えれば実際には少なくとも一部がオブジェクト４２の向こう側に相当する抽出領域３２から抽出された色を用いてオブジェクト４２のこちら側の色を変更することになる。そのためこの処理は、光の反射や散乱の物理的な法則には従っていない。しかしながら、例えばマーカとなる物体であるテーブルの色などの周辺の色をある程度反映することができる。オブジェクト４２の表面が鏡面でなく、表面が光を拡散および散乱する特性を有する場合には、これでもオブジェクト４２の画像をユーザからみて自然なものとすることが可能となる。

また、大局照明による反射といった物理法則を正確に表現したオブジェクトを描画する従来の手法としてＩＢＬ（Image Based Lighting）があるが、この手法では、鏡面であっても正確に表現できるものの、オブジェクトの位置からみた周囲の画像が必要になる。この周囲の画像を取得するには、魚眼レンズを有するような特殊なカメラ、または球状の鏡をオブジェクト４２の位置に置く必要があるため、ユーザにとって手間がかかっており、エンドユーザが気楽に利用できるものではなかった。

一方、ここで説明した前側光源４３等を用いた方法では、そのような手間を掛けることなく自然なオブジェクト４２を楽しむことができる。また背景画像の解像度に比べて少ない数の光源を用いる簡潔な処理であるのでＩＢＬに比べて処理時間も少なく、携帯端末１で撮影した画像にリアルタイムでオブジェクト４２の画像を重畳させることができる。

また、抽出位置決定部５２は、背景画像に重ね合わせられるオブジェクトがカメラ１５に相当する位置から離れるにつれて、その複数の箇所が狭い範囲に存在するようにその複数の箇所の位置を決定している。これにより、例えば遠くの空の中に配置されるオブジェクト４２の画像については背景画像でそのオブジェクト４２の位置のそばにある空の色だけを反映するようにしてカメラ１５のそばの物体の影響を減らすことができる。またサイズも考慮することで、例えば机の下の奥に配置される小さなオブジェクトについて、机の下以外の物体の色による影響を抑えることも可能になる。

なお、光源決定部５４の光源の発光色の決定の方法は、これまでに説明したものには限られない。例えば、光源決定部５４は、オブジェクト４２の裏側となる抽出領域３２（例えば中央の抽出領域３２）に対応する前側光源４３の色の輝度が、その抽出領域３２から抽出された色の輝度より小さくなるようにしてもよい。オブジェクト４２の裏側にある抽出領域３２の色がオブジェクト４２の前側の色に反映される可能性は他の抽出領域３２の色に比べて低いため、例えば逆光などの場合により自然なオブジェクト４２を描画することが可能となる。また、オブジェクト４２の裏側となる抽出領域３２に対応する前側光源４３を設けないことで同様の効果を得てもよい。

さらに、光源決定部５４は、中央の抽出領域３２から抽出された色と他の抽出領域３２（の平均）から抽出された色との間で輝度の差が所定の値より大きく、中央の抽出領域３２の輝度が他の抽出領域３２の輝度より大きい場合には、オブジェクト４２の後方、つまり視点４１からみてオブジェクト４２の向こう側に光源を配置し、その光源からオブジェクト４２に光を照射することで、リムライトやフレネルの効果を得るようにしてもよい。このようにすることで、逆光による光の溢れも表現される。

また、光源決定部５４は、背景画像を撮影するカメラと異なるカメラが取得した画像の明るさにさらに基づいて、前側光源４３が出力する光の色を決定してもよい。より具体的には、携帯端末１が、フロントカメラとリアカメラのように、互いに反対方向の画像を撮影することができる場合には、光源決定部５４は、両方のカメラが撮影した画像を用いて光源の発光色を決めてもよい。例えば、リアカメラが撮影した背景画像として撮影した画像の平均輝度と、フロントカメラが撮影した参考画像の平均輝度との差が閾値より大きい場合には、前側光源４３の明るさを調整してもよい。例えば、背景画像より参考画像が明るい場合にはオブジェクト４２の前側にフロントカメラ側からの光が当たると思われるので、それを反映するように前側光源４３の色が明るくなるように調整し、逆の場合には前側光源４３の色が暗くなるように調整してよい。

また、出力画像生成部５６は、背景画像の中央部が切り出された画像とオブジェクト４２が重畳された画像を出力画像として出力してもよい。さらにいえば、抽出領域３２の一部が切り出された画像の外にあってもよい。こうすると、表示される画面の外の大局照明の影響も反映することが可能になる。

なお、上述の実施形態ではカメラと表示部とを有する携帯端末に本発明を適用する場合について主に記載しているが、ハードウェア構成はこれに限られない。例えば画像処理を行うコンピュータ（据置型のゲーム機やパーソナルコンピュータなど）とは別に、カメラや表示部が設けられてもよい。カメラや表示部とコンピュータとが接続されていれば、同様の処理が実現できる。

１ 携帯端末、２ ユーザ、１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 操作入力部、１５ カメラ、１６ 表示部、５１ 背景画像取得部、５２ 抽出位置決定部、５３ 色抽出部、５４ 光源決定部、５５ オブジェクト描画部、５６ 出力画像生成部、５７ オブジェクト決定部、３１ 撮影範囲、３２ 抽出領域、３３ 下抽出領域、４１ 視点、４２ オブジェクト、４３ 前側光源、４４ 下側光源、４５ 中心軸、４６ 描画範囲、４７ 投影面。

Claims (9)

1. オブジェクトの画像が重ね合わせられる背景の画像を取得する背景画像取得手段と、
   前記背景の画像のうち複数の箇所について色を抽出する色抽出手段と、
   前記オブジェクトを照らす複数の光源のそれぞれが出力する光の色を、前記複数の箇所のうち前記光源の位置に対応する箇所について抽出された色に基づいて決定する光源決定手段と、
   前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画する描画手段と、
   前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成する出力画像生成手段と、
   を含むことを特徴とする画像生成装置。
2. 前記複数の箇所の位置を決定する位置決定手段をさらに含む、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記背景の画像に基づいて、前記オブジェクトの表示態様を決定するオブジェクト決定手段をさらに含み、
   前記位置決定手段は、前記決定されたオブジェクトの表示態様に基づいて、前記複数の箇所の位置を決定する、
   ことを特徴とする請求項２に記載の画像生成装置。
4. 前記位置決定手段は、前記オブジェクトが視点から離れるにつれて、前記複数の箇所のうち最も所定の側にある箇所と、最も前記所定の側の反対側にある箇所との距離が小さくなるように前記複数の箇所の位置を決定する、
   ことを特徴とする請求項２または３に記載の画像生成装置。
5. 前記描画手段は、前記色抽出手段が抽出した前記１または複数の箇所の色に基づいて前記描画された前記オブジェクトの色を補正する、
   ことを特徴とする請求項１から４のいずれかに記載の画像生成装置。
6. 前記光源決定手段は、前記背景画像を撮影するカメラと異なるカメラが取得した画像の明るさにさらに基づいて、前記オブジェクトの手前に配置される光源が出力する光の色を決定する、
   ことを特徴とする請求項１から５のいずれかに記載の画像生成装置。
7. オブジェクトの画像が重ね合わせられる背景の画像を取得するステップと、
   前記背景の画像のうち複数の箇所について色を抽出するステップと、
   前記オブジェクトを照らす複数の光源のそれぞれが出力する光の色を、前記複数の箇所のうち前記光源の位置に対応する箇所について抽出された色に基づいて決定するステップと、
   前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画するステップと、
   前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成するステップと、
   を含むことを特徴とする画像生成方法。
8. オブジェクトの画像が重ね合わせられる背景の画像を取得し、
   前記背景の画像のうち複数の箇所について色を抽出し、
   前記オブジェクトを照らす複数の光源のそれぞれが出力する光の色を、前記複数の箇所のうち前記光源の位置に対応する箇所について抽出された色に基づいて決定し、
   前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画し、
   前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成する、
   処理をコンピュータに実行させるためのプログラム。
9. オブジェクトの画像が重ね合わせられる背景の画像を取得し、
   前記背景の画像のうち複数の箇所について色を抽出し、
   前記オブジェクトを照らす複数の光源のそれぞれが出力する光の色を、前記複数の箇所のうち前記光源の位置に対応する箇所について抽出された色に基づいて決定し、
   前記決定された光源の光の色に基づいて前記オブジェクトの画像を描画し、
   前記オブジェクトの画像と前記背景の画像とを重畳させた出力画像を生成する、
   処理をコンピュータに実行させるためのプログラムを格納するコンピュータ読取り可能な情報記憶媒体。

Images