JP6138779B2 - 自動画像合成装置 - Google Patents

Description

本発明は、簡便に複数の画像を合成する技術に関する。

従来から適当な光沢や影のある画像を取得する為に、様々な角度から照明を当てた画像を合成してひとつの画像にするような技術が知られている。

特許文献１では、複数の角度から被写体を撮影して、光量に基づいて画像が合成される旨について述べられている。

特開2007-280102号公報

特許文献１では、被写体を照らす光量を指定して合成する必要がある。合成画像を得るために簡便化されているものの、やはり、被写体によってそれぞれあった光量を調整する必要がある。

本発明は、特許文献１のように光量等の人の調整に頼ることなく、自動で合成の度合いを決定して簡便に合成画像を取得することを目的とする。

上記課題を解決する為に、斜め方向の第一の照明装置から光を照射して被写体を撮影した第一の画像を受信し、逆斜め方向の第二の照明装置からの光を照射して前記被写体を撮影した第二の画像を受信し、前記被写体や撮影装置に関する情報を受付る入力部と、前記第一の画像と前記第二の画像のそれぞれどちらの画像を何割で合成するかをそれぞれの画素に対して決定する為の比率Zを前記受付けた情報を基に計算して算出するブレンドパターン作成部と、画素毎に前記比率Zを前記第一の画像に掛けたものと、1-Zを前記第二の画像に掛けたものをそれぞれ足し合わせて、第三の画像として合成する画像ブレンド部と、前記第三の画像を出力する出力部とを有する。

本発明によれば、簡便に画像を合成できる。

実施例１の撮影システムの構成図の例である。 実施例１の撮影システムにおける撮影配置図の例である。 実施例１の撮影システムにおける撮影配置図とブレンドパターンの例である。 実施例１の撮影システムの撮影画像と完成画像の例である。 実施例２のブレンドパターンと撮影画像の例である。 実施例２の画像選択部の表示画像レイアウトの例である。 実施例２の完成画像の例である。

以下、実施例を図面を用いて詳細に説明する。

図１に本実施例における撮影システムの構成を示す。図１に示す画像撮影システムは、表面に光沢のある被写体であっても、正反射による光源の写りこみのない撮影データを容易に得る事を可能とするコンピュータシステムである。

Ｌ照明102、Ｒ照明103は光源制御部105の動作により通信部106を介してコンピュータ134より受けた点灯指示に応じて光源104を点灯させ、消灯指示に応じて光源104を消灯させる機能を有する。Ｌ照明102、R照明103はそれぞれ被写体に対して斜め方向、逆斜め方向に設置される。

カメラ111は、撮影部112と、撮影制御部113と、通信部114とからなる。撮影制御部113は前記通信部を介してコンピュータ134より受けた撮影指示に応じて被写体の画像を撮影部112内のレンズにより撮影部112内の撮像素子上で結像させ、この像を前記撮像素子によってディジタルデータへ変換して撮影部112内の一時メモリに格納する機能と、通信部114を介してコンピュータ134より受けた転送指示に応じて撮影部112内の前記一時メモリに格納してある画像データを一般的な画像ファイル形式（JPEG形式やTIFF形式等）に変換してコンピュータ134に転送する機能を有する。

コンピュータ134は記憶部121、制御部129（ＣＰＵ）、メモリ130、通信部131、入力部132、出力部133がバス128により互いに接続されて構成している。

コンピュータ134はハードディスクドライブなどの記憶部121に格納されたプログラム122を、メモリ130に読み出して制御部129により実行する。また、コンピュータ134は、コンピュータ装置が一般に備えている各種キーボードやマウス等の入力部132、ディスプレイなどの出力部133を備える。また、入力部が外部からのデータを入力するようなものも含まれる。記録媒体から読取る入力部であってもよいし、ネットワークで送信されたデータを直接読み込む入力部であってもよい。同様に出力部でディスプレイだけでなく、処理された画像データを出力できればよく、記録媒体に書き込みをおこなうような出力部でもよく、データを出力する出力部も含む。

またコンピュータ134は、他装置との間のデータ授受を担う通信部131を有し、カメラ111、Ｌ照明102およびＲ照明103と接続することでデータ通信を行うことができる。

次の表１で示す通り、撮影データベース135は撮影画像データの格納位置や撮影条件データファイルの格納位置などを格納したデータベースである。

絵画などの撮影対象物である被写体101、Ｌ照明102、Ｒ照明103及びカメラ111の図における位置は撮影場所の上部から見た位置関係を表している。Ｌ照明102、Ｒ照明103及びカメラ111は各々コンピュータ134と接続されており、通信部106、通信部114の動作によりコンピュータ134とデータ通信を行うことができる。通信手段としてはＬＡＮやＷＡＮなどの各種ネットワークを利用してもよいし、ＵＳＢなどの伝送路を利用しても良い。

続いて、コンピュータ134のプログラム122が備えている機能について説明を行う。撮影条件生成部123はカメラ111と被写体101との距離、カメラ111の撮影範囲、L照明位置、及びR照明位置、を撮影条件データとして記憶部121に格納する機能を有している。

撮影制御部124は、まずＬ照明102を点灯、R照明103を消灯させた状態におけるカメラの撮影データであるＬ画像データを記憶部121に格納し、次にR照明103を点灯、Ｌ照明102を消灯させた状態におけるカメラの撮影データであるＲ画像データを記憶部121に格納する機能を有している。

ブレンドパターン生成部125は撮影条件データの内容に応じてブレンドパターンを作成し、記憶部121に格納する機能を有している。

画像ブレンド部126は前記ブレンドパターンの内容に応じて前記Ｌ画像データと前記Ｒ画像データを合成して完成画像データを生成し、記憶部121に格納する。

全体制御部127は、ユーザの指示に応じて撮影条件生成部123を動作させ、次に撮影制御部124を動作させ、次にブレンドパターン生成部125を動作させ、最後に画像ブレンド部126を動作させる。本実施例ではブレンドパターンは撮影条件データから自動生成されるものとしているが、これに限定されるものではなく、ユーザが直接ブレンドパターンを決定して入力してもよいし、もとから決まったブレンドパターンを記憶していてもよい。
＜撮影実行手順＞
本実施例における撮影方法の実行手順について図に基づき説明する。以下で説明する画像撮影方法に対応する各種動作は、前記コンピュータ134のメモリ130に読み出して実行するプログラム122によって実現される。そして、このプログラム122は、以下に説明される各種の動作を行うためのコードから構成されている。

まず、撮影条件生成部123の動作について説明する。図２は撮影場所における各構成要素の位置関係を表した上面図である。

撮影条件生成部123はまず、被写体の横幅をあらわす被写体サイズPと、カメラ111に取り付けてあるレンズの焦点距離fと、カメラ111内の撮像素子401の幅sを入力部より受け付ける。

次に数１によって撮影範囲W、数２によってカメラ111の設置位置と被写体101中央を結ぶ線の長さを表す撮影距離Gを求める。
（数１）W ＝1.2 ・P
（数２）G ＝ W・f/s+f
次に撮影距離Gをユーザに出力部133を介して通知する。ユーザは、被写体101中央とカメラ111の設置位置とを結ぶ線が被写体101と直行し、かつカメラ111と被写体101中央を結ぶ線の長さが撮影距離Gとなるカメラ位置404にカメラ111を設置する。本実施例では数１を使って撮影範囲Wを設定したが、Ｗ≧Ｐとなるように設定できれば他の式を利用しても良い。

また、Pに乗ずる係数1.2をユーザによって変更できるようにしても良い。Pに乗ずる係数が大きいほど撮影範囲Wが広くなるので、カメラ位置の設置許容誤差を大きくできる利点があるが、撮影範囲Wに対する被写体サイズPの割合が少なくなるので解像度が落ちるといった欠点がある。

ユーザは次に、カメラ111の撮影方向を被写体101中央に向け、Ｌ照明102をカメラ111と被写体101中央とを結ぶ線より左側に設置し、R照明103はカメラ111と被写体101中央とを結ぶ線より右側に設置する。

次に、撮影条件生成部123はＬ照明102の位置を表すＬ照明位置LxとＬ照明位置Ly、R照明103の位置を表すＲ照明位置ＲxとＲ照明位置Ｒyを入力部を介してユーザより受付ける。各々の値は図２の配置図に示した長さを表している。ここでカメラ位置404とはカメラ111に取り付けられているレンズの主点位置である。

被写体サイズP、撮影距離G、Ｌ照明位置Lx、Ｌ照明位置Ly、Ｒ照明位置Rx、Ｒ照明位置Ry、撮影範囲Wからなる撮影条件データをファイルとして記憶部121に格納する。さらに、該撮影条件データファイルの格納位置を撮影データベース135のID=1の行に記録する。

本実施例では焦点距離fと撮像素子の幅sをユーザが入力する方法を示したが、カメラ固有の値として予めコンピュータ134の記憶部121に格納しておき、この値を読み出して利用しても良い。あるいはＬ画像データファイルかＲ画像データファイルの所定部分に書き込まれている値を利用しても良い。

また、本実施例では撮影距離Gを計算によって求める方法を示したが、ユーザがカメラ111に取り付けられているファインダを目視しながらカメラの位置を調整して、被写体が撮影範囲内に収まる位置にカメラ111を設置し、その場合の撮影距離Gと撮影範囲Wをユーザが入力する方法でも良い。この場合ユーザは被写体101と同じ位置に定規などを置いて撮影した画像から定規の値を読み取ることで撮影範囲を得るか、焦点距離と撮像素子の幅より数２を用いて計算して撮影範囲を得ればよい。

数２は一般的なレンズの公式を用いて得られたものであるが、計算式としては本式に限らず別な式を利用しても良い。別な式の例としては、ピンホールカメラモデルによる式や撮影距離と撮影範囲を実測した値に基づいて作成した式などがある。

次に、撮影制御部124の動作について順をおって説明する。

撮影制御部124はまず、Ｌ照明102に対して点灯指示を送信し、R照明103に対して消灯指示を送信する。これらの指示により左側の照明だけが点灯した状態となる。次に、カメラ111へ撮影指示を送信する。カメラ111は撮影指示に応じて撮影した画像データを撮影部112の一時メモリに書き込む。

撮影制御部124は、カメラ111へ転送指示を送信する。カメラ111は転送指示に応じて前記一時メモリの内容を、一般的な画像ファイル形式に変換してコンピュータ134に転送する。カメラ111から転送された撮影画像データを、Ｌ画像データとして記憶部121に格納し、該Ｌ画像データの格納位置を撮影データベース135のID=2の行に記録する。

撮影制御部124は、R照明103に対して点灯指示を送信し、Ｌ照明102に対して消灯指示を送信する。これらの指示により右側の照明だけが点灯した状態となる。次に、カメラ111へ撮影指示を送信する。カメラ111は撮影指示に応じて撮影画像データを撮影部の一時メモリに書き込む。

撮影制御部124は、カメラ111へ転送指示を送信する。カメラ111は転送指示に応じて前記一時メモリの内容を、一般的な画像ファイル形式に変換してコンピュータ134に転送する。カメラ111から転送された撮影画像データを、Ｒ画像データとして記憶部121に格納し、該Ｒ画像データの格納位置を撮影データベース135のID=3の行に記録する。

このようにして撮影制御部124の動作により、左側の照明を点灯させた画像であるＬ画像データと、右側の照明を点灯させた画像であるＲ画像データを記憶部121に格納することができる。

次にブレンドパターン生成部125の動作について説明する。

まず、画像データの横画素数Ｈを得る。本実施例ではJPEGやTIFFといった一般的な画像ファイル形式を使用するので、ファイルの所定位置に書き込まれている横幅を示す数値を読み出す事でＨを得る。

次に、以下の方法にて座標値b、cを求める。座標値b、cとは照明からの光の入射角と撮影装置への反射角が等しくなる地点である。図３は撮影環境の上面図とブレンドパターンと撮影画像データとの関係を示した説明図である。撮影画像データ502は横座標値xと縦座標値yで示される画素の明るさを表す8ビットの正の整数値からなっている。ここでは8ビットで説明しているがこれに限定されるものではなく16ビットや32ビットであってもよい。

横座標値xは0からH-1までの数値をとり、縦座標値yは0からV-1までの数値をとる。Vの値は前記Hと同様ファイルの所定位置に書き込まれている縦幅を示す数値を読み出すことで得る。一般的なカラー画像において、ひとつの座標に対して値はＲ,Ｇ,Ｂなど複数存在するが、複雑化を避けるため本実施例ではその代表として１種類で説明する。

ブレンドパターンを格納する領域として、ブレンドパターン501をメモリ130に確保する。ブレンドパターン501の内容は、Ｈ個の数値からなり、撮影画像データの横座標値xに対して8ビットの正の整数値を対応づけている。L照明位置402はL照明102が置かれている位置、R照明位置403はR照明103が置かれている位置を表している。中心405は被写体101の中心位置を表している。

ブレンドパターン501の生成方法について説明する。まず、L照明102から発せられた光が正反射する位置を求める。正反射は、光源からの入射角とカメラ111に向かう反射角が一致する被写体面の位置で発生する。従ってL照明102が正反射する位置と中心との距離Lsは図３より、
（数３）Ls＝G・tan(θ)（但し、0≦θ≦90）
（数４）θ＝tan^-1(Lx/(G+Ly))
数４はカメラ位置404と被写体上の正反射する位置とを結ぶ線を延長することで容易に得られる。Ｌ照明102が正反射する位置に対応するブレンドパターンのx座標値bは、撮影範囲Ｗと横画素数Ｈとを対応づけ、以下の式で求めることが出来る。
（数５）b＝(W/2-Ls)・(H/W)（但し小数点以下切り上げ）
同様にしてR照明103が正反射する位置と中心との距離Rsは次の式により求めることができる。
（数６）Rs＝G・tan(β)
（数７）β＝tan^-1(Rx/(G+Ry))
R照明103が正反射する位置に対応するブレンドパターンのx座標値cは、撮影範囲Ｗと横画素数Ｈとを対応づけ、次の式で求めることができる。
（数８）c＝(W/2+Rs)・(H/W)（但し小数点以下切り下げ）
ブレンドパターン生成部125はx座標値b,cを利用して以下のようにしてブレンドパターンを生成する。

0≦x≦b においては全て0に設定する。b＜x＜c においては0から徐々に255へと増加させるため、次式で表すzの値を設定する。但し、z＜0なら0、z＞255なら255を設定する。c≦x≦H-1 においては全て255に設定する。
（数９）z＝ 255・(x-b)/(c-b)
このように設定することで、ブレンドパターンの値は図３のグラフに示す値になる。ここでは、各画素が8bitで256階調の為、255を掛けているがこれに限定されるものではなく、また、諧調値を掛けずに、z=(x-b)/(c-b)としてもよい。その場合、数１１での式についても255ではなく1が使われることになるが、それは後述する。

ここで、ブレンドパターンの生成において、b＜x＜c においてのブレンドパターンの値は、xがbからcに変化するにつれて増加するように設定すればよく、その方法は本実施例で示した方法とは限らない。例えば次式のようにしても良い。式は限定されるものではなく、２つの画像のどちらかの割合が大きくなるかを除所に変更していけるように定義できるものなら何でも良い。
（数１０）z＝255・(1-cos(π(x−b)/(c-b))) /2
数１０を使うと数９を使う場合よりもブレンド境界部（b,c近傍）の変化が滑らかになるといった効果がある。

生成したブレンドパターンを記憶部に格納する。次に画像ブレンド部126の動作について説明する。図４に画像データの内容を表した図を示す。表２にメモリ130に書き込まれているＬ画像データ領域、Ｒ画像データ領域、ブレンドパターンや合成されたできた完成画像データ領域の画素の並びとその値との対応関係を表す。

メモリ130にＬ画像データ901を格納するＬ画像データ領域1901と、Ｒ画像データを911を格納するＲ画像データ領域1902と、完成画像データ903を格納する完成画像データ領域1904を確保する。

画像ブレンド部は、撮影データベースのID=2の行に書かれている、Ｌ画像データの格納位置を参照することで、Ｌ画像データを読み出し、メモリ130のＬ画像データ領域1901へ書き込み、撮影データベースのID=3の行に書かれている、Ｒ画像データの格納位置を参照することで、Ｒ画像データを読み出し、メモリ130のＲ画像データ領域1902へ書き込む。

画像ブレンド部126は、Ｌ画像データ領域1901とＲ画像データ領域1902の全画素について、次式に示す演算を行い完成データを生成する。
（数１１）Ｑ(x,y)＝(Ｐ(x)・Ｌ(x,y)＋ （255-Ｐ(x)）・Ｒ(x,y))/255
ここでxは画像データの横方向の座標値、yは画像データの縦方向の座標値、Ｌ(x,y)は座標値x,yにおけるＬ画像データ領域1901の値、Ｒ(x,y)は座標値x,yにおけるＲ画像データ領域1902の値、Ｐ(x)は横座標値xにおけるブレンドパターン501の値、Ｑ(x,y)は座標値x,yにおける完成画像データ領域1904の値である。ここで画像データ領域の値とは輝度を表す輝度値や明度を表す明度値のような値を想定している。また、数９でも述べたが、各画素が8bitであることを前提として255という値を数１１で使っているが、これはこれに限定されるものではなく、階層値を考慮しない場合は、1という値でもよい。その場合、数１１はＱ(x,y)＝(Ｐ(x)・Ｌ(x,y)＋ （1-Ｐ(x)）・Ｒ(x,y))となる。

表２を使って具体的に処理内容を説明する。まず、左下の座標について、以下の式によりＱ(0,0)を得る。
（数２１）Ｑ(0,0)＝(Ｐ(0)・Ｌ(0,0)＋ （255-Ｐ(0)）・Ｒ(0,0))/255
次にその右隣の座標について、以下の式によりＱ(1,0)を得る。
（数２２）Ｑ(1,0)＝(Ｐ(1)・Ｌ(1,0)＋ （255-Ｐ(1)）・Ｒ(1,0))/255
座標を右に移動させながら同様の処理を繰り返し、右端の座標に達するとひとつ上の左端座標について以下の式によりＱ(0,1)を得る。
（数２３）Ｑ(0,1)＝(Ｐ(0)・Ｌ(0,1)＋ （255-Ｐ(0)）・Ｒ(0,1))/255
同様の処理を繰り返して全ての座標値についてＱ(x,y)を求ることで、完成画像データ903が完成画像データ領域1904に生成される。

以上のようにして生成した完成画像データ903を記憶部121に格納し、該完成画像データの格納位置を撮影データベース135のID=4の行に記録する。

次に全体制御部127の動作について説明する。

入力部で受けたユーザからの撮影開始トリガに応じ、まず撮影条件生成部123を動作させる。撮影条件生成部123の動作が終了した後に、撮影制御部124を動作させる。

撮影制御部124の動作が終了した後に、ブレンドパターン生成部125を動作させる。ブレンドパターン生成部125の動作が終了すると、画像ブレンド部を起動する。

画像ブレンド部が終了すると、ユーザに対して撮影が終了した旨のメッセージを出力部133を介して表示し、ユーザに終了を伝えて全体制御部の動作を終了する。

本撮影システムを使うことによって得られる正反射抑制効果について説明する。図３に示した設置条件で撮影した撮影画像データは、前記撮影制御部124の動作により図４のようになる。本実施例では撮影制御部124により画像を撮影して取得しているが、これに限定されるものではなく、Ｌ画像データ、Ｒ画像データを入力部で受付けることとしてもよい。

Ｌ画像データ901には撮影範囲Ｗに対応する領域の映像が撮影される。図３との対応関係から、x座標値aからdまでが被写体が写し出されている部分である。またＬ画像データのx座標値bの位置に正反射による照明の写りこみ部分が存在している。

同様に、Ｒ画像データ911にも撮影範囲Ｗに対応する領域の映像が撮影される。図３との対応関係から、x座標値aからdまでが被写体が写し出されている部分である。またＲ画像データのx座標値cの位置に正反射による照明の写りこみ部分が存在している。
全体制御部127はこの状態で、画像ブレンド部を動作させ、完成画像データ903が生成される。実際の撮影においては拡散板等により光源は一定の幅を持ち、さらに被写体にも細かな凹凸が存在するため、図４に示したととおり照明の映りこみ領域は座標値b,cを中心としたある幅をもって画面に現れる。

完成画像データ903は、x座標が0からbまでの間はブレンドパターンが0なのでＲ画像データと完成画像データは等しい。x座標がbからcまでの間はブレンドパターンが徐々に255に変化するので、画像はＲ画像データから徐々にＬ画像データへと変化し、x座標がcからH-1まではブレンドパターンが0なのでＬ画像データと等しくなる。
従って、座標値b近傍ではブレンドパターンの値が0に近いため、写りこみのないＲ画像データ911がＬ画像データ901よりも大きな割合で合成され、座標値c近傍ではブレンドパターンの値が255に近いため写りこみのないＬ画像データ901がＲ画像データ911よりも大きな割合で合成される。

このように、ブレンドパターンと画像ブレンド部の動作により、写りこみの発生している領域周辺では写りこみのない画像データが支配的となってブレンドされるため、写りこみを抑制できるといった効果がある。

以上説明したように本実施例によれば、光沢のある被写体であっても照明の位置や向きを調整する事なく、容易に照明の写りこみを抑制した撮影画像を得ることが可能となる。

本実施例では、正反射による写りこみを抑制した撮影画像を行えるだけでなく、被写体の美しさをより良く伝える画像を生成する事もできる撮影システムの例を説明する。

本実施例２では、ブレンドパターン生成部125は撮影条件データの内容に応じて3種類のブレンドパターンを作成し、記憶部121に格納する。

画像ブレンド部126は、3種類のブレンドパターン各々を使ってＬ画像データとＲ画像データを合成して３種類の完成画像データを生成し、記憶部121に格納する。
＜処理手順例＞
本実施例における撮影方法の実行手順について図に基づき説明する。ブレンドパターン生成部125の動作について図３と図５を用いて説明する。

まず、実施例１の場合と同様に、画像データの横画素数Hを得る。次にＬ光源が正反射する位置に対応する座標値bとＲ光源が正反射する位置に対応する座標値cを求める。

ブレンドＡパターンを生成して、記憶部に格納する。ここでいうブレンドＡパターンとは実施例１のブレンドパターンを言うので、詳細な説明を割愛する。

次に、ブレンドパターン生成部はx座標値b,cを利用して次のようにしてブレンドBパターンを生成する。j=b+(c-b)/4、k=c-(c-b)/4とおき、0≦x≦j においては全て0に設定する。j＜x＜k においては0から徐々に255へと増加させるため、数１２で表すzの値を設定する。但し、z＜0なら0、z＞255なら255を設定する。k≦x≦H-1においては全て255に設定する。
（数１２）z＝ 255・(x-j)/(k-j)
このように設定することで、ブレンドBパターンの内容は図５のグラフに示す値になる。ここで、ブレンドBパターンの生成において、j＜x＜k においてのブレンドパターンの値は、xがjからkに変化するにつれて増加するように設定すればよく、その方法は本実施例で示した方法とは限らない。例えば数１３のようにしても良い。
（数１３）z＝255・(1-cos(π(x−j)/(k-j))) /2
数１３を使うと数１２を使う場合よりもブレンド境界部（j,k近傍）の変化が滑らかになるといった効果がある。

そして、生成したブレンドBパターンを記憶部に格納する
次に、被写体の左端に対応するブレンドパターンのx座標値aと、被写体の右端に対応するブレンドパターンのx座標値dを数１４と数１５によって求める。
（数１４）a＝(W-P)/2・(H/W) （但し小数点以下切り上げ）
（数１５）d＝(W+P)/2・(H/W) （但し小数点以下切り下げ）
ブレンドパターン生成部はx座標値a,dを利用して以下のようにしてブレンドCパターンを生成する。0≦x≦a においては全て0に設定する。a＜x＜d においては0から徐々に255へと増加させるため、数１６で表すzの値を設定する。但し、z＜0なら0、z＞255なら255を設定する。
（数１６）z＝ 255・(x−a)/(d-a)
d≦x≦H-1 においては全て255に設定する。このように設定することで、ブレンドパターンの内容は図５のグラフに示す値になる。ここで、ブレンドパターンの生成において、a＜x＜d においてのブレンドパターンの値は、xがaからdに変化するにつれて増加するように設定すればよく、その方法は本実施例で示した方法とは限らない。例えば数１７のようにしても良い。
（数１７）z＝255・(1-cos(π(x−a)/(d-a))) /2
数１７を使うと数１６を使う場合よりもブレンド境界部（a,d近傍）の変化が滑らかになるといった効果がある。

生成したブレンドCパターンを記憶部に格納する。次に画像ブレンド部126の動作について説明する。図４と図７に画像データの内容を表した図を示す。表３にメモリ130に書き込まれているそれぞれのブレンドパターンで合成された画像データの画素の並びとその値との対応関係を表す。

メモリ130にＬ画像データ901を格納するＬ画像データ領域1901と、Ｒ画像データを911を格納するＲ画像データ領域1902と、完成Ａ画像データ1701を格納する完成画像データ領域2001と、完成Ｂ画像データ1702を格納する完成Ｂ画像データ領域2002と、完成Ｃ画像データ1703を格納する完成Ｃ画像データ領域2003とを確保する。

画像ブレンド部は、撮影データベースのID=2の行に書かれている、Ｌ画像データの格納位置を参照することで、Ｌ画像データを読み出し、メモリ130のＬ画像データ領域1901へ書き込み、撮影データベースのID=3の行に書かれている、Ｒ画像データの格納位置を参照することで、Ｒ画像データを読み出し、メモリ130のＲ画像データ領域1902へ書き込む。

画像ブレンド部126は、Ｌ画像データ領域1901とＲ画像データ領域1902の全画素について、数１８、数１９、数２０に示す演算を行い完成A画像データと完成B画像データと完成C画像データを生成する。
（数１８）Ｑa(x,y)＝(Ｐ(x)・Ｌ(x,y)＋(255-Ｐ(x))・Ｒ(x,y))/255
（数１９）Ｑb(x,y)＝(Ｐb(x)・Ｌ(x,y)＋(255-Ｐb(x))・Ｒ(x,y))/255
（数２０）Ｑc(x,y)＝(Ｐc(x)・Ｌ(x,y)＋(255-Ｐc(x))・Ｒ(x,y))/255
ここでxは画像データの横方向の座標値、yは画像データの縦方向の座標値、Ｌ(x,y)は座標値x,yにおけるＬ画像データ領域1901の値、Ｒ(x,y)は座標値x,yにおけるＲ画像データ領域1902の値、Ｐa(x)は横座標値xにおけるブレンドAパターンの値、Ｐb(x)は横座標値xにおけるブレンドBパターンの値、Ｐc(x)は横座標値xにおけるブレンドCパターンの値、Ｑa(x,y)は座標値x,yにおける完成A画像データ領域2001の値、Ｑb(x,y)は座標値x,yにおける完成B画像データ領域2002の値、Ｑc(x,y)は座標値x,yにおける完成C画像データ領域2003の値である。

表２と表３を使って具体的に処理内容を説明する。まず、左下の座標について、以下の式によりＱa(0,0),Ｑb(0,0),Ｑc(0,0)を得る。
（数２４）Ｑa(0,0)＝(Ｐ(0)・Ｌ(0,0) ＋（255-Ｐ(0)）・Ｒ(0,0))/255
（数２５）Ｑb(0,0)＝(Ｐb(0)・Ｌ(0,0)＋（255-Ｐb(0)）・Ｒ(0,0))/255
（数２６）Ｑc(0,0)＝(Ｐc(0)・Ｌ(0,0)＋（255-Ｐc(0)）・Ｒ(0,0))/255
次にその右隣の座標について、以下の式によりＱa(1,0),Ｑb(1,0),Ｑc(1,0)を得る。
（数２７）Ｑa(1,0)＝(Ｐ(1)・Ｌ(1,0)＋（255-Ｐ(1)）・Ｒ(1,0))/255
（数２８）Ｑb(1,0)＝(Ｐb(1)・Ｌ(1,0)＋（255-Ｐb(1)）・Ｒ(1,0))/255
（数２９）Ｑc(1,0)＝(Ｐc(1)・Ｌ(1,0)＋（255-Ｐc(1)）・Ｒ(1,0))/255
座標を右に移動させながら同様の処理を繰り返し、右端の座標に達するとひとつ上の左端座標について以下の式によりＱa(0.1),Ｑb(0,1),Ｑc(0,1)を得る。
（数３０）Ｑa(0,1)＝(Ｐ(0)・Ｌ(0,1)＋（255-Ｐ(0)）・Ｒ(0,1))/255
（数３１）Ｑb(0,1)＝(Ｐb(0)・Ｌ(0,1)＋（255-Ｐb(0)）・Ｒ(0,1))/255
（数３２）Ｑc(0,1)＝(Ｐc(0)・Ｌ(0,1)＋（255-Ｐc(0)）・Ｒ(0,1))/255
同様の処理を繰り返すことで、全ての座標値についてＱa(x,y),Ｑb(x,y),Ｑc(x,y)を求ることで、完成Ａ画像データ1701が完成画像Ａデータ領域2001に、完成Ｂ画像データ1702が完成画像Ｂデータ領域2002に、完成Ｃ画像データ1703が完成画像Ｃデータ領域2003に各々生成される。

画像ブレンド部126の動作によりＬ画像データ901とＲ画像データ911を各画素ごとに３種類のブレンドパターンによって重み付けて合成した３種類の完成画像データが生成される。

次に画像選択部の動作について説明する。画像選択部はコンピュータ134が備えている機能を実現するプログラム122のひとつとして記憶部121内に格納されている。図６に画像選択部が出力部を介して画面に表示する選択画面のレイアウトを示す。図７に画像データの内容を表した図を示す。

完成A画像データ1701と完成B画像データ1702と完成C画像データ1703を、完成画像Ａデータ領域2001と完成画像Ｂデータ領域2002と完成画像Ｃデータ領域2003から読み出し、出力部133を介して各々の画像を図６に示す選択画面の所定位置に表示する。

3枚の画像から一枚を選択する旨選択要求メッセージ1505を選択画面に表示し、入力部を介して選択入力エリア1506より選択コードを受け付ける。

選択コードが"A"であれば完成Ａ画像データ領域2001の完成Ａ画像データ1701を記憶部121に格納し、該完成Ａ画像データの格納位置を撮影データベース135のID=4の行に記録する。

選択コードが"B"であれば完成Ｂ画像データ領域2002の完成Ｂ画像データ1702を記憶部121に格納し、該完成Ｂ画像データの格納位置を撮影データベース135のID=4の行に記録する。

選択コードが"C"であれば完成Ｃ画像データ領域2003の完成Ｃ画像データ1703を記憶部121に格納し、該完成Ｃ画像データの格納位置を撮影データベース135のID=4の行に記録する。

選択コードが"A","B","C"のいずれでも無い場合には入力を無視して再度選択コードを受け付ける。

以上のような動作により、ユーザが選択した完成画像が記憶部121内に格納される。

次に全体制御部127の動作について説明する。

入力部132で受けたユーザからの撮影開始トリガに応じ、まず撮影条件生成部123を動作させる。

撮影条件生成部123の動作が終了した後に、撮影制御部124を動作させる。

撮影制御部124の動作が終了した後に、ブレンドパターン生成部125を動作させる。

ブレンドパターン生成部125の動作が終了すると、画像ブレンド部126を起動する。

画像ブレンド部126の動作が終了すると、画像選択部を起動する。

画像選択部の動作が終了すると、ユーザに対して撮影が終了した旨のメッセージを出力部133により表示してユーザに終了を伝えて全体制御部127の動作を終了する。

本実施例の撮影システムを使うことによって得られる効果について説明する。図３に示した設置条件で撮影した撮影画像データは、前記撮影制御部124の動作により既に説明した図４のＬ画像データ901とＲ画像データ911のようになる。

全体制御部はこの状態で、画像ブレンド部を動作させ、図７に示すような完成A画像データ1701と、完成B画像データ1702と、完成C画像データ1703とが生成させる。
実際の撮影においては拡散板等により光源は一定の幅を持ち、さらに被写体にも細かな凹凸が存在するため、照明の映りこみ領域は座標値b,cを中心としたある幅をもって画面に現れる。

完成A画像データ1701は、x座標が0からbまでの間はブレンドパターンが0なのでＲ画像データと完成画像データは等しい。x座標がbからcまでの間はブレンドパターンが徐々に255に変化するので、画像はＲ画像データから徐々にＬ画像データへと変化し、x座標がcからH-1まではブレンドパターンが0なのでＬ画像データと等しくなる。

完成B画像データ1702は、x座標が0からjまでの間はブレンドパターンが0なのでＲ画像データと完成画像データは等しい。x座標がjからkまでの間はブレンドパターンが徐々に255に変化するので、画像はＲ画像データから徐々にＬ画像データへと変化し、x座標がkからH-1まではブレンドパターンが0なのでＬ画像データと等しくなる。

完成C画像データ1703は、x座標が0からaまでの間はブレンドパターンが0なのでＲ画像データと完成画像データは等しい。x座標がaからdまでの間はブレンドパターンが徐々に255に変化するので、画像はＲ画像データから徐々にＬ画像データへと変化し、x座標がdからH-1まではブレンドパターンが0なのでＬ画像データと等しくなる。

座標値b近傍の写りこみはＲ画像データ911に存在し、Ｌ画像データ901には存在しない。逆に、座標値c近傍の写りこみはＬ画像データ901に存在し、Ｒ画像データ911には存在しない。したがって座標値b近傍のブレンドパターンが0に近いほど座標値b近傍の写りこみを抑制でき、座標値c近傍のブレンドパターンが255に近いほど座標値c近傍の写りこみを抑制できる。

３種類のブレンドパターンは図５のようになっているので、完成B画像データ1702、完成A画像データ1701と、完成C画像データ1703の順で写りこみの抑制効果が強い画像となる。（図７参照）特に、完成B画像データ1702については写りこみ領域が座標値jとkの間に存在しなければ完全に写りこみを抑制した画像となる。

完成A画像データ1701と完成B画像データ1702と完成C画像データ1703は画像選択部の動作により並べて表示される。金のような光沢素材を使用した絵画の場合、その質感を表現するには照明による反射部分の「見え方」が被写体の美しさを表現する上で重要なポイントとなる。ユーザはこのような観点から撮影画像として最もふさわしい画像を選択する事になる。画像選択部はユーザが選択した画像の格納場所を撮影データベース135のID=4の行に記録するので、ユーザは、撮影データベース135のID=4の行に記録されている格納場所にある画像を得ることで、撮影画像として最もふさわしい画像を得ることができる。

以上説明したように本実施例によれば、光沢のある被写体であっても照明の位置や向きを調整する事なく、容易に照明の写りこみを抑制した撮影画像を得ることが可能となるだけでなく、実施例１よりも正反射の抑制効果の高い画像を生成できる。又、被写体の美しさをより良く伝える画像を生成する事も可能となる。

本実施例では３種類のプレンドパターンを用意したが、２種類であっても４種類以上であっても同様の撮影システムを構成することができる。

１０１：被写体、１０２：Ｌ照明、１０３：Ｒ照明、１０４：光源、１０５：光源制御部、１０６：通信部、１１１：カメラ、１１２：撮影部、１１３：撮影制御部、１１４：通信部、１２１：記憶部、１２２：プログラム、１２３：撮影条件生成部、１２４：撮影制御部、１２５：ブレンドパターン生成部、１２６：画像ブレンド部、１２７：全体制御部、１２８：バス、１２９：制御部、１３０：メモリ、１３１：通信部、１３２：入力部、１３３：出力部、４０１：撮像素子、４０２：Ｌ照明位置、４０３：Ｒ照明位置、４０４：カメラ位置、４０５：撮影条件データ、５０１：ブレンドパターン、５０２：撮影画像データ、９０１：Ｌ画像データ、９０３：完成画像データ、９１１：Ｒ画像データ、１５０１：選択画像、１５０５：選択要求メッセージ、１５０６：選択入力エリア、１７０１：完成Ａ画像データ、１７０２：完成Ｂ画像データ、１７０３：完成Ｃ画像データ、１９０１：Ｌ画像データ領域、１９０２：Ｒ画像データ領域、１９０３：完成画像データ領域、２００１：完成Ａ画像データ領域、２００２：完成Ａ画像データ領域、２００３：完成Ａ画像データ領域

Claims (7)

1. 斜め方向の第一の照明装置から光を照射して被写体を撮影した第一の画像を受信し、逆斜め方向の第二の照明装置からの光を照射して前記被写体を撮影した第二の画像を受信する入力部と、
   前記第一の画像と前記第二の画像のそれぞれどちらの画像を何割で合成するかをそれぞれの画素に対して決定する為の比率Zを算出するブレンドパターン作成部と、
   画素毎に前記比率Zを前記第一の画像に掛けたものと、1-Zを前記第二の画像に掛けたものをそれぞれ足し合わせて、第三の画像として合成する画像ブレンド部と、
   前記第三の画像を出力する出力部と
   を有し、
   前記ブレンドパターン作成部が、
   前記第一の照明装置から前記被写体への入射角と、前記被写体から当該被写体を撮影する撮影装置への反射角が等しくなる地点をb、前記第二の照明装置から前記被写体への入射角と、前記被写体から前記撮影装置への反射角が等しくなる地点をcとして算出し、bからcにかけて次第に前記第一の画像から前記第二の画像にかわるように比率Zを算出
   することを特徴とする自動画像合成装置。
2. 請求項１に記載の自動画像合成装置であって、
   前記ブレンドパターン作成部が、
   前記第三の画像の端から端までにかけて次第に前記第一の画像から前記第二の画像にかわるように比率Zを算出することを特徴とする自動画像合成装置。
3. 請求項１に記載の自動画像合成装置であって、
   前記ブレンドパターン作成部が、
   前記第三の画像の水平位置xで前記比率ZがZ=(x-b)/(c-b)となる前記比率Zを算出することを特徴とする自動画像合成装置。
4. 請求項１に記載の自動画像合成装置であって、
   前記ブレンドパターン作成部が、
   前記第三の画像の水平位置xで前記比率ZがZ=(1-cos(π(x-b)/(c-b)))/2となる前記比率Zを算出することを特徴とする自動画像合成装置。
5. 請求項１乃至請求項４のそのそれぞれに記載の自動画像合成装置であって、
   前記画像ブレンド部が、
   前記第一の撮影画像と、前記第二の撮影画像の各画素の輝度値をもとに合成することを特徴とする写りこみ自動画像合成装置。
6. 斜め方向の第一の照明装置から光を照射して被写体を撮影した第一の画像を受信し、逆斜め方向の第二の照明装置からの光を照射して前記被写体を撮影した第二の画像を受信するステップと、
   前記第一の画像と前記第二の画像のそれぞれどちらの画像を何割で合成するかをそれぞれの画素に対して決定する為の比率Zを算出するステップと、
   画素毎に前記比率Zを前記第一の画像に掛けたものと、1-Zを前記第二の画像に掛けたものをそれぞれ足し合わせて、第三の画像として合成するステップと、
   前記第三の画像を出力するステップと、
   を有し、
   前記比率Zを算出するステップは、
   前記第一の照明装置から前記被写体への入射角と、前記被写体から前記撮影装置への反射角が等しくなる地点をb、前記第二の照明装置から前記被写体への入射角と、前記被写体から前記撮影装置への反射角が等しくなる地点をcとして算出し、bからcにかけて次第に前記第一の画像から前記第二の画像にかわるように比率Zを算出
   することを特徴とする自動画像合成方法。
7. 後述する入力部、ブレンドパターン作成部、および出力部の各機能を自動画像合成装置に実行させる自動画像合成プログラムであって、
   前記自動画像合成装置は、
   斜め方向の第一の照明装置から光を照射して被写体を撮影した第一の画像を受信し、逆斜め方向の第二の照明装置からの光を照射して前記被写体を撮影した第二の画像を受信する入力部と、
   前記第一の画像と前記第二の画像のそれぞれどちらの画像を何割で合成するかをそれぞれの画素に対して決定する為の比率Zを算出するブレンドパターン作成部と、
   画素毎に前記比率Zを前記第一の画像に掛けたものと、1-Zを前記第二の画像に掛けたものをそれぞれ足し合わせて、第三の画像として合成する画像ブレンド部と、
   前記第三の画像を出力する出力部と、を有し、
   前記ブレンドパターン作成部が、
   前記第一の照明装置から前記被写体への入射角と、前記被写体から前記撮影装置への反射角が等しくなる地点をb、前記第二の照明装置から前記被写体への入射角と、前記被写体から前記撮影装置への反射角が等しくなる地点をcとして算出し、bからcにかけて次第に前記第一の画像から前記第二の画像にかわるように比率Zを算出
   することを特徴とする自動画像合成装置の自動画像合成プログラム。

Images