JP7247501B2 - 画像処理装置およびプログラム - Google Patents

Description

本発明は、画像処理装置およびプログラムに関する。

下記特許文献１には、被写体に向けてフラッシュ光を発光するストロボ装置と、カメラのレリーズ操作に応じて、フラッシュ光を発光させないで撮影した第１画像とフラッシュ光を発光させて撮影した第２画像とを連続して取得する撮像装置と、第1画像と第２画像を比較し、相関の無い画像部分を検出する画像相関検出回路と、第２画像から相関の無い画像部分を切り取り、第１画像から相関の無い画像部分を除去し、除去したところに第２画像から切り取った画像部分を嵌め込んで第３画像を生成する補正画像生成回路と、を備えるデジタルカメラが開示されている。

特開２０１０－７４６９３号公報

本発明の目的は、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置およびプログラムを提供することである。

請求項１に係る本発明は、
同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付ける受付手段と、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する生成手段と、
を備える画像処理装置である。

請求項２に係る本発明は、前記生成手段が、前記第１画像の画素値と前記明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する請求項１記載の画像処理装置である。

請求項３に係る本発明は、前記生成手段が、前記第１画像の複数の特定箇所の明るさの度合いを示す値の平均値と前記第２画像の対応する複数の特定箇所の明るさの度合いを示す値の平均値とが予め定められた範囲内の値となるように前記第２画像全体の明るさを調整する請求項１又は２記載の画像処理装置である。

請求項４に係る本発明は、前記特定箇所が前記第１画像および前記第２画像それぞれの中心領域から外れた複数個所である請求項３記載の画像処理装置である。

請求項５に係る本発明は、
撮影対象の画像を撮影する撮影手段と、
前記撮影手段により撮影対象を撮影する際に、当該撮影対象に光を照射する光照射手段と、をさらに備える請求項１から４のいずれか記載の画像処理装置である。

請求項６に係る本発明は、同一の撮影対象を前記光照射手段による光を照射させて前記撮影手段により撮影した後に前記光照射手段による光を照射させずに前記撮影手段により撮影する請求項５記載の画像処理装置である。

請求項７に係る本発明は、
画像処理装置を構成するコンピュータに、
同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付けるステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラムである。

請求項８に係る本発明は、
撮影手段と光照射手段とを備える画像処理装置に、
同一の撮影対象に前記光照射手段の光を照射させて前記撮影手段により第１画像を撮影した後に前記光照射手段の光を照射させずに前記撮影手段により第２画像を撮影するステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラムである。

請求項１に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置を提供できる。特に、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができる。

請求項２に係る本発明によれば、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができる。

請求項３に係る本発明によれば、特定箇所が一箇所だけの場合と比べ、当該特定箇所が光照射手段による光の影響や外光の影響を受けているような場合にその影響をより排除できる。

請求項４に係る本発明によれば、光照射手段による、撮影対象の特に中央付近における光の影響が合成画像に現れることを防止できる。

請求項５に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置を提供できる。

請求項６に係る本発明によれば、略同一の位置で第１画像と第２画像を撮影することができる。

請求項７に係る本発明によれば、他の端末装置で撮影した光照射手段による光の照射あり、なしの２枚の画像を入力とし、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した合成画像を出力することを可能とするプログラムを画像処理装置に実行させることができる。

請求項８に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能であり、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができるプログラムを画像処理装置に実行させることができる。

図１（Ａ）は、本実施形態における画像処理装置２０の一例を示す外観斜視図であり、図１（Ｂ）は、画像処理装置２０を使用して撮影対象３０を撮影している状態を示す斜視図である。 撮影対象３０をフラッシュ発光装置による光を照射させずに撮影した際の撮影対象３０の状態を示す。 撮影対象３０をフラッシュ発光装置による光を照射させて撮影した際の撮影対象３０の状態を示す。 本実施形態の画像処理装置２０のハードウェア構成を示す図である。 図４の画像処理装置２０の機能ブロックを示す図である。 本実施形態の画像処理装置２０における画像合成処理の流れを示すフローチャートである。 図７（Ａ）は、フラッシュ光を撮影対象３０に照射させて撮影し、射影変換をおこなった後の第１画像の状態を示し、図７（Ｂ）は、フラッシュ光を撮影対象３０に照射させずに撮影し、射影変換を行った後の第２画像の状態を示す図である。 本実施形態の画像合成処理の概念を示す説明図であり、図８（Ａ）は第１画像を図７（Ａ）のＶＩＩＩＡ－ＶＩＩＩＡ線、および第２画像を図７（Ｂ）のＶＩＩＩＡ－ＶＩＩＩＡ線で切断した場合の画素列の輝度を示し、図８（Ｂ）は、第２画像の明るさを調整した後の第１画像、第２画像の画素列の輝度を示し、図８（Ｃ）は、第１画像と第２画像を合成した後の合成画像の画素列の輝度を示す図である。 本発明の変形実施形態における画像処理システム６０Ａの一例を示す概念図である。 変形実施形態の端末装置２０Ａの機能ブロックを示す図である。 変形実施形態の画像処理システム６０Ａの画像処理サーバ８０Ａの構成を示し、図１１（Ａ）は、ハードウェア構成を示す図であり、図１１（Ｂ）は、機能ブロックを示す図である。 変形実施形態の端末装置２０Ａにおける処理の流れを示すフローチャートである。 変形実施形態の画像処理サーバ８０Ａにおける処理の流れを示すフローチャートである。

本発明の一実施形態における画像処理装置２０について、図１を参照して説明する。図１（Ａ）は、本実施形態における画像処理装置２０の一例を示す外観斜視図であり、図１（Ｂ）は、画像処理装置２０を使用して撮影対象３０を撮影している状態を示す斜視図である。図１に示すように、本実施形態における画像処理装置２０は例えばタブレット型コンピュータであるが、本発明はこれに限定されず、下記に説明する構成を有するものであれば、スマートフォンやデジタルカメラであってもよいし、カメラ装置を備えたノートブック型コンピュータなど他の端末装置であってもよい。画像処理装置２０の筐体２００には、裏面にカメラ２０６、フラッシュ発光装置２０７が設けられる。さらに、画像処理装置２０の筐体２００の表面にはその大部分を占めるようにディスプレイ２０４が設けられている。

後述するが、撮影対象３０を撮影する際に、カメラ２０６によって捕捉される撮影対象３０の映像はディスプレイ２０４にリアルタイムに表示され、ユーザはディスプレイ２０４に映し出される撮影対象３０を視認しながらディスプレイ２０４上に配置された入力インタフェース（後述する）を操作して撮影対象３０を撮影することができる。

なお、本実施形態において、撮影対象３０は、プリンタや複合機などの画像形成装置により出力されたテスト画像であり、このテスト画像は、例えば黒色、シアン、マゼンタ、イエローのうちの一色、あるいは混合した一色をある濃度で紙面全体に印刷した塗りつぶし画像、あるは全面ハーフトーン画像である。特に、ある一定の階調値の画像データを印刷出力した場合のむらの有無やバンディングの有無を確認することを可能とする画像を出力するテスト画像である。もちろん、本発明で撮影の対象とされるものはこの例に限定されず、他の画像であってもよい。

上述したような全面が同一色のいわゆる塗りつぶし画像（ベタ画像）を撮影対象として画像処理装置２０により撮影する場合、フラッシュ発光装置２０７による光を照射させずに撮影する場合、図２に示すように、撮影対象３０には、外部からの光によって生じる影、例えば画像処理装置２０自体の影や撮影者の手の影によって撮影対象３０に反射する光のむら、例えば輝度のむらが発生してしまう場合がある。

しかし、このような外部からの光による影の影響を受けない画像を撮影するためフラッシュ発光装置２０７による光を照射させて近距離から撮影対象３０を撮影する場合には、図３に示すように、撮影対象３０には、光が照射される場所を中心とした同心円状のグラデーションが発生してしまうという問題が発生する。このような問題が生じると、上述のようなある一定の階調値の画像データを印刷出力した場合のむらの有無やバンディングの有無を確認する際には不都合が生じるため、撮影時の影響を軽減したほうが良い。

そのため、本実施形態の画像処理装置２０では、上述したようなフラッシュ発光装置２０７による光を照射させたことにより発生する影響を低減した撮影画像を得るために下記のような方法により撮影対象を撮影する。

図４を参照して、本実施形態の画像処理装置２０の構成について説明する。なお、図４は、本実施形態の画像処理装置２０のハードウェア構成を示す図である。

図４に示すように、画像処理装置２０は、制御用マイクロプロセッサ２０１、メモリ２０２、記憶装置２０３、ディスプレイ２０４、入力インタフェース２０５、カメラ２０６、フラッシュ発光装置２０７を有し、それぞれ制御用バス２０８に接続される。

制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて、画像処理装置２０の各部の動作を制御する。

メモリ２０２には、カメラ２０６によって撮影された撮影対象３０の画像、および後述する画像生成部により生成される合成画像が一時的に記憶される。

記憶装置２０３は、ソリッド・ステート・ドライブ（ＳＤＤ）やハードディスク（ＨＤＤ）によって構成され、画像処理装置２０の各部を制御するための制御プログラムが格納される。

ディスプレイ２０４は、この画像処理装置２０の筐体２００の表面に設けられた液晶ディスプレイや有機ＥＬディスプレイで構成され、後述する表示制御部によって処理された情報が表示される。

入力インタフェース２０５は、上記ディスプレイ２０４の表面に重ねて配置された透明なタッチパネルであり、画像処理装置２０を操作するユーザが指示を入力するための入力手段である。

カメラ２０６は、画像処理装置２０の筐体２００の裏面に設けられ、ユーザが入力インタフェース２０５を操作することにより入力される指示、および後述するカメラ制御部の指示により撮影対象３０の画像を撮影し、撮影した画像をメモリ２０２に記憶する。

フラッシュ発光装置２０７は、ＬＥＤライトで構成されており、後述するカメラ制御部の指示により撮影対象３０を撮影する際に発光することによりフラッシュ光を撮影対象３０に対して照射する光照射手段として機能する。

次に、図５を参照して、本実施形態における画像処理装置２０の機能について説明する。図５は、図４の画像処理装置２０の機能ブロックを示す図である。図５に示すように、画像処理装置２０は、記憶装置２０３に記憶された制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、カメラ制御部２１１、画像受付部２１２、画像生成部２１３、表示制御部２１４の各機能を発揮する。

カメラ制御部２１１は、カメラ２０６とフラッシュ発光装置２０７の動作を制御するものである。カメラ制御部２１１は、カメラ２０６によって捉えられた映像の中に撮影対象３０が所定の条件、例えば所定の大きさで認識された場合に、焦点を調節し、フラッシュ発光装置２０７を発光させることによりフラッシュ光を照射させて第１画像を撮影し、その後直ちにフラッシュ発光装置２０７を発光させずに第２画像を撮影し、それぞれの画像をメモリ２０２に記憶する。

画像受付部２１２は、上記同一の撮影対象３０にフラッシュ発光装置２０７によるフラッシュ光を照射させて撮影した第１画像とフラッシュ発光装置２０７によるフラッシュ光を照射させないで撮影した第２画像とを受け付ける、つまりメモリ２０２から第１画像と第２画像を取得する。

画像生成部２１３は、画像受付部２１２によりそれぞれ取得された第１画像と第２画像が指定の大きさとなるように補正つまり射影変換する。つまり、撮影対象３０を画像処理装置２０のカメラ２０６で撮影した場合、多くの場合に撮影対象３０はわずかに斜めに撮影されるため、撮影された画像を射影変換することによって歪みを除去するとともに画像の大きさを調節する。

さらに、画像生成部２１３は、画像受付部２１２によりそれぞれ取得され、射影変換された第１画像の特定箇所の明るさと第２画像の対応する特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整し、第１画像において、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素の画素値を、明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する。

具体的には、画像生成部２１３は、第１画像において、明るさ調整後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさ調整後の第２画像の画素値に置き換えることにより合成画像を生成する。あるいは、画像生成部２１３は、画像受付部２１２により取得された第１画像の画素値と明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する。

表示制御部２１４は、ディスプレイ２０４に表示する画像を処理するものである。表示制御部２１４は、カメラ２０６によって撮影対象を撮影する際にカメラ２０６が捉えている映像をディスプレイ２０４に表示したり、画像生成部２１３により生成された画像をディスプレイ２０４に表示したり、ユーザに対して様々な指示の入力を実行させるユーザインタフェース（ＵＩ）をディスプレイ２０４に表示させる制御を行う。

次に、図６～図８を参照して、本実施形態の画像処理装置２０における処理の流れを説明する。なお、図６は、本実施形態の画像処理装置２０における画像合成処理の流れを示すフローチャートである。図７は射影変換後の画像を示し、図７（Ａ）はフラッシュ光を照射して撮影対象を撮影した場合の第１画像を示す図であり、図７（Ｂ）はフラッシュ光を照射せずに撮影対象を撮影した場合の第２画像を示す図である。図８は、本実施形態の画像合成処理の概念を示す説明図であり、図８（Ａ）はフラッシュ発光装置２０７によるフラッシュ光を照射して撮影対象を撮影した場合とフラッシュ光を照射せずに撮影対象を撮影した場合の画像の画素列の輝度を示し、図８（Ｂ）は輝度の補正を行った状態の概念図を示し、図８（Ｃ）は合成後の画像の画素列の輝度を示す。

ステップＳ４０１において、ユーザからの指示によりカメラ制御部２１１はカメラ２０６を起動させる。カメラ２０６によって捉えられる映像は表示制御部２１４によりディスプレイ２０４に表示される。カメラ制御部２１１は、撮影しようとしている撮影対象３０が予め定められた条件を満たした状態で認識されたか否かを判断する。この条件は、例えば撮影対象３０が予め定められた大きさで認識されたか否かである。条件を満たさない場合は、カメラ２０６による撮影は実行ぜず、撮影対象３０の捕捉を継続して実行する。所定の時間が経過しても撮影対象３０が予め定められた条件を満たした状態で認識されない場合には処理を終了してもよい。

撮影しようとしている撮影対象３０が予め定められた条件を満たした状態で認識された場合、ステップＳ４０２に進み、カメラ制御部２１１は、当該撮影対象を、フラッシュ発光装置２０７を発光させることにより、フラッシュ光を照射させた撮影を行う。

ステップＳ４０３において、カメラ制御部２１１は、上記フラッシュ発光装置２０７によるフラッシュ光を照射させて撮影した画像を第１画像としてメモリ２０２に記憶する。

ステップＳ４０４において、カメラ制御部２１１は、直ちに同一の撮影対象を、フラッシュ発光装置２０７を発光させずに撮影する。

ステップＳ４０５において、カメラ制御部２１１は、上記フラッシュ発光装置２０７によるフラッシュ光を照射させずに撮影した画像を第２画像としてメモリ２０２に記憶する。

ステップＳ４０６において、画像受付部２１２は、メモリ２０２から上記の第１画像および第２画像を取得する。ついで、画像生成部２１３は、第１画像と第２画像をそれぞれ射影変換し、同一の大きさの画像となるように補正する。この射影変換の際に、第１画像および第２画像の歪みが除去される。なお、射影変換の際に目的とする画像の大きさはユーザにより予め設定されているものとする。あるいは、射影変換の際に、表示制御部２１４によりユーザに対して画像の大きさの指定の入力を求め、ユーザが入力インタフェース２０５を操作することによって指定された画像の大きさに変換するようにしてもよい。

ステップＳ４０７において、画像生成部２１３は、射影変換後の第１画像の特定箇所の明るさと、同じく射影変換後の第２画像の特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整する。この特定箇所は、射影変換後の第１画像および射影変換後の第２画像のそれぞれ中心領域から外れた複数箇所、例えば、射影変換後の第１画像および射影変換後の第２画像のそれぞれ中心から画像の四隅までの３分の１の地点４箇所である。もちろん、上記複数箇所は他の地点であっても構わないし、４箇所に限らず、他の個数であっても構わない。

また、明るさとは、輝度値、階調値、明度など、画像の明るさの度合いを示す明るさ指数であればどんなものを採用してもよい。なお、以下の説明では輝度値を例として採用することとする。本実施形態においては、画像生成部２１３は、それぞれ射影変換後の第１画像と第２画像における上記４箇所の輝度値の平均値が同程度、具体的には予め定められた範囲内の値、好ましくは同一値となるように射影変換後の第２画像の全体の輝度値を調整する。なお、上記のように輝度値の平均以外にも、輝度やコントラストの分散を算出し、その値が予め定められた範囲内の値となるように第２画像を調整してもよい。

上記ステップＳ４０７の処理を、図７、図８を用いて説明する。なお、図７（Ａ）は、フラッシュ光を撮影対象３０に照射させて撮影し、射影変換をおこなった後の第１画像の状態を示し、図７（Ｂ）は、フラッシュ光を撮影対象３０に照射させずに撮影し、射影変換を行った後の第２画像の状態を示す図である。また、図８（Ａ）は第１画像を図７（Ａ）のＶＩＩＩＡ－ＶＩＩＩＡ線、および第２画像を図７（Ｂ）のＶＩＩＩＡ－ＶＩＩＩＡ線で切断した場合の画素列の輝度を示し、図８（Ｂ）は、第２画像の明るさを調整した後の第１画像、第２画像の画素列の輝度を示し、図８（Ｃ）は、第１画像と第２画像を合成した後の合成画像の画素列の輝度を示す図である。

図７と図８を参照すると分かるように、図８に示す画素列の輝度の図において横軸は画像を横方向に切断した場合のＸ座標を示し、縦軸は輝度値を表している。図８（Ａ）に示すように、一般にフラッシュ発光装置２０７によるフラッシュ光を照射して撮影した場合の画像の輝度は、全体的に、フラッシュ光を照射せずに撮影された場合の画像の輝度よりも高くなる。さらに、フラッシュ光を照射して撮影された場合の画像の輝度は、中心付近が最も高く、周辺側が低い山形の形状となっている。図８（Ｂ）に示すように、画像生成部２１３は、それぞれ射影変換後の第１画像および第２画像の地点Ｐにおける輝度値が同一値となるように射影変換後の第２画像全体の輝度値を調整する（つまり、図８（Ｂ）では輝度値を全体的に底上げしている）。

次に、図６のステップＳ４０８において、画像生成部２１３は、射影変換後の第１画像において、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素の画素値を、上記ステップＳ４０７において明るさを調整した後の第２画像の画素値に置き換えることにより合成画像を生成する。具体的には、射影変換後の第１画像において、明るさを調整した後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさを調整した後の第２画像の画素値に置き換える。あるいは、画像生成部２１３は、射影変換後の第１画像と明るさを調整した後の第２画像とを画素単位で比較し、明るくない方の画素値を選択することにより合成画像を生成するようにしてもよい。

このときの状態が図８（Ｃ）に示されている。図８（Ｃ）の合成画像では、基本的には、特定地点Ｐよりも内側に位置する画素は、明るさ調整後の第２画像の画素が合成後の画像の画素として使用されているのに対して、特定地点Ｐよりも外側に位置する画素は、射影変換後の第１画像の画素が合成後の画像の画素として使用されている。

図６のステップＳ４０９において、画像生成部２１３は、上記ステップＳ４０８において生成された合成画像をメモリ２０２に記憶するとともに、表示制御部２１４は、合成画像をディスプレイ２０４に表示し、ユーザが視認できるようにし、処理を終了する。

なお、上記の例においては、射影変換後の第１画像において、明るさを調整した後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさを調整した後の第２画像の画素値に置き換える処理を行った場合を説明したが、本発明は上記の例に限定されず、置き換え対象となる領域の画素値とその周辺領域の画素の画素値を、射影変換後の第１画像の画素値と明るさ調整後の第２画像の画素値とを用いて算出された値に置き換えるようにしてもよい。この場合、対象となる画素の画素値を、例えばSoft Minimum関数を使用して射影変換後の第１画像の画素値と明るさ調整後の第２画像の画素値とを合成してもよい。

また、上記の実施形態においては、フラッシュ光を撮影対象に照射して第１画像を撮影した直後にフラッシュ光を撮影対象に照射せず第２画像を撮影した場合を説明したが、反対に、フラッシュ光を照射せずに第２画像を先に撮影した後にフラッシュ光を照射して第１画像を撮影するようにしてもよい。

次に、本発明の変形実施形態を、図９～図１３を参照して説明する。なお、図９は、本発明の変形実施形態における画像処理システム６０Ａの一例を示す概念図である。図１０は、変形実施形態の端末装置２０Ａの機能ブロックを示す図である。図１１は、変形実施形態の画像処理システム６０Ａの画像処理サーバ８０Ａの構成を示し、図１１（Ａ）は、ハードウェア構成を示す図であり、図１１（Ｂ）は、機能ブロックを示す図である。図１２は、変形実施形態の端末装置２０Ａにおける処理の流れを示すフローチャートである。図１３は、変形実施形態の画像処理サーバ８０Ａにおける処理の流れを示すフローチャートである。

上述の図１～図８を参照して説明した実施形態においては、撮影対象３０の撮影および画像の合成処理を、単一の画像処理装置２０において行ったが、図９～図１３の変形実施形態においては、撮影対象３０の撮影、および画像処理後の合成画像の表示を端末装置２０Ａにおいて行い、画像処理そのものは画像処理サーバ８０Ａにおいて行う。

図９に示すように、変形実施形態の画像処理システム６０Ａは、端末装置２０Ａ、画像処理サーバ８０Ａより構成され、端末装置２０Ａと画像処理サーバ８０Ａはそれぞれネットワーク７０Ａに接続されている。本変形実施形態においては、端末装置２０Ａは、通信インタフェース（図示せず）を有する以外は実施形態の画像処理装置２０と略同じハードウェア構成のものを使用するものとし、同一の構成に対しては同一の参照符号を使用するものとし、詳細な説明を省略する。

また、本変形実施形態における端末装置２０Ａは、図１０に示すように、記憶装置２０３に記憶された制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、カメラ制御部２１１Ａ、表示制御部２１２Ａ、画像送受信部２１３Ａの各機能を発揮するものとして構成される。なお、カメラ制御部２１１Ａと表示制御部２１２Ａは、上述の実施形態における画像処理装置２０のカメラ制御部２１１、表示制御部２１４と同様の機能であるので、詳細な説明は省略する。

画像送受信部２１３Ａは、ユーザが入力インタフェース２０５を操作することにより入力される指示に基づき、メモリ２０２あるいは記憶装置２０３に記憶された、フラッシュ発光装置２０７を発光させて撮影した第１画像、およびフラッシュ発光装置２０７を発光させずに撮影した第２画像を、ネットワーク７０Ａを介して画像処理サーバ８０Ａに送信したり、画像処理サーバ８０Ａにおいて合成された合成画像を画像処理サーバ８０Ａからネットワーク７０Ａを介して受信したりする。

さらに、本変形実施形態の画像処理サーバ８０Ａは、図１１（Ａ）に示すように、制御用マイクロプロセッサ８０１Ａ、メモリ８０２Ａ、記憶装置８０３Ａ、通信インタフェース８０４Ａを有し、それぞれ制御用バス８０５Ａに接続される。

制御用マイクロプロセッサ８０１Ａは、記憶装置８０３Ａに記憶された制御プログラムに基づいて、画像処理サーバ８０Ａの各部の動作を制御する。メモリ８０２Ａには、端末装置２０Ａから受信した、フラッシュ光を照射させて撮影した第１画像およびフラッシュ光を照射させずに撮影した第２画像が一時的に記憶される。記憶装置８０３Ａは、ハードディスク（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＤＤ）によって構成され、画像処理サーバ８０Ａの各部を制御するための制御プログラムが格納される。通信インタフェース８０４Ａは、画像処理サーバ８０Ａがネットワーク７０Ａを介して端末装置２０Ａと行うための通信を制御する。

この画像処理サーバ８０Ａは、図１１（Ｂ）に示すように、記憶装置８０３Ａに記憶された制御プラグラムを制御用マイクロプロセッサ８０１Ａにおいて実行することにより、画像受付部８１１Ａ、画像生成部８１２Ａ、画像送信部８１３Ａの各機能を発揮する。

画像受付部８１１Ａは、端末装置２０Ａから送信されてきたフラッシュ光を照射させて撮影した第１画像と、フラッシュ光を照射させないで撮影した第２画像とを受け付ける、つまり受信し、メモリ８０２Ａに一時的に保存する。

画像生成部８１２Ａは、画像受付部８１１Ａによりそれぞれ取得された第１画像の特定箇所の明るさと第２画像の対応する特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整し、第１画像において、フラッシュ光の照射の影響を受けている画素の画素値を、明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する。なお、さらに具体的な処理については、上述した実施形態の画像処理装置２０の画像生成部２１３における処理と同様であるので、詳細な説明は省略する。

画像送信部８１３Ａは、画像生成部８１２Ａにおいて生成された合成画像を通信インタフェース８０４Ａによりネットワーク７０Ａを介して端末装置２０Ａに送信する。

次に、変形実施形態の画像処理システム６０Ａにおける処理の流れについて説明する。まず、図１２を参照して端末装置２０Ａにおける処理の流れを説明する。図１２のステップＳ９０１において、端末装置２０Ａをユーザが操作することにより入力される指示によりカメラ制御部２１１Ａがカメラ２０６を起動させ、撮影対象を、フラッシュ発光装置２０７を発光させることにより、フラッシュ光を照射させて撮影し、第１画像としてメモリ２０２に一時的に記憶する。

ステップＳ９０２において、画像送受信部２１３Ａは、上記第１画像を画像処理サーバ８０Ａに、ネットワーク７０Ａを介して送信する。

ステップＳ９０３において、カメラ制御部２１１は、同一の撮影対象を、フラッシュ発光装置２０７を発光させずに撮影し、第２画像としてメモリ２０２に一時的に記憶する。

ステップＳ９０４において、画像送受信部２１３Ａは、上記第２画像を画像処理サーバ８０Ａに、ネットワーク７０Ａを介して送信する。なお、本変形実施形態では、第１画像と第２画像をそれぞれ撮影の都度画像処理サーバ８０Ａに送信する例を説明しているが、第１画像と第２画像の撮影が終了してからまとめて画像処理サーバ８０Ａに送信するようにしてもよい。

次いで、図１３において説明するが、画像処理サーバ８０Ａにおいて画像の合成処理が行われる。ステップＳ９０５において、画像送受信部２１３Ａは、画像処理サーバ８０Ａから合成画像を受信し、メモリ２０２に記憶する。

ステップＳ９０６において、表示制御部２１２Ａは、上記ステップＳ９０５において受信した合成画像をディスプレイ２０４に表示し、ユーザが視認できるようにし、処理を終了する。

次に、図１３を参照して画像処理サーバ８０Ａにおける処理の流れを説明する。図１３のステップＳ１００１において、画像処理サーバ８０Ａの画像受付部８１１Ａは、端末装置２０Ａから第１画像および第２画像を取得する。なお、第１画像と第２画像の取得は、同時であってもよいし、時間差があってもよい。取得した第１画像および第２画像はメモリ８０２Ａに一時的に記憶される。

ステップＳ１００２において、画像生成部８１２Ａは、第１画像と第２画像をそれぞれ射影変換し、同一の大きさの画像となるようにする。なお、射影変換の際に目的とする画像の大きさはユーザによって予め設定されているものとし、第１画像および第２画像とともに端末装置２０Ａからその情報を取得するようにしてもよい。あるいは、射影変換の際に、端末装置２０Ａに対して画像の大きさの指定を求め、端末装置２０Ａにおいてユーザが入力インタフェース２０５を操作することによって画像の大きさを指定し、この情報を画像処理サーバ８０Ａに送り返されるようにしてもよい。

ステップＳ１００３において、画像生成部８１２Ａは、射影変換後の第１画像の特定箇所の明るさと、同じく射影変換後の第２画像の特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整する。なお、詳細な処理については、上述の実施形態における画像処理装置２０の画像生成部２１３が図６のステップＳ４０７で行う処理と略同じであるので、説明を省略する。

ステップＳ１００４において、画像生成部８１２Ａは、射影変換後の第１画像において、フラッシュ光の照射の影響を受けている画素の画素値を、上記ステップＳ１００３において明るさを調整した後の第２画像の画素値に置き換えることにより合成画像を生成する。なお、なお、詳細な処理については、上述の実施形態における画像処理装置２０の画像生成部２１３が図６のステップＳ４０８で行う処理と略同じであるので、説明を省略する。

ステップＳ１００５において、画像送信部８１３Ａは、上記ステップＳ１００４において生成された合成画像を通信インタフェース８０４Ａによりネットワーク７０Ａを介して端末装置２０Ａへ送信し、処理を終了する。

なお、上記の変形実施形態においては、第１画像と第２画像を端末装置２０Ａで撮影し、逐次画像処理サーバ８０Ａに送信し、合成画像を生成した場合について説明したが、本発明は上記の例に限定されず、事前に撮影され、端末装置２０Ａの記憶装置２０３に記憶されている第１画像と第２画像を事後に画像処理サーバ８０Ａにより取得し、合成画像を生成するようにしてもよい。

２０ 画像処理装置
２００ 筐体
２０１ 制御用マイクロプロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ ディスプレイ
２０５ 入力インタフェース
２０７ フラッシュ発光装置
２０８ 制御用バス
２１２ 画像受付部
２１３ 画像生成部
２１４ 表示制御部
２０Ａ 端末装置
６０Ａ 画像処理システム
７０Ａ ネットワーク
８０Ａ 画像処理サーバ
２１１Ａ カメラ制御部
２１２Ａ 表示制御部
２１３Ａ 画像送受信部
８０１Ａ 制御用マイクロプロセッサ
８０２Ａ メモリ
８０３Ａ 記憶装置
８０４Ａ 通信インタフェース
８０５Ａ 制御バス
８１１Ａ 画像受付部
８１２Ａ 画像生成部
８１３Ａ 画像送信部

Claims (8)

1. 同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付ける受付手段と、
   前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する生成手段と、
   を備える画像処理装置。
2. 前記生成手段は、前記第１画像の画素値と前記明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する請求項１記載の画像処理装置。
3. 前記生成手段は、前記第１画像の複数の特定箇所の明るさの度合いを示す値の平均値と前記第２画像の対応する複数の特定箇所の明るさの度合いを示す値の平均値とが予め定められた範囲内の値となるように前記第２画像全体の明るさを調整する請求項１又は２記載の画像処理装置。
4. 前記特定箇所が前記第１画像および前記第２画像それぞれの中心領域から外れた複数個所である請求項３記載の画像処理装置。
5. 撮影対象の画像を撮影する撮影手段と、
   前記撮影手段により撮影対象を撮影する際に、当該撮影対象に光を照射する光照射手段と、をさらに備える請求項１から４のいずれか記載の画像処理装置。
6. 同一の撮影対象を前記光照射手段による光を照射させて前記撮影手段により撮影した後に前記光照射手段による光を照射させずに前記撮影手段により撮影する請求項５記載の画像処理装置。
7. 画像処理装置を構成するコンピュータに、
   同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付けるステップと、
   前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
   を実行させるプログラム。
8. 撮影手段と光照射手段とを備える画像処理装置に、
   同一の撮影対象に前記光照射手段の光を照射させて前記撮影手段により第１画像を撮影した後に前記光照射手段の光を照射させずに前記撮影手段により第２画像を撮影するステップと、
   前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
   を実行させるプログラム。
   

Images