JP5368960B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラ等の撮像装置を使用して、水中において静止画像を撮影する際、ストロボを用いると、水中の砂やプランクトン等の微細な物体がストロボ光を反射する。その結果、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込んでしまう。静止画像に写り込んだ白色の円や多角形は、微細な物体の実際のサイズよりも大きく、この現象はマリンスノーと呼ばれる。

特許文献１及び特許文献２では、内蔵ストロボ及び外付けストロボの発光制御に関する技術であり、マリンスノー現象を低減するため、内蔵ストロボの光漏れを制御し、外付けストロボの発光を制御する技術が開示されている。特許文献３及び特許文献４では、ストロボ非発光画像とストロボ発光画像を比較することで、ストロボ撮影時に撮影対象物を含む領域を抽出する技術が開示されている。

特許文献５では、マリンスノーが写り込んだとき、ストロボ発光画像の白点部を面積の大小に基づいて検出し、ストロボ非発光画像から白点部に相当する領域の画像を抽出してストロボ画像に合成する技術が開示されている。非特許文献１〜３には、画像内でデータが失われた部分を修復する技術が開示されている。

特開２００３−１４０２３９号公報 特開２００３−２０２６１８号公報 特開２００８−２１９３６７号公報 特開２００８−２２７５６９号公報 特開２００７−１８９５４２号公報

井添慎太郎、外２名、「画像のフラクタル性に基づく遮へい領域の原画像推定」、映像メディア処理シンポジウム第６回シンポジウム資料、電子情報通信学会画像工学研究専門委員会、２００１年１１月１４日、ｐ．３９−４０ 井添慎太郎、外２名、「画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定」、電子情報通信学会技術研究報告 Ｖｏｌ．１０１ Ｎｏ．３６２ ＰＲＭＵ２００１−１０６、電子情報通信学会、２００１年１０月１１日、ｐ．５５−６２ 天野敏之、井口征士、「固有空間照合法を用いたＢＰＬＰによる画像補間」、画像の認識・理解シンポジウム講演論文集 ｖｏｌ．１、電子情報通信学会パターン認識・メディア理解研究会、２０００年、ｐ．２１７−２２２

特許文献１及び特許文献２の技術は、水中撮影のために、撮像装置の内蔵ストロボに別途フィルタを設置したり、外付けストロボの発光制御を調整したりという準備が必要であり、実際の撮影を行うまでに手間がかかる。特許文献３及び特許文献４の技術は、水中撮影や水中撮影時のマリンスノー現象を考慮しておらず、撮影画像内でマリンスノーの発生箇所を特定できない。

特許文献５の技術は、ストロボ発光画像から白点部を検出して、白点部の総量を算出する判定処理をしているが、マリンスノーと関係のない対象物までもマリンスノーとして検出するおそれがある。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。また、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。

非特許文献１〜３の技術は、修復処理に関する技術であり、修復箇所を特定するにはユーザーが目視で確認して手作業で一つずつ修復領域を指定していく必要がある。従って、マリンスノーが画像内に大量に発生した場合、修復領域を指定する作業が膨大な量になる。上記のとおり、従来、画像内に発生したマリンスノーを正確かつ簡易に抽出する技術は存在していなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得する画像取得部と、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える撮像装置が提供される。

この構成によれば、ストロボ非発光画像とストロボ発光画像が取得され、両画像がエッジ検出処理される。そして、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分が算出されて差分画像が生成され、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分がマリンスノー部分として検出される。

上記マリンスノー発生部分を修復するため、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報を作成する修復領域作成部を更に備える。また、上記作成された領域情報及び位置情報を記憶する保存部を更に備える。この構成によれば、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報に基づいて、マリンスノー発生部分が修復される。

上記ストロボを発光して被写体を撮影したときのストロボの発光量に基づいてストロボ非発光画像の輝度値を補正する輝度値補正部を更に備え、エッジ検出処理部は、輝度値を補正したストロボ非発光画像を用いてストロボ非発光画像をエッジ検出処理する。この構成によれば、ストロボ発光撮影時のストロボ発光量に基づいて、ストロボ非発光画像の輝度値が補正され、輝度値が補正されたストロボ非発光画像がエッジ検出処理される。

エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との位置合わせをするマッチング部を更に備え、差分算出部は、位置合わせされたストロボ非発光画像とストロボ発光画像との差分を算出する。この構成によれば、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像が位置合わせされて、両画像の差分が算出される。

上記マッチング部は、ストロボを発光しないで被写体を撮影したときのシャッター速度に基づいて位置合わせ補正の補償範囲を変化させる。この構成によれば、位置合わせ補正の補償範囲は、ストロボ非発光撮影時のシャッター速度に依存する。

また、上記課題を解決するために、本発明の別の観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得するステップと、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するステップと、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成するステップと、差分画像において、ストロボ非発光画像に基づく点状エッジと、点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップとを備える撮像方法が提供される。

以上説明したように本発明によれば、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することができる。

本実施形態に係る撮像装置１００を示すブロック図である。 同実施形態に係る撮像装置１００の撮影動作を示すフローチャートである。 同実施形態に係る撮像装置１００の撮影動作、マリンスノー特定動作を示すフローチャートである。 同実施形態に係る撮像装置１００のマリンスノー発生部分の検出動作を示すフローチャートである。 ストロボ非発光撮影によって取得される画像の例を示す説明図である。 ストロボ発光撮影によって取得される画像の例を示す説明図である。 ストロボ非発光画像に基づく非発光エッジ画像の例を示す説明図である。 ストロボ発光画像に基づく発光エッジ画像の例を示す説明図である。 非発光エッジ画像と発光エッジ画像の差分を表す差分画像の例を示す説明図である。 ストロボ発光画像における修復領域の作成例を示す説明図である。 修復領域の形状を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、例えばデジタルスチルカメラである。撮像装置１００は、水中で写真を撮影して画像に生じるマリンスノーを検出できる。マリンスノーとは、水中においてストロボを用いて静止画像を撮影する際、水中の砂やプランクトン等の微細な物体がストロボ光を反射し、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込む現象をいう。

撮像装置１００は、例えば、ＣＣＤイメージセンサ１０２と、画像取得部１０４と、ストロボ１０６と、カメラ制御部１０８と、バッファ１１２と、ゲインコントロール部１１４と、非発光画像エッジ検出部１１６と、発光画像エッジ検出部１２２と、画素マッチング部１３２と、差分算出部１３４と、修復領域作成部１３６と、修復領域指定情報保存部１３８と、ストレージ１４２などからなる。

ＣＣＤ（charge coupled device）イメージセンサ１０２は、被写体からの光を受けて電気信号に変換する光電変換素子である。ＣＣＤイメージセンサ１０２は、光に応じた電気信号を生成する。なお、本発明は、ＣＣＤイメージセンサ１０２に代えて、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等の撮像素子を適用することもできる。

画像取得部１０４は、ＣＣＤイメージセンサ１０２から電気信号を受けて、電気信号に対してノイズ除去、増幅処理をし、アナログデジタル変換して画像信号を生成する。また、画像取得部１０４は、生成した画像信号をバッファ１１２や発光画像エッジ検出部１２２に出力する。

ストロボ１０６は、露光条件に応じて算出された発光量に基づいて、撮影時に光を被写体に向けて照射する。本実施形態では、１回の撮影において、ストロボ１０６を発光せずに撮影を行うストロボ非発光撮影と、ストロボ１０６を発光させて撮影を行うストロボ発光撮影を行う。従って、ストロボ非発光撮影時には、ストロボ１０６は発光されない。

カメラ制御部１０８は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。例えば、カメラ制御部１０８は、画像取得タイミングやストロボ発光タイミングの制御、ストロボ１０６の発光量の算出を行う。

バッファ１１２は、画像データを保存する。バッファ１１２は、ストロボ非発光撮影時に取得された画像であるストロボ非発光画像の画像データを一時的に蓄積する。

ゲインコントロール部１１４は、ストロボ非発光画像の画像データの輝度値を補正する。ストロボ非発光画像は、通常光量が不足しているため、ストロボ発光撮影時に取得された画像であるストロボ発光画像の画像データの輝度値に近づくように補正される。これにより、非発光画像エッジ検出部１１６において、ストロボ非発光画像におけるエッジが検出し易くなる。ストロボ非発光画像の輝度値に対する補正量は、ストロボ発光撮影時にストロボ１０６が照射する発光量に応じて決定される。従って、ゲインコントロール部１１４は、ストロボ発光撮影時の発光量をカメラ制御部１０８から取得する。ストロボ１０６の発光量が強ければ、補正量が相対的に大きくなり、ストロボ１０６の発光量が弱ければ、補正量が相対的に小さくなる。

非発光画像エッジ検出部１１６は、ゲインコントロール部１１４で補正されたストロボ非発光画像の画像データに対してエッジ検出処理をする。エッジ検出処理は、通常用いられる技術を適用でき、本明細書では詳述しない。マリンスノーは、水中の砂やプランクトン等の微細な物体がストロボ光を反射して生じる。従って、ストロボ非発光画像には、ストロボ発光画像における白色の円や多角形のマリンスノー発生部分に対応する場所に微細な物体が存在する。よって、非発光画像エッジ検出部１１６がエッジ検出処理することによって、マリンスノー発生部分に点状のエッジが検出される。

発光画像エッジ検出部１２２は、画像取得部１０４で取得されたストロボ発光画像の画像データに対してエッジ検出処理をする。ストロボ発光画像において、マリンスノーは白色の円又は多角形として写り込む。従って、ストロボ発光画像内にマリンスノーが発生している場合、発光画像エッジ検出部１２２がエッジ検出処理することによって、マリンスノー発生部分に円又は多角形等の閉曲線状のエッジが検出される。

画素マッチング部１３２は、非発光画像エッジ検出部１１６でエッジ検出され生成された非発光エッジ画像と、発光画像エッジ検出部１２２でエッジ検出されて生成された発光エッジ画像を取得する。そして、画素マッチング部１３２は、例えば画素単位で、非発光エッジ画像と発光エッジ画像のエッジ輪郭の位置合わせを行う。本実施形態の１回の撮影におけるストロボ非発光撮影とストロボ発光撮影は、撮影タイミングに時間差がある。従って、通常、ストロボ非発光画像とストロボ発光画像では被写体の位置にずれが生じるが、画素マッチング部１３２の位置合わせによって位置のずれを補正できる。

ストロボ非発光撮影の後にストロボ発光撮影という順番で撮影を行う場合、位置合わせの補正補償範囲は、ストロボ非発光撮影時のシャッタースピードに応じて決定される。従って、画素マッチング部１３２は、ストロボ非発光撮影時のシャッタースピードをカメラ制御部１０８から取得する。シャッタースピードが遅ければ、後のストロボ発光画像までのタイムラグが長くなるため、補正補償範囲を相対的に広くする。一方、シャッタースピードが速ければ、補正補償範囲を相対的に小さくしてよい。

差分算出部１３４は、位置合わせされた非発光エッジ画像と発光エッジ画像との間の差分を算出する。ストロボ非発光撮影とストロボ発光撮影は、１回の撮影で行われる撮影であり、ストロボ発光撮影は、ストロボ非発光撮影から、ストロボ非発光撮影時のシャッター間隔以上の時間間隔を開けずに行われる。従って、通常、位置合わせ後のストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間の相違点はほぼ無いため、差分を算出すると、差分画像には画像データが残らない。

一方、水中でストロボ撮影をして、ストロボ発光画像内にマリンスノーが発生すると、マリンスノー発生部分において、ストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間に相違点が生じる。差分画像は、マリンスノー発生部分に、非発光エッジ画像における点状エッジと、発光エッジ画像における閉曲線状エッジを含む。従って、差分算出部１３４は、ストロボ非発光撮影時に点状のエッジであり、ストロボ発光撮影時に閉曲線状のエッジになる部分を検出する。差分算出部１３４は、マリンスノー検出部の一例である。

修復領域作成部１３６は、修復領域指定情報保存部１３８から修復領域指定情報を取得する。そして、修復領域作成部１３６は、差分算出部１３４で検出されたマリンスノー発生部分の位置情報に基づいて、マリンスノー発生部分を修復するための修復領域に関する情報を決定する。修復領域作成部１３６は、マリンスノー発生部分の位置情報と、マリンスノー発生部分を修復するための修復領域に関する情報をストレージ１４２に送る。

本実施形態では、上述した非特許文献１〜３に記載された技術のように、被修復箇所を修復することを前提とする。即ち、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する。これにより、ストロボ非発光画像の画像データを使用した場合、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できないという問題を回避できる。ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復するには、マリンスノー発生部分を囲むマリンスノー発生部分より広い範囲の画像データを使用する。

修復領域指定情報保存部１３８は、修復領域指定情報を保存している。修復領域指定情報は、修復領域作成部１３６によって読み出される。修復領域指定情報とは、図１１に示すように、検出されたマリンスノー発生部分２６６に対する修復領域１７６を指定するための距離情報１８２等である。図１１は、修復領域の形状を示す説明図である。図１１では、マリンスノー発生部分が四角形状である場合について例示したが、本発明はこの例に限定されない。マリンスノー発生部分が円や四角形以外の多角形である場合も同様に距離情報などの修復領域指定情報を使用して、修復領域を指定できる。

ストレージ１４２は、ストロボ発光画像と共に、指定された修復領域の位置情報及び領域情報を記憶しておく。記憶された修復領域の位置情報及び領域情報は、例えば、撮像装置１００の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。修復処理が実行されることによって、ストロボ発光画像において白色の円又は多角形として写り込んだマリンスノー発生部分を除去して、マリンスノーが発生しないときの被写体像を復元できる。

次に、図２を参照して、本発明の一実施形態に係る撮像装置１００の撮影動作について説明する。図２は、本実施形態に係る撮像装置１００の撮影動作を示すフローチャートである。

まず、ユーザーによって水中で被写体の撮影が行われる（ステップＳ１０１）。ストロボを使用した撮影の場合、ストロボ発光画像にマリンスノーが発生している可能性があるため、撮像装置１００は、マリンスノー発生部分を特定する（ステップＳ１０２）。特定されたマリンスノー発生部分は、撮像装置１００内で記憶される。そして、記憶されたマリンスノー発生部分を使用して、撮像装置１００の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理が行われる（ステップＳ１０３）。

次に、図３を参照して、本発明の一実施形態に係る撮像装置１００の撮影動作、マリンスノー特定動作について説明する。図３は、本実施形態に係る撮像装置１００の撮影動作、マリンスノー特定動作を示すフローチャートである。

ユーザーによって１回の撮影が指示され、露光条件によってストロボが発光されて撮影される場合について説明する。このとき、まず、ストロボを発光して撮影する本撮影の前にストロボを発光しないプリ撮影（ストロボ非発光撮影）が行われ、ストロボ非発光画像の画像データがバッファ１１２に一時的に蓄積される（ステップＳ１１１）。図５は、ストロボ非発光撮影によって取得される画像の例を示す説明図である。このときは、マリンスノーは画像１５２内に発生せず、水中１６２における被写体の人物１６４や、マリンスノーの原因となる微細な物体１６６，１６８が画像１５２に写る。なお、ストロボ非発光画像は後段のエッジ検出によって微細な物体のエッジが検出できる程度の解像度があればよく、ストロボ発光画像と同様の高解像度画像を取得しなくてもよい。

また、ストロボ非発光撮影の直後に、ストロボを発光する本撮影（ストロボ発光撮影）が行われる（ステップＳ１１２）。図６は、ストロボ発光撮影によって取得される画像の例を示す説明図である。このときは、水中２６２における被写体の人物２６４と共にマリンスノー２６６，２６８が画像１５３に写る。以上が、撮像装置１００における撮影動作である。続いて、取得されたストロボ非発光画像とストロボ発光画像に基づいて、マリンスノー特定動作を行う。

ストロボ発光画像に比べて、ストロボ非発光画像は暗いため、ゲインコントロール部１１４において、ストロボ非発光画像の画像データの輝度値が、ストロボ発光画像の輝度値に近づくように補正される。輝度値の補正量は、ストロボ発光撮影時のストロボ１０６の発光量に応じて増減される。これにより、次のエッジ検出がストロボ非発光画像の画像データに対して容易になる。

非発光画像エッジ検出部１１６において、輝度補正後のストロボ非発光画像の画像データに対してエッジ検出処理がされ、発光画像エッジ検出部１２２において、ストロボ発光画像の画像データに対してエッジ検出処理がされる（ステップＳ１２１）。この結果、ストロボ非発光画像とストロボ発光画像の特徴量を取得できる。図７は、ストロボ非発光画像に基づく非発光エッジ画像の例を示す説明図である。非発光エッジ画像１５４には、人物の輪郭３６４や微細な物体の輪郭３６６，３６８が検出される。図８は、ストロボ発光画像に基づく発光エッジ画像の例を示す説明図である。発光エッジ画像１５５には、人物の輪郭４６４やマリンスノーの輪郭４６６，４６８が検出される。なお、ストロボ発光画像のエッジ情報は、撮像装置１００内で現像処理時に得られるエッジ情報を利用してもよいし、別途エッジ検出部を設けて、そこで得られるエッジ情報を利用してもよい。

次に、非発光エッジ画像と発光エッジ画像について、両画像の位置合わせ処理をする（ステップＳ１２２）。位置合わせ処理は、ストロボ非発光撮影時のシャッタースピードに応じて、補正補償範囲を変化させる。そして、位置合わせ処理された非発光エッジ画像と発光エッジ画像の差分を算出する（ステップＳ１２３）。図９は、非発光エッジ画像と発光エッジ画像の差分を表す差分画像の例を示す説明図である。位置合わせ処理されると、図９に示すように、エッジ画像１５６には、図７及び図８の人物の輪郭３６４，４６４は相殺されて表れず、微細な物体の輪郭３６６，３６８と、マリンスノーの輪郭４６６，４６８のみが表れる。

そこで、ストロボ非発光撮影では、点状のエッジであって、ストロボ発光撮影では円や多角形のような閉曲線のエッジとなる箇所をマリンスノー発生部分として検出する（ステップＳ１２４）。

非特許文献１〜３の技術を用いて修復処理する場合、被修復箇所を修復するには被修復箇所より広い範囲の領域でマリンスノー発生部分を囲む必要がある。そこで、予め設定されている修復領域指定情報に応じて、各マリンスノー発生箇所を含む修復領域を作成する（ステップＳ１２５）。図１０は、ストロボ発光画像における修復領域の作成例を示す説明図である。修復領域の作成によって、マリンスノー２６６，２６８を囲むように修復領域１７６，１７８が指定される。

次に、ストロボ発光画像の撮影データと共に、修復領域の領域情報や位置情報がストレージ１４２に保存される（ステップＳ１２６）。以上が、撮像装置１００におけるマリンスノー特定動作である。ストレージ１４２に保存された修復領域の位置情報及び領域情報は、例えば、撮像装置１００の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。

次に、図４を参照して、上述したステップＳ１２４におけるマリンスノー発生部分の検出動作について説明する。図４は、マリンスノー発生部分の検出動作を示すフローチャートである。

まず、差分画像において、閉曲線状のエッジを検出する（ステップＳ１３１）。次に、検出された閉曲線内に点状のエッジがあるかを検出する（ステップＳ１３２）。閉曲線内に点がある場合は、その点がストロボ非発光画像によるものかを判断する（ステップＳ１３３）。閉曲線内にある点がストロボ非発光画像の微細な物体と一致する場合は、閉曲線と点の組み合わせによる部分をマリンスノー発生部分と判断する（ステップＳ１３４）。

一方、差分画像において、閉曲線内に点が含まれない場合や、閉曲線内の点がストロボ非発光画像に由来しないものである場合は、マリンスノー発生部分ではないと判断し、次の閉曲線状のエッジ検出に移行する。

このように、マリンスノーは、微細な物体がストロボ光を反射することによって、画像内に白色の円や多角形が生じる現象であることに着眼し、ストロボ非発光画像のエッジ画像では点状のエッジであり、ストロボ発光画像のエッジ画像では閉曲線状のエッジである部分を検出する。差分画像を用いて、閉曲線状のエッジにストロボ非発光画像由来の点状のエッジがあるかどうかを判断することによって、確実にマリンスノー発生部分を特定できる。また、ユーザーが目視で修復領域を指定する必要がなくなる。マリンスノー発生部分を特定し、その領域情報や位置情報を保存することで、水中写真の画像に含まれるマリンスノーを効率的に除去し、マリンスノーがない画像に復元できる。

従来、マリンスノー発生部分を特定するためには、特許文献５のように、ストロボ発光画像の白点部を面積の大小に基づいて検出する技術があった。しかし、この技術では、マリンスノーと関係のない被写体までもマリンスノー発生部分として検出してしまう。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。一方、本実施形態によれば、マリンスノーと関係のない被写体をマリンスノーとして検出することはなく、確実にマリンスノー発生部分を特定できる。その結果、本実施形態のマリンスノー特定動作によれば、修復箇所が増大するおそれはない。

また、特許文献５では、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。一方、本実施形態では、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する技術を前提としており、マリンスノー発生部分を囲む領域を修復領域として指定する。従って、本実施形態のマリンスノー特定動作によって得られる修復領域の領域情報や位置情報を使用して修復処理することによって、再現性の高いマリンスノーのない画像を得られる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１０２ ＣＣＤイメージセンサ
１０４ 画像取得部
１０６ ストロボ
１０８ カメラ制御部
１１２ バッファ
１１４ ゲインコントロール部
１１６ 非発光画像エッジ検出部
１２２ 発光画像エッジ検出部
１３２ 画素マッチング部
１３４ 差分算出部
１３６ 修復領域作成部
１３８ 修復領域指定情報保存部
１４２ ストレージ

Claims (7)

1. 撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、前記ストロボを発光して前記被写体を撮影したストロボ発光画像を取得する画像取得部と、
   前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するエッジ検出処理部と、
   エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、
   前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部と
   を備える、撮像装置。
2. 前記マリンスノー発生部分を修復するため、前記マリンスノー発生部分と、前記マリンスノー発生部分を囲む領域の領域情報及び位置情報を作成する修復領域作成部を更に備える、請求項１に記載の撮像装置。
3. 前記作成された領域情報及び位置情報を記憶する保存部を更に備える、請求項２に記載の撮像装置。
4. 前記ストロボを発光して前記被写体を撮影したときの前記ストロボの発光量に基づいて前記ストロボ非発光画像の輝度値を補正する輝度値補正部を更に備え、
   前記エッジ検出処理部は、前記輝度値を補正したストロボ非発光画像を用いて前記ストロボ非発光画像をエッジ検出処理する、請求項１〜３のいずれか１項に記載の撮像装置。
5. エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との位置合わせをするマッチング部を更に備え、
   前記差分算出部は、位置合わせされた前記ストロボ非発光画像と前記ストロボ発光画像との差分を算出する、請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記マッチング部は、前記ストロボを発光しないで被写体を撮影したときのシャッター速度に基づいて位置合わせ補正の補償範囲を変化させる、請求項５に記載の撮像装置。
7. 撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、前記ストロボを発光して前記被写体を撮影したストロボ発光画像を取得するステップと、
   前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するステップと、
   エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成するステップと、
   前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと、前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップと
   を備える、撮像方法。
   

Images