以下、図示の実施の形態によって本発明を説明する。
[第1の実施形態]
図1に示す本発明の第1の実施形態の撮影機能を備えた防水構造のカメラ1は、図2A及び図2Bに示すように箱型形状である。このカメラ1の外装体としての防水構造のケース2の前面における中央から左側に、かつ上部側に寄った位置に、被写体を撮像(撮影)する撮像部3を構成する撮影レンズ3aが設けられている。
実際には、図4、図5、図6に示すように撮影レンズ3aの前にカバーガラス3cが配置され、撮影レンズ3aを防水して保護している。また、カバーガラス3c及び撮影レンズ3aは、図示しないレンズ鏡筒に取り付けられている。そして、撮影レンズ3aの結像位置には、電荷結合素子(CCD)等の撮像素子3bが配置されており、撮影レンズ3aと撮像素子3bとにより図1の撮像部3が形成される。
また、図1に示すように撮像部3は、ピント合わせ部3dにより、撮像素子3bの撮像面に結像される被写体像のピント合わせを行うことができる。このピント合わせ部3dは、例えば撮影レンズ3aを、その光軸方向に移動させる駆動部3e(図4参照)を用いて構成される。
なお、駆動部3eにより撮影レンズ3aを移動する代わりに、撮像素子3bを光軸方向に移動させる構成にしても良い。また、図1等においては撮像部3とピント合わせ部3dとを別体で示しているが、撮像部3がピント合わせ部3dを含む構成でも良い。
この撮像部3の撮像素子3bは、その撮像面に結像された被写体像を光電変換した撮像信号を、図1に示す画像処理と制御とを行う画像処理&制御部4に出力する。
画像処理&制御部4は、撮像信号に対する画像処理を行い、表示用の画像信号を生成して表示部5に出力する。表示部5は、入力される表示用の画像信号に対応する画像をその表示画面(単に画面とも言う)で表示する。
この表示部5で表示される画像は、撮像素子3bの撮像面に結像された被写体像に対応する画像であり、ユーザはこの画像を観察することにより、撮影画像として記録するか否かを確認する。
このため、通常の撮影モードにおいては、画像処理&制御部4は、撮像素子3bの撮像面に結像された被写体像を、表示部5の画面に通常画像として表示する。
表示部5は、図2Bに示すようにケース2の背面側に形成され、この背面における全面よりも若干小さい矩形サイズで、例えば液晶パネルを用いて形成されている。
また、図2A、図2Bに示すようにケース2の上面における例えば右寄りの位置には撮影操作を行うレリーズボタン6aが設けられている。撮影者(ユーザ)により図1に示すようにレリーズボタン6aを含む操作部6が操作されると、操作結果が操作判定部7により判定される。
この操作判定部7による判定結果の情報は、画像処理&制御部4に入力される。画像処理&制御部4は、判定結果に対応した制御を行う。
操作判定部7が、レリーズ操作(撮影指示操作)であると判定した場合には、画像処理&制御部4は、撮像部3により撮像された画像を、撮影画像として記録部8に記録する。
また、図1に示す操作部6として、図2Bに示すようにモード設定スイッチ6bが設けられている。
ユーザは、モード設定スイッチ6bを操作して、スイッチメニューから撮影モードや、再生モードの設定を行ったり、後述する半水中撮影モードに設定したり、ピント合わせの設定等を行うことができるようにしている。
そして、このモード設定スイッチ6bは、半水中撮影モードに設定するための半水中撮影モード設定部の機能を持つ。
なお、複数の設定機能を持つモード設定スイッチ6bの他に、ユーザが各種の指示操作を直接行う操作ボタンなどを設けるようにしても良い。また、モード設定スイッチ6bから選択して行うことができる複数の機能を、独立して行う操作ボタンを設けるようにしても良い。
例えば、図1においては、操作部6内に半水中撮影モードに設定するための半水中撮影モード設定部としての半水中撮影モードボタン6cを独立して設けた例を示している。なお、本実施形態においては、画像処理&制御部4は、後述するように半水中撮影モードの撮影状態を自動認識する半水中撮影モード判定部4gの機能を備えている。このため、自動認識を行う設定状態においては、ユーザは手動による半水中撮影モードボタン6cの操作を必要としない。
また、本実施形態においては、半水中撮影モード(設定)時においては、水上側の被写体の(水上被写体)画像に対してピント合わせの制御を行うが、水上側の被写体までの距離が大きい場合(例えが透明度に応じて設定された境界距離Lbを超える場合)には、水中での透明度を考慮して水中側の被写体の(水中被写体)画像にピント合わせを優先して行う条件を設けている。
この境界距離Lbは、デフォルト設定においては、例えばLb=3mに設定されている。ユーザは、図示しない境界距離設定ボタンを操作して、実際の水中の透明度に応じた値に変更設定することができる。
画像処理&制御部4には、時計の情報を出力する時計部9が接続され、撮影操作等が行われた場合には画像処理&制御部4は、記録部8に記録する画像に撮影日時の情報を追加して記録する。また、図2Aに示すようにケース2の前面にはストロボ装置10が設けられている。
また、画像処理&制御部4には、このカメラ1の特に撮影時の姿勢を検出する姿勢検出部としての加速度検知部11が接続されている。この加速度検知部11は、ケース2内に、そのケース2の上下、左右(水平)、及び奥行き方向に働く加速度をそれぞれ検知する3個の加速度センサにより構成される。
なお、図13(B)では、半水中撮影を行う場合に適したカメラ1の撮像部3が下寄りとなるようにケース2の長辺が重力が作用する上下方向に平行な縦長となる状態を示し、この場合にはこの縦長の方向に働く重力(加速度)を検知する点線で示す加速度センサ11aにより、その縦長の方向が画像の上下方向に該当する姿勢であることが検出される。
本実施形態のカメラ1は、図3Aに示すように水上(水面上部)側の人物の顔や船や風景等の水上被写体と、水中(水面下部)側の人物部分や魚や亀や水草等の水中被写体を同時に(つまり、同じ画面内に入れて)、撮影することができるようにすることを目的の1つとする。そして、このように水上被写体と水中被写体とを同時に撮影することを「半水中撮影」と呼ぶ。
図3Aに示すような被写体を、図3Bに示すようにユーザ13がカメラ1を半水中撮影モードの撮影状態(姿勢状態)に設定し、半水中撮影モードボタン6cをONする指示操作をすることにより、画像処理&制御部4は、カメラ1を半水中撮影モードの動作状態にする。
なお、図3A及び図3Bにおいて符号Wは水面を示し、また水上側部分(つまり空気中側)をWu、水中側部分をWiで示している。また、符号Tは、半水中撮影モードにおける撮影対象の被写体における(簡単化のために)水上及び水中にまたがる人物の被写体に付けている。
そして、本実施形態においては、図1の画像処理&制御部4が、以下に説明するように画像合成部4a、表示制御部4b、ピント制御部4c、距離換算部4d、ローコントラスト領域検出部4fの各機能を持つ構成にしている。
また、画像処理&制御部4は、例えばCPUを用いて構成され、上記の各機能を実行するためのプログラムを格納したメモリ12が画像処理&制御部4に接続されている。なお、このメモリ12は、例えばフラッシュメモリ等の不揮発性メモリにより構成されている。また、画像処理&制御部4は、その内部に各種の機能を実行する場合のデータ等を一時的に記憶するためにRAMなどのメモリ(図示略)を備えている。
上記のように半水中撮影を行う場合、図3Bに示すようにユーザ13は、カメラ1の(撮像部3の)撮影レンズ3aの下半分近くを水面下に水没させて、半水中撮影を行う半水中撮影モードの撮影状態にする。
図3Bに示すカメラ1は、図4に示すような状態に設定される。図4のように設定された半水中撮影モードの状態においては、カメラ1の前面側の撮像部3の撮影レンズ3aは、その下半分程度が水面下に水没する。
また、図4においては半水中撮影モードに設定された被写体に対して、撮像部3の撮影レンズ3aを例えば水上側の被写体にピント合わせを行った状態を示している。
なお、図4にて示す撮像部3を構成する撮影レンズ3aは、ピント合わせ部3dを構成する駆動部3eにより光軸方向に移動可能となる。また、ピント合わせ部3dは、位置センサ3fを備え、駆動部3eにより設定された撮影レンズ3aの位置を検出して、その位置情報を画像処理&制御部4のピント制御部4c及び距離換算部4dに出力する。
図4に示すように水上側の被写体としての例えば人物の被写体Tにピントを合わせた状態に設定すると、水中での屈折率nwによって、水中では人物の被写体Tの後ろの(距離)位置にピントが合った状態となってしまう。
この場合(水中では人物の被写体Tの後ろにピントが合った状態)には、人物の被写体Tよりも手前側にある魚などに対しては、よりピントが合わなくなる方向となるために都合が悪い。また、水中の透明度(透過率)の関係から、水上に比較すると、水中では遠景側は不鮮明になり易い。この理由からも、水中側を水上側よりも遠方側にピントを合わせしてしまう事は、不都合となる。
このため、本実施形態においては、画像処理&制御部4のピント制御部4cは、図4に示すピント合わせ位置よりも近距離側にピント合わせ(フォーカス設定)を行うように制御する。
このピント制御部4cによるピント合わせした制御状態の撮像部3(の撮影レンズ3a)の状態を図5に示す。図5に示すように撮影レンズ3aは、図4に示した撮影レンズ3aの位置(図5において点線で示した位置)よりも前方側に移動した位置にセットされる。
このようにセットすることにより、図4のピント合わせの位置よりも近距離側にピント合わせした状態になる。なお、図5中においては、水面上の位置から水中側でピント合わせした状態に対して、水上側の光路を経て撮像素子3bに結像させた場合におけるずれ量から概略のボケ量Uとして示している。
ここでのピント合わせする処理方法は、図6に示すようになる。半水中撮影モードでのピント合わせが開始すると、最初のステップS1において画像処理&制御部4のピント制御部4cは、ピント合わせ部3dの駆動部3eを駆動させて撮影レンズ3aを光軸方向に移動させる。
移動の際に、画像処理&制御部4は、撮像素子3bの撮像信号の各フレームから得られる最も明るい部分の輝度信号と最も暗い部分の輝度信号との差に相当するコントラスト信号を検出する。
ステップS2において画像処理&制御部4は、コントラスト信号がピークとなる位置に撮影レンズ3aを設定する。設定されたその位置は、位置センサ3fにより検出され、位置センサ3fは、その位置情報を距離換算部4dに送る。
次のステップS3において距離換算部4dは位置情報から、このピント合わせした被写体までの距離(被写体距離という)Lを算出する。
さらに次のステップS4において距離換算部4dは、得られた被写体距離Lに対して、水の屈折率nw(=1.33)を考慮して、その被写体距離Lよりも近距離側の距離を、実際にピント合わせするピント合わせ距離Lhとして算出する。
この場合、画像処理&制御部4の距離換算部4dは、被写体距離Lに対して予め用意した補正係数C(例えば、図10にて説明するようにデフォルト値としてC=1.3)を用いて、ピント合わせ距離LhをL/Cにより決定する。
換言すると、距離換算部4dは、水上側で求めた被写体距離Lを、水上及び水中の両方の被写体に対して鮮明に(撮像及び)撮影するのに適したピント合わせ距離Lhに換算する。
そして、距離換算部4dは、そのピント合わせ距離Lhをピント制御部4cに送り、図6のピント合わせ距離Lhを算出する処理を終了する。
従って、本実施形態におけるピント制御部4cは、半水中撮影モード設定時において、ピント合わせをする場合には、水上被写体に対する被写体距離Lを算出して、水中の屈折率を考慮してピント合わせをするピント位置に設定する制御を行う。
上述した図5等に示す場合は、水面Wの高さが変動していない状態の場合を示しているが、実際には水面Wの高さが風などにより局所的に変動して波31が発生する場合がある。図7は、波31の発生により、撮像素子3bの撮像面に結像される撮影対象となる被写体像が影響を受ける様子を示す。
この図7に示すように撮影レンズ3aに被写体側から入射される光は、水面Wが変動した波31における山となる部分から谷となる部分、つまり図7中の斜線で示す領域32の水面部によって、実質的に遮られて、撮像素子3bに結像することが妨げられる。 図7に示す状態においては、水面Wの変動により撮像素子3bの撮像面における一部の領域が影響を受ける様子を示していたが、図8A及び図8Bの場合のように(撮像部3の)撮影レンズ3aのレンズ径よりも大きな波31がある状態においては、より大きな影響を受ける。
図8Aは、撮影レンズ3aの直前に波31が谷となった状態を示す。この状態は、撮影レンズ3aは水面Wの上の空気中に望む状態となる。この状態においては、撮影レンズ3aの直前の波31における谷となる部分から山となる斜線で示す部分は、(撮影対象となる)被写体の撮像を遮る領域(つまりピントがずれてかつ低コントラスト状態で不鮮明に撮像を行い、実質的に撮影対象となる被写体の撮影が不能または欠落する領域)32aとなる。なお、θは、カメラ1の撮像部3の視野を表している。
この場合には、(撮像部3の)撮像素子3bの撮像面に結像される被写体像から取得される画像、又はその画像を表示部5に表示した場合の画像IAは、図9Aのようになる。
図9Aに示すように、図8Aで示した(水面Wの高さが変動する水面部)領域32aのためにカメラ1の視野θの上部側部分の水上被写体における一部の画像Aとして撮像により取得することができるが、その下側は領域32aのために、撮影対象の被写体を実質的に撮影できない水面パターン(水面部画像)としての画像領域32bが発生する。
換言すると、本来の撮影対象の被写体を撮像した場合の画像において、水面Wの高さが局所的に変動する水面部の為に、実質的に撮影できない(又は欠落する)画像領域32bが発生する。後述するように、この画像領域32bは、水面パターン(水面部画像)として検出される。
また、図8Bは、カメラ1が波31の山の中に水没した状態を示す。この状態においても、斜線で示す部分が、撮影対象の被写体に対する撮像を遮る領域32cとなる。そして、この場合に取得できる画像IBは図9Bのようになる。
図9Bに示すように、図8Bで示した領域32cのためにカメラ1の視野θの下部側部分の水中被写体の一部の画像Bとして撮像により取得することができるが、その上側は領域32cのために、撮影対象の被写体を撮影できない水面パターンとしての画像領域32dが発生する。
そして、本実施形態における画像処理&制御部4の画像合成部4aは、水面部により撮影が妨げられた水上被写体の画像及び水中被写体の画像の少なくとも一方を補間する合成画像を生成する。具体的には、画像合成部4aは、図9Aの画像IAと図9Bとの画像IBを合成して図9Cに示すような合成画像ICを生成する画像合成処理を行う。そして、表示制御部4bは、この画像合成部4aが生成した合成画像ICを表示部5に出力し、表示部5は図9Cの合成画像ICを表示する。
図9Cに示す合成画像ICは、画像IAの下部側のローコントラスト領域の画像領域32bに、画像IBの上部側のローコントラスト領域以外(つまり画像B)を合成する。この場合には、中央部に水面付近のみによる水面パターンが残るが、その上下に水上被写体に相当する(水上被写体)画像Aと、水中被写体に相当する(水中被写体)画像Bを同時に収めた合成画像ICが得られる。
なお、画像IAと画像IBとをそれぞれ取得した撮影タイミングの時間差は、通常小さいと考えられるので、撮像部3による視野の変化を無視して、同じ撮影状態と見なして、図9Aにおける画像IAの下部側のローコントラスト領域の画像領域32bを、図9Bの画像IBにおける画像Bによる置換や補間することにより、図9Cに示す合成画像ICを生成する画像合成を行う。
換言すると、本実施形態においては、半水中撮影モードの撮影状態において、水上被写体及び水中被写体を撮影した場合、水面が変動する水面部による影響のために水上被写体及び水中被写体の一方の画像が取得できない場合には、その一方の画像に対して、取得できた他方の画像又はその他の画像によって(置換の場合を含む)補間等を行って、合成画像を生成する画像合成部4aを有する。
画像処理&制御部4は、図9Cに示すような合成画像ICを生成するために、図9Aと図9Bとの各画像における実質的に撮像できない画像領域32b又は32dを水面が変動する水面部の画像としての水面部画像を検出するための図1に示す水面部画像検出部4eの機能を持つ。
この水面部画像検出部4eは、水面部が持つ特性としてのコントラストが低い領域としてのローコントラスト領域を検出するローコントラスト領域検出部4fの機能を含む。なお、本明細書においては、水面部は、主に変動する水面の場合に用いているが、変動しない水面の場合もあり得る。
このローコントラスト領域検出部4fは、撮像素子3bにより撮像された画像の各画素の輝度値を予め設定された閾値以下となるか否か比較し、この閾値以下となる画素の領域を水面部による水面部画像の可能性が高いローコントラスト領域として検出する。
水面部画像検出部4eは、検出されたローコントラスト領域が、後述の図11にて説明する所定の条件を満たす判定結果の場合に水面部画像(水面パターン)であると判定する。
また、図8A及び図8Bの場合に対応する図9A及び図9Bの画像状態は、時間的に変化する。このため、本実施形態においては、撮像により取得される画像の上下部分での明るさ(コントラスト)の変化を時間的に監視する。
本実施形態に係るカメラ1は、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この記撮像部3で撮像した被写体の画像から、水上被写体の(水上被写体)画像と、水中被写体の(水中被写体)画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部4eと、水面部画像の検出結果に基づいて、撮像部3の視野内における水面部の存在によって撮影が妨げられた(水上被写体)画像及び(水中被写体)画像の少なくとも一方を補間するための合成画像を生成する画像合成部4aと、を具備することを特徴とする。
また、このカメラ1は、撮像部3が水上被写体と水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部4gを有し、画像合成部4aは、半水中撮影モード判定部4gによる半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより撮像部3により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に水上被写体の(水上被写体)画像又は水中被写体の(水中被写体)画像を合成して水面部画像の領域を低減した合成画像を生成する機能を持つことを特徴とする。
次に図10を参照して本実施形態におけるカメラ1の主に画像処理&制御部4による撮影・記録と共に、合成画像を生成して表示する処理手順を説明する。
撮影の動作が開始すると、最初のステップS11において画像処理&制御部4は、ユーザ13により撮影モードに設定されたか否かの判定を行う。撮影モードに設定された場合には、次のステップS12において画像処理&制御部4は、撮像部3により撮像された画像を、表示部5で表示するための画像処理を行って、表示部5に出力し、表示部5は(撮像素子3bにより撮像された被写体の画像としての)スルー画として表示する。
次のステップS13において画像処理&制御部4は、カメラ1が半水中撮影モードの撮影状態に設定されたか否かの判定を行う。この判定を自動判定で行う設定となっている場合には、半水中撮影モードの撮影状態の自動判定が、後述する図12の処理手順により行われる。
半水中撮影モードの撮影状態に設定されていない場合には、ステップS14に示すように画像処理&制御部4のピント制御部4cは、画面中央でピント合わせを行う。その後、次のステップS15において画像処理&制御部4は、通常撮影の処理を行った後、ステップS11の処理に移る。
一方、ステップS13において、半水中撮影モードの撮影状態であると判定された場合には、ステップS16において画像処理&制御部4のピント制御部4cは、画面上部でピント合わせを行い、かつ画面下部で露出を決定する。
なお、画像処理&制御部4は、ピント合わせ等の処理を撮像素子3bの撮像面に結像された被写体像の画像(例えば被写体は撮像面に上下反転して結像される)に対して行うが、表示部5の画面に被写体像を、実際の被写体の上下関係を保った状態で表示した場合を基準にして説明する。
つまり、ピント制御部4cは、水上側の被写体を撮像した撮像信号(画像信号)に基づいてピント合わせを行い、上述した被写体距離Lを算出(検出)する。一方、露出に関しては水中側の被写体の撮影に適した明るさとなるように露出を決定する。
また、本実施形態においては、上述したように水中部分の被写体も鮮明に撮影できるようにピント合わせ距離Lhに設定する制御処理を行う。
次のステップS17において画像処理&制御部4の距離換算部4dは、被写体距離Lから実際にピント合わせするピント合わせ距離Lhに換算する換算を行う。具体的には、この距離換算部4dは、被写体距離Lを、補正係数Cとしての1.3により除算してピント合わせ距離Lhを算出する。つまりLh=L/1.3に設定する。そして、ピント制御部4cは、撮影レンズ3aをこのピント合わせ距離Lhのピント位置に設定する。
そして、ステップS18の処理に進む。ステップS17の処理により設定された撮像部3の撮影状態は、図5に示した状態に対応する。
このような設定は、人物の被写体Tにおける水中部分の身体部分の手前の魚と、水上の身体部分とのピントのバランスがより良好になる(両方の被写体に対するピントがバランスし、一方が不鮮明となってしまうようなピント合わせにならない)との考慮に基づく。
上記の場合には、補正係数CとしてC=1.3にしているが、水中の魚を主な撮影対象としないで、水上の身体部分と水面下の身体部分を主な撮影対象とする場合には、ピント合わせ距離LhをL/1.2程度に設定してもよい。
このために、補正係数Cとして、デフォルト値として例えばC=1.3に設定し、ユーザ13による選択操作により補正係数Cの値を例えば1.1〜1.3の範囲程度で変更することができるようにしても良い。
また、水中の被写体は、(水上側に比較して透明度のため)暗くなったり、コントラストが下がったり、浮遊物の影響などを受けやすいので、ステップS16において、信頼性の高い水上被写体からピント合わせをして、信頼性(精度の)高い被写体距離Lを求めることができるようにしている。
また、このようなシーンの撮影においては、特に水中の方に撮影したいものがあると考え、水中側の被写体の明るさにより露出を決める制御を行うようにしている。また、領域を水中と水上とに分けて、それぞれの領域の画像に対して、画像処理&制御部4で画像処理する場合の増幅率(ゲイン)を切り替えて両方の明るさが適切になるようにしても良い。
ステップS18において画像処理&制御部4は、レリーズ操作がされたか否かを判定する。そして、レリーズ操作が行われていない場合には、ステップS11の処理に戻る。
一方、レリーズ操作が行われた場合には、次のステップS19において画像処理&制御部4の水面部画像検出部4eは、図9A又は図9Bのように水面部のために欠落する画像領域の発生があるか否かつまり、水面パターン(水面部画像)が発生しているか否かの検出を行う。
そして、次のステップS20において水面部画像検出部(水面パターン検出部)4eは、水面パターンが中央部に存在し、かつ画面下部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
この判定結果に該当する場合には、次のステップS21において画像処理&制御部4は、この判定が行われた画像を画像IAとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、ステップS20の処理に戻る。
一方、ステップS20の判定結果に該当しない場合にもステップS22の処理に進む。
ステップS22において水面部画像検出部4eは、水面パターンが中央部に存在し、かつ画面上部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
この判定結果に該当する場合には、次のステップS23において画像処理&制御部4は、この判定が行われた画像を画像IBとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、次のステップS22の処理に戻る。
一方、ステップS22の判定結果に該当しない場合には、ステップS24の処理に進む。
ステップS24において画像処理&制御部4の画像合成部4aは、画像IAが記録部8に記録されている場合には、この画像IAのローコントラスト領域に、画像IBのローコントラスト領域以外の画像を合成して合成画像ICを生成する。表示制御部4bは、この合成画像ICを表示部5で表示する制御を行い、表示部5において、図9Cのような合成画像ICが表示される。
従って、本実施形態においては図9A又は図9Bに示すように本来の撮影対象となる被写体の一部しか撮影できないタイミングで撮影を行った場合においても、複数のタイミングで撮影した画像を合成して被写体のほぼ全容を表す図9Cに示すような合成画像ICを表示部5で表示するので、ユーザ13は、その合成画像ICを観察することができるようになる。
このステップS24の処理の後、最初のステップS11の処理に戻る。なお、ユーザ13の設定に応じて、画像処理&制御部4が合成画像ICを記録部8に記録するようにしても良い。
一方、ステップS11において撮影モードでない場合には、ステップS25において画像処理&制御部4は、再生モードであるか否かの判定を行う。再生モードでない場合には、ステップS27に移る。
ステップS11の判定結果が再生モードの場合には、ステップS26において画像処理&制御部4は、記録部8に記録されている画像を再生する。次のステップS27において画像処理&制御部4は、終了の操作が行われたか否かの判定を行う。終了の操作が行われていない場合には、ステップS11の処理に戻り、終了の操作が行われた場合にはカメラ1の電源をOFFにして、図10の処理を終了する。
図11は図10のステップS19の水面パターン検出の処理手順の1例を示す。水面パターン検出の処理が開始すると、最初のステップS31において画像処理&制御部4の水面部画像検出部4eは、画面中央部に所定値以上のコントラスト変化があるか否かの判定を行う。
なお、この場合、画像処理&制御部4の水面部画像検出部4eは、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近に、所定値以上のコントラスト変化があるか否かの判定を行う。
画面中央部に水の境界となる水面(水面部)があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、明暗(コントラスト)変化がある。そして、水面部画像検出部4eは、そのコントラスト変化を判定する。
次のステップS32において水面部画像検出部4eは、コントラスト変化の境界、又はそのコントラスト変化している部分の(低いコントラスト領域としての)ローコントラスト領域の水平方向の範囲を判定する。
そして次のステップS33において水面部画像検出部4eは、ローコントラスト領域が(水面の様に)水平方向に帯状に存在しているか否かの判定を行う。
ローコントラスト領域が水平方向に帯状に存在する判定結果の場合には、次のステップS34において水面部画像検出部4eは、画面の上下でコントラスト差があるか否かの判定を行う。
画面の上下でコントラスト差があると判定した場合には、ステップS35において水面部画像検出部4eは、ステップS33及びS34の条件に該当するローコントラスト領域を水面パターン(水面部画像)と判定し、この図11の処理を終了する。
また、ステップS33の判定に該当しない判定結果の場合、及びステップS34の判定に該当しない判定結果の場合には水面パターンに該当しないと判定して、図11の処理を終了する。図11の処理が終了すると、図10のステップS20の処理に移る。また、図10におけるステップS13の半水中撮影モードの撮影状態であるか否かを自動判定する処理手順は、図12のようになる。
この半水中撮影モードの撮影状態であるか否かの判定処理が開始すると、最初のステップS41において画像処理&制御部4は、画面中央部にローコントラスト領域が存在するか否かの判定を行う。ローコントラスト領域が存在する判定結果の場合には次のステップS42において画像処理&制御部4は、画面の上下の判定を行う。
この場合、画像処理&制御部4は、加速度センサによる検知結果を利用して上下の判定を行う。
その後ステップS43において画像処理&制御部4は、ローコントラスト領域が帯状に画面を水平方向に横断しているかの判定を行う。この判定結果に該当する場合には、次のステップS44において画像処理&制御部4は、加速度センサの検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
ユーザ13は、図1A、図1Bに示したカメラ1により半水中撮影を行う場合、図8A又は図8Bのように撮影レンズ3aが、カメラ1の中央位置よりも下寄りとなる姿勢状態に保持する。
また、このカメラ1の場合には、ユーザ13は、カメラ1の縦長の方向を、重力が作用する上下方向に設定した状態となる。図13(B)は、図8Aに相当するカメラ1の姿勢状態を示す。
この場合、画像処理&制御部4は、点線で示す加速度センサ11aと、この加速度センサ11aによる上下方向と垂直となる紙面横方向の加速度を検出する図示しない加速度センサによる検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
図13(B)の状態は、カメラ1の縦長の方向が上下方向に平行な倒れ(傾き)が無い状態を示し、これに対して図13(C)及び図13(D)は、時計回り方向及び反時計回り方向に倒れがある状態を示している。
図13(B)のように倒れが無い判定結果の場合には、ステップS45において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態であると判定して、この図12の処理を終了する。
一方、ステップS41の判定に該当しない判定結果、ステップS43の判定に該当しない判定結果、ステップS44の判定に該当しない判定結果の場合には、ステップS46において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態でないと判定して、この図12の処理を終了する。
なお、図12におけるステップS45及びステップS46の判定の後、ステップS47に示すように判定結果に応じた(表示部5による)表示切換を行うようにしても良い。情報を表示部5で表示するようにしても良い。
図14はこの場合の処理手順を示す。表示切換の処理が開始すると、最初のステップS61において画像処理&制御部4は、半水中撮影モードの撮影状態であるかの判定を行う。
半水中撮影モードの撮影状態である判定結果の場合には次のステップS62において画像処理&制御部4は、図13(A)に示すように表示部5の例えば上半分に、この判定結果のモード表示、例えば「半水中撮影モードです」という主旨の表示を行う。そして、この表示切換の処理を終了する。
一方、ステップS61の判定が半水中撮影モードの撮影状態でない場合には次のステップS63において画像処理&制御部4は、通常の画像表示(つまり表示部5の表示面に通常の画像を全画面表示)を行い、この表示切換の処理を終了する。
このような表示を行うようにすると、ユーザ13は半水中撮影モードの撮影状態に設定されたことを確認できる。そして、このような表示を行うことにより、ユーザ13に対する操作性を向上できる。
なお、図12に示す半水中撮影モードの撮影状態を判定する処理手順の変形例として図15Aに示す処理手順を採用しても良い。なお、この変形例の処理手順は、半水中撮影モードの撮影状態の判定を行うと共に、その判定の処理手順において水面パターンの判定も行う。このため、図10に適用した場合には、ステップS18の次の水面パターンの検出処理を行う際に上記の判定結果を用いて次のステップS20の処理に進むことができる。
図15Aに示す半水中撮影モードの撮影状態に対する判定処理が開始すると、最初のステップS71において画像処理&制御部4は、画面中央部にコントラスト変化があるか否かの判定を行う。この場合、画像処理&制御部4は、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近にコントラスト変化があるか否かの判定を行う。
画面中央部に水の境界となる水面があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、コントラスト(明暗)変化がある。
そして、画面中央部にコントラスト変化があると判定した場合には次のステップS72において画像処理&制御部4は、コントラスト変化の境界は、画面を水平方向(横方向)に横断しているか否かの判定を行う。水面の場合には、コントラスト変化の境界が画面を横断していることになる。
コントラスト変化の境界が、画面を横断している判定結果の場合には、次のステップS73において画像処理&制御部4は、画面の上下の明暗を比較する処理を行う。この場合にも、画像処理&制御部4は、加速度センサの信号から画面の上下(の姿勢)を判定(識別)する。
次のステップS74において画像処理&制御部4は、コントラストが低いローコントラスト領域が下に暗いか(つまり、下側が暗いローコントラスト領域となっているか)否かの判定を行う。この場合の判定として、ローコントラスト領域の判定を行わないで単に、上の画像に比較して下の画像が暗いか否かの判定を行うようにしても良い。図15Bのような被写体の場合には、下の水中側が暗くなる。
下が暗い判定結果の場合には、次のステップS75において画像処理&制御部4は、画面の上下の色調を比較する。そして、次のステップS76において画像処理&制御部4は、上部に比較して下部に赤成分が少ないかを判定する。
上部に比較して下部に赤成分が少ないと、ステップS77において画像処理&制御部4は、半水中撮影モードの撮影状態であると判定する。また、ステップS79に示すようにコントラスト変化の境界を水面パターンと判定する。
そして、画像処理&制御部4は、図10のステップS16の処理に進む。
一方、ステップS71,S72、S74、S76の判定に該当しない場合には、ステップS78において画像処理&制御部4は、半水中撮影モードの撮影状態でないと判定して、図10のステップS14の処理に進む。
なお、2つのステップS74及びS76の判定処理の一方の判定結果からステップS77又はS78の判定を行うようにしても良い。
図15Aの処理によると、ステップS77の判定結果から、ステップS72の画面中央部でコントラスト変化の境界が画面を横断している部分を水面パターンと判定して、その上部側が水上被写体、下部側が水中被写体と判定(識別)することができる。
図15Bは、図15Aの半水中撮影モードの判定に対応する説明図で、この図15Bは、半水中撮影モードの撮影状態における被写体の代表例を示す。
図15Bに示すように水中は水上に比較して、透明度が低く、また光の吸収により暗く、また浮遊物が存在することがしばしばあり、これらによりコントラストが低いローコントラスト領域となる。
また、可視領域における特に長波長側の赤い波長が、短波長側よりも吸収されやすく、青の色調になり易い(換言すると、赤成分が少ない色調となる)。従って、図15Aの処理手順により、半水中撮影モードの判定を行うことができる。
このような動作を行う第1の実施形態に係るカメラ1によれば、水面Wが変動する水面部のために水上被写体あるいは水中被写体部分が欠落又は撮影できないような撮影タイミングで撮影を行った複数の画像を合成することにより、水上被写体及び水中被写体を同時に含む合成画像を生成することが可能となる。
従って、ユーザ13は、水面Wの変動による影響を低減した水上被写体及び水中被写体を同時に含む良好な画質の画像としての合成画像を取得でき、また、その良好な画質の画像を観察(鑑賞)することができる。
[第2の実施形態]
図16は本発明の第2の実施形態の携帯カメラ部(図面中では、単にカメラ部)1Bの構成を示す。本実施形態の携帯カメラ部1Bは、図17に示すように防水機能を持つ携帯電話51に搭載されている。この携帯電話51は、携帯カメラ部1Bと表示部5とが別体であり、携帯カメラ部1Bと表示部5は折り曲げ部により折り曲げ可能に連結されている。
図16に示す携帯カメラ部1Bは、図1に示したカメラ1においてさらに画像処理&制御部4内に、少なくとも複数枚分の画像を記録する記録容量を持って、所定期間中、撮像された画像を一時的に記録(記憶)する仮記録部4hを備える。なお、一時的に画像を記録することを仮記録とも言う。また、仮記録部4hに画像を一時的に記録する場合、その画像を仮記録するタイミングも同時に記録する。
また、本実施形態においては、画像処理&制御部4は、半水中撮影モードにおける実質的に良好と考えられる画像を撮影画像として記録部8に記録(撮影・記録)する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。
ローコントラスト領域検出部4fは、撮像している画像においてローコントラスト領域を検出した場合には、仮記録部4hにその画像を仮記録(一時的に記録)する。仮記録された画像は、画像合成部4a及び表示制御部4bを経て、良好と判定された画像が表示部5に表示される。
図17は、図16に示した構成の携帯カメラ部1Bを備えた携帯電話51を用いて、ユーザ13が池53の水面付近で泳いでいる亀を鑑賞対象の被写体として撮像して、鑑賞している様子を示す。
この図17に示すようにユーザ13は、携帯カメラ部1Bの(撮像部3の)撮影レンズ3aの中央位置を水面付近に設定して、池53の水上被写体及び水中被写体を撮影する半水中撮影モードの撮影状態に設定することができる。
上述した図7において説明したように水面Wが変動した斜線で示す領域32によって、視野θ内における被写体像の結像が実質的に妨げられる。このため、図17の撮影状態で撮像したある撮像タイミングで取得した画像を表示部5で表示した場合には、図18Aのような画像IC′になる。
この場合には、中央付近に水面パターン(水面部画像)が発生し、その上下が水上被写体の(水上被写体)画像及び水中被写体の(水中被写体)画像となる。
水面Wは、風などのために時間的に変動する状況であると、撮像タイミングに依存して、図18B、図18Cに示す画像IA′、IB′のように図18Aの画像IC′に比較すると良好でない画像になる。このため、本実施形態は、図18B、図18Cのような画像の場合には表示を行わないで、より良好な図18Aのような画像、又はより良好な合成画像を表示することができるようにしている。
なお、実際には、これらの画像がそれぞれ良好な画像であるか、又は水面パターンによりかなり影響された良好でない画像であるかを判定する処理を行うことが必要となる。このため、判定結果が決まるまでの間においては、図18B、図18Cのような画像も一時的に表示するようにしても良い。
画像処理&制御部4は、ローコントラスト領域を検出した場合には仮記録部4hにその画像を一時的に記録する。そして、画像処理&制御部4は、図19に示す表示制御の処理手順に従って表示部5に画像を表示する制御を行う。
図19の表示制御の処理が開始すると、最初のステップS101において画像処理&制御部4は、撮像部3により撮像された被写体の画像の取り込みを行う。次のステップS102において画像処理&制御部4のローコントラスト領域検出部4fは、撮像した画像におけるローコントラスト領域の検出を行う。
そして、ローコントラスト領域検出部4fは、検出したローコントラスト領域が図18Aのように画面の(上下方向における)中央部のみか否かの判定を行う。この判定を行う場合、画像処理&制御部4は、加速度センサによる検知結果を利用して画面の上下方向を認識する。なお、中央部のみか否かの判定を行う場合、コントラストが低いローコントラスト領域の上下方向の幅、つまりローコントラスト領域が水平方向に帯状になっている場合のその帯の幅が所定値(又は閾値)以下であるか否かにより判定する。その幅が所定値以下であると良好な画像であると判定される。
ローコントラスト領域が中央部のみでない判定結果の場合には、次のステップS103において画像処理&制御部4は、画面の上方部分がローコントラスト領域であるか否か、つまり、図18Bのようにローコントラスト領域が上方に広がっているか否かの判定を行う。
画面の上方部分がローコントラスト領域である判定結果の場合には、次のステップS104において画像処理&制御部4は、この画像を仮記録部4hに画像IA′として仮記録し、ステップS111の処理に移る。
図18Bは、この画像IA′の場合の1例である。この場合には、下部側の水中被写体の画像A′と共に、その上部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32eが発生した画像IA′となる。
一方、ステップS103において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS105において画像処理&制御部4は、画面の下方部分がローコントラスト領域であるか、つまり、図18Cのようにローコントラスト領域が下方に広がっているか否かの判定を行う。
画面の下方部分がローコントラスト領域である判定結果の場合には、次のステップS106において画像処理&制御部4は、この画像を仮記録部4hに画像IB′として仮記録する。図18Cは、この画像IB′の場合の1例である。この場合には、上部側の水中被写体の画像B′と共に、その下部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32fが発生した画像IB′となる。
次のステップS107において画像処理&制御部4は、上記仮記録部4hに仮記録した画像IA′のローコントラスト領域に、画像IB′のローコントラスト領域以外の画像部分を合成した合成画像を生成し、この合成画像を表示部5で表示する。
図18Bの画像IA′に、図18Cの画像IB′を合成した場合には、図18Aの画像IC′に示すものに類似した合成画像となる。
このように良好な画像でないと判定した場合には、仮記録した複数の画像を合成することにより、良好な画像を生成して表示する。具体的には、上方にローコントラスト領域が広がった画像IA′と、下方にローコントラスト領域が広がった画像IB′とから、一方のローコントラスト領域を他方の画像におけるローコントラスト領域以外の画像で置換による補間を行うことによって、良好な合成画像を生成して表示する。
従って、ユーザ13は、良好でない画像しか撮像できない状況であっても、良好な画像を観察(鑑賞)することができる。
ステップS107の処理の後、画像処理&制御部4は、ステップS111の処理に進む。
なお、ステップS105において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS108において画像処理&制御部4は、その画像を表示することなく、ステップS111の処理に進む。
また、ステップS102においてローコントラスト領域が中央部のみの判定結果の場合には、ステップS109において画像処理&制御部4は、その画像を仮記録部4hに仮記録する。図18Aの画像IC′は、この場合に該当する画像例である。
そして、次のステップS110において画像処理&制御部4は、仮記録部4hに仮記録した画像を(良好な画像であるために)そのまま表示部5で表示する。そして、画像処理&制御部4は、ステップS111の処理に進む。
ステップS111において画像処理&制御部4は、表示終了の操作が行われたか否かの判定を行う。表示終了の操作が行われていない場合には、ステップS101に戻り、次の画像の取り込みを行い、同様の処理を行う。一方、表示終了の操作が行われた場合には、図19の処理を終了する。
なお、図19に示すフローチャートでは、ステップS106の画像IB′の仮記録の後に、ステップS107において合成画像を生成して表示する処理を行う処理手順にしているが、この処理手順に限定されるものでない。
例えば、仮記録部4hに画像IA′又は画像IB′を仮記録した場合、合成を行うべき画像IB′又は画像IA′がすでに仮記録されている場合には、合成画像を生成して表示するようにしても良い。
具体的には、図19のステップS105の処理の後、ステップS107に進むようにしても良い。但し、ステップS107においては、上記のように合成を行うべき画像IB′又は画像IA′がすでに仮記録されているか否かを判定し、仮記録されていない場合には合成画像を生成しないで、ステップS111に進み、仮記録されている場合には合成画像を生成して表示する。
また、図19に示すステップS107に記載した場合に限定されるものでなく、画像IB′のローコントラスト領域に画像IA′のローコントラスト以外の画像を合成して表示するようにしても良い。
図20は、このような処理手順(図19を若干修正)に対応した表示制御のタイミング図を示し、横方向が時間tを示す。また、符号Tfは、撮像部3による被写体を1画面(フレーム)分、撮像する場合の撮像周期を示し、表示周期と同じとしている。
最上段(1段目)は、撮像部3により撮像されて、画像処理&制御部4に取り込まれた画像IC′、IA′、IB′における時間順の(撮像)画像Cj、Aj、Bj、をそれぞれ示し、その下段(2段目)には表示部5で実際に表示される画像Cj、Djを示す。なお画像IC′は、ローコントラスト領域が中央部のみの場合の良好と考えられる画像を意味する。
これに対して、画像Aj,Bjは、画像Cj程には良好ではない画像のため、そのままでは表示されない。そして、画像Djは、画像Aj、Bj(jが異なる場合もある)を合成した合成画像であり、表示される画像となる。また、j=1,2,3,…は、撮像された画像の時間順を示すパラメータである。
図20に示すように画像C1が撮像された場合には、次のフレームから、表示部5によりその画像C1が表示される。この画像C1は、次の画像C2が表示されるまで、又は合成画像D1が表示されるまで、その表示が継続する。
図20の例では、画像C2の次に、画像A1、A2が撮像されるが、まだ画像B1が撮像されていない(そして仮記録もされていない)ので、表示されない。そして、画像B1が撮像されると、(画像B1と画像A2との合成による)合成画像D1として表示される。
なお、この表示例では、合成画像を表示する場合、Bj(具体的にはB1)以前に複数の画像Aj(具体的では画像A1,A2)が仮記録されている場合、最新の画像(A2)と合成する。画像B1の次に画像B2が撮像されると、この画像B2と画像A2との合成画像D2が表示される。
その後、画像C3が撮像されてその画像C3が表示される。その後、画像A3が撮像されると、この画像A3と、その時間前における最新の画像B2とで合成画像D3が表示される。以後も同様の規則で表示されることになる。
このように表示制御することにより、水面部のために、水上被写体のみの画像や、水中被写体のみの画像しか撮像できない状況においても、水上被写体及び水中被写体を同時に含む合成画像(図20における画像D1,D2等)や、中央部のみがローコントラスト領域となる水上被写体及び水中被写体を同時に含むと考えられる画像(図20における画像C1,C2等)を表示部5で表示することができるようになる。
従って、ユーザ13はこのように鑑賞対象の被写体を良好に撮像した状態に相当する画像を鑑賞することができる。
図20に示した表示の変形例として、合成画像を表示する場合、上下方向のローコントラスト領域が小さいもの、つまり上下方向にローコントラスト領域の広がりが小さいものを選択して合成画像を生成して表示するようにしても良い。
また、上述においては、撮像した画像を表示する場合に関する説明であった。本実施形態は、さらに表示と撮影・記録との制御とを連動させるような撮影モードを選択することもできる。この撮影・記録は、仮記録ではなく、記録部8に画像を記録することを意味し、その意味が明らかな場合には簡略的には撮影又は記録とも言う。
本実施形態においては、表示と撮影との制御とを連動させる場合、上述した画像C1等の良好な画像のみを撮影・記録するモードと、さらに合成画像も撮影・記録するモードを選択することができるようにしている。また、本実施形態においては、仮記録部4hを設けることにより、撮影タイミングを逃すことなく、画像C1等の良好な画像を、記録部8に撮影・記録することができるようにしている。
この場合に係る携帯カメラ1Bは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この撮像部3で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、水上被写体の(水上被写体)画像と水中被写体の(水中被写体)画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部4iと、撮影タイミング決定部4iで決定した撮影タイミング付近の複数のタイミングで撮像された複数の被写体の画像から合成画像を生成する画像合成部4aと、を具備することを特徴とする。
より具体的には、画像処理&制御部4の撮影タイミング決定部4iは、(仮記録部4hに記録可能な)所定期間中に撮像部3によりそれぞれ撮像された複数の画像を、そのタイミングと共に一時的に仮記録部4hに記録する。
さらに、撮影タイミング決定部4iは、仮記録部4hに一時的に記録された画像に対して水面部画像における水面部の影響が小さい、又は(水上被写体)画像及び(水中被写体)画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定(判定)する。そして、撮影タイミング決定部4iは、決定した撮影画像を仮記録部4hから記録部8に撮影画像として撮影・記録するタイミングを、撮影すべき撮影画像を撮影する撮影タイミングとして決定する(撮影タイミングとする)ことを特徴とする。
なお、この場合の撮影画像は、図18Aに示すようにローコントラスト領域が画面の中央部のみに存在するものが該当する。
図21Aは表示と撮影とを連動させた場合の処理手順の一部のフローチャートを示す。
図21Aは、例えば図19のフローチャートにおいて、ステップS110とステップS111との間にステップS121とステップS122との処理を行う処理手順となっている。ステップS110において図20の画像C1,C2等をそのまま表示部5に表示した後、ステップS121において画像処理&制御部4は、表示と撮影・記録との制御を連動させる設定(選択)であるかの判定を行う。
ユーザ13は、表示と撮影との制御を連動させる場合には、例えばモード設定スイッチ6bの操作によるメニュー画面から連動を選択すれば良い。画像処理&制御部4は、この選択結果を参照することにより連動させるモードであるか否かを判定する。
連動させない判定結果の場合には、画像処理&制御部4は、ステップS121の後ステップS111に進む。この場合には、図19と同様の処理を行うことになる。
一方、連動の判定結果の場合には、ステップS121の処理の後、ステップS122において画像処理&制御部4は、表示部5で表示した場合の画像を撮影し、記録部8に記録する処理を行った後、ステップS111に進む。その他は、図19、又は上述したように合成画像の生成、表示に関する一部を変形した処理手順と同様である。
図21Aに示した処理手順に沿った場合の撮影・記録の様子を図20の3段目に示す。なお、図20の3段目においては、撮影・記録(1)として示している。具体的にはローコントラスト領域が中央部のみとなる画質が良好と考えられる画像C1が(2段目に示すように)表示されると、その表示に連動して、3段目に示すように画像C1が撮影すべき撮影画像として仮記録部4hから記録部8に撮影・記録される。
この場合、撮影画像と共に、仮記録部4hに仮記録されたタイミング又は記録部8に記録されるタイミングが撮影タイミングとして記録される。なお、画像C1が継続して表示された場合には、その撮影・記録は最初の画像C1のみとなる。その後の画像C2等においても、表示に連動して撮影・記録が行われる。
従って、この場合には、画像処理&制御部4は、表示部5に表示する画質が良好と考えられる画像に連動して撮影して記録する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。また、上記の説明のように、この撮影タイミング付近のタイミング(なお、このタイミングも撮影タイミングに含まれるように定義しても良い)において、画像合成部4aは合成画像を生成し、生成された合成画像は表示部5で表示される。
また、画像C1、C2等の撮影・記録の他に合成画像を撮影・記録するようにしても良い。この場合の1例として、図20の2段目の表示と連動して合成画像D1,D2,…を撮影・記録する。この他に、図20の4段目に撮影・記録(2)に示すように撮影・記録しても良い。図20の4段目に示す例では、複数の合成画像を連続して表示した場合には、その中から、例えが上下方向におけるローコントラスト領域の広がりの最も小さい画像を用いて生成した合成画像のみを撮影・記録するようにしている。
具体例においては、画像B1が撮像されると、この画像B1と仮記録された表示されない最新の画像A2とによる合成画像D1が表示され、次のフレームにおいて画像B2と画像A2とによる合成画像D2とが連続して表示される。この場合、上下方向におけるローコントラスト領域の広がりが画像B1よりも画像B2の方が小さい場合であるとして、合成画像D2を撮影・記録する。なお、合成画像D2を記録部8に実際に記録するタイミングは、合成画像D2の表示後となる。
図21Bはこのような処理を行う処理手順を示す。図21Bの処理手順は、図19におけるステップS106からステップS111に進む処理手順を変形した内容に該当する。
ステップS106において画像IB′(図20では画像B1)として仮記録した後、ステップS131において画像処理&制御部4は、仮記録部4hに画像IA′が仮記録されているか否かの判定を行う。
仮記録部4hに画像IA′が仮記録されていない場合にはステップS111に進み、逆に仮記録部4hに画像IA′が仮記録されている場合にはステップS132に進む。
このステップS132において画像処理&制御部4は、画像IB′と、仮記録部4hに仮記録され、表示されない最新の画像IA′とで合成画像を生成し、その合成画像を表示する。この場合、画像処理&制御部4は、例えば画像IB′のローコントラスト領域に、最新の画像IA′のローコントラスト領域以外の画像を合成して表示部5に表示する。つまり、画像IB′のローコントラスト領域を、画像IA′の(ローコントラスト領域以外の)画像で置換による補正を行い、画像IB′のローコントラスト領域を低減した良好な画像を生成して、表示部5で表示する。
さらに次のステップS133において画像処理&制御部4は、複数の画像IB′が連続して存在し、連続しているものの最後の画像であるか否かの判定を行う。これに該当しない場合にはステップS111に進む。
一方、S133の判定に該当する場合には次のステップS134において画像処理&制御部4は、上下方向(より厳密には中央部から下方向)にローコントラスト領域の広がりが最も小さい画像をIB′minを検出する。そして、画像処理&制御部4は、この画像IB′minと画像IA′による合成画像を撮影・記録して、ステップS111に進む。
なお、画像IB′minを検出するためには、連続する画像IB′の最後の画像の検出(判定)が必要になるため、上記のように実際に記録部8に合成画像を撮影・記録するタイミングは、撮像したタイミングや仮記録したタイミングよりも若干遅れる。但し、仮記録する場合、仮記録するタイミング(時間)を同時に仮記録しておくことにより、実際に記録部8に記録する撮影タイミング(時間)として、それらのタイミングを記録するようにすれば、実際の記録動作が若干遅れることは問題にならない。また、仮記録するタイミングと記録部8に記録するタイミングとの差が小さいような場合には、いずれのタイミングを用いても良い。
図20の4段目においては、さらに画像C3の次に画像A3、A4が順次撮像されると、図21Bに示した処理と類似した処理(IA′とIB′とを入れ替えた処理)が行われる。
そして、同様に合成画像D3、D4においては、上下方向におけるローコントラスト領域の広がりが最も小さい画像を用いた場合の合成画像D4を撮影・記録する。ここで、上下方向におけるローコントラスト領域の広がりは、画像A3よりも画像A4の方が小さいとしている。
このように表示と撮影の制御を行う第2の実施形態によれば、第1の実施形態の効果の他に、水上被写体及び水中被写体とを同時に含むような良好な撮像状態に相当する画像を表示することも、記録部8に撮影・記録することができる。
なお、第1の実施形態においても、合成画像における例えばローコントラスト領域が上下方向において閾値よりも小さいか否かを判定し、閾値よりも小さい判定結果の場合には良好な画像として記録部8に記録するようにしても良い。また、水面部の影響が小さいと判定した合成画像を撮影画像として記録部8に記録しても良い。
また、上述した実施形態等を部分的に組み合わせたり、発明の要旨を変更することなく変形して構成される実施形態も本発明に属する。