JP4622510B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に水中で撮影を行う場合に用いて好適な撮像装置、画像処理方法及びプログラムに関する。

近年、デジタルカメラの普及に伴い、陸上での撮影に限らず、水中ハウジングを用いて水中での撮影を行う機会が増えて来ている。水中ハウジングとは、カメラ機器を収納する透明性の防水ケースであって、外部からシャッタキー等の各種キーを操作可能な機構を有する。この水中ハウジングを用いれば、陸上用の一般のカメラであっても、水中での撮影を行うことができる。

従来、このような水中撮影可能なデジタルカメラに関し、様々な提案がなされている。例えば、特許文献１では、水中を通過する光の特性として、長波長の光は通過しにくく、短波長の光は通過し易いといった性質を利用して、短波長の照明を使うことが開示されている。また、特許文献２では、複数の異なる分光感度域における光を測定し、それらの測定結果から水中であるか否かを判断することが開示されている。
特開平６−２９２０７２号公報 特開２０００−１３７２６１号公報

水中では、光の減衰による影響を受けて色が変化することが知られている。すなわち、太陽の光は波長によって、赤，橙，黄，緑，青，藍，紫の７色に分かれる。この７色に働く水による光の吸収は、ブルーのフィルタ効果と同じように光の波長によって選択的に行われる。具体的には、まず、波長の長い赤色が吸収され、次に橙色，黄色、そして、波長の短い青が最後まで残る。水中では、赤いものが赤色に見えず、青一色の世界に近いものになるのはこのためである。この光の減衰に伴う色変化の現象は、水深が深くなる程、つまり、太陽光が届かなくなる深い場所ほど強くなる。

このようことから、水中で撮影した画像は陸上で撮影した画像と違ってコントラストが乏しく、くすんだ色合いになることが多い。このため、例えＰＣ上で特定のアプリケーションを用いて撮影画像の色合いを調整するなどの面倒な作業を必要とした。なお、上述した特許文献１，２には、このような光の変化を考慮した撮影画像の処理については特に言及されていない。

本発明は前記のような点に鑑みなされたもので、水中での撮影に際し、光の減衰に伴う色変化を適切に補正して良好な撮影画像を得ることのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の撮像装置は、中でカラー撮影可能な撮像装置において、被写体を撮像する撮像手段と、この撮像手段によって得られる被写体の画像データの輝度分布を表したヒストグラムを色成分毎に算出するヒストグラム算出手段と、このヒストグラム算出手段によって画像データの各色成分毎に得られたヒストグラムがそれぞれに所定の感度範囲に入るように、前記撮像手段の露出または感度を補正する補正手段と、この補正手段によって補正された前記露出または前記感度に基づいて前記撮像手段から得られる画像データを撮影画像として取り込む撮影処理手段と、この撮影処理手段によって得られた撮影画像を記録する記録手段とを具備した。

本発明によれば、水中撮影を行う場合において、その撮影前に露出や感度などの撮影条件が補正されるので、撮影者が特に意識しなくとも、水中での光の減衰に伴う色変化を適切に補正して良好な撮影画像を得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１および図２は本発明の第１の実施形態に係る撮像装置に用いられる防水ハウジングの一例を示す図であり、図１は防水ハウジングの前面、図２は防水ハウジングの背面の構成を示す図である。

この防水ハウジング１１は、カメラ本体を収納する透明性の防水ケース１２からなり、その防水ケース１２はヒンジ部１３を介して開閉自在に取り付けられた２つのパーツ１２ａと１２ｂからなる。パーツ１２ａはハウジング前面、パーツ１２ｂはハウジング背面を構成し、互いに閉じた状態でカメラ本体の収納スペースを形成する。また、図中の１４はストッパであり、この防水ケース１２のパーツ１２ａ，１２ｂを閉じた状態でロックする。１５はバックル、１６はストラップである。

図１に示すように、防水ハウジング１１の前面つまり防水ケース１２のパーツ１２ａ上には、ＦＬガラス等からなるレンズ窓１７と、水深センサ、水温センサ、透明度センサなどの各種センサ類を搭載したセンサユニット１８が設けられている。また、防水ハウジング１１の上部には、電源用アウターボタン１９やシャッタ用アウターボタン２０がハウジング内のカメラ本体の電源キー、シャッタキーを外部から操作可能に取り付けられている。

一方、図２に示すように、防水ハウジング１１の背面つまり防水ケース１２のパーツ１２ｂ上には、カメラ本体背面の各種キーに対応させた各種アウターボタン２１と、カメラ本体の表示モニタを保護するための表示部保護材２２が設けられている。

また、図中の２３〜２５は防水パッキンであり、ハウジング内部に水が侵入することを防いでいる。２６はカメラ本体と接続するための接続コネクタであり、ハウジング内部に設けられている。

図３および図４は同実施形態における撮像装置としてデジタルカメラを例にした場合の構成を示す図であり、図３はデジタルカメラの前面、図４はデジタルカメラの背面の構成を示す図である。

図３に示すように、デジタルカメラ３１の略直方体状をなすカメラ本体３２の前面３２ａに撮影レンズ３３、光学ファインダ窓３４、ストロボ３５などを有し、上部には電源キー３６、シャッタキー３７などが設けられている。電源キー３６は電源のオン／オフ毎に操作するキーであり、シャッタキー３７は撮影時に撮影タイミングを指示するキーである。

また、図４に示すように、カメラ本体３２の背面３２ｂには、撮影モードキー３８、再生モードキー３９、光学ファインダ４０、ストロボキー４１、ズームキー４２、メニューキー４３、カーソルキー４４、セットキー４５、ＤＩＳＰキー４６などが配設されている。

撮影モードキー３８は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。

前記シャッタキー３７は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー３７が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー３７が押下されたときのタイミングで動画の撮影が開始され、シャッタキー３７が再度押下されたときにその動画の撮影が終了する。

再生モードキー３９は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。光学ファインダ４０は、撮影時にユーザが撮影対象となる被写体を光学的に確認するためのものである。ストロボキー４１は、ストロボモードを設定する場合に用いられる。ズームキー４２は、光学的ズームあるいはデジタルズームを行う場合に用いられる。メニューキー４３は、各種メニュー項目等を選択する際に操作する。カーソルキー４４は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このカーソルキー４４の中央に位置するセットキー４５は、その時点で選択されている項目を設定する際に操作する。

また、カメラ本体３２の背面３２ｂには、表示部４７が設けられている。この表示部４７は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、カメラ本体３２の底部には、上述した防水ハウジング１１のセンサユニット１８などと接続するための外部入出力コネクタ４８や、記録媒体として用いられるメモリカードや電池を収納するためのメモリカード／電池収納部４９が設けられている。

次に、デジタルカメラ３１の回路構成について説明する。

図５はデジタルカメラ３１の回路構成を示すブロック図であり、防水ハウジング１１の中にデジタルカメラ３１を収納した状態を示している。

デジタルカメラ３１には、マイクロコンピュータからなる制御回路５１が備えられている。制御回路５１は、ＲＯＭなどからなるプログラムメモリ５１ａに予め記憶された撮影制御用のプログラムを読み込むことで各種処理を実行する。

この制御回路５１には、シャッタキー３７の他、各種操作キー５２が入力回路５３を介して接続される。各種操作キー５２としては、図４に示した撮影モードキー３８、再生モードキー３９、ストロボキー４１、ズームキー４２、メニューキー４３、カーソルキー４４、セットキー４５、ＤＩＳＰキー４６などが含まれる。

また、このデジタルカメラ３１には、ＶＲＡＭなどからなる表示メモリ５４と、この表示メモリ５４に記憶されたデータに従って表示部４７を駆動制御する表示制御部５５が備えられると共に、静止画／動画の信号処理を行う画像信号処理部５６などが備えられている。

また、記録手段として、フラッシュメモリなどからなるデータメモリ５７が予め備えられていると共に、メモリカードなどの外部メモリ５８がメモリカード／電池収納部４９に着脱可能に装着され、外部メモリインタフェース５９を介して制御回路５１に接続される。

その他、メモリカード／電池収納部４９に収納された電池パック６０を電源として各部の動作に必要な電圧を供給する電源制御部６１、クレードルやＰＣなどの外部機器とのインタフェース処理を行う外部入出力インタフェース６２などが備えられている。この外部入出力インタフェース６２には、コネクタ２６，４８を介してセンサユニット１８の制御チップ１８ａが接続される。この制御チップ１８ａには、センサユニット１８に搭載された水深センサ、水温センサ、透明度センサなどの各種センサ類の信号処理回路や制御回路、これらのセンサの計測データを記憶するメモリなどが設けられている。

一方、このデジタルカメラ３１の撮像部６３には、フォーカスレンズ、ズームレンズを含む多数の光学系レンズからなる撮影レンズ３３と、この撮影レンズ３３の光軸上に配設される絞り機構６４、ハーフミラー６５、シャッタ機構６６、撮像素子６７が設けられる。撮像素子６７は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）の各画素の表面に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配設されたカラーイメージセンサからなる。この撮像素子６７は、被写体の画像データを取得するための撮像手段として機能する。

また、この撮像部６３には、フォーカスレンズ、ズームレンズを所定の範囲内で移動させるレンズ駆動部６８、絞り機構６４やシャッタ機構６６を駆動するためのシャッタ／絞り駆動部６９、ハーフミラー６５の反射経路に設置される測光センサ７０などが設けられている。

また、撮像素子６６を通じて得られる画像データを構成する各画素の信号を処理するための信号処理回路７１、撮像素子６５を駆動するためのタイミング制御＆ドライバ７２、さらにストロボ３５とそのストロボ３５を発光駆動するためのストロボ駆動回路７３などが設けられている。前記信号処理回路７１は、ＣＤＳ（相関二重サンプリング回路）／ＡＧＣ（オートゲインコントロール回路）、Ａ／Ｄ、ＡＷＢ（オートホワイトバランス回路）などからなり、各画素信号のサンプリングノイズの低減や信号レベルの調整などを行う。ＡＧＣによるゲインコントロールには、露光時に適正露出が得られなかった場合の感度調整機能としての役割も備える。

なお、この撮像部６３の回路構成については、一般的なデジタルカメラと同様であり、図５に示した構成に限定されるものではない。

次に、前記構成のデジタルカメラ３１による水中撮影時の処理動作を説明する前に、理解を容易にするため、水中での光の減衰について、図６および図７を参照して簡単に説明する。

図６は水中での光の減衰とＲＧＢの各色成分のヒストグラムとの関係を示す図である。なお、このヒストグラムは、例えば２５６階調で画像の明暗の部分を表しており、左側の階調数を０（黒）、右側の階調数を２５５（白）としている。

陸上にて適正露出で標準的な被写体を撮影した画像の場合、ＲＧＢの各色成分でそれぞれにバランスのとれた分布が得られる。しかし、水中では、光の減衰による色の変化があり、ＲＧＢの各色成分別に見ると、水深に応じてＲ（赤）成分の分布は左側（暗部側）、Ｂ（青）成分は右側（明部側）にシフトすることになる。

すなわち、水面近くでは、陸上と同じ色合いに見えても、水深が深くなるに連れて、赤、橙、黄…といったように、各波長の光が水に吸収されて、くすみはじめる。水深１０ｍ程度にすると、赤の区別が付かなくなり、さらに深い場所では、青や緑の光だけが残る。この場合、デジタルカメラでは、Ｇ（緑）成分を中心に露出を決定しているので、ＲＧＢの各色成分別のヒストグラムで見ると、Ｇ（緑）成分の分布の山が真ん中に残る。これに対し、Ｒ（赤）成分はアンダー、Ｂ（青）成分はオーバとなる。

図７に水中画像のＲＧＢの各色成分のヒストグラムの一例を示す。

ＲＧＢの各色成分を合わせた全体輝度では略中央に山があり、輝度バランスの良い画像であっても、各色成分別では、Ｒ（赤）成分はアンダー、Ｂ（青）成分はオーバとなる。上述したように、デジタルカメラでは、緑を中心に露出を決定しているので、水中画像では、Ｒ（赤）成分は露出不足（つまり、暗い画像）、Ｂ（青）成分は露出オーバ（つまり、明るい画像）になりやすい。

次に、このような水中での色変化を補正可能とするデジタルカメラ３１の撮影動作について説明する。

なお、以下の各フローチャートで示される処理は、このデジタルカメラ３１に搭載されたマイクロコンピュータである制御回路５１がＲＯＭ等に記憶されたプログラムを読み込むことにより実行される。また、後述する他の実施形態の処理についても同様であり、制御回路５１がこれらの処理を実現するためのプログラムを読み込むことで実行される。

図８は第１の実施形態におけるデジタルカメラ３１の水中撮影モード時の撮影処理を示すフローチャートである。

「水中撮影モード」は、図１および図２に示したような防水ハウジング１１を用いて、水中で撮影を行う場合の専用モードである。この「水中撮影モード」は、撮影モードキー３８の操作により撮影モードに切り替えた状態で、例えばメニューキー４３の操作によって表示されるメニュー画面上で任意に設定可能である。「水中撮影モード」が設定されていない場合には（ステップＡ１１のＮｏ）、その他の撮影モードに対応した処理が実行される（ステップＡ１２）。

「水中撮影モード」が設定されている場合には（ステップＡ１１のＹｅｓ）、デジタルカメラ３１に搭載された制御回路５１により、以下のような水中撮影用の処理が実行される。

すなわち、まず、制御回路５１は、防水ハウジング１１に設けられたセンサユニット１８から水深、水温などの各種センサ計測データを外部入出力インタフェース６２を介して読み込む（ステップＡ１３）。

続いて、制御回路５１は、露出などの撮影条件を設定する（ステップＡ１４）。また、制御回路５１は、測光処理、ＷＢ（ホワイトバランス）処理、ズーム処理、ＡＦ（オートフォーカス）処理などを行った後（ステップＡ１５，Ａ１６）、撮像素子６７を通じて被写体のスルー画像を取得し、そのスルー画像のＲＧＢの各色成分別に輝度分布を表わすヒストグラムを算出する（ステップＡ１７）。

ここで、制御回路５１は、前記各種センサ計測データに含まれる水深データをチェックし、現在の水深値が所定値Ｔ１以上であるか否かを判断する（ステップＡ１８）。所定値Ｔ１は、例えば３ｍである。その結果、現在の水深が所定値Ｔ１未満であれば（ステップＡ１８のＮｏ）、制御回路５１は、水中での光の減衰による影響は少ないものと判断し、前記ステップＡ１４で設定した撮影条件に従った通常の露出処理を行う（ステップＡ１９）。

一方、所定値Ｔ１以上であった場合には（ステップＡ１８のＹｅｓ）、次に制御回路５１は、現在の水深値が所定値Ｔ２以上であるか否かを判断する（ステップＡ２０）。所定値Ｔ２は、前記所定値Ｔ１よりも大きく（Ｔ２＞Ｔ１）、例えば１５ｍである。その結果、所定値Ｔ２未満であった場合には（ステップＡ２０のＮｏ）、制御回路５１は、水中での光の減衰による影響ありと判断し、まず、第１の補正処理として、水深に応じてＲＧＢの各輝度分布の山の多くの部分が所定の感度範囲に入るように、撮影条件の１つである撮像素子６７の露出あるいは感度（ＩＳＯ感度）を補正する（ステップＡ２１）。

また、所定値Ｔ２以上であった場合、つまり、さらに深い場所であれば（ステップＡ２２のＹｅｓ）、制御回路５１は、水中での光の減衰による影響をかなり受けるものと判断し、第２の補正処理として、水深に応じてＧ（緑）成分とＢ（青）成分の輝度分布が共に所定の感度範囲に入るように、撮像素子６７の露出あるいは感度（ＩＳＯ感度）を補正する（ステップＡ２２）。

このときの様子を、図９を参照して説明する。
図９（ａ）は陸上での撮影で得られる標準的画像のＲＧＢの輝度分布を示すヒストグラム、同図（ｂ）は水中での撮影で得られる標準的画像でのＲＧＢの輝度分布を示すヒストグラムである。既に説明したように、水中では、光の減衰により、水深が深くなるに連れてＲ（赤）成分とＢ（青）成分の輝度分布が中心から離れていき、最終的にＲ（赤）成分は露出アンダー、Ｂ（青）成分は露出オーバとなり、くすんだ色合いの画像になる。

そこで、同図（ｃ）に示すように、ＲＧＢの各色成分毎に輝度分布の山の多くの部分が所定の感度範囲内（つまり、０〜２５５の階調範囲内）に入るように、特に、水中での光の減衰による影響を受けて階調の暗部側に偏るＲ（赤）成分と階調の明部側に偏るＢ（青）成分の輝度分布の山がそれぞれ暗部と明部の中心付近に来るように、撮影前に現在の水深に応じて絞り値やシャッタ値を調整して露出を補正するか、あるいはＣＣＤのゲインを調整して感度を補正してから撮影を行うようにする。

また、さらに深い場所では、同図（ｄ）に示すように、光の減衰による影響を最も受けるＲ（赤）成分の輝度が消失してしまうことになる。そこで、Ｇ（緑）成分とＢ（青）成分の輝度分布が共に感度範囲内に入るように露出あるいは感度を補正する。

この場合、ＲＧＢの各色成分について、どの程度補正するのかは、その都度、水深に応じて適宜計算しても良いし、予め水深の値に対して適切な補正値が設定されたテーブルを参照することで求めても良い。

図１０は水深に応じて感度補正を行う場合に用いるＲＧＢ毎の利得制御装置の構成を示す図である。

撮影レンズ３３を通して入射された光は絞り機構６４、シャッタ機構６６を介して撮像素子６７にて受光され、各画素毎に受光量に応じた電気信号に変換されて出力される。この撮像素子６７の出力信号は、信号処理回路７１に含まれるＣＤＳ／ＡＧＣ７１ａ、Ａ／Ｄ変換器７１ｂを介してデジタルの画像信号に変換されてＲＧＢ利得制御装置８０に入力される。

このＲＧＢ利得制御装置８０は、入力された画像信号をＲＧＢ毎に分離する色分離回路８１、Ｒ（赤）成分とＢ（青）成分の利得（ゲイン）を調整する利得調整回路８２，８３、ＲＧＢの各信号の処理を行う画像信号処理回路８４、ＲＧＢ別に輝度分布を表わすヒストグラムを生成するヒストグラム処理回路８５、ＲＧＢの利得制御を行うＲＧＢ利得制御回路８６、予め水深に応じた補正値が設定された変換テーブル８７からなる。

一方、センサユニット１８に搭載された水深センサ９１によって現在の水深が測定される。この水深センサ９１は、例えば圧力センサからなり、水圧に応じて変化するシリコン・ダイアフラム上の拡散抵抗（ひずみ抵抗）の値を水深値として検出する。図中の９２はそのセンサ駆動回路＆増幅回路、９３はＡ／Ｄ変換器である。水深センサ９１によって測定された水深データは、デジタル信号に変換された後、ＲＧＢ利得制御装置８０に入力される。

ＲＧＢ利得制御装置８０は、この水深センサ９１から得られる水深データに基づいてＲＧＢの各信号の出力毎に利得を調整する。この場合、Ｒ（赤）成分は水深が深いほど利得を上げて、Ｂ（青）成分は水深が深いほど利得を下げるように制御する。これにより、図９に示したように、水中での光の減衰によって変化するＲ（赤）成分とＢ（青）成分の輝度信号を調整可能とする。

図１１は水深に応じて感度補正を行う場合に用いるＲＧＢ毎の利得制御装置の別の構成を示す図である。図中の１００はＲＧＢ利得制御装置であり、水中ＲＧＢ利得制御と陸上ホワイトバランス制御を兼ねている。

このＲＧＢ利得制御装置１００は、入力された画像信号をＲＧＢ毎に分離する色分離回路１０１、ＲＧＢの各色成分の利得（ゲイン）を調整する利得調整回路１０２，１０３，１０４、ＲＧＢの各信号の処理を行う画像信号処理回路１０５、ヒストグラム処理を含む全体の制御処理を行う制御部１０６、ＲＧＢの利得制御を行うＲＧＢ利得制御回路１０７、色温度データまたは水深データを選択する選択回路１０９、ＷＢ（ホワイトバランス）用の色温度検出回路１０８からなる。

また、この利得制御装置では、水深センサ９１に加え、色温度センサ９４を備える。この色温度センサ９４も前記水深センサ９１と共にセンサユニット１８に搭載されており、その出力信号は色温度検出回路１０８に入力される。

このような構成において、ＲＧＢ利得制御装置１００は、陸上撮影では画像信号の色差成分の差、もしくは、色温度センサ９４によって得られる色温度データに基づいて、ＲＧＢの利得を調整してホワイトバランスの制御を行う。一方、水中撮影では、水深センサ９１によって得られる水深データに基づいて、ＲＧＢの利得を調整して水中での色吸収の補正処理を行う。

図８に戻って、制御回路５１は、被写体のスルー画像を撮影条件、各種センサ計測データ、ＲＧＢのヒストグラムと共に表示部４７の画面上にモニタ表示する（ステップＡ２３）。

この状態で、例えばシャッタキー３７の押下などにより撮影指示があると（ステップＡ２４のＹｅｓ）、制御回路５１は所定の撮影処理を行って撮影画像を取り込み（ステップＡ２５）、その画像データをＪＰＧ等により符号化処理した後、データメモリ５７または外部メモリ５８に記録する（ステップＡ２６）。また、その際に、制御回路５１は各種計測データを読み込み（ステップＡ２７）、前記画像データに関連付けて撮影日時、各種センサ計測データを記録する（ステップＡ２８）。

最後に、記録した撮影画像が各種センサ計測データと共に表示部４７にレビュー表示されて（ステップＡ２９）、ここでの処理が終了する。

このように、水中撮影を行う場合において、その撮影前に水深に応じて露出や感度などの撮影条件が補正されるので、撮影者が特に意識しなくとも、水中での光の減衰に伴う色変化を適切に補正して良好な撮影画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、撮影前に露出あるいは感度を補正することで水中での色変化に対処するようにしたが、第２の実施形態では、撮影後にその撮影画像のＲＧＢの各色成分別に輝度分布を補正することを特徴とする。

なお、デジタルカメラ３１の構造や回路構成などについては前記第１の実施形態と同様であるため、ここでは処理的な違いについて説明する。

図１２は本発明の第２の実施形態におけるデジタルカメラ３１の水中撮影モード時の撮影処理を示すフローチャートである。

上述したように、「水中撮影モード」は、図１および図２に示したような防水ハウジング１１を用いて、水中で撮影を行う場合の専用モードである。この「水中撮影モード」は、撮影モードキー３８の操作により撮影モードに切り替えた状態で、例えばメニューキー４３の操作によって表示されるメニュー画面上で任意に設定可能である。「水中撮影モード」が設定されていない場合には（ステップＢ１１のＮｏ）、その他の撮影モードに対応した処理が実行される（ステップＢ１２）。

「水中撮影モード」が設定されている場合には（ステップＢ１１のＹｅｓ）、デジタルカメラ３１に搭載された制御回路５１により、以下のような水中撮影用の処理が実行される。

すなわち、まず、制御回路５１は、防水ハウジング１１に設けられたセンサユニット１８から水深、水温などの各種センサ計測データを外部入出力インタフェース６２を介して読み込む（ステップＢ１３）。

続いて、制御回路５１は、露出などの撮影条件を設定する（ステップＢ１４）。また、制御回路５１は、測光処理、ＷＢ（ホワイトバランス）処理、ズーム処理、ＡＦ（オートフォーカス）処理などを行った後（ステップＢ１５，Ｂ１６）、撮像素子６７を通じて被写体のスルー画像を取得し、そのスルー画像を撮影条件、各種センサ計測データと共に表示部４７の画面上にモニタ表示する（ステップＢ１７）。

この状態で、例えばシャッタキー３７の押下などにより撮影指示があると（ステップＢ１８のＹｅｓ）、制御回路５１は所定の撮影処理を行って撮影画像を取り込み（ステップＢ１９）、その画像データをＪＰＧ等により符号化処理した後、データメモリ５７または外部メモリ５８に記録する（ステップＢ２０）。

ここで、制御回路５１は、前記各種センサ計測データに含まれる水深データをチェックし、現在の水深値が所定値Ｔ１以上であるか否かを判断する（ステップＢ２１）。所定値Ｔ１は、例えば３ｍである。その結果、現在の水深値が所定値Ｔ１未満であれば（ステップＢ２１のＮｏ）、制御回路５１は、水中での光の減衰による影響は少ないものと判断し、当該撮影画像に対する輝度補正を行うことなく、ステップＢ２５に進む。

一方、現在の水深値が所定値Ｔ１以上であった場合には（ステップＢ２１のＮｏ）、制御回路５１は、水中での光の減衰による影響ありと判断し、まず、当該撮影画像のＲＧＢの各色成分別に輝度分布を表わすヒストグラムを算出する（ステップＢ２２）。そして、制御回路５１は、これらのヒストグラムに基づいて各色成分の輝度分布（特に、Ｒ（赤）成分とＢ（青）成分の輝度分布）が所定の感度範囲一杯に広がるように所定の輝度変換処理を行う（ステップＢ２３）。なお、このときの輝度変換処理については、後に詳しく説明する。

制御回路５１は、その輝度変換後の画像データをＪＰＧ等により符号化処理した後、当該撮影画像（つまり、変換前の画像データ）と対応付けてデータメモリ５７または外部メモリ５８に記録する（ステップＢ２４）。この場合、輝度変換後の画像データをメモリに上書きしないのは、撮影者の好みなどによっては、水中での撮影画像特有の色合いをそのまま残しておきたいこともあるためである。

このようにして撮影画像を必要に応じて輝度変換した後、制御回路５１は各種計測データを読み込み（ステップＢ２５）、前記画像データに関連付けて撮影日時、各種センサ計測データを記録する（ステップＢ２６）。

最後に、記録した撮影画像が各種センサ計測データと共に表示部４７にレビュー表示されて（ステップＢ２７）、ここでの処理が終了する。

次に、前記ステップＢ２３で実行される輝度変換処理について説明する。

図１３（ａ）は陸上での撮影で得られる標準的画像のＲＧＢの輝度分布を示すヒストグラム、同図（ｂ）は水中での撮影で得られる標準的画像でのＲＧＢの輝度分布を示すヒストグラムである。既に説明したように、水中では、光の減衰により、水深が深くなるに連れてＲ（赤）成分とＢ（青）成分の輝度分布が中心から離れていき、最終的にＲ（赤）成分は露出アンダー、Ｂ（青）成分は露出オーバとなり、くすんだ色合いの画像になる。

そこで、同図（ｃ）に示すように、ＲＧＢの各色成分の輝度分布の幅が所定の感度範囲（０〜２５５の階調範囲）一杯に広がるように、具体的には、水中での光の減衰による影響を受けて階調の暗部側に偏るＲ（赤）成分の輝度分布を明部側に引き延ばし、階調の明部側に偏るＢ（青）成分の輝度分布を暗部側に引き延ばすように各色成分別に輝度を変換する。

ここで、図１４乃至図１７を参照して、さらに詳しく説明する。

図１４は画像処理の一般モデルを示しており、入力画像ｆ（ｉ，ｊ）の各画素の輝度値（または階調値）、あるいは、その周辺の画素配列に所定の変換表を参照しながら所定の画像処理演算を施し、出力画像ｇ（ｉ，ｊ）あるいは特徴量を出力するものである。

前記変換表としては、例えば、輝度変換などの入出力特性の変換式や、変換用のルックアップ・テーブル、加重マトリックス（行列）、空間フィルタ係数などの演算子（オペレータ）等を利用すればよい。

前記画像処理演算には、（１）点処理演算としては、輝度や濃度のヒストグラム変換処理、２値化処理、座標変換処理、画像間演算など、（２）該当点と周囲８点等を対象にする局所処理演算としては、ノイズ除去演算、微分演算、積和演算、フィルタ演算、エッジ抽出処理、膨張収縮処理、細線化処理など、（３）画像全体に演算を施す大局処理演算としては、フーリエ変換などの直交変換演算、テクスチャー解析処理などを適用できる。

このような画像処理の一般モデルに準じて、以下に説明する。

図１５および図１６は輝度ヒストグラムの変換方法を説明するための図である。入力輝度のヒストグラムＰ（ｘ）を線形や非線形の変換式によって異なる特性の出力輝度ヒストグラムＰ（ｙ）に変換することを表している。

図１５は線形の変換式を用いた場合であり、「０≦ｘ＜ａ」のときにｙ＝ｕ、「ａ≦ｘ≦ｂ」のときにｙ＝｛（ｖ−ｕ）／（ｂ−ａ）｝｛ｘ−ａ｝＋ｕ、「ｂ＜ｘ≦ｘｍａｘ」のときにｙ＝ｖといった変換式を用いて、ａ−ｂ間のダイナミックレンジが狭いコントラストの悪い入力画像の輝度分布Ｐ（ｘ）をｕ−ｖ間に広げることで、コントラストや中間階調階の濃淡表現を改善する方法である。これは、変換式の定数の設定を変えれば、ダイナミックレンジ幅の拡大だけでなく、逆に幅の収縮や、ヒストグラムの左右平行シフト（分布全体の輝度を少し上げる、少し下げる）等にも応用できる。

図１６（ａ）、（ｂ）、（ｃ）は線形の変換式を用いた場合である。そのうち、図１６（ａ）はｙ＝ｖ（ｘ／ｂ）^２といった非線形の変換式により、画像の輝度を（輝度が低いものほど）分布全体に少し暗くする場合、同図（ｂ）はｙ＝−ｖ｛（ｘ−ｂ）／ｂ｝^２＋ｖ、ｙ／ｖ＝ｌｏｇ（１＋μ・ｘ／ｂ）／ｌｏｇ（１＋μ）といった非線形の変換式により、画像の輝度を（輝度が高いものほど）分布全体に少し明るくする補正処理の例を示している。

また、同図（ｃ）は、「０≦ｘ＜ｂ／２」のときにｙ＝（ｖ／２）（２ｘ／ｂ）^２、「ｂ／２≦ｘ≦ｂ」のときにｙ＝−（ｖ／２）｛２（ｘ−ｂ）／ｂ｝^２＋ｖといったＳ字状の非線形の変換式を用いて、輝度が高い領域の輝度を少し上げ、輝度が低い領域の輝度を少し下げて、階調表現のトーンカーブ（色調曲線）やコントラストを改善する補正処理の例を示している。

このように、線形または非線形の変換式を用いることで、画像の輝度や濃度のヒストグラム分布を伸張や収縮、移動、変換することができる。

水中撮影では、水深が深くなるに連れ、Ｒ（赤）成分が水に吸収されて弱まる。この場合、多くのデジタルカメラでは、Ｇ（緑）成分周辺の波長域を重点に露出設定や感度設定が行われるので、結果的にＢ（青）成分も感度範囲から上にはみ出していく。これを補正するためには、一般の画像の露出補正とは異なり、前記のようなヒストグラム分布の変換をＲＧＢの各色成分別に行う必要がある。

そこで、例えば図１５に示した変換式であれば、Ｒ（赤）成分については、ｘ＝ｆ_Ｒ（ｉ，ｊ）、ｙ＝ｇ_Ｒ（ｉ，ｊ）とし、変換前画像ｆ（ｉ，ｊ）のＲ成分の実際の輝度分布の最小値ａ_Ｒ、最大値ｂ_Ｒ、変換後の画像ｇ（ｉ，ｊ）の所望の輝度分布の下限値ｕ_Ｒ、上限値ｖ_Ｒを図１５の変換式のａ、ｂ、ｕ、ｖにそれぞれ代入する。これにより、以下のような輝度変換を行う。

「ｍｉｎ≦ｆ_Ｒ（ｉ，ｊ）＜ａ_Ｒ」のときにｇ_Ｒ（ｉ，ｊ）＝ｕ_Ｒ、
「ａ_Ｒ≦ｆ_Ｒ（ｉ，ｊ）≦ｂ_Ｒ」のときにｇ_Ｒ（ｉ，ｊ）＝｛（ｖ_Ｒ−ｕ_Ｒ）／（ｂ_Ｒ−ａ_Ｒ）｝
｛ｆ_Ｒ（ｉ，ｊ）−ａ_Ｒ｝＋ｕ_Ｒ、「ｂ_Ｒ＜ｆ_Ｒ（ｉ，ｊ）≦ｍａｘ」のときにｇ_Ｒ（ｉ，ｊ）＝ｖ_Ｒ
Ｇ（緑）成分、Ｂ（青）成分についても同様の変換を行えば良い。ただし、Ｇ（緑）成分は補正変換せずに元画像のまま、つまり、ｇ_Ｇ（ｉ，ｊ）＝ｆ_Ｇ（ｉ，ｊ）としても良い。

以上のような変換処理を（ｍ×ｎ）画素の画像ｆ（ｉ，ｊ）（ｉ＝０〜ｍ−１，ｊ＝０〜ｎ−１）の全画素に渡って行えば、所望の輝度分布に変換した画像ｇ（ｉ，ｊ）（ｉ＝０〜ｍ−１，ｊ＝０〜ｎ−１）を得ることができる。

図１７にこのときの変換処理の一例を示す。なお、この変換処理は制御回路５１が所定のプログラムを読み込むことで実行される。

すなわち、制御回路５１は、撮影済みの画像ｆ（ｉ，ｊ）を入力すると（ステップＣ１１）、その画像ｆ（ｉ，ｊ）の画素数情報から横画素数ｍと縦横画素数ｎを得る（ステップＣ１２）。そして、制御回路５１は、ＲＧＢの各成分別に画像ｆ（ｉ，ｊ）の各階調（ｋ）毎の画素頻度を計数することで、それぞれの輝度分布を表したヒストグラムを集計する（ステップＣ１３）。

ここで、各成分別の輝度変換に際し、制御回路５１は、当該画像ｆ（ｉ，ｊ）におけるＲＧＢ成分別の輝度分布の最小値（ａ_Ｒ、ａ_Ｇ、ａ_Ｂ）と最大値（ｂ_Ｒ、ｂ_Ｇ、ｂ_Ｂ）を取り込むと共に（ステップＣ１４）、変換後の輝度分布の最小値（ｕ_Ｒ、ｕ_Ｇ、ｕ_Ｂ）と最大値（ｖ_Ｒ、ｖ_Ｇ、ｖ_Ｂ）を設定する（ステップＣ１５）。

そして、制御回路５１は、所定の変換式に従って、ｉとｊの値を更新しながら、変換後の画像ｇ（ｉ，ｊ）の輝度値を算出する処理を行う（ステップＣ１６）。この例では、ＲＢ成分のみ輝度変換し、Ｇ（緑）成分は変換しない場合を示している。また、変換式として、「ｆ（ｉ，ｊ）＜ａ」のときにｇ（ｉ，ｊ）＝ｕ、「ａ≦ｆ（ｉ，ｊ）≦ｂ」のときにｇ（ｉ，ｊ）＝｛（ｖ−ｕ）／（ｂ−ａ）｝｛ｆ（ｉ，ｊ）−ａ｝＋ｕ、「ｂ＜ｆ（ｉ，ｊ）」のときにｇ（ｉ，ｊ）＝ｖとした場合である。

このようにして、ＲＧＢ成分別に輝度値を変換して画像ｇ（ｉ，ｊ）が得られると、制御回路５１はこれを記録対象画像として出力する（ステップＣ１７）。

なお、ＲＧＢ成分別に輝度分布を変換する場合に、変換後の輝度分布の下限値ｕ、上限値ｖを適宜設定することで、以下のような変換を行うことができる。

（１）まず、基本的な変換方法として（図１２のステップＢ２３に示した変換方法）、撮影画像のＲ（赤）成分やＢ（青）成分の各輝度分布を感度範囲（ダイナミックレンジ）一杯の領域にできるだけ広がるように変換する（ｕ_Ｒ＝ｕ_Ｂ＝ｍｉｎ値、ｖ_Ｒ＝ｖ_Ｂ＝ｍａｘ値とする）。この場合、Ｒ（赤）成分については輝度分布内の所定輝度以上の部分（例えば最高値から１％部分）を明度側に広げ、Ｂ（赤）成分については所定輝度以下の部分（例えば最小値から１％部分）を暗度側に広げるようにしても良い。

（２）また、例えばＢ（青）成分が露出オーバ気味であり、輝度は高いが、Ｒ（赤）成分が水に吸収されて減衰し、露出アンダーになってしまった撮影画像であれば、残っているＲ（赤）成分の輝度分布を右側つまり明部側に平行シフトして強める（ｕ_Ｒ＝ａ_Ｒ＋ｃ、ｖ_Ｒ＝ｂ_Ｒ＋ｃ）。逆に、白飛びしてはみ出しそうなＢ（青）成分の輝度分布を左側つまり暗部側に平行シフトして弱める（ｕ_Ｂ＝ａ_Ｂ−ｄ、ｖ_Ｂ＝ｂ_Ｂ−ｄ）といった変換処理を行う。

（３）また、撮影画像のＲ（赤）成分やＢ（青）成分の分布幅がＧ（緑）成分の輝度分布のそれと略同じになるように変換する（ｕ_Ｒ＝ａ_Ｒ、ｖ_Ｒ＝ｕ_Ｒ＋（ｂ_Ｇ−ａ_Ｇ）；ｖ_Ｂ＝ｂ_Ｂ、ｕ_Ｂ＝ｖ_Ｂ−（ｂ_Ｇ−ａ_Ｇ））。

（４）また、撮影画像のＲ（赤）成分やＢ（青）成分の分布が、Ｇ（緑）成分の輝度分布の中央値Ｍｅｄｉａｎ（もしくは、最頻値、平均値など）を中心に広がって分布するように変換する（ｕ_Ｒ＝ｕ_Ｂ＝Ｍｅｄｉａｎ（ｆ_Ｇ（ｉ，ｊ））−（ｂ_Ｇ−ａ_Ｇ）／２、ｖ_Ｒ＝ｖ_Ｂ＝Ｍｅｄｉａｎ（ｆ_Ｇ（ｉ，ｊ））＋（ｂ_Ｇ−ａ_Ｇ）／２）。

（５）あるいは、撮影画像のＲ（赤）成分やＢ（青）成分の分布の中央値（もしくは、最頻値、平均値など）などの統計値が、Ｇ（緑）成分の輝度分布のそれと略同じになるように変換しても良い。

いずれの方法も、Ｒ（赤）成分は右側方向（輝度が明るい方）に分布幅や分布域を広げ、逆に、Ｂ（青）成分は左側方向（輝度が暗い方）に分布幅や分布域が広がるように補正されることになる。

なお、変換処理や変換後の分布幅や分布域（下限値ｕ，および上限値ｖ）等の設定はＲＧＢの各色成分毎に別々に行うが、変換式は同じものを用いることができる。また、ＲＧＢの各色成分毎に変換式を切り替えたり、水中撮影画像専用の変換式を用いたりしても良い。さらに、水深の情報も加味して、そのときの変更量（分布を広げる範囲や並行シフトの量）を決定するようにしても良い。

このように、撮影画像のＲＧＢの各成分毎に輝度変換を行うことで、輝度分布の偏りを調整することができる。したがって、前記第１の実施形態同様に、撮影者が特に意識しなくとも、水中での色変化を補正した良好な撮影画像を簡単に得ることができる。

なお、前記各実施形態では、カメラに搭載された水深センサを用いて現在の水深データを取得する構成としたが、このようなセンサ類を設けずに、例えばユーザのスイッチ操作によって、現在の水深データ（○○ｍ、○○ｆｔなど）の値を入力もしくは選択する水深入力手段を設けて、その入力された水深データの値に応じて、撮影画像の各色成分別のヒストグラムを補正や変換処理するように構成しても良い。

また、前記各実施形態では、防水ハウジングを用いて水中撮影を行うデジタルカメラを想定して説明したが、本発明はこれに限られるものではなく、水中専用のデジタルカメラでも同様に適用可能である。また、デジタルカメラに限らず、水中での撮影が可能な撮像機能を備えた電子機器であれば、そのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の第１の実施形態に係る撮像装置に用いられる防水ハウジングの前面の構成を示す図である。 図２は同実施形態における防水ハウジングの背面の構成を示す図である。 図３は同実施形態における撮像装置としてデジタルカメラを例にした場合の前面の構成を示す図である。 図４は同実施形態におけるデジタルカメラの背面の構成を示す図である。 図５は同実施形態におけるデジタルカメラの回路構成を示すブロック図である。 図６は水中での光の減衰とＲＧＢの各色成分のヒストグラムとの関係を示す図である。 図７は水中画像のＲＧＢの各色成分のヒストグラムの一例を示す図である。 図８は同実施形態におけるデジタルカメラの水中撮影モード時の撮影処理を示すフローチャートである。 図９は水中画像の露出補正の方法を説明するための図である。 図１０は水深に応じて感度補正を行う場合に用いるＲＧＢ毎の利得制御装置の構成を示す図である。 図１１は水深に応じて感度補正を行う場合に用いるＲＧＢ毎の利得制御装置の別の構成を示す図である。 図１２は本発明の第２の実施形態におけるデジタルカメラの水中撮影モード時の撮影処理を示すフローチャートである。 図１３は水中画像の輝度変換の方法を説明するための図である。 図１４は画像処理の一般モデルを示す図である。 図１５は輝度ヒストグラムの変換処理を説明するための図であり、線形の変換式を用いた場合の説明図である。 図１６は輝度ヒストグラムの変換処理を説明するための図であり、非線形の変換式を用いた場合の説明図である。 図１７は輝度ヒストグラムの変換処理の一例を示すフローチャートである。

符号の説明

１１…防水ハウジング、１２…防水ケース、１３…ヒンジ部、１４…ストッパ、１５…バックル、１６…ストラップ、１７…レンズ窓、１８…センサユニット、１９…電源用アウターボタン、２０…シャッタ用アウターボタン、２１…各種アウターボタン、２２…表示部保護材、２３〜２５…防水パッキン、２６…接続コネクタ、３１…デジタルカメラ、３２…カメラ本体、３３…撮影レンズ、３４…光学ファインダ窓、３５…ストロボ、３６…電源キー、３７…シャッタキー、３８…撮影モードキー、３９…再生モードキー、４０…光学ファインダ、４１…ストロボキー、４２…ズームキー、４３…メニューキー、４４…カーソルキー、４５…セットキー、４６…ＤＩＳＰキー、４７…表示部、５１…制御回路、５２…各種操作キー、５３…入力回路、５４…表示メモリ、５５…表示制御部、５６…画像信号処理部、５７…データメモリ、５８…外部メモリ、５９…外部メモリインタフェース、６０…電池、６１…電源制御部、６２…外部入出力インタフェース、６３…撮像部、６４…絞り機構、６５…ハーフミラー、６６…シャッタ機構、６７…撮像素子、６８…レンズ駆動部、６９…シャッタ／絞り駆動部、７０…測光センサ、７１…信号処理回路、７２…タイミング制御＆ドライバ、７３…ストロボ駆動回路。

Claims (6)

1. 水中でカラー撮影可能な撮像装置において、
   被写体を撮像する撮像手段と、
   この撮像手段によって得られる被写体の画像データの輝度分布を表したヒストグラムを各色成分毎に算出するヒストグラム算出手段と、
   このヒストグラム算出手段によって画像データの各色成分毎に得られたヒストグラムがそれぞれに所定の感度範囲に入るように、前記撮像手段の露出または感度を補正する補正手段と、
   この補正手段によって補正された前記露出または前記感度に基づいて前記撮像手段から得られる画像データを撮影画像として取り込む撮影処理手段と、
   この撮影処理手段によって得られた撮影画像を記録する記録手段と
   を具備したことを特徴とする撮像装置。
2. 水深値を取得する水深値取得手段を更に備え、
   前記補正手段は、前記水深値取得手段によって得られた水深値に応じて、前記ヒストグラム算出手段によって画像データの各色成分毎に得られたヒストグラムがそれぞれに所定の感度範囲に入るように、前記露出または前記感度を補正することを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記水深値取得手段によって得られた水深値が第１の所定値よりも大きい場合に、各色成分のヒストグラムの山の多くの部分が所定の感度範囲に入るように、前記露出または前記感度を補正することを特徴とする請求項２記載の撮像装置。
4. 前記補正手段は、前記水深値取得手段によって得られた水深値が第１の所定値よりも大きい第２の所定値以上の場合に、水中の光の減衰の影響を大きく受ける特定の色成分を除く各色成分のヒストグラムが共に所定の感度範囲に入るように、前記露出または前記感度を補正することを特徴とする請求項３記載の撮像装置。
5. 水中でカラー撮影可能な撮像装置に用いられる画像処理方法であって、
   撮像素子を通じて被写体の画像データを取得するステップと、
   前記被写体の画像データの輝度分布を表したヒストグラムを色成分毎に算出するステップと、
   前記各色成分のヒストグラムがそれぞれに所定の感度範囲に入るように前記撮像素子の露出または感度を補正するステップと、
   前記補正後の前記露出または前記感度に基づいて前記撮像素子から得られる画像データを撮影画像として取り込むステップと、
   前記撮影画像を所定のメモリに記録するステップと
   を含むことを特徴とする画像処理方法。
6. 水中でカラー撮影可能な撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   撮像素子を通じて被写体の画像データを取得する機能と、
   前記被写体の画像データの輝度分布を表したヒストグラムを色成分毎に算出する機能と、
   前記各色成分のヒストグラムがそれぞれに所定の感度範囲に入るように前記撮像素子の露出または感度を補正する機能と、
   前記補正後の前記露出または前記感度に基づいて前記撮像素子から得られる画像データを撮影画像として取り込む機能と、
   前記撮影画像を所定のメモリに記録する機能と
   を実現させることを特徴とするプログラム。

Images