JP4725461B2 - 画像信号処理装置、撮像装置、画像信号処理方法 - Google Patents
画像信号処理装置、撮像装置、画像信号処理方法 Download PDFInfo
- Publication number
- JP4725461B2 JP4725461B2 JP2006232050A JP2006232050A JP4725461B2 JP 4725461 B2 JP4725461 B2 JP 4725461B2 JP 2006232050 A JP2006232050 A JP 2006232050A JP 2006232050 A JP2006232050 A JP 2006232050A JP 4725461 B2 JP4725461 B2 JP 4725461B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- shooting
- normal
- composite
- photographed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
そこで、銀塩カメラやデジタルスチルカメラなどの撮像装置では、以前から、露出設定について自動化する機能を備えることが行われている。このような機能は、自動露出(AE:Automatic Exposure)などともいわれている。この自動露出制御としては、撮像装置により周囲の光量(明るさ)を検知し、この検知した光量に応じて、適正とされる1つの露出量(シャッタースピード、絞り値の組み合わせ)を設定するという手法が一般的である。
つまり、特許文献1に記載されているように、長時間露光として扱われる通常撮影画像と、これよりも短時間の露光により撮像した撮影画像によりそれぞれ異なる露光量により撮影(SL撮影)した複数の画像データを得るようにしたうえで、これら複数の画像データを合成して、広ダイナミックレンジ合成画像(SL合成画像)を得るようにするものである。このようにして得られるSL合成画像は、例えば通常の自動露出制御により撮影を行った場合と比較すると、明るさのダイナミックレンジについてより広い特性が得られることになるものであり、この結果、自動露出制御の場合よりも良好とされる露出設定により撮影されたのと同質の画像を得ることが可能になる。
つまり、設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、上記1回分の撮影動作により生成された上記通常撮影画像データ及び上記合成撮影画像データの各画像と、これらの画像データについてのヒストグラム情報を視覚化した画像とが提示される選択操作用画像が所定の表示態様により表示出力されるようにする表示制御手段と、上記選択操作用画像において表示出力される上記通常撮影画像データ及び上記合成撮影画像データの各画像のうちから、何れか一方の画像を選択するための操作が行われる操作手段と、上記操作手段に対して行われた操作に応じて、上記1回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのうちから、正規なものとして扱われるべき正規撮影画像データを選択決定する選択決定手段と、
上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、を備え、上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理であることとした。
つまり、撮像を行って得られた画像光に応じた画像信号を得る撮像手段と、設定された露出条件に従って上記撮像手段により撮像を実行させて得た上記画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、上記1回分の撮影動作により生成された上記通常撮影画像データ及び上記合成撮影画像データの各画像と、これらの画像データについてのヒストグラム情報を視覚化した画像とが提示される選択操作用画像が所定の表示態様により表示出力されるようにする表示制御手段と、上記選択操作用画像において表示出力される上記通常撮影画像データ及び上記合成撮影画像データの各画像のうちから、何れか一方の画像を選択するための操作が行われる操作手段と、上記操作手段に対して行われた操作に応じて、上記1回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのうちから、正規なものとして扱われるべき正規撮影画像データを選択決定する選択決定手段と、上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、を備え、上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理であることとした。
つまり、設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、上記一回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのヒストグラム情報を比較した結果に基づいて、これら通常撮影画像データと合成撮影画像データのうちで、より良好とされる画内容を有するとされる画像データのほうを、上記正規撮影画像データとして選択決定するようにされる選択決定手段と、上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、を備え、上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理であることとした。
つまり、撮像を行って得られた画像光に応じた画像信号を得る撮像手段と、設定された露出条件に従って上記撮像手段により撮像を実行させて得た上記画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、上記一回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのヒストグラム情報を比較した結果に基づいて、これら通常撮影画像データと合成撮影画像データのうちで、より良好とされる画内容を有するとされる画像データのほうを、上記正規撮影画像データとして選択決定するようにされる選択決定手段と、上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、を備え、上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理であることとした。
そして、このようにして得た通常撮影画像データと合成撮影画像データのうちから、正規なものとして扱うべき正規撮影画像データを選択するようにされるのであるが、この選択にあたっては、通常撮影画像データと合成撮影画像データの各ヒストグラム情報を利用するようにされる。ヒストグラムとは、一般には、数量化可能な要因、特性のデータについての、そのデータが存在する範囲における度数的な分布を示すグラフとされるが、本願発明におけるヒストグラム情報は、1つの画像データを形成するとされる画素の明るさ(輝度)についての、所定の輝度範囲における度数分布を示した情報単位をいう。ちなみに、カメラ技術やこれに関連する信号処理の分野では、このような画像データの画素の明るさについての度数分布を示したものを指してヒストグラムということがしばしばある。
そして、このようにしてヒストグラムに基づいて正規撮影画像データを選択することによっては、最小限の情報でありながら、的確な選択結果を得ることができる。適正露出とされる画像は、一般に或る決まったヒストグラムの度数分布パターンを示すからである。
この図においては、本実施の形態のデジタルスチルカメラ1についての背面の様子を平面図により示している。この図に示されるようにして、デジタルスチルカメラ1の背面においては、表示画面部7Aが表出するようにして設けられる。この表示画面部7Aは、例えばLCD(Liquid Crystal Display)などの表示デバイスの表示画面となる部位とされる。また、表示画面部7Aのサイズは、デジタルスチルカメラ1の実際のサイズにもよるが、例えば2型〜3型前後程度であるのが一般的である。撮像時においては、この表示画面部7Aに撮影画像が表示されるようになっており、撮影者であるユーザは、ビューファインダの代わりに、この表示画面部7Aに表示される画像を見ながら写真撮影を行うことができる。また、例えば所定種別の記憶媒体20に記録された撮影画像などの画像データを、画像として再生して表示出力させることもできるようになっている。さらには、例えば、デジタルスチルカメラ1に対する各種操作に対応した操作画面なども表示するようにされる。
シャッターボタン31は、撮影画像を写真画像として記録するための操作子である。シャッターボタン31が操作されることに応じて、その操作に応じたタイミングで得られていた撮影画像が、例えば所定形式の静止画像データとして、デジタルスチルカメラ1に装填、あるいは内蔵される記憶媒体に書き込まれて記憶される。
ズームキー32は、本来的には、撮影画像の画角を変更するために用いられる操作子であり、例えば、ワイド(W:Wide)側に対して操作を行えば画角が拡大した撮影画像となり、望遠(T:Tele)側に対して操作を行えば画角が狭くなって望遠の撮影画像になる。
十字キー33は、上下左右の何れかの方向を択一的に指定する操作を行うための操作子である。この十字キー33は、そのときの操作モード、動作モード等に応じて操作に応答した動作が異なる。例えば、表示画面部7Aに表示されるボタン間の移動などに用いる場合には、十字キー33に対する操作に応じて、ボタンに対する強調表示が上下左右のいずれかの方向に移動するようにされる。また、この十字キー33の中央部分は、押圧操作が可能なようになっている。この押圧操作は、例えば何らかの項目を選択しているときの決定操作などとされることがしばしばある。
また、この図では、ボタンキー34,35も示されている。これらのボタンキー34、35は、単純に押圧/解除が可能なキーとされており、そのときの操作モード、動作モード等に応じて操作に応答した動作は異なってくるものとされる。
なお、この図1において図示されていないデジタルスチルカメラ1の前面側には、例えば撮像光学系であるカメラレンズ部などが前方を撮像方向とするようにして備えられる。
この図に示すデジタルスチルカメラ1において、光学系部2は、撮像レンズ、絞りなどを備えて成り、入射された光を撮像光として、光電変換部3に結像させる。また、光学系部2においては、フォーカス(焦点)調整のためのフォーカス調整機構や、絞り値に応じて絞りを可変する絞り可変機構などを備えているものとされ、このような機構部の駆動は、カメラ機能部6から出力される駆動信号によって行われる。カメラ機能部6は、CPU10の制御に応じて、しかるべきフォーカスや絞りの調整状態等が得られるように所要の駆動信号を出力するようにされている。なお、絞りの調整は、後述するシャッター速度とともに、露出条件として設定されるパラメータの1つとされる。
また、例えば光学ズーム機能を与えることとした場合には、光学系部2においてズームレンズを移動させるズーム機構を設けると共に、上記と同様にして、CPU10の制御に応じて上記ズーム機構を移動させる駆動部を設けるようにすればよい。さらに、カメラ機能部6として、ストロボを設けたうえで、ストロボ発光機能を与えるように構成することもできる。
なお、画像信号処理部4は、処理対象のデータをメモリ4aに保持させながら、これまでに説明した各種の信号処理を実行するようにされる。
これに対応して、画像入出力部5は、例えば所定方式に従った映像(画像)信号出力端子/映像信号入力端子を備える。
なお、ここでの記憶媒体20の種別、種類としては特に限定されるべきものではないが、現状においては、フラッシュメモリなどによるリムーバブルの記憶媒体が広く利用されている。このようなリムーバブルの記憶媒体に対応するメディアコントローラ13の具体的構成としては、装填された記憶媒体に対してデータの書き込み、読み出しを直接的に実行するドライブとしての物理デバイスと、このドライブとCPU10との間の通信を実現するためのプログラムなどとされる。
このようにして画像ファイルが転送されてきた場合、画像信号処理部4は、この静止画ファイルの画像が表示部7にて再生表示されるように、画像信号処理を実行する。
音声入力については、音声入出力部9としてマイクロフォンなどを備え、外部音声の収音を行って音声信号に変換して音声を入力するようにされる。あるいは、音声信号入力端子などを備えて外部のオーディオ機器などからオーディオ信号を入力する。そして、このようにして入力した音声信号を音声処理部8に出力する。音声処理部8は、所定形式に符号化されたデジタルオーディオデータに変換するなどの音声信号処理を施す。このデジタルオーディオデータは、CPU10の制御によって、例えば静止画データに付随する所定形式のオーディオデータや、所定形式のオーディオデータファイルなどの記録データとして、例えば上記のようにして記憶媒体20に記憶させることが可能とされる。
また、上記のようにして記憶媒体20に記憶されたオーディオデータを、音声処理部8及び音声入出力部9により音声として再生出力することも可能とされる。例えば、CPU10は、記憶媒体20からオーディオデータを読み出して音声処理部8に転送する。音声処理部8は、転送されてきたオーディオデータの形式に応じた復号処理など所要の音声信号処理を施して、アナログ音声信号として音声入出力部9に出力する。音声入出力部9は、スピーカあるいはヘッドフォン端子などを備え、例えば音声処理部8から入力された音声信号を増幅してスピーカを駆動し、再生音声を出力する。あるいは、ヘッドフォン端子に供給する。また、例えば記憶媒体20から再生されたオーディオデータは、音声処理部8の音声信号処理を経た後に、音声入出力部9を介して、外部に対して所定形式のオーディオ信号、オーディオデータとして出力することも可能とされている。この場合、音声入出力部9としては、音声処理部8から出力されるオーディオ信号、オーディオデータの形式に対応するオーディオ出力端子を備えることになる。
また、不揮発性メモリ12aは、例えばフラッシュメモリなどをはじめとした、電源供給が停止しても記憶内容が消去されない性質のメモリ素子により形成され、CPU10の制御によって、データの書き込み/読み出しが実行される。この不揮発性メモリ12aに記憶されるべきデータ(情報)としては、適宜内容の変更が行われる設定情報などが一般的であるが、特に限定されるものではなく、実際のデジタルスチルカメラ1の仕様などに応じて所要の各種の情報を記憶することとされればよい。
デジタルスチルカメラ1におけるWDR撮影に対応した動作については後述するが、WDR撮影とは、次のような撮影の動作をいう。
なお、ここでいう撮影処理とは、1回分のシャッターの開閉を伴う撮像(撮像光の取り込み)と、及びこの撮影に基づいて得られた画像信号を、例えば1つの静止画像データ(素材画像データのことである)として生成するための信号処理とをいう。
先ず、WDR撮影にあたっては、先ず、CPU10の処理として、所定複数回の撮影処理ごとに応じた複数の露出条件を求めるようにされる。本実施の形態にあって、これら複数の露出条件をどのようにして求めるについては、後述する。また、確認のために述べておくと、スチルカメラにあって一般に露出条件を決定するパラメータは、絞り値(F値)とシャッター速度であり、本実施の形態としても、これに従う。
そして、上記のようにして複数の露出条件を求めたとすると、これらの露出条件を実際に設定したうえで、所定複数回の撮影動作を実行するようにされる。つまり、求められた複数の露出条件における、1つの露出条件である絞り値(F値)とシャッター速度を、カメラ機能部6に指示して光学系部2を制御して、1回のシャッター開閉を伴った撮像を実行させる。そして、画像信号処理部4により、この撮像により得られた画像信号から1つの所定形式の静止画像データを生成するための信号処理を実行し、この生成した画像データを素材画像データとして、例えばメモリ4aに保持させるようにしておく。これが1回の撮影処理となるものであり、このような撮影処理を、露出条件を変更設定しながら、所定回数だけ実行していくようにされる。
また、このようにして、複数回の撮影処理を実行するのにあたっては、これらの撮影処理によって撮影される画像内容が同じになることを配慮して、比較的短時間のうちに連続して行うようにされる。本実施の形態では、先に述べたようにして、固体撮像素子にCMOSセンサを採用していることで、高速撮影が可能とされている。つまり、1回の撮影処理における撮像光の取り込みに要する時間をこれまでよりも短縮することが可能とされており、この点で、本実施の形態のデジタルスチルカメラ1は、WDR撮影に好適な構成を有しているといえる。
なお、WDR撮影により得られる画像データは、例えば、通常AE撮影による撮影画像データと比較すると、輝度(明るさ)のダイナミックレンジが拡大される傾向となる。WDRは、このことに基づく名称である。
しかし、WDR撮影画像データの画内容は、通常AE撮影により得られる画像(通常AE撮影画像)よりも良好な露出状態のものとなることが期待されはするものの、WDR撮影画像データ生成のための信号処理機能が、実際の撮影時における周囲の照明環境が非常に多様であることに対応しきれないことなどの理由で、現実には、WDR撮影画像が、通常AE撮影画像よりも露出の改善された画内容になるとは限らないことが分かっている。特に、通常AE撮影によっても充分に良好な画内容を撮影できるような環境では、かえって、WDR撮影画像よりも通常AE撮影画像のほうが露出状態として良好となる可能性は高くなる。
上記のようなことを考慮すると、WDR撮影モードとされているときに、一律に、撮影操作に応じてWDR撮影画像のみを生成して記録させることとした場合には、本来であれば、例えば通常AE撮影を行ったほうが良質な画像を記録することができるのに、その機会を逸する可能性がでてきてしまうことになる。このようなことは、できるだけ良い画質で撮影したいと思っているはずのユーザにとって不利益となる。そこで、本実施の形態のデジタルスチルカメラ1としては、例えば上記の不都合が回避されるようにすることを目的として、WDR撮影モードに関して、以降の説明のようにして構成する。
例えばユーザが、撮影モードについての切り換え、変更を行おうとした場合には、操作入力部15としての所定の操作子、または表示部7の表示画面に対して設けられるタッチパネルに対する操作など、所定の操作を行って、表示部7の表示画面部7Aに対して、図3(a)に示す撮影モード選択画面を表示させるようにする。
この図3(a)に示される撮影モード選択画面においては、例えば「通常AE撮影モード」と表記されたモード選択ボタンBt1と、「WDR撮影モード」と表記されたモード選択ボタンBt2と、OKボタンBt3が、所定のレイアウトパターンにより表示されている。そのうえで、モード選択ボタンBt1、Bt2の何れかに対して、選択指示枠Wk1が表示されるようになっている。選択指示枠Wk1は、モード選択ボタンBt1に表記される通常AE撮影モードと、モード選択ボタンBt2に表記されるWDR撮影モードとで、現在、何れの撮影モードが選択されている状態にあるのかを示す。
ユーザは、操作入力部15に対する操作により、例えばモード選択ボタンBt1、Bt2の押圧に相当する所定操作を行うことができるようにされている。例えばモード選択ボタンBt1に対する押圧操作を行えば、図3(a)に示されているとおりに、モード選択ボタンBt1に対して選択指示枠Wk1が配置表示され、現在、通常AE撮影モードが選択されていることが示される。また、例えばこの状態から、モード選択ボタンBt2に対する操作を行えば、選択指示枠Wk1は、このモード選択ボタンBt2に移動して配置表示され、WDR撮影モードが選択中であることを示す。
ユーザは、上記のようにして、自分が設定したい撮影モードが表記されるモード選択ボタンに対して選択指示枠Wk1を配置させたうえで、その選択を確定させる場合には、OKボタンBt3の押圧に相当する操作を行うようにされる。これにより、OKボタンBt3の操作時において選択指示枠Wk1が配置されていたモード選択ボタンに対応する撮影モードが設定されることになる。つまり、モード選択ボタンBt1に選択指示枠Wk1が配置されていた状態でOKボタンBt3が操作されたのであれば、通常AE撮影モードが設定されることになる。これに対して、モード選択ボタンBt2に選択指示枠Wk1が配置されていた状態でOKボタンBt3が操作された場合には、WDR撮影モードが選択決定されることになるのであるが、WDRモードが選択決定された場合には、さらに、WDR撮影モード下におけるサブモードである、保存画像確定モードを選択するようにされる。このために、表示画面部7Aには、図3(b)に示される保存画像確定モード選択画面が表示されることになる。
保存画像確定モードとは、上記のようにしてWDR撮影により得られたWDR撮影画像データと通常AE撮影画像データのうちから記憶媒体20に正式に保存すべき画像データを選択(確定)することに関して用意されたモードであり、図3(b)の保存画像確定モード選択画面は、この保存画像確定モードをユーザが選択決定するための操作画面とされる。
これに応じて、図3(b)の保存画像確定モード選択画面にあっては、保存画像を確定する機会を選択するためのボタンとして、「撮影時」と表記されるモード選択ボタンBt11と、「再生時」と表記されるモード選択ボタンBt12が表示されている。また、この図においてモード選択ボタンBt11に配置表示される選択指示枠Wk11は、モード選択ボタンBt11とモード選択ボタンBt12の間で移動することで、保存画像を確定する機会として、撮影時と再生時の何れが選択中にあるのかを示す。また、手動と自動との何れかを選択するためのボタンとして、「手動」と表記されるモード選択ボタンBt21と、「再生時」と表記されるモード選択ボタンBt22が表示されている。ここでモード選択ボタンBt22に配置表示されている選択指示枠Wk21は、モード選択ボタンBt21とモード選択ボタンBt22の間で移動することで、手動と自動の何れが選択中にあるのかを示す。
OKボタンBt3は、保存画像確定モード選択画面の選択内容を確定させるときに操作されるべき表示ボタンである。
また、ユーザは、保存画像確定の決定の仕方として、手動と自動の何れにより実行されるべきなのかを選択するために、モード選択ボタンBt21、Bt22の何れかに対する押圧相当の操作を行うようにされ、この操作に応じて選択指示枠Wk21は、操作が行われたモード選択ボタンに配置表示され、これにより、「手動」と「自動」の何れが選択されているのかを示す。
そして、上記のようにして、「撮影時」/「再生時」と、「手動」/「自動」とでそれぞれ、ユーザが希望するものが選択されていることを確認したうえで、ユーザは、OKボタンBt3に対する押圧相当の操作を行うようにされる。これにより、保存画像確定モードとして、上記した4つのモードのうちから、何れか1つが確定されることになる。
WDR撮影モードとされている状態にあって、例えば、特に操作が行われていない状態では、通常の撮影モード時と同様にして、本実施の形態のデジタルスチルカメラ1の表示部7の表示画面部7Aには、モニタ画像として、光学系部2により撮像しているとされる画像を表示させているものとされる。
そして、ユーザが、写真の撮影記録のためにシャッターボタン31に対する操作を行ったとする。あるいはセルフタイマーを動作させてタイマー時間が経過したとする。すると、デジタルスチルカメラ1では、例えば先ず、通常のAE制御による撮影動作を実行し、これに続けてWDR撮影の動作を実行させる。確認のために述べておくと、ここでのWDR撮影とは、先に説明したように、異なる露出条件設定により複数回の撮影処理を実行し、この複数回の撮影処理により得られた素材画像データを利用して再合成を行ってWDR撮影画像データを生成する動作をいうものである。
このようにして、本実施の形態のWDR撮影モードにあっては、1回の写真撮影指示に応答した撮影動作として、WDR撮影を行ってWDR撮影画像データを生成するのみではなく、通常AE撮影も実行して通常AE撮影画像データを生成するようにされる。つまり、本実施の形態のWDR撮影モードでは、共通の被写体内容を撮影した、WDR撮影画像データと通常AE撮影画像データとの2つの撮影画像データを得るようにされる。
なお、ここでは、保存画像確定モードとして「撮影時/手動モード」が設定されている場合の説明を行っているが、上記のようにして、1回の写真撮影指示に応答して共通の被写体内容のWDR撮影画像データ及び通常AE撮影画像データを得るという動作は、保存画像確定モードにおける他のサブモード(「撮影時/自動モード」「再生時/手動モード」、「撮影時/自動モード」)でも同様である。
また、上述のようにしてWDR撮影画像データと通常AE撮影画像データとで共通の被写体内容が撮影されるようにするためには、通常AE撮影と、これに続くWDR撮影の動作は、例えば、光学系部2にて撮像しているとされる被写体内容として同じものが容易に得られるとされる程度の短時間(例えば1秒程度以内)のうちに実行する必要がある。この点については、先に説明したように、本実施の形態のデジタルスチルカメラ1が光学系部2における撮像素子としてCMOSセンサを備えており、これにより撮影速度の高速化を図ることとしているために、容易に実現可能とされる。なお、かかる撮影速度の高速化技術については、これまでに開発、提案されて周知となっているものを採用すればよく、さらに、将来的には、以降において提案される技術を採用すればよい。
図4(a)に示される保存画像選択画面は、今回の撮影により得られた、共通の被写体についてのWDR撮影画像データと通常AE撮影画像データのうちから、記憶部20に写真画像のファイルとして正式(正規)に記憶保存すべき撮影画像データ(正規撮影画像データ)をユーザに選択させるための操作画面とされる。
この保存画像選択画面においては、例えば、画面左側において、通常AE撮影画像データを画像として表示させた通常AE撮影画像表示領域Pic1を配置することとしている。また、その右側に、WDR撮影画像データを画像として表示させたWDR撮影画像表示領域Pic2を配置させている。また、これら通常AE撮影画像表示領域Pic1、WDR撮影画像表示領域Pic2のそれぞれにおける所定位置には、その画像についての、輝度範囲に対する画素数分布を示すヒストグラムを表示させた、ヒストグラム表示領域ARh1、ARh2を重畳表示させるようにしている。
また、上記通常AE撮影画像表示領域Pic1の上側には、ユーザが通常AE撮影画像を正規撮影画像データとして選択するための操作に用いる画像選択ボタンBt31を配置表示している。また、同様にして、上記WDR撮影画像表示領域Pic2の上側には、ユーザがWDR撮影画像を正規撮影画像データとして選択するための操作に用いる画像選択ボタンBt32を配置表示している。
また、画面右下側には、撮影画像の選択を確定させるためのOKボタンBt33を配置表示させている。
ユーザは、上記のようにして通常AE撮影画像表示領域Pic1とWDR撮影画像表示領域Pic2に表示されている画像を見ることで、どちらが良好に撮影されているものであるのかを一目で認識することができる。
そのうえで、通常AE撮影画像表示領域Pic1とWDR撮影画像表示領域Pic2のそれぞれにおいて表示されるヒストグラム表示領域ARh1、ARh2を見て参考にすることで、どちらが良好に撮影されているのかについての判断を、より的確に行えることになる。よく知られていることであるが、ヒストグラムは、露出についての適正性を図る指標として最も主要なものの一つとされる。
このようにして、ユーザは、保存画像選択画面を見て、通常AE撮影画像とWDR撮影画像のうちで、何れの撮影画像が良好に撮影されているのかを判定するようにされる。そして、ユーザは、良好に撮影されていると判定したほうの撮影画像の表示領域に対応して配置されている画像選択ボタンの押圧に相当する操作を行うようにされる。この図の場合においては、ユーザは、WDR撮影画像のほうが良好であると判断して、これに対応する画像選択ボタンBt32に対する押圧操作を行ったものとされている。この操作に応じて、保存画像選択画面においては、図4(b)に示すようにして、WDR撮影画像に対応する画像選択ボタンBt32が強調表示され、現在において正規撮影画像データの候補としてWDR撮影画像のほうが選択されていることを示すようにされる。
そして、上記の状態の下で、ユーザがOKボタンBt33の押圧に相当する操作を行ったとされると、WDR撮影画像データが、正規画像データとして決定されることになる。つまり、通常AE撮影画像データとWDR撮影画像データとで、OKボタンBt33を操作したときに強調表示されていた画像選択ボタンに対応するほうの撮影画像データが正規撮影画像データとして扱われることになる。つまり、今回の撮影に応じて、記憶媒体20に対して写真画像ファイルとして記憶されるべき画像データとなる。
そこで、デジタルスチルカメラ1においては、正規撮影画像データとされたWDR撮影画像データを、記憶媒体20に対して写真画像ファイルとして記憶させる。また、正規撮影画像データとして選択されなかった通常AE撮影画像データについては、破棄するようにされる。
例えば特許文献1などでは、本実施の形態のWDR撮影についての可否判断のために、多様な撮像制御のパラメータを提示することが記載されているが、このようにして多数のパラメータを提示したのでは、むしろユーザが迷ったり、混乱したりする可能性が高くなり、かえって不便になる場合もあると考えられる。
これに対して、本実施の形態では、上記もしているように、撮影画像と、ヒストグラムを見比べるだけでよい。撮像画像は、実際の撮影結果を視覚的に提示するものであり、ヒストグラムは、露出の良否を的確に示す指標である。つまり、本実施の形態では、撮像画像内容とヒストグラムという、必要最小限とみて良い判定材料により、正規撮影画像データを選択するための判定が的確に行えるようにされているものであり、ユーザにとっては、それだけ使いやすいものとなる。
また、判定材料がヒストグラム情報のみとされることで、正規撮影画像データの確定に関して必要となるハードウェア及びソフトウェア構成についても簡易に構成することができ、設計面などについても有利となる。
そこで、このような画像保存画面としての他の表示態様例を図5に示しておく。なお、図5において、図4(a)(b)と同一部分については同一符号を付して説明を省略する。
図5に示す画像保存画面では、通常AE撮影画像表示領域Pic1とWDR撮影画像表示領域Pic2の領域内にヒストグラム表示領域ARh1、ARh2を図4のようにして表示させるのではなく、通常AE撮影画像表示領域Pic1及びWDR撮影画像表示領域Pic2とは独立した領域により、1つのヒストグラム表示領域ARhを配置表示させることとしている。このヒストグラム表示領域ARhには、通常AE撮影画像表示領域Pic1に表示される通常AE撮影画像のヒストグラムと、WDR撮影画像表示領域Pic2に表示されるWDR撮影画像のヒストグラムとが、重ね合わされるようにして表示されているものである。なお、これら2つのヒストグラムと、通常AE撮影画像及びWDR撮影画像との対応の区別をユーザが行えるようにするには、例えばヒストグラムについて色分けを行ったり、あるいは、ヒストグラム表示領域ARh内において、撮影画像を明示する文字、デザイン絵柄などを挿入してヒストグラムを指し示したりするなどすればよい。
このようなことを考慮して、本実施の形態としては、画像確定モードにおける確定の機会については、「撮影時」に対するものとして「再生時」を設けることとしているものである。
先ず、画像確定モードが「再生時/手動モード」とされているときには、例えばシャッターボタン操作などに応答した1回のWDR撮影ごとに生成される通常AE撮影画像データ及びWDR撮影画像データを、正規撮影画像データ確定前の撮影画像データであり、正規撮影画像データとは異なる種類のデータであるとして管理して、記憶媒体20あるいは不揮発性メモリ12aなどのデジタルスチルカメラ1において設けられる不揮発性の記憶領域に書き込んで保持しておくようにされる。つまり、この場合には、撮り貯めを行っていくようにして、WDR撮影が行われるごとに生成される通常AE撮影画像データ及びWDR撮影画像データの組を記憶していくようにされる。なお、ここでは、次に説明する再生モード時の動作とすることに応じて、これらの通常AE撮影画像データ及びWDR撮影画像データの組を、記憶媒体20に記憶させることとする。
そして、一旦、WDR撮影モードを解除して、再生モードに移行させたとする。再生モードにあっては、先ず、基本動作として、ユーザの操作に応じて、記憶媒体20に写真画像ファイルとして記憶されている画像データを選択できるようになっており、選択された画像データを、表示部7により再生表示させることができる。そのうえで、本実施の形態のデジタルスチルカメラ1では、この正規の写真画像ファイルとして確定される前の、WDR撮影により生成された通常AE撮影画像データ及びWDR撮影画像データの組(未確定画像ファイル)についても、記憶媒体20に記憶されているデータのリストから選択可能とされている。そして、この未確定画像ファイルを選択した場合には、通常の画像データファイルの再生表示画像に代えて、図4又は図5に示した保存画像選択画面が表示される。
この保存画像選択画面には、上記のようにして選択した未確定画像ファイルとしての通常AE撮影画像データ及びWDR撮影画像データの画像が、通常AE撮影画像表示領域Pic1とWDR撮影画像表示領域Pic2に表示される。そしてユーザは、先の説明と同様にして、これらの画像を対象として選択の判断を行いOKボタンBt33を操作するようにされる。これにより、これまで未確定画像ファイルとして扱われていた通常AE撮影画像データ及びWDR撮影画像データのうちで、選択指定されたほうの撮影画像データが正規撮影画像データとなり、改めて、正規の写真画像ファイルとして管理されるようにして、記憶媒体20に記憶される。また、選択されなかったほうの撮影画像データは、記憶媒体20から消去される。つまり、これまでの未確定画像ファイルは記憶媒体20から削除される代わりに、新たに正規撮影画像データとして選択指定された撮影画像データを、写真画像ファイルとして記憶させることになる。
これらのモードは、何れも、正規撮影画像データを選択するための、通常AE撮影画像とWDR撮影画像の品質の判定と、この判定結果に応じた選択決定とを自動実行するモードとされる。そして、上記のような正規撮影画像データ選択の自動実行を、「撮影時/自動モード」では、1回のWDR撮影が実行されるごとに、そのWDR撮影により得られた通常AE撮影画像データとWDR撮影画像データを対象として行うようにされる。これに対して、「再生時/自動モード」では、WDR撮影が実行されるごとに、そのWDR撮影により得られた通常AE撮影画像データとWDR撮影画像データの組を未確定画像ファイルとして記憶保持しておくようにされる。この動作は、「再生時/手動モード」と同様である。そして、例えば再生モードにおいて、再生表示すべき画像として、未確定画像ファイルを選択したとすると、この選択された未確定画像ファイルを対象として、正規撮影画像データの選択処理を、自動的に実行するようにされる。
なお、この正規撮影画像データの選択処理を自動実行するのにあたっては、どちらが良好な画内容であるのかを判定するために、それぞれの画像のヒストグラムの情報を用いるようにされる。そして、正規撮影画像データとして選択されたほうの撮影画像データを、写真画像ファイルとして記憶異媒体20に記憶させ、選択されなかったほうの撮影画像データは消去するようにされる。
また、「撮影時/自動モード」と「再生時/自動モード」との比較では、まず、「撮影時/自動モード」とすれば1回のWDR撮影ごとに正規撮影画像データの選択処理が自動実行されるので、「撮影時/手動モード」の場合と同様にして、記憶領域の容量を圧迫しないという利点が得られる。一方、「再生時/自動モード」とすれば、1回の撮影ごとに正規撮影画像データの選択処理が実行されることがなくなるが、この点が利点となる。つまり、1回の撮影ごとに正規撮影画像データの選択処理が実行される場合、この選択処理が実行されている期間は、デジタルスチルカメラ1が他の動作を実行できない、あるいは選択処理がバックグラウンド処理とされて、他の処理が併行して実行できるとしても、その処理が重くなるなどの結果を生む可能性がある。「再生時/自動モード」では、このようなことは生じない。
なお、これらのフローチャートにより示される処理手順は、例えば、CPU10が、ROM11あるいは不揮発性メモリ12aに記憶されているプログラムを実行して実現されるものであると捉えることができる。このようなプログラムは、上記のようにして、例えばROM11あるいは不揮発性メモリ12aに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストールさせるようにしてデジタルスチルカメラ1におけるしかるべき記憶装置(不揮発性メモリ12aなど)に記憶させることが考えられる。また、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得して所定の記憶装置にインストールさせることも考えられる。
先ず、ステップS101においては、写真撮影のための1回のシャッターボタン操作、あるいはセルフタイマー撮影におけるタイマー時間の満了などに応じて、写真撮影指示が発生されるのを待機している。そして、この写真撮影指示が発生されたとすると、ステップS102以降の手順に進む。
図7に示される手順として、先ず、ステップS201では、先のステップS102により実行した通常AE撮影を実行したときに設定され、例えばレジスタに格納していたとされる露出条件のパラメータ(絞り値及びシャッター速度の値)を読み込んで取得する。
そして、次のステップS202においては、上記ステップS201により取得した通常AE撮影のための露出条件のパラメータを基として、今回のWDR撮影において設定すべき露出条件のパラメータセット1〜nを決定するようにされる。1つのパラメータセットは、WDR撮影としての複数回の撮影処理における1回の撮影処理に用いられる露出条件のパラメータである絞り値及びシャッター速度の指定値の組を指す。そして、パラメータセット1〜nのそれぞれは、WDR撮影における1回目の撮影処理から最後のn回目の撮影処理ごとに対応したパラメータセットとなるものである。ステップS202では、これらのパラメータセット1〜nのそれぞれにおける絞り値とシャッター速度の値について、通常AE撮影のための露出条件のパラメータを基に、例えば所定の演算などを実行して求めるようにされる。
例えば、WDR撮影のための露出条件のパラメータセットを設定する他の手法として、最も簡易なものとしては、通常AE撮影時において設定した露出条件のパラメータに関わらず、露出条件のパラメータセット1〜nについて、それぞれ予め定めておいた固定値を利用することが考えられる。しかし、この場合においては、撮像を行っている周囲状況によっては、露出条件のパラメータセット1〜nの設定値が不適切なものとなってしまい、非常に品位の低いWDR撮影画像データの画内容となる可能性が高くなる。これに対して、上記ステップS202による手順とすれば、周囲状況に適合して、可能なかぎりにおいて良好な露出状態によるWDR撮影画像データの画内容を得ることが期待されるものである。
先ず、ステップS203においては、以降において繰り返し実行されることになる撮影処理の実行回(パラメータセットの番号1〜nにも対応する)を示す変数nについて、初期値として1を代入し、ステップS204以降の手順に進む。
そして、このようにして規定回数分のステップS204、S205の手順を繰り返して、ステップS206にて肯定の判別結果が得られると、ステップS208に進む。
この制御に応じた画像信号処理部4の動作としては、第1〜第n素材画像データにおける共通の画像部分ごとに比較して、できるだけ良好とされる露出により撮影されているとされる画像部分を、その素材画像データから抜き出すようにされる。この結果、第1〜第n素材画像データから、1枚分の静止画像データを形成する画像分として、最良とされる品位の画像部分が選んで抜き出されることになる。そしてステップS208では、これらの抜き出された画像部分を合成して1つの画像データを生成するようにされる。このようにして生成された画像データが、WDR撮影画像データとなるものである。なおステップS208としてのWDR撮影画像データ生成のための詳細なアルゴリズムについては、これまでに開発、提案されている技術、あるいは将来的に開発、提案される技術のうちから適切とされるものを採用することとすればよい。
先ず、WDR撮影モードにおける1回分の写真撮影動作に応じて通常AE撮影画像データとWDR撮影画像データを得るのにあたっては、通常AE撮影画像データを生成する撮影処理と、WDR撮影画像を生成する撮影処理とで、それぞれを個別に実行するようにしている。このことは、図6におけるステップS102、ステップS103として説明したとおりである。このようにしたことで、WDR撮影時においては、通常AE撮影時において設定された露出条件に制限を受けることなく、露出条件のパラメータセットを設定できることになる。そして、本実施の形態では、WDR撮影時の露出条件のパラメータセットを設定するのにあたり、通常AE撮影時に設定された露出条件を基として求めることで、そのときの周囲光の状況に対応してできるだけ最適化されたパラメータ値が得られるようにしているものである。
特許文献1では、例えば図3と、これに対応する明細書の記載内容などにあるように、本実施の形態のWDR撮影モードに対応する自動SL撮影モードでは、短時間露光画像データと長時間露光画像データの2つのデータを得ることとして、これを合成することで本実施の形態のWDR撮影画像データに相当するSL合成画像を得ることとしている。そのうえで、図18に対応する明細書の記載により明らかなように、自動SL撮影モードにあって、本実施の形態の通常AE撮影画像データに相当する画像データは、SL合成画像の素材である長時間露光画像データとしている。
すると、長時間露光画像データについては、通常のAE(自動露出)情報に基づいて撮影を行うことになり、従って、SL合成画像としては、周囲光の環境にかかわらず、通常のAEにより撮影された長時間露光画像と、これよりも短時間の露光、つまり、より少ない露光量によって撮影された短時間露光画像とにより生成されることになる。このようにして特許文献1では、通常のAEによる撮影画像を、SL画像の素材画像データとして共用することとしており、かつ、その画像データは、長時間露光画像データとして固定的に決めている。このために、通常のAEによる撮影画像よりも改善される画質が得られる可能性が低くなると考えられる。例えば周囲光が暗いような状況では、短時間露光画像がより暗いものとなってしまって、その結果生成されるSL画像としても、適正露出に近づくようにして改善される結果を望むことは難しくなる。
これに対して、本実施の形態であれば、通常AE撮影時に設定した露光条件に基づいて、周囲光が明るすぎるときには、少なめの傾向の露光量となることを考慮してパラメータセットを設定でき、逆に、周囲光が暗すぎるときには、多めの傾向の露光量となるように考慮してパラメータセットを設定できる。つまり、周囲光に適合して、より最適とされる露光条件を設定してWDR撮影画像データを生成できる。これにより、本実施の形態により得られるWDR撮影画像データとしては、露出状態が改善されている可能性がより高くなることが期待されるものであり、実用性、信頼性もそれだけ高まるものである。
上記図7に示したステップS104としてのWDR撮影の手順により生成されたWDR撮影画像データは、ステップS105によりメモリ4aに保持しておくようにされる。
ステップS106において、保存画像確定モードが、「再生時/手動モード」又は「再生時/自動モード」の何れかであると判別された場合には、ステップS107の手順を実行したうえで、一旦、この図に示すルーチンを抜けることとしたうえで、再度、ステップS101により写真撮影指示が発生するのを待機する。
ステップS107においては、ステップS103とステップS105によりメモリ4aに保持されている通常AE撮影画像データとWDR撮影画像データとの組を、先に説明した未確定画像ファイルとして扱って、記憶媒体20に記憶保持させるようにする。
ステップS108においては、ステップS103によりメモリ4aに保持されている通常AE撮影画像データを解析して、そのヒストグラムの情報を生成するようにされる。このようにして生成したヒストグラムの情報は、例えばRAM12に保持しておくようにされる。このヒストグラム生成のための処理についても、これまでに開発、提案されている技術、あるいは将来的に開発、提案される技術のうちから適切とされるものを採用すればよい。本実施の形態にあっては、ヒストグラム情報の生成は、例えば画像信号処理部4から取り込んだとされる画素ごとの輝度(明るさ)の情報に基づいて、例えばCPU10が生成することとすればよい。あるいは、DSP(Digital Signal Processor)としての構成を採る画像信号処理部4が、CPU10の指示に応じて、内部で完結してヒストグラム情報を生成できるように構成することも考えられる。
また、次のステップS109においては、ステップS105によりメモリ4aに保持されているWDR撮影画像のヒストグラム情報を生成し、RAM12に保持しておくようにされる。
そこで、ステップS109に続くステップS110では、これらの通常AE撮影画像データ、WDR撮影画像データ、及び各撮影画像データのヒストグラム情報を利用して、図4又は図5に示した保存画像選択画面の表示用画像データを生成し、この表示用画像データが表示部7にて表示されるように制御を実行する。これにより、保存画像選択画面が表示画面部7Aに表示されることになる。
上記ステップS111としての手順は、ステップS112によりOKボタンBt33に対する操作が行われたものとして肯定の判別結果が得られるまで、ユーザの画像選択ボタンBt31、Bt32に対して行われたとされる操作に応じて実行することができる。
そして、ステップS112にてOKボタンBt33に対する操作が行われたとして肯定の判別結果が得られたとされると、ステップS113に進むことになる。
ステップS114及びこれに続くステップS115においては、先のステップS108、S109と同様にして、メモリ4aに保持されている通常AE撮影画像データとWDR撮影画像データのそれぞれについてのヒストグラム情報を生成して、これをRAM12に保持するようにされる。
そして、次のステップS118においては、上記ステップS117により選択決定されたほうの撮影画像データを写真画像ファイルとして記憶媒体20に保存させ、選択決定されなかった方の撮影画像データについては破棄するようにされる。
先ず、ステップS303とこれに続くステップS304によっては、記憶媒体20から、今回選択された未確定画像ファイルとしての通常AE撮影画像データとWDR撮影画像データを読み込むようにされる。以降のステップS305〜S310の手順は、図6における「撮影時/手動モード」に対応するステップS108〜S113の手順と同様となる。ただし、ステップS310においては、保存画像選択画面上で選択されたほうの撮影画像データを、改めて、写真画像ファイルとして管理されるようにして、記憶媒体20に記憶し直すようにされる。この処理は、例えば、撮影画像データの実体データを改めて記憶し直すことはせずに、管理情報上での書き換えのみで実現することも可能である。また、保存画像選択画面上で選択されなかった撮影画像データについては、記憶部20から消去、削除するようにされる。
先ず、ステップS311、S312によっては、ステップS303、S304と同様にして、記憶部20から、今回選択された未確定画像ファイルとしての通常AE撮影画像データとWDR撮影画像データの読み込みを実行させる。また、続くステップS313〜S317までの手順は、図6のステップS114〜S118に準ずることになる。また、ステップS317に関しては、ステップS310と同様にして、正規撮影画像データとして選択された撮影画像データを写真画像ファイルとして記憶媒体20に記憶し直し、選択されなかった撮影画像データについては記憶媒体20から消去する。
また、画像確定モードの確定機会について「再生時」のモードが設定されている場合には、撮影記録をユーザが一通り終えてから正規撮影画像データの確定が行われることから、その間は、未確定画像ファイルとして記憶保持しておく必要がある。そこで、上記実施の形態では、記憶媒体20に記憶保持させることとしているが、この未確定画像ファイルを記憶保持させる記憶領域として、例えば容量に余裕があれば、不揮発性メモリ12aなどとしてもよい。不揮発性メモリ12aは、この場合、デジタルスチルカメラ1における内部メモリなので、例えば記憶媒体20よりも高速にアクセスすることが可能であり、それだけ正規撮影画像データの確定処理も高速化されることが期待される。また、このようにして記憶媒体20や不揮発性メモリ12aなどの不揮発性の記憶領域に記憶させておけば、デジタルスチルカメラ1のメイン電源がオフとされても、未確定画像ファイルは消去されずに記憶保持されるので、例えばユーザがメイン電源をオフにしてしばらく使用しなかった後でも、正規撮影画像データを確定できることになって便利である。ただし、なんらかの理由、事情で、このようなことを配慮しなくとも良いような場合には、未確定画像ファイルを、RAM12やメモリ4aなどの揮発性の記憶領域に保持させても良いことになる。
また、同じく画像確定モードの確定機会について「再生時」のモードが設定されている場合についてであるが、未確定画像ファイルとしては、生成後のWDR撮影画像データを格納する代わりに、その素材画像データを格納するようにしておくこととして、正規撮影画像データを確定すべきときになったら、これらの素材画像データからWDR撮影画像データを生成するという手順としてもよいものである。
また、本実施の形態としては、デジタルスチルカメラに本願発明を適用しているが、現状においては、本来は動画の撮影画像を記録再生するビデオカメラ装置などにあっても、写真的な静止画像の撮影記録が可能に構成されたものが広く知られているので、これらのビデオカメラ装置をはじめ、本願発明は各種の撮像装置に適用可能とされる。
また、実施の形態では、撮影画像データとして静止画像データを対象としているが、本願発明の概念としては、動画像データを対象として適用することも可能である。例えば将来的に高速撮影、ビデオ信号処理速度の高速化などがある水準以上に達すれば、本実施の形態のWDR撮影画像に対応する動画像データを、複数の動画像データから合成して生成することも可能になると考えられる。
Claims (10)
- 設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、
1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、
上記1回分の撮影動作により生成された上記通常撮影画像データ及び上記合成撮影画像データの各画像と、これらの画像データについてのヒストグラム情報を視覚化した画像とが提示される選択操作用画像が所定の表示態様により表示出力されるようにする表示制御手段と、
上記選択操作用画像において表示出力される上記通常撮影画像データ及び上記合成撮影画像データの各画像のうちから、何れか一方の画像を選択するための操作が行われる操作手段と、
上記操作手段に対して行われた操作に応じて、上記1回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのうちから、正規なものとして扱われるべき正規撮影画像データを選択決定する選択決定手段と、
上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、
を備え、
上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
画像信号処理装置。 - 上記表示制御手段による上記選択操作用画像の表示出力と、
上記選択決定手段による上記正規撮影画像データの選択決定は、
上記撮影動作制御手段による上記1回分の撮影動作が実行されるごとに行われるようにされている請求項1に記載の画像信号処理装置。 - 上記撮影動作制御手段による上記1回分の撮影動作が実行されるごとに得られる上記通常撮影画像データ及び上記合成撮影画像データの組を、複数記憶することのできる撮影画像記憶手段をさらに備えたうえで、
上記表示制御手段による上記選択操作用画像の表示出力と、上記選択決定手段による上記正規撮影画像データの選択決定は、これまでの撮影動作により保存されたとする再生モードのときに対応して行われるようにされており、このときの上記表示制御手段による上記選択操作用画像の表示出力には、上記撮影画像記憶手段に記憶されている上記通常撮影画像データ及び上記合成撮影画像データと、これらの画像データに対応して生成したヒストグラム情報とを少なくとも利用して行うようにされている請求項1に記載の画像信号処理装置。 - 撮像を行って得られた画像光に応じた画像信号を得る撮像手段と、
設定された露出条件に従って上記撮像手段により撮像を実行させて得た上記画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、
1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、
上記1回分の撮影動作により生成された上記通常撮影画像データ及び上記合成撮影画像データの各画像と、これらの画像データについてのヒストグラム情報を視覚化した画像とが提示される選択操作用画像が所定の表示態様により表示出力されるようにする表示制御手段と、
上記選択操作用画像において表示出力される上記通常撮影画像データ及び上記合成撮影画像データの各画像のうちから、何れか一方の画像を選択するための操作が行われる操作手段と、
上記操作手段に対して行われた操作に応じて、上記1回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのうちから、正規なものとして扱われるべき正規撮影画像データを選択決定する選択決定手段と、
上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、
を備え、
上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
撮像装置。 - 設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理実行手順と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手順と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手順と、
1回分の撮影動作として、上記通常撮影画像データ生成手順が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手順が、今回の上記撮影動作において上記通常画像データ処理手順に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手順と、
上記1回分の撮影動作により生成された上記通常撮影画像データ及び上記合成撮影画像データの各画像と、これらの画像データについてのヒストグラム情報を視覚化した画像とが提示される選択操作用画像が所定の表示態様により表示出力されるようにする表示制御手順と、
上記選択操作用画像において表示出力される上記通常撮影画像データ及び上記合成撮影画像データの各画像のうちから、何れか一方の画像を選択するための操作が行われたことに応じて、上記1回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのうちから、正規なものとして扱われるべき正規撮影画像データを選択決定する選択決定手順と、
上記選択決定手順により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手順と、
を実行し、
上記合成撮影画像データ生成手順は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手順が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手順が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
画像信号処理方法。 - 設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、
1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、
上記一回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのヒストグラム情報を比較した結果に基づいて、これら通常撮影画像データと合成撮影画像データのうちで、より良好とされる画内容を有するとされる画像データのほうを、上記正規撮影画像データとして選択決定するようにされる選択決定手段と、
上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、
を備え、
上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
画像信号処理装置。 - 上記選択決定手段による上記正規撮影画像データの選択決定は、
上記撮影動作制御手段による上記1回分の撮影動作が実行されるごとにおいて行われるようにされる、
ことを特徴とする請求項6に記載の画像信号処理装置。 - 上記撮影動作制御手段による上記1回分の撮影動作が実行されるごとに得られる上記通常撮影画像データ及び上記合成撮影画像データの組を、複数記憶することのできる撮影画像記憶手段をさらに備えたうえで、
上記選択決定手段による上記正規撮影画像データの選択決定は、これまでの撮影動作により保存されたとする再生モードのときに対応して行われるようにされており、このときの上記選択決定手段による上記正規撮影画像データの選択決定には、上記撮影画像記憶手段に記憶されている上記通常撮影画像データ及び上記合成撮影画像データに対応して生成したヒストグラム情報を利用するようにされている、
ことを特徴とする請求項6に記載の画像信号処理装置。 - 撮像を行って得られた画像光に応じた画像信号を得る撮像手段と、
設定された露出条件に従って上記撮像手段により撮像を実行させて得た上記画像信号から画像データを生成する処理である撮影処理を実行する撮影処理手段と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手段と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手段と、
1回分の撮影動作として、上記通常撮影画像データ生成手段が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手段が、今回の上記撮影動作において上記通常画像データ処理手段に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手段と、
上記一回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのヒストグラム情報を比較した結果に基づいて、これら通常撮影画像データと合成撮影画像データのうちで、より良好とされる画内容を有するとされる画像データのほうを、上記正規撮影画像データとして選択決定するようにされる選択決定手段と、
上記選択決定手段により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手段と、
を備え、
上記合成撮影画像データ生成手段は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手段が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手段が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
撮像装置。 - 設定された露出条件に従って撮像を実行させて得られた画像信号から画像データを生成する処理である撮影処理を実行する撮影処理実行手順と、
1つの露出条件を設定して上記撮影処理を実行させることで通常撮影画像データを生成するようにされる通常撮影画像データ生成手順と、
複数の異なる露出条件を設定したうえで、これらの露出条件ごとに従って所定の複数回の上記撮影処理を所定時間内に順次実行させることで複数の画像データを得て、これらの複数の画像データを利用した画像合成処理を実行して合成撮影画像データを生成する合成撮影画像データ生成手順と、
1回分の撮影動作として、上記通常撮影画像データ生成手順が通常撮影画像データを生成する動作と、上記合成撮影画像データ生成手順が、今回の上記撮影動作において上記通常画像データ処理手順に設定された露出条件に基づいて設定された上記複数の異なる露出条件に従って撮影処理を実行させて上記合成撮影画像データを生成する動作とが、所定時間内に実行されるように制御する撮影動作制御手順と、
上記一回分の撮影動作により生成された上記通常撮影画像データと上記合成撮影画像データのヒストグラム情報を比較した結果に基づいて、これら通常撮影画像データと合成撮影画像データのうちで、より良好とされる画内容を有するとされる画像データのほうを、上記正規撮影画像データとして選択決定するようにされる選択決定手順と、
上記選択決定手順により正規撮影画像データとして選択決定された上記通常撮影画像データと上記合成撮影画像データのうちの一方を、上記1回分の撮影動作により撮影された画像データとして記憶手段に対して記憶させる記憶制御手順と、
を実行し、
上記合成撮影画像データ生成手順は、対応する1回分の撮影動作において、上記通常撮影画像データ生成手順が設定した1つの露出条件に基づいて、上記複数の異なる露出条件の各々を設定するようにされているとともに、
上記合成撮影画像データ生成手順が実行するとされる複数回の上記撮影処理の各々は、上記通常撮影画像データ生成手段が実行させる撮影処理とは個別の処理である
画像信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006232050A JP4725461B2 (ja) | 2006-08-29 | 2006-08-29 | 画像信号処理装置、撮像装置、画像信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006232050A JP4725461B2 (ja) | 2006-08-29 | 2006-08-29 | 画像信号処理装置、撮像装置、画像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008060676A JP2008060676A (ja) | 2008-03-13 |
JP4725461B2 true JP4725461B2 (ja) | 2011-07-13 |
Family
ID=39242968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006232050A Expired - Fee Related JP4725461B2 (ja) | 2006-08-29 | 2006-08-29 | 画像信号処理装置、撮像装置、画像信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4725461B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5222067B2 (ja) * | 2008-04-14 | 2013-06-26 | 日立アロカメディカル株式会社 | 超音波データ処理装置 |
JP5515852B2 (ja) * | 2010-02-26 | 2014-06-11 | 株式会社ニコン | 撮像装置及び画像生成プログラム |
JP5926039B2 (ja) * | 2011-11-29 | 2016-05-25 | 株式会社ザクティ | 画像記録装置 |
JP7129813B2 (ja) | 2018-04-24 | 2022-09-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム並びに記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738801A (ja) * | 1993-07-21 | 1995-02-07 | Sony Corp | 撮像装置 |
JP2000092378A (ja) * | 1998-09-16 | 2000-03-31 | Olympus Optical Co Ltd | 撮像装置 |
JP2002271686A (ja) * | 2001-03-12 | 2002-09-20 | Olympus Optical Co Ltd | 撮像装置 |
JP2004297614A (ja) * | 2003-03-27 | 2004-10-21 | Fuji Photo Film Co Ltd | 撮像装置及び撮像装置における表示方法 |
-
2006
- 2006-08-29 JP JP2006232050A patent/JP4725461B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738801A (ja) * | 1993-07-21 | 1995-02-07 | Sony Corp | 撮像装置 |
JP2000092378A (ja) * | 1998-09-16 | 2000-03-31 | Olympus Optical Co Ltd | 撮像装置 |
JP2002271686A (ja) * | 2001-03-12 | 2002-09-20 | Olympus Optical Co Ltd | 撮像装置 |
JP2004297614A (ja) * | 2003-03-27 | 2004-10-21 | Fuji Photo Film Co Ltd | 撮像装置及び撮像装置における表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008060676A (ja) | 2008-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4492697B2 (ja) | 撮像装置、及び、プログラム | |
KR101058011B1 (ko) | 터치 스크린을 이용한 디지털 카메라 조작 방법 | |
JP4613724B2 (ja) | 撮像装置および撮像方法 | |
JP5570316B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2011170194A (ja) | 撮影装置及び撮影制御方法 | |
KR101690261B1 (ko) | 디지털 영상 처리장치 및 그 제어방법 | |
JP2013128251A (ja) | 撮像装置およびプログラム | |
JP4725461B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法 | |
JP2010181725A (ja) | デジタルカメラおよびプログラム | |
JP6180285B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2008263478A (ja) | 撮像装置 | |
JP2008054031A (ja) | デジタルカメラ及び表示制御方法 | |
JP2007116372A (ja) | デジタルカメラ | |
JP4665607B2 (ja) | カメラ、カメラ制御プログラム及びカメラ制御方法 | |
JP2009044728A (ja) | データ記録装置、およびカメラ | |
JP2007048173A (ja) | 記録装置及びそのプログラム | |
JP2005352164A (ja) | 撮像装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP5289354B2 (ja) | 撮像装置 | |
JP2010239532A (ja) | 撮像装置及び撮影方法 | |
KR101369752B1 (ko) | 디지털 영상 처리 장치 및 그 제어 방법 | |
JP5157528B2 (ja) | 撮影装置 | |
JP2009139423A (ja) | 撮像装置及び被写体距離算出方法 | |
JP2006254278A (ja) | 撮影装置 | |
JP2008209760A (ja) | 撮影方法及び撮影装置 | |
JP6602093B2 (ja) | 撮像装置、撮像方法、撮影システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110328 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |