JP4483962B2 - 撮像装置、撮像方法 - Google Patents
撮像装置、撮像方法 Download PDFInfo
- Publication number
- JP4483962B2 JP4483962B2 JP2008078016A JP2008078016A JP4483962B2 JP 4483962 B2 JP4483962 B2 JP 4483962B2 JP 2008078016 A JP2008078016 A JP 2008078016A JP 2008078016 A JP2008078016 A JP 2008078016A JP 4483962 B2 JP4483962 B2 JP 4483962B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- imaging
- flash
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Television Signal Processing For Recording (AREA)
Description
この長時間露光は、被写体の明るさに対応するためだけでなく、写真の表現技法としても用いられている。
例えば夜景等の撮影で長時間露光が行われるが、これは、光量が少ないので、映像を得るのに十分な量の光を集めるために露光時間を長くすることが行われる。
また、意図的に絞りを暗く設定したり、撮像感度を低くしたりして、被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたり、といった目的で行われる場合もある。
また、長時間露光中にフラッシュ(閃光装置)を用いることにより、先幕シンクロ/後幕シンクロ/マルチ発光などの効果を得る撮影手法も知られている。
近年の撮像装置(例えばデジタルスチルカメラ)では、通常の撮像時にカメラが測光を行い適切な露出設定(絞り値やシャッタースピード)を示すものがあるが、長時間露光を行うような暗い場面では、カメラの測光範囲の光量を外れてしまい、露光設定が示されない。このような場合、ユーザは、長時間露光撮像を行おうとすると、自分の経験と勘で露光時間やシャッタータイミングなどを決定しなければならず、実際上、熟練者でなければ困難である。
この場合、露光中に固体撮像素子に光が取り込まれ、画像が浮かび上がってくる様子をリアルタイム観測すること、撮影後に、露光中に分割して生成された複数の画像を選択して合成すること、露光中の不適当な画像を除外することなどが示されている。
この技術によれば、長時間露光撮影のうち、被写体に動きのない(動きの少ない、或いは動いたとしても露光時間が十分に長くて写りこまない)撮影条件においては良好な画像が得られる。動きのない夜景などを長時間露光撮影する際には有効である。
しかしながら、被写体の動きのある静止画像、例えば被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたりするような撮像を目的とする場合は、良好な画像を得ることが困難である。
また、露光中の不適当な画像(例えば、夜景を撮影しているときにそばを自動車が通り過ぎて、辺りが明るく照らし出されてしまった等)を除外することから、動きを円滑に表現する静止画像を得ることは難しい。
また実際上、美術館などの公衆においては「フラッシュ禁止」とされるような環境があるため、先幕シンクロ/後幕シンクロ/マルチ発光といった効果を得ようにも撮像が実行できない状況も多々ある。
さらに、フラッシュを焚くためには電力を消費しなくてはならないことから、フラッシュ用にバッテリー容量やコンデンサが必要となるため、機器の小型化/低消費電力化/低コスト化の阻害要因となっていた。
また長時間露光においては、カメラが動いてしまわないように三脚でカメラを固定する必要も多く、そのため、撮影者はカメラ本体以外に三脚などのアクセサリーを購入し、運搬しなくてはならず、機材の持ち運びにユーザに負担をかけるとともに、手軽に長時間露光撮像を行うことができなかった。
また、長時間露光においては、被写体の動きや手振れなどにより、撮像画像内で動く被写体のすべてが尾を引いてしまうため、所望の画を撮るための撮像状況を得ること自体が難しかった。
また、長時間露光撮像を行っている時に、例えば他のカメラマンがフラッシュを焚いてしまったり、車が通りかかってライトで一瞬照らされてしまったりした場合、良好な合成画像を得ることができなかった。
また上記電子シャッタ機能以外の露光調整機能の1つは、上記撮像部の光学系に配置される光量フィルタ機構を用いた露光調整機能であるとする。
また上記電子シャッタ機能以外の露光調整機能の1つは、上記撮像部の撮像信号処理系における撮像信号に対する可変ゲイン回路機能を用いた露光調整機能であるとする。
また上記撮像制御部は、上記電子シャッタ機能以外の露光調整機能を全て用いて露光調整制御を行っても、さらに被写体輝度を低下させるべき場合にのみ、上記電子シャッタ機能を用いた露光調整制御を行うようにする。
また上記撮像部による撮像動作によって撮像された、時間的に連続性を有する複数フレームの画像データを、合成処理に用いる一連の画像データとして記録媒体に記録する記録部を、さらに備える。
また上記記録媒体に記録された、時間的に連続性を有する複数フレームの画像データを、合成用画像データとして読み出す合成前処理部と、上記合成前処理で得られた複数フレームの合成用画像データを用いて合成処理を行い、静止画としての合成画像データを生成する合成処理部とをさらに備える。
また合成処理のための操作入力情報の検知を行う操作検知部をさらに備え、上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、上記操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて合成処理を行い、静止画としての合成画像データを生成する。
また上記合成処理部は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する。
また上記合成処理部は、複数の合成用画像データについて加重平均による合成処理を行い、静止画としての合成画像データを生成する。
また上記記録部は、上記合成処理部で生成された合成画像データを、記録媒体に記録する。
また上記合成処理部で生成された合成画像データを、外部機器に送信する送信部をさらに備える。
電子シャッタ機能は、撮像素子における1フレーム内の露光時間を可変する機能である。例えば仮に、1フレームを1/60秒としたときに、露光時間を1/60秒、1/120秒、1/180秒、1/250秒などと変化させる機能である。
このような電子シャッタ機能により露光時間を短くする場合は、フレーム期間内で被写体光の露光を行わない時間が大きくなる。つまり、その間、被写体映像としての情報が欠落する。そこで本発明では、このような電子シャッタ機能をなるべく使用しないで露光調整を行うようにし、被写体映像としての情報の欠落を最小限とする。
このことは、時間的な連続性を有する複数フレームの画像データ、即ち動画的に撮像されたような一連の画像データについて、それらを合成することで、長時間露光効果を与えた合成画像を得る際に好適となる。即ち、長時間露光画像としてスムースな画像効果を得るには、時間軸上の情報の欠落がない方が良いためである。
また、このような撮像装置において、撮像動作によって得られた一連の画像データを、合成用画像データとし、合成処理を行う。この場合に、合成する画像の範囲(時間軸上の範囲)や、各画像に与える重み係数を操作に応じて設定することで、ユーザの意図に従った画像合成が実現できる。即ち、撮像後の段階で、フレームを選択して画像合成することにより長時間露光撮像と同様の画像効果を容易に得ることができるようにし、また合成する各フレームについての重み付けを行うことにより、先幕シンクロ/後幕シンクロ/マルチ発光などの効果を得ることができるようにする。
そして本発明によれば、従来、熟練者でなければ困難であった長時間露光撮像や、その他の特殊効果撮像と同様の効果の画像、更には従来の撮像では実現できなかったような画像効果を、一般ユーザが、非常に容易に実現でき、例えば写真表現としての可能性の拡大やおもしろさの向上を促進できるとともに、その画像品質も高いものとすることができる。
[1.撮像装置の構成]
[2.動作モード]
[3.カメラモード処理]
[4.合成モード処理]
<4−1:合成準備処理>
<4−2:合成処理>
<4−3:変更前後表示付き調整処理例>
[5.テンプレートを用いた処理]
[6.固定フレームレートでの撮像動作]
[7.可変フレームレートでの撮像動作]
[8.合成モード処理例:フレーム補間]
[9.合成モード処理例:フラッシュ無効化/補正]
[10.合成モード処理例:距離補正]
[11.合成モード処理例:ブレ補正]
[12.情報処理装置]
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図1,図2,図3で説明する。
撮像装置1には、正面側に撮像レンズ部21a、フラッシュ発光部15などが設けられ、また背面側に液晶パネルや有機EL(Electroluminescence)パネルなどによる表示パネル6が形成されている。また、各所にユーザ操作のための操作子が形成される。例えば操作キー5a、5b、5c、5d、5f、5gは、それぞれシャッター操作キー、モード操作キー、ワイド/テレ操作キー、メニュー操作キー、露出補正指示キー、再生キーなど、各種の操作機能のためのキーとして割り当てられている。また操作子として、ダイヤル操作部5hや、十字キー5iも設けられる。ダイヤル操作部5hは、例えば撮像モードの選択などに用いられる。十字キー5iは、例えば表示パネル6に表示される操作メニュー項目の選択/決定を始めとして各種操作に用いられる。
図1に示すように撮像装置1は、撮像系2、制御系3、カメラDSP(Digital Signal Processor)4、操作部5、表示パネル6、表示コントローラ7、外部インターフェース8、SDRAM(Synchronous Dynamic Random Access Memory)9、媒体インターフェース10を備える。
レンズ機構部21は、上記図2(a)の撮像レンズ部21の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部26は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部26はレンズ駆動ドライバ17によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するCPU(Central Processing Unit)31はレンズ駆動ドライバ17を制御することで、焦点制御やズーム動作を実行させる。
絞り/ND駆動ドライバ18は、絞り機構の開閉により入射光量の調節を行う。また絞り/ND駆動ドライバ18は、NDフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。CPU31は、絞り/ND駆動ドライバ18を制御して絞り機構やNDフィルタを駆動させることで入射光量制御(露光調整制御)を行うことができる。
撮像素子部23は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部23は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部24に出力する。撮像素子部23としては、例えばCCD(Charge Coupled Device)センサアレイ、CMOS(Complementary Metal Oxide Semiconductor)センサアレイなどが用いられる。
A/D変換部25は、アナログ信号処理部24で処理されたアナログ信号をデジタル信号に変換し、カメラDSP4に供給する。
即ちタイミング生成回路28は、撮像素子部23の撮像動作タイミングを制御するために、露光/電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ19を介して撮像素子部23に供給する。またアナログ信号処理部24で、撮像素子部23での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部24にも供給する。
CPU31は、タイミング生成回路28により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御(フレーム内の露光時間可変制御)を行うことができる。またCPU31は、例えばタイミング生成回路28を介してアナログ信号処理部24にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
フラッシュ発光部15は発光駆動部14によって発光駆動される。CPU31は、ユーザの操作その他による所定タイミングで、発光駆動部14にフラッシュ発光を指示し、フラッシュ発光部15を発光させることができる。
このカメラDSP4では、例えば図示のように画像信号処理部41,圧縮/解凍処理部42、SDRAMコントローラ43、情報生成部44等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
また、撮像中のフォーカス制御としては、いわゆるウォブリングAFと呼ばれる検出方式が実行できる。CPU31は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部41で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部26における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部27は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてCPU31に供給することができる。これによってCPU31は、合焦状態としている主たる被写体までの距離を判別できる。
CPU31は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、NDフィルタ、或いは撮像素子部23における電子シャッタ制御、アナログ信号処理部24へのゲイン制御により、露光調整を行うことができる。
距離分布情報の生成のための、各画素単位での距離情報の判定は、上記のウォブリングAFの際のボケ量の解析などで実行可能である。あるいは、図示しないが非可視光の特定波長とされた補助光を発光する発光部を設け、その特定波長の光が発光後の戻り時間を測定することで、各画素単位での被写体までの距離を判定することも可能である。
RAM(Random Access Memory)32は、カメラDSP4で処理された撮像画像信号(各フレームの画像データ)の一時的な保存や、後述する合成処理に用いる画像データの格納、その他CPU31の各種処理に応じた情報が記憶される。
フラッシュROM33は、撮像画像としての(ユーザが静止画又は動画として撮像した)画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置1の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。さらにフラッシュROM33は、後述する合成処理に用いる係数テンプレートの保存にも用いられる。
時計回路34は、現在日時情報(年月日時分秒)を計数する。
なお、操作部5としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。即ち表示パネル6にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
なお、ここでは記録媒体90として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、HDD(Hard Disk Drive)を搭載して記録するようにしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース8を構成しても良い。
撮像装置1は、この外部インターフェース8を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データや、合成処理結果の画像データを外部機器に転送することができる。
また合成前処理部52は、合成用画像データとして用いる時間的な連続性を有する複数フレームの画像データについて、各画像データの輝度調整処理を行う。輝度調整処理としは、合成用画像データとして用いる全部又は一部の画像データを対象として、各画像データの平均輝度を均一化する処理を行う。特には、合成用画像データとして用いる複数フレームの画像データのうちで、フラッシュ不使用撮像によって撮像された画像データを抽出し、該抽出された複数の画像データの平均輝度を均一化する処理を行うようにもできる。
例えば合成処理部53は、時間的な連続性を有する上記合成用画像データのうちで、操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて合成処理を行い、静止画としての合成画像データを生成する。
また合成処理部53は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する。
また合成処理部53は、複数の合成用画像データについて加重平均による合成処理を行い、静止画としての合成画像データを生成する。
またこれら以外にも、後述する各種の合成処理としての演算を行う。
また合成処理部53が生成した合成画像データを記録媒体90に記録させたり、外部インターフェース8を介して外部機器に送信させる処理を行う。
さらには表示制御部56は合成処理部53の合成処理の際に、合成作業画像データを生成して表示コントローラ7に出力し、表示パネル6に合成作業画像を表示させる。
合成作業画像データとしては、合成前処理で得られた複数フレームの合成用画像データを用いた動画再生画像や、複数フレームの合成用画像データのうちで合成処理に用いる時間軸上の範囲の指定に用いる画像や、複数の合成用画像データのそれぞれに与えられた重み係数を表現する画像や、複数の合成用画像データを用いた合成処理で生成された合成結果画像(合成時のプレビュー画像等)などを含む表示データとする。また表示制御部56は、或る合成処理が行われた際に、その合成処理後の画像と、合成処理前の画像の両方を含む、上記合成作業画像データを生成して表示コントローラ7に出力し、表示パネル6に表示させることもできる。
さらに表示制御部56は、合成処理で最終的に生成された合成画像データを、表示用の画像データとして表示コントローラ7に出力し、表示パネル6に表示させることもできる。
後述するが、合成する複数フレームの画像データのそれぞれに重み係数を与えることができるが、例えば先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などを実現する重み係数パターンがテンプレート化されて例えばフラッシュROM33等に保存される。テンプレート管理部57は、操作検知部56で検知されるユーザ操作や、表示制御部56によるテンプレート選択のための画像表示などと連係し、ユーザ操作に応じて係数テンプレートを選択して合成処理の際に用いられるように合成処理部53に受け渡す処理を行う。
図4で本例の撮像装置1の動作モードを説明する。本例の撮像装置1では、ユーザの操作に応じてカメラモード、再生モード、合成モードを遷移する。なお、実際には外部機器との通信モードなど他のモードもあるが、説明の簡略化のため省略する。
なお撮像動作時に、その撮像結果としての画像データの保存は記録媒体90に行われるものとして以下説明していくが、記録媒体90ではなく、フラッシュROM33において保存を行っていくようにしてもよい良い。また、通常は記録媒体90に記録するが、記録媒体90が装填されていない場合はフラッシュROM33に記録するような動作方式でも良い。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
マクロモードは、近接撮像を行う場合に適した設定で撮像が行われる撮像モードである。マクロモードとしては、特にネイチャーマクロモードとして、花や虫などの近接撮像において、色鮮やかに撮るためのモードが設けられる場合もある。
スポーツモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
夕景モードは、夕景撮像に適した設定で撮像が行われる撮像モードである。
夜景モードは、夜景撮像に適した設定で撮像が行われる撮像モードである。
動画撮像モードは、動画撮像を行う撮像モードである。
これら以外にも、夜の景色と人物を一緒に撮像するのに適した夜景&人物モード、花火の撮像に適した花火モードなどが用意される場合もある。
そして後述する長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの特殊効果画像を得たい場合は、合成モード用撮像を実行し、後に合成処理において任意の効果の画像を作成することができる。
このカメラモードでは、CPU31では、撮像制御部51、操作検知部55,表示制御部56、記録/再生/送信制御部54が連係して、撮像系2の制御や記録動作制御、表示動作制御を行い、撮像及び撮像画像データの表示、記録動作を実行させる。
CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示パネル6で再生表示させる制御を行う。
この再生モードでは、CPU31では、操作検知部55,表示制御部56、記録/再生/送信制御部54が連係して、再生動作制御、表示動作制御を行い、画像データの表示等を実行させる。
この合成モードでは、CPU31は、ステップST1、ST2として合成前処理を行う。まずステップST1では合成対象画像選択/取込処理を行う。これは例えば上記の合成モード用撮像として撮像され記録媒体90に記録されている、時間的な連続性を有する複数フレームの一連の画像データを選択し、合成処理に用いる合成用画像データとして取り込む処理である。
またCPU31はステップST2として、合成準備処理を行う。後述するが、この合成準備処理は、例えば取り込まれた一連の画像データの輝度調整(露光量調整)を行って、輝度状態を均一化し、各画像データを合成処理に適した輝度状態とする処理である。
即ちCPU31は、合成処理によって生成した合成画像データを媒体インターフェース10を介して記録媒体90に記録させる。あるいはフラッシュROM33に記録させてもよい。これにより、その後ユーザは任意に合成画像を再生させることができる。
またこの場合CPU31は、合成画像データを、外部インターフェース8で接続されている外部機器に送信するようにしてもよい。これにより例えば外部機器で所定の記録媒体に記録されるようにしたり、表示出力させることができる。
またステップST3では、CPU31では、合成処理部53、操作検知部55,表示制御部56が連係して必要な処理動作を行う。係数テンプレートが使用される場合は、テンプレート管理部57が機能する。
またステップST4では、CPU31では、合成処理部53、操作検知部55,表示制御部56、記録/再生/送信制御部54が連係して必要な処理動作を行う。
まずカメラモードにおけるCPU31の処理を図5で説明する。
ステップF10,F11,F12では、CPU31はユーザの操作を監視する。
ステップF10では、CPU31は撮像モードの操作を監視している。撮像モードとしては上述のように合成モード、オートモード、ポートレートモード等、多様なモードが用意されており、ユーザは撮像目的に合わせて任意の撮像モードを選択することができる。モード選択の操作は、例えば図2(b)に示したダイヤル操作部5hにより行うこと、或いは表示パネル6でのメニュー表示上での選択などにより行うことが考えられる。
合成モード用撮像でない、他の撮像モードであれば、ステップF16で、撮像処理を行う。即ちCPU31はシャッタ操作タイミングの1フレームの画像を、撮像データとしての静止画データとして保存するように、カメラDSP4や媒体インターフェース10等の制御を行う。
合成モード用撮像とは、後の合成処理に用いる画像データを得るための撮像モードであるが、この合成モード用撮像においてシャッタ操作が行われた場合は、CPU31はステップF15に進み、合成モード用撮像としての連続撮像処理を実行する。これは、動画的な撮像動作となり、撮像系2で連続的に得られる毎フレームを、それぞれ画像データとして記録媒体90等に保存していく動作となる。なお、この場合のフレームレートの設定にもよるが、例えば1フレームおきなど、間欠的なフレームを保存するようにしてもよい。
撮像画像データは、多数の静止画もしくは動画として保存される。
(1)ユーザがシャッタ操作を行ってから、再度シャッタ操作を行うまでの各フレーム画像データを撮像画像として保存していく。
(2)ユーザがシャッタ操作を行ってから、CPU31がタイムカウントを行い、タイムアップとなるまで各フレーム画像データを撮像画像として保存していく。タイマ設定時間は固定でも良いし、ユーザが選択できるようにしてもよい。
(3)ユーザがシャッタ操作を継続している(シャッタを押し続けている)間、各フレーム画像データを撮像画像として保存し、ユーザがシャッタを放した時点で終了する。
なお、この場合、複数フレームの各画像データは、時間的な連続性を有する一連の画像データであることが分かるように関連付けられて保存される。
例えば各画像データを連番で記録し、その連番の範囲の管理情報を付加するようにしたり、各画像データに一連の撮像によって得られた画像データであることを示すメタデータを付加するようにして関連付けを行う。
ただし、撮像時にこのような関連づけを行わなくとも、後述する合成処理の際に、撮像時刻が連続している画像データを抽出するなどの処理を行って、当該連続する一連の画像データを読み出せるようにしてもよい。撮像して記録する各画像データには、時計回路34で計時されている日時情報が付加されることにより、このような読み出し時点での関連付けも可能となる。
また、撮像する各フレームの画像データにおいて、そのメタデータとして、フラッシュ発光部15からのフラッシュ発光を行ったか否かを示す情報を付加するようにしている。フラッシュ発光は、ユーザの操作或いは設定などに応じてCPU31が実行制御する。
また、レンズ位置検出部27で計測される主たる被写体までの距離の情報や、情報生成部44で生成される距離分布情報なども撮像時に得られるため、これらを各フレームの画像データについてメタデータとして付加しておくこともできる。
図6には、記録媒体90に保存された各種の画像データを再生表示した際の例を示している。通常の撮像モード(例えばオートモード、風景モードなど)で撮像された画像データPCT1、PCT2、PCT4等とともに、ユーザが合成モード用撮像を選んで撮像した画像データPCT3などが、記録媒体90に保存されるが、ユーザは再生モードでの操作により、これらの画像を表示パネル6で再生表示させて確認することができる。
合成モード用撮像で撮像した画像データPCT3は、例えば画像データ#0,#1,#2・・・として示すように、一連の時間的な連続性を有するものとして関連付けられた画像データ群である。
再生モードによって、ユーザが撮像した各画像を再生させて見る場合、画像データPCT1、PCT2、PCT3、PCT4・・・が順次再生されることになるが、合成モード用撮像を行った画像データPCT3については、実際に記録されている画像データ#0,#1,#2・・・のうちの代表画像が再生表示されればよい。例えば先頭の画像データ#0などが表示されるようにすればよい。
また、合成モード用撮像によって、実際には多数の画像データ(#0,#1,#2・・・)が保存されていることをユーザが分かるようにするため、再生時の表示画面上では、図示するように、合成モード撮像での撮像画像データであることを示すマークMKを表示させる。
ユーザは、このマークMKによって、当該画像データPCT3は、実際には時間的に連続する多数の画像が保存されており、これを合成処理に用いることができるということを認識できる。
つまりユーザは、合成モード用撮像を行った後は、画像再生を行い、マークMKが付加された画像を選択することで、後述する合成モードの動作として合成作業を行うことができる。
<4−1:合成準備処理>
続いて合成モードでの処理を説明する。
先に図4で述べたように、合成モードでは、CPU31は合成対象画像選択/取込処理(ST1)、合成準備処理(ST2)、合成処理(ST3)、合成画像記録処理(ST4)を行う。
例えば図6のようにユーザが撮像画像を再生させ、合成モード用撮像で撮像した画像(例えば図6の画像PCT3)を選択し、合成処理を指示する操作を行うことで、CPU31は合成モードの処理を開始する。この場合CPU31は、ユーザの操作で選択された画像を合成用画像データとして取り込む。即ち図6の画像PCT3が選択された場合、CPU31は、記録媒体90から、当該画像PCT3として一連の時間的な連続性を有するものとして関連付けられた画像データ#0,#1,#2・・・を読み出し、合成用画像データとして取り込む。そしてこれら画像データ#0,#1,#2・・・を、合成処理対象の画像データとする。
この場合、CPU31(合成前処理部52)が、例えば図7のような処理を行う。
まずステップF101でCPU31は、合成対象として取り込んだ画像データ#0,#1,#2・・・#nのうちで、非フラッシュ画像を抽出する。非フラッシュ画像とは、その撮像時にフラッシュ発光を行わなかった画像データである。上述のように、撮像時にフラッシュ発光を行ったか否かの情報がメタデータとして画像データに付加されていることにより、CPU31は取り込んだ画像データ#0,#1,#2・・・#nのメタデータを確認して、非フラッシュ画像を抽出することができる。
なお、ここで言う非フラッシュ画像とは、あくまでも撮像を行った自己機器(撮像装置1自身)でフラッシュ発光を行ったか否かの情報に基づくもので、単に画面輝度がフラッシュ発光状態と同様に突発的に明るくなっているものは含まない。
例えば撮像時に近くに居た他のカメラマンがフラッシュ発光させたり、撮像時に車が近くを通過し、そのヘッドライトで被写体が明るくなった場合などは、自己でフラッシュ発光させた画像ではないため、ここでは非フラッシュ画像として扱われる。
続いてCPU31はステップF102で、抽出した各画像データ(例えば#0,#1,#3・・・#n)のそれぞれについて、輝度平均値を算出する。
この場合、各画像データについて、全画素の輝度信号値の平均値を算出しても良いし、画面内の各領域で重み付けをおこなって重み付け輝度平均値を算出してもよい。この場合、いわゆる自動露光調整のための輝度レベル計算と同様の手法で各画像データの輝度平均値を算出すればよい。
一連の合成用画像データは、時間的に連続する複数の画像データであり、撮像時に上記図5のステップF15で連続撮像されたものであるため、通常は極端な輝度の差は生じないはずである。従って、自己でフラッシュ発光していない画像データは、通常は同一グループに振り分けられる。ところが、連続撮像中に他のカメラマンがフラッシュを焚いたり、車が通りすぎてヘッドライトが瞬間的に被写体に当たったり、突然雲間から日が差し込んできたりなどの原因で、突発的に被写体輝度が大きく変化する場合がある。この図7に示すグループ分けの結果として、グループYg4、Yg5に振り分けられた画像は、これらの状況で露光量が突発的に変化した場合の画像と考えられる。
このような被写体輝度が大きく異なる画像が含まれていると、合成処理の際に、その画像のみが強調されるなどし、想定どおりの適切な合成ができなくなる場合がある。
まずステップF104でCPU31は、代表グループ(Yg1)に含まれる各画像データの輝度平均値の平均値を算出する。そして算出した平均値を基準平均輝度とする。
そしてステップF107で、当該画像データ#0の全画素の輝度値に対し、補正係数を乗算することで、画像データ#0の輝度補正を行う。
ステップF108で、未処理の画像データがあればステップF105に戻って、次の画像データ(例えば画像データ#1)について同様の処理を行う。
即ち、非フラッシュ画像として抽出した全画像データについて、順次ステップF105,F106,F107により輝度補正を行い、全画像データの処理が終了した時点で、この図7の処理を終える。
なお、この例では自己のフラッシュ発光に伴った画像の補正は行わないが、これはフラッシュ発光は撮像したカメラマンの意志によるものであるため、補正しないようにしているものである。
但し、場合によっては、フラッシュ発光の有無にかかわらず、合成用画像データの全部について、輝度均一化のための補正を行うことも考えられる。
また、フラッシュ発光撮像による画像データが複数含まれている場合は、それらの複数のフラッシュ画像データの間で、輝度が均一化されるような補正を行うことも考えられる。
続いて図4のステップST3の合成処理について説明する。なお、本例における合成処理では、複数の画像データの対応する各画素の値を単純に加算するのではなく、対応する各画素の値を平均化(もしくは重み付け)して合成画像を生成する画像処理を行う。
まずステップF201で、CPU31は合成作業画像による合成用画像データの再生表示を開始させる。
図10〜図18は表示パネル6に表示させる合成作業画像70の例を示している。
まず、再生開始当初は図10の合成作業画像70を表示させる。この合成作業画像70では、画像表示領域71、72、タイムライン73、再生位置マーカー74としての表示が行われる。
画像表示領域71は、再生画の表示等に用いられる。
画像表示領域72は、合成画像のプレビュー表示等に用いられる。
タイムライン73は、一連の時間的に連続した複数の合成用画像データの時間幅を示すものとされる。
再生位置マーカー74は、タイムライン73上で現在の再生位置を示す。
CPU31はステップF201で再生表示を開始させた後、ユーザが合成開始位置を指示する操作を行うことに応じてステップF202の合成開始位置設定を行う。
例えば図11に示すように、再生が或る程度進んだ時点でユーザが合成開始位置の指示操作を行ったら、その時点の再生画としての画像データ#xを合成開始位置の画像(以下、合成開始画像)とする。また、合成開始マーカー75を表示させる。
なお、画像表示領域71での画像再生表示は引き続き進行させる。
ステップF203のプレビュー画合成とは、合成開始画像から現在画像表示領域71で再生させている画像までを合成する処理である。
またステップF204のプレビュー画表示とは、合成画像を画像表示領域72にプレビュー表示させる処理である。
つまり、合成開始画像から、現在再生中のフレームまでの画像が全て合成されながら、図12のように、その合成画像が画像表示領域72にプレビュー表示される。
再生は引き続き進行していくため、再生の進行に伴って、合成範囲が1フレームずつ増えていくことになる。即ち再生画が再生されるたびに対応する各画素の値を加算し、加算された再生画の枚数で除算するという合成を行ってプレビュー画を生成することによって、重み付けのない長時間露光を行ったような画像が得られ、これがプレビュー画として表示される。
一連の画像データ#0〜#nが、被写体が右から左に移動している画像であった場合、図12のように、画像表示領域71での再生の進行に従って、合成開始画像から現在の画像までの合成画として、右から左に移動している被写体について長時間露光を行ったような画像が、画像表示領域72に表示されることになる。
例えばユーザがシャッターキーを押し込む操作で合成開始位置を指示した後、シャッターキーを放す操作を、合成終了位置設定としての操作とする。
すると、シャッターキーが押し込まれた以降、CPU31はステップF203,F204を繰り返し、シャッターキーが放された時点で、そのタイミングの再生画像を合成終了位置の画像(以下、合成終了画像)として設定する。この場合、図12のように合成終了位置を示す合成終了マーカー76を表示させる。そしてその後、ステップF205からF206に進む。
また、連続した合成用画像データの最初から最後までをあらかじめ選択するようにしても構わないし、合成開始位置をユーザー操作で行い、プレビュー画や画像合成用のバッファメモリが一杯になるところを合成終了位置としても構わない。
またプレビュー画の生成・表示においては、後述するステップF207で最終的な画像合成処理を行う前の簡易的な設定(重み付け設定など)で処理を行ったり、事前に設定の効果を確認できる程度の画像サイズで行うなど簡易な処理で行ってもよい。
まずCPU31はステップF220で、選択画像リスト表示、重みバー表示を合成作業画像70において行うようにする。
図13に示すように、選択画像リスト表示として、タイムライン73内に、合成範囲とされた合成開始画像から合成終了画像に至る各画像を表示させる。
例えばこの場合、画像データ#5が合成開始画像、画像データ#11が合成終了画像とされた場合の例として、タイムライン73内に選択画像リスト表示として画像データ#5、#6、#7・・・#11が表示された状態を示している。
ステップF220での初期状態では、特定の画像データに対する重み付けはされていない。言い換えれば、各画像データに対して均等な重み付けがされている。
なお、本例では重みバーによって重み係数を表現するものとして説明を続けるが、各画像データに与えられている重み係数を表現する画像は、これ以外にも各種考えられる。例えば他の形状(例えば円グラフ状など)でもよいし、重み係数を示す数値を表示してもよい。
さらには、必ずしも重み係数のみを表現する独立した画像でなくてもよい。例えば選択画像リストとして表示されている画像データ#5、#6、#7・・・#11の画像自体の明るさを重み係数に応じて変化させるといった手法により、各画像データに与えられている重み係数を表現する画像を実現しても良い。
図13のような合成作業画像70において、ユーザは各画像データの重み係数を変更する操作や、合成範囲を変更する操作などを行うことができる。
例えば図2(b)に示した十字キー5iの左右操作で、選択画像リスト内の任意の画像データを選択状態とし、その状態で十字キー5iの上下操作で、選択中の画像データの重み係数を変更する操作を行うことができる。
CPU31は操作に応じた表示処理として、選択中の画像データ#(x)に対応する重みバーw(x)の高さを変更する。
また選択中の画像データ#(x)に設定している重み係数を変更する。
さらに、変更した重み係数を反映した上で、合成範囲の画像データの加重平均による合成処理を行い、プレビュー画として生成し、画像表示領域72に表示させる。
またユーザが他の画像データ#6〜#11についても、それぞれ選択したうえで、それぞれの重み係数を低くする操作を行ったとする。するとCPU31は、それぞれの操作に応じてステップF224の処理を行い、図14のように重みバーw6〜w11を低くし、また画像データ#6〜#11に設定している重み係数を低い値に変更した上で、合成範囲の画像データ(#5〜#11)の合成処理を行い、プレビュー画を画像表示領域72に表示させる。
なお、先幕シンクロ効果とは、長時間露光の開始タイミングのみにフラッシュを焚くことで、時間的に最初の状態が明瞭に表現されるような撮像技法である。本例では合成範囲とされた連続するフレームの画像データのうちで、最初のフレームの画像データに対して高い重み係数、後続の他のフレームの画像データに低い重み係数を与えて合成することで、このような先幕シンクロ効果を得る。
また重み係数は、連続撮像時の不適当な画像(例えば、夜景を撮影しているときにそばを自動車が通り過ぎて、辺りが明るく照らし出されてしまった等)を除外することなく、露光量すなわち画像の明るさを自由に調整することができるものとしても良い。本例では、上述の合成準備処理によって、そのような合成に不適当な画像が予め補正されるようにしているが、例えばこの重み係数の調整で、ユーザが手動で補正を行うことも可能である。
例えば合成開始位置の画像データ(#5)を選択した状態で、特定のキーを押しながら十字キー5iの左右操作を行うことによって、合成開始位置を時間的に前後のフレームの画像データに変えることができる。同様に合成終了位置の画像データ(#11)を選択した状態で、特定のキーを押しながら十字キー5iの左右操作を行うことによって、合成開始位置を時間的に前後のフレームの画像データに変えることができる。
或いは、ユーザ操作として、合成開始マーカー75や合成終了マーカー76を直接タイムライン73に沿って左右に移動させることができるようにしてもよい。
例えばユーザが図14の状態から、合成終了画像を画像データ#7とする操作を行ったとする。するとCPU31はステップF225の処理を行い、図15のように、新たな合成範囲の画像データ(#5〜#7)の合成処理を行い、プレビュー画を画像表示領域72に表示させる。なお合成終了マーカー76は、画像データ#7を示す状態とする。
この場合、図14と図15のプレビュー画を比較して分かるように、図15では合成範囲が短くされたことで、先幕シンクロでの露光時間が短くされたような画像効果を得ることになる。
他の各例を図16,図17,図18に示す。
CPU31は、それぞれの画像データ#5〜#11についての重み係数の操作に応じてステップF224の処理を行う。
この場合、合成範囲内で時間的に最後となっている画像データ#11が、他の画像データ#5〜#10より高い重みで強調されて合成されることになり、図16のプレビュー画として示するように、いわゆる後幕シンクロ効果としての合成画像が得られることになる。
なお、後幕シンクロ効果とは、長時間露光の終了タイミングのみにフラッシュを焚くことで、時間的に最後の状態が明瞭に表現されるような撮像技法である。本例では合成範囲とされた連続するフレームの画像データのうちで、最後のフレームの画像データに対して高い重み係数、他のフレームの画像データに低い重み係数を与えて合成することで、このような後幕シンクロ効果を得る。
この場合、図16と図17のプレビュー画を比較して分かるように、図17では合成範囲が短くされたことで、後幕シンクロでの露光時間が短くされたような画像効果を得ることになる。
CPU31は、それぞれの画像データ#5〜#11についての重み係数の操作に応じてステップF224の処理を行う。
この場合、合成範囲内で周期的に画像が強調されて合成されることになり、図18のプレビュー画として示するように、いわゆるマルチ発光効果としての合成画像が得られることになる。
なお、マルチ発光効果とは、長時間露光の間に周期的にフラッシュを焚くことで、周期的に被写体の状態が明瞭に表現されるような撮像技法である。本例では、合成範囲内の連続するフレームの画像データに対して周期的に高い重み係数と低い重み係数を与えて合成することで、このようなマルチ発光効果を得る。
そして、プレビュー画として満足のいく合成画像が得られたら、ユーザは調整終了操作を行えばよい。例えばユーザは、十字キー5iの中央の決定キーを押すことなどとして、調整終了操作を行う。
CPU31は、調整終了操作を検知したら、図9の処理をステップF223から終了し、図8のステップF207に進む。
ステップF207では、CPU31は最終的な合成処理を行う。即ち、調整処理の終了時点の合成範囲の各画像データと、各画像データに設定された重み係数を用いて合成を行う。この場合、の合成範囲の各フレームの画像データについて、設定された重み係数を各画素の値に乗算する。そして、各フレームの画像データについて、対応する各画素の値を加算して、加算されたフレームの数で除算するという加重平均処理により行う。
なお、生成される合成画像の露出が指定された明るさになるよう、加算もしくは除算の際に補正をかけることもできるし、計算後の合成画像データに補正をかけることもできる。
以上で、合成モードでの一連の処理を終了する。
まず、撮像後の画像を用いて画像合成するものであるため、従来は撮像者が自分の経験と勘で露光時間/シャッタータイミングなどを決めなくてはならなかった長時間露光撮像と同等の効果を、特に熟練者でなくとも簡易に得ることができるようになる。しかも、満足のいく画像効果が得られるまで、何度でも試したり、やり直すことができる。
また、撮像後に合成する画像データについて重み係数を任意に設定できるようにしたことで、従来はフラッシュを焚かなくては得られなかった先幕シンクロ/後幕シンクロ/マルチ発光などの画像効果を容易に得ることができる。
また、被写体に動きのある撮像条件、例えば被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたりするような目的での撮像条件においても良好な画像を得ることができる。
上述の合成処理例では、ユーザが合成作業画像70において重み係数等を変更した場合の合成画像のプレビュー画が画像表示領域72に表示されるが、ここで、その重み係数とうを変更する直前の合成画像(直前のプレビュー画)が同時に表示されるようにすると、ユーザは変更操作前後の合成画像を同時に確認でき、好ましい。
そこで、図8のステップF206で行われる調整処理は、図9の例に代えて図19のように行うことも考えられる。
この図19の場合、ユーザが重み係数を変更する操作を行った場合の処理としてのステップF224A、及びユーザが合成範囲を変更する操作を行った場合の処理としてのステップF225Aが、図9と異なるものとなる。
また、その直前までプレビュー画として画像表示領域72に表示させていた合成画像を画像表示領域71に表示させる。
即ち、前回のプレビュー画としての合成画像も破棄せずに保持しておき、図20に示すように、今回新たに合成したプレビュー画としての合成画像とともに、画像表示領域71,72に並べて表示させるようにする。
図20は、例えばユーザが画像データ#11の重み係数を高くする操作を行った場合であり、この場合に、重み付け変更後のプレビュー画として、画像表示領域72に新たな合成画像(後幕シンクロ効果の画像)が表示され、画像表示領域71に、その直前の合成画像(後幕シンクロ効果のない画像)が表示されている。
この図20のように重み係数を変更する前後の合成画像を同時に表示することで、ユーザは、重み係数の変更が適切であったか否かを検討し易いものとなる。
この場合もユーザは、合成範囲の変更後、変更前を並べて比較することができる。
なお、例えば2つの比較した結果、元の方が良いとユーザが判断した場合に、今回の画像合成をキャンセルして元に合成状態に戻す操作を可能とすることは、当然想定される。
またこのように合成前後を並べて表示させる図19の処理と、上述の図9の処理のどちらが実行されるかを、ユーザが任意に選択できるようにしても良い。
上記の合成処理では、ユーザが任意に各画像データの重み係数を変更操作することで、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの画像効果の合成画像を作成できるものとしたが、ユーザによっては、どのような重み付けをすれば所望の画像効果が得られるかわからない場合もある。また、わかっていても、逐一画像データを選択して重み係数を変更する操作が面倒であると感じる場合もある。
そこで、所定の画像効果を得るための重み係数のパターンを設定した係数テンプレートを用意し、ユーザが係数テンプレートを選択するという操作手法も考えられる。
例えばフラッシュROM33には、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果のそれぞれに対応する重み係数パターンが、各係数テンプレートとして記憶されている。例えば先幕シンクロ効果の係数テンプレートは、その重み係数パターンとして、先頭の画像に対する重みが高く、後続の画像に対する重みが低くされたパターンとなる。CPU31のテンプレート管理部57は、これらの係数テンプレートの管理を行う。
CPU31は、図8のステップF206に進んだ段階で、図22の処理を行う。まずステップF301でCPU31(テンプレート管理部57及び表示制御部56)は、効果選択のための係数テンプレートを表示パネル6に表示させる。
図21に表示例を示す。長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果の4つの係数テンプレートに応じた画像が表示される。
このときに、その各係数テンプレートを用いた場合の画像効果を示す効果モデル画像を表示させる。図のように効果モデル画像として長時間露光効果を与えた画像、先幕シンクロ効果を与えた画像、後幕シンクロ効果を与えた画像、マルチ発光効果を与えた画像として、各画像効果がどのようなものであるかをユーザが認識できるようにする。これは各種画像効果がどのようなものであるかわからないユーザにとっては特に好適となる。
また、効果モデル画像を表示させず、単にメニュー形式で、「長時間露光効果」「先幕シンクロ効果」「後幕シンクロ効果」「マルチ発光効果」等を文字項目として選択させるものであってもよい。
CPU31はユーザの選択決定操作に応じて処理をステップF302からF303に進める。この場合、CPU31のテンプレート管理部57は選択された係数テンプレートの重み係数パターンを合成処理部53に与え、合成処理部53は、その重み係数パターンを、合成範囲の各画像に与えるようにする。
上述のように、この図22に示す図8のステップF206の調整処理に進む段階は、図12までで説明したようにユーザが合成範囲(合成開始位置と合成終了位置)を決めた段階であり、合成作業画像70が図12から図13の状態に進む時点である。
この際に、ユーザによって係数テンプレートが選択されることで、図13のように選択画像リストと重みバーが表示される時点で、CPU31の合成処理部53は、各画像データに対応する重み係数として、テンプレートの重み係数パターンを与え、またプレビュー画として、当該重み係数を与えた状態での加重平均による合成画像を表示させる。
このようにユーザが係数テンプレート選択により、合成範囲の各画像データのそれぞれの重み係数を調整しなくとも、所望の画像効果を得る状態を最初にプレビューできることで、ユーザの操作の容易性や操作効率を格段に高めることができる。
また、先幕シンクロ効果等の効果の内容をよく知らないユーザであっても、係数テンプレートの選択により、多様な画像効果を実現できることにもなる。
もちろん、図22のステップF220以降では、図9の場合と同様に、個別の画像データ毎に重み係数を変更したり、合成範囲を変更することも任意にできるため、ユーザは係数テンプレート選択による合成画像をベースとして、よりオリジナリティを追求した合成画像を作成していくことも可能である。
例えばマルチ発光効果の重み係数パターンについては、テンプレート選択後に発光間隔(重み付けの強いフレームの間隔)を調整できるようにする。このような調整操作は、いずれかの操作ボタンに機能を付加しても良いし、メニューから選択しても良い。また、シャッターボタンを押しながら左右ボタンを押すなどの操作で発光間隔(重み付けの強いフレームの間隔)が自在に操作できるようにしても良い。
また、ゴルフのスイングチェックなど、特定用途に最適な係数テンプレートを用意することもできる。
例えばカメラモードにおいて撮像モードを選択する際に、図23のようなモード選択画面を表示パネル6に表示させるようにする。
この場合、図4に示したオートモード撮像、ポートレートモード撮像、夕景モード撮像、マクロモード撮像などの通常の撮像モードとともに、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などを選択可能とする。
時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果は、それらが選択された場合は図5のステップF15として合成モード用撮像として、複数フレームの画像撮像が行われるが、その際に、記録する画像データ群に対して、メタデータ等により選択された効果の情報を記録しておく。
すると、その後に図8の合成処理でステップF203でプレビュー画を合成する際や、ステップF206に至った時点などで、選択された画像効果の係数テンプレートを用いて重み付け合成を行うことができる。
例えばユーザが、撮像時から先幕シンクロ効果を求めているのであれば、予め撮像の際に先幕シンクロ効果の係数テンプレートを選択しておくことで、合成時には、先幕シンクロ効果の重み係数パターンでプレビュー画の合成が行われることになり、作業効率を向上できる。
ところで、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置では、撮像素子への入射光束および電荷蓄積時間を制御することによって露光時間の調節を行う。
例えば、ビデオカメラにおいてはフレームレートに沿って一定露光周期で画像を撮り続けることが一般的であるが、高輝度被写体を撮影するときにはフレームレートで決まる露光時間(例えば、60fpsのときには約1/60秒)よりも短い時間(例えば1/250秒)の電子シャッタを用いることがある。
この場合に、フレームレートで決まる露光時間から電子シャッタで実際に露光されている時間を差し引いた残りの時間は、記録されない時間となってしまう。動画としては、パラパラ漫画のようなギクシャクとした画像になってしまう。このような動画にならないように、露出制御を行うのが普通であるが、動画がギクシャクと見えない範囲であれば電子シャッタを用いてフレームレートで決まっている露光時間よりも短い電荷蓄積時間で撮像することが一般的である。
図24(b)(d)は、撮像時に1フレーム期間=FRとした場合の固定のフレームレートで連続フレーム撮像を行った場合を示している。
図24(b)は、フレーム期間FR内で電子シャッタ機能を使用しない場合であり、撮像素子の露光期間=R1となる。この場合R1≒FRである。つまり撮像素子が露光による電荷転送のために最低限必要な期間を除いて、フレーム期間内に継続して露光している状態を示している。なお、説明の簡略化のため、以下では撮像素子が電荷転送を行うための露光できないわずかな期間については無視する。
図24(b)のように電子シャッタ機能を使用していない状態で撮像した画像データによる合成画像は、図24(a)のように、滑らかな長時間露光効果が得られる。
一方、図24(d)のように電子シャッタ機能を使用した状態で撮像した画像データによる合成画像は、図24(c)のように、滑らかさにかけた長時間露光効果の画像となってしまう。
これは、斜線部として示す非露光期間において、被写体画像の情報が得られないことによる。
撮像装置1では、露光調整を行うには、絞り/NDフィルタ機構22における絞り機構、NDフィルタ機構、撮像素子部23の動作をタイミング生成回路28が制御することで実行される電子シャッタ機能、アナログ信号処理部24が撮像素子部23で得られた撮像信号に対して与えるゲインの可変を利用することができる。
図25は、横軸方向を被写体輝度とし、図25(a)に撮像時のフレームレートで決まる1フレーム周期FRを示している。この場合、フレーム周期FR=1/60秒とし、被写体輝度にかかわらず固定としている。
図25(b)に電子シャッタSH(フレーム内露光時間)とゲインレベルGを示している。また、図25(d)に絞り機構、NDフィルタ機構の動作状態を模式的に示す。
そして図25(c)は、被写体輝度の変化に応じた露光制御方式を示している。
絞り機構のみでは入射光量調整ができなくなるB領域では、絞り機構とNDフィルタ機構を併用する。つまり絞り機構の開口量と、NDフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
絞り機構とNDフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるC領域では、電子シャッタ機能を用いる。例えば当初はフレーム内露光時間SH=1/60秒としていたところ、電子シャッタ機能により、被写体輝度が高くなるほど、短くしていくように制御する。例えば最短で1/500秒までフレーム内露光時間SHを制御する。
なお、通常ではあまり生じない非常に高い被写体輝度となり、電子シャッタ機能まで用いても露光調整ができないような輝度領域をD領域としているが、この場合、ゲインレベルGを可変することで対応する。
図26(a)(b)(c)(d)は図25(a)(b)(c)(d)と同様に、横軸方向を被写体輝度として、フレーム周期FR(=1/60秒)、ゲインレベルG、電子シャッタによる露光時間SH、露光制御方式、及び絞り機構、NDフィルタ機構の動作状態を示している。
絞り機構のみでは入射光量調整ができなくなるB領域では、絞り機構とNDフィルタ機構を併用する。つまり絞り機構の開口量と、NDフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
そして絞り機構とNDフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるC領域では、電子シャッタ機能を用いずに、ゲインレベルGの可変制御により対応する。
なお、ゲイン調整を行うと、電子的なノイズが発生しやすく諧調や精細さに欠ける撮像画像となってしまうこともあるため、ゲイン調整に関してはリミットを設定したり、ノイズリダクション処理で対応するなどが適切である。
そしてゲインレベルの可変がリミットに達してもなお、対応できないような、通常ではあまり生じない非常に高い被写体輝度のD領域となった場合にのみ、電子シャッタ機能を用いて露光調整を行う。
CPU31はステップF301で、被写体輝度を判定する。例えば現在撮像されてカメラDSP4で処理されているフレームについてデジタル信号処理部41で算出する露光量情報(例えば平均輝度情報など)を取得し、前フレームの露光量情報と比較して、被写体輝度が上昇したか低下したかを判定する。
被写体輝度が上昇していると判断した場合はCPU31はステップF302からF303に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の上昇は、図26のA領域→B領域への上昇、B領域→C領域への上昇、C領域→D領域への上昇のいずれかに相当するか否かを確認する。
つまり現在A領域であったら、絞り機構の開口量を少なくする。現在B領域であったら、絞り機構とNDフィルタ機構の連係で入射光量を少なくするようにする。現在C領域であったら、ゲインレベルを低く制御する。現在D領域であったら、電子シャッタ機能によりフレーム内露光時間を短くする制御を行う。
即ちA領域からB領域に遷移するような被写体輝度の上昇であった場合は、ステップF311に進み、それまでの絞り機構のみによる露光調整から、絞り機構とNDフィルタ機構を併用した露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またB領域からC領域に遷移するような被写体輝度の上昇であった場合は、ステップF312に進み、それまでの絞り機構とNDフィルタ機構の併用による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またC領域からD領域に遷移するような被写体輝度の上昇であった場合は、ステップF313に進み、それまでのゲインレベル可変による露光調整から、電子シャッタ機能を用いた露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
つまり現在A領域であったら、絞り機構の開口量を大きくする。現在B領域であったら、絞り機構とNDフィルタ機構の連係で入射光量を多くするようにする。現在C領域であったら、ゲインレベルを高く制御する。現在D領域であったら、電子シャッタ機能によりフレーム内露光時間を長くする制御を行う。
即ちC領域からB領域に遷移するような被写体輝度の低下であった場合は、ステップF311に進み、それまでのゲインレベル可変による露光調整から、絞り機構とNDフィルタ機構を併用した露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またD領域からC領域に遷移するような被写体輝度の低下であった場合は、ステップF312に進み、それまでの電子シャッタ機能による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またB領域からA領域に遷移するような被写体輝度の低下であった場合は、ステップF314に進み、それまでの絞り機構とNDフィルタ機構の併用による露光調整から、絞り機構のみを用いた露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
つまりCPU31は、撮像系2に固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、この撮像実行時の被写体輝度に応じた露光調整制御として、電子シャッタ機能以外の露光調整機能(絞り機構、NDフィルタ機構、ゲインレベル制御)を優先的に用いて露光調整制御を行うことになる。
従って、その後の合成処理によっては、図24(a)のように、実際の長時間露光撮像と比較しても遜色のない、滑らかな画像を得ることができる。特に動きのある被写体を撮像する場合に滑らかな長時間露光画像を得ることができる。
また、この動作は特に固定フレームレートで撮像することを前提としているが、これによっては、合成モード用撮像と動画撮像を共用するようにする場合などに好適である。
つまり、動画撮像を行い、その撮像によって記録された動画データから複数フレームを抽出して合成処理に用いるようにする場合などは、このような露光調整動作によって、固定フレームレートでの適切な動画データであるとともに、合成処理に適した画像データであるという両立ができることになる。
但し、ステップF15で合成モード用撮像としての連続フレーム撮像を行う際には、全く電子シャッタ機能を用いないようにしても良い。つまり図26のD領域では、それ以上の露光調整を行わない、或いはさらにゲインレベルを下げて対応するなどとしてもよい。
また、ステップF15のみでなく、ステップF16での撮像の際にも、このような露光調整制御を行うようにしても良いし、ステップF16の場合は図25の露光調整制御を行うようにしても良い。
また図26,図27では、電子シャッタ機能以外に3つの露光調整要素(絞り機構、NDフィルタ機構、ゲイン可変)を用いたが、必ずしもこれら3つが全て用いられなくても良い。例えばNDフィルタ機構を用いない例も考えられる。
即ち固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させる際に、電子シャッタ機能により、固定フレームレートでの露光期間内に連続して分割的な露光を実行させ、当該分割的な露光により得られた複数の撮像画像データを合成して1フレームの画像データとするようにする。
上述したように電子シャッターを使わない露光調整制御を行う場合には、例えばCCDなどの撮像素子における蓄積電荷の限界を超えてしまい、飽和してしまう場合がある。
この場合は、電荷があふれるほど飽和した電荷量になってしまうわけであるから、真っ白に色飛びした画像が形成されることになってしまい、良好な画像を得ることができない。
当然、電荷があふれたような画像を元にして、良好な合成画像を得ることはできない。
但し、電子シャッタ機能を通常どおりに用いると、図28(a)(b)に示すようになり、例えば図28(b)のように、1フレーム期間FR1内で露光時間R3と非露光期間(斜線部)が生ずる状態となって、非露光期間で被写体の情報が欠落することで、合成画像が図28(a)のように滑らかさの欠けたものとなる(上記24(c)(d)と同様)。
そこで、図28(d)に示すように、ある特定のフレームレートでのフレーム期間FR1において、例えば露光期間R4として示すように分割的に露光を行うようにする。つまり非露光期間が生じないようにする。
そして露光期間R4毎の3つの撮像画像データをカメラDSP4内で合成して、1フレームの画像データとするものとする。
このような動作を行うことで、固定フレームレートでの各フレームの撮像画像データ(#1,#2・・・)が得られることになるとともに、撮像素子部23での飽和を解消し、かつ非露光期間による情報の欠落のない撮像画像データを得ることができる。
これによって、そのような複数フレームの画像データ(#1,#2・・・)を合成処理に用いた場合、図28(c)のように滑らかな長時間露光効果画像を得ることができる。
図29(a)は、1フレーム期間FR1を等間隔に3分割して露光期間R4毎の分割露光を行った場合を示している。
この場合、1フレームを構成する3つの撮像画像データに対しては、図示するように同じ重み付け(1倍)で合成を行って、各フレームの撮像画像データ(#0,#1,#2・・・)を生成する。
図29(b)は、1フレーム期間FR1を不等間隔に3分割した例であり、露光期間R5,R6,R7として各分割露光を行った場合を示している。この場合、R5,R6,R7の時間は、3:2:1であるとすると、露光期間R5の画像データには1/3の重みを与え、露光期間R6の画像データには2/3の重みを与え、露光期間R7の画像データには1倍の重みを与えて合成する。
図29(c)は、1フレーム期間FR1を一部不等間隔に3分割した例であり、露光期間R8,R8,R9として各分割露光を行った場合を示している。この場合、R8,R9の時間は、3:1であるとすると、露光期間R8の2つの画像データには1/3の重みを与え、露光期間R9の画像データには1倍の重みを与えて合成する。
続いて、フレームレートを可変することを考慮した撮像動作例を説明する。
例えば図5のステップF15の撮像の際に、被写体輝度に応じた自動露光調整のために電子シャッタ機能を用いると、その撮像によって得られた複数フレームの画像データを用いて合成処理を行った場合に、滑らかさに欠ける合成画像となってしまうことは上述のとおりである。図30(a)(b)は、例えば1フレーム期間FR1の場合に、電子シャッタ機能によって1フレーム内の露光期間=R3とした場合であり、このような撮像によって得られた画像データを用いた合成を行うと、斜線部の非露光期間での情報欠落により図30(a)のような合成画像となってしまう。
図30(d)の場合、1フレーム期間FR2=露光期間R3となるようにフレームレートを変化させたものであり、実質的に、図30(b)の場合と同等の露光調整効果が得られるものとなる。そしてこの図30(d)の場合は、1フレーム期間FR2内で非露光期間が無いことで、被写体情報の欠落が無い状態で、各フレームの画像データが記録されることになるため、このような撮像によって得られた画像データを用いた合成を行うと、図30(c)のように滑らかな長時間露光効果が得られる合成画像とすることができる。
今、図31(a)のように被写体輝度が時刻t0から徐々に上昇し、時刻t1以降はほぼ一定となったとする。この場合に、自動露光調整としてフレームレートを可変し、1フレーム期間を図31(b)のように制御する。つまり被写体輝度が徐々に上昇する時刻t0〜t1においては、1フレーム期間がFR1→FR2→FR3・・・と徐々に短くなるようにして露光調整を行う。1フレーム期間内では非露光期間は設けないことで、1フレームでの露光期間はR1→R2→R3・・・と、1フレーム期間にあわせて短くなる。
時刻t1以降で被写体輝度が変化しなければ、例えばその期間は1フレーム期間=FR8(露光期間R8)を保てばよい。
図32(a)(b)(c)(d)は横軸方向を被写体輝度としている。そして図32(a)はフレーム周期FR、図32(b)はゲインレベルG、図32(c)は露光制御方式、図32(d)は絞り機構、NDフィルタ機構の動作状態を示している。
なお、電子シャッタ機能については示していないが、1期間内においては常時露光(電荷転送のための僅かな期間を除いて)を行うことを前提とし、1フレーム期間内で露光時間をその1フレーム期間より短くするということは行わないためである。
絞り機構のみでは入射光量調整ができなくなるB領域では、絞り機構とNDフィルタ機構を併用する。つまり絞り機構の開口量と、NDフィルタ機構の入射光束への挿入量によって、入射光量を調節する。
そして絞り機構とNDフィルタ機構を併用のみでは調整できないほど被写体輝度が高くなるC領域では、フレームレート可変制御により対応する。即ち被写体輝度が高くなるほど1フレーム期間FRを短くしていく。例えば被写体輝度が低いときは1フレーム期間=1/60秒としていたものを、被写体輝度が高くなることに応じて最短で1/500秒まで可変制御する。
そして1フレーム期間=1/500秒としてもなお対応できないような、通常ではあまり生じない非常に高い被写体輝度のD領域となった場合にのみ、ゲイン可変制御により露光調整を行う。
なお、ステップF301〜F311、F314は上述した図27と同様であり、図27のステップF313に代えてステップF320の処理が、また図27のステップF312に代えてステップF321の処理が行われるものとなる。但し、ステップF310など、具体的処理内容の一部が異なる点があるため、以下の説明は省略せずに行う。
被写体輝度に変化がないと判断した場合は、CPU31はステップF302、F306を介してステップF301に戻り、次のフレームについての被写体輝度の判定を行う。
被写体輝度が上昇していると判断した場合はCPU31はステップF302からF303に進み、現在の領域の露光調整方式では制御限界となっているか否かを判定する。即ち今回の被写体光量の上昇は、図32のA領域→B領域への上昇、B領域→C領域への上昇、C領域→D領域への上昇のいずれかに相当するか否かを確認する。
つまり現在A領域であったら、絞り機構の開口量を少なくする。現在B領域であったら、絞り機構とNDフィルタ機構の連係で入射光量を少なくするようにする。現在C領域であったら、フレームレートを変化させ、1フレーム期間を短くする制御を行う。現在D領域であったら、ゲインレベルを低くする制御を行う。
即ちA領域からB領域に遷移するような被写体輝度の上昇であった場合は、ステップF311に進み、それまでの絞り機構のみによる露光調整から、絞り機構とNDフィルタ機構を併用した露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またB領域からC領域に遷移するような被写体輝度の上昇であった場合は、ステップF321に進み、それまでの絞り機構とNDフィルタ機構の併用による露光調整から、フレームレート可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
またC領域からD領域に遷移するような被写体輝度の上昇であった場合は、ステップF320に進み、それまでのフレームレート可変による露光調整から、ゲインレベル可変による露光調整に切り換えて、被写体輝度の上昇に対応する制御を行う。
つまり現在A領域であったら、絞り機構の開口量を大きくする。現在B領域であったら、絞り機構とNDフィルタ機構の連係で入射光量を多くするようにする。現在C領域であったら、フレームレート可変により、1フレーム期間を長くする。現在D領域であったら、ゲインレベルを高くする制御を行う。
即ちC領域からB領域に遷移するような被写体輝度の低下であった場合は、ステップF311に進み、それまでのフレームレート可変による露光調整から、絞り機構とNDフィルタ機構を併用した露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またD領域からC領域に遷移するような被写体輝度の低下であった場合は、ステップF321に進み、それまでのゲインレベル可変による露光調整から、フレームレート可変による露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
またB領域からA領域に遷移するような被写体輝度の低下であった場合は、ステップF314に進み、それまでの絞り機構とNDフィルタ機構の併用による露光調整から、絞り機構のみを用いた露光調整に切り換えて、被写体輝度の低下に対応する制御を行う。
つまりCPU31は、撮像系2に時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、この撮像実行時の被写体輝度に応じた露光調整制御として、絞り機構、NDフィルタ機構、ゲインレベル制御とともにフレームレート可変制御を実行して露光調整制御を行うことになる。
従って、その後の合成処理によっては、図30(c)のように、実際の長時間露光撮像と比較しても遜色のない、滑らかな画像を得ることができる。特に動きのある被写体を撮像する場合に滑らかな長時間露光画像を得ることができる。
またD領域ではゲイン可変により露光調整を行うが、上述のようにゲイン調整を行うと電子的なノイズが発生しやすい。しかしながら、D領域は通常は滅多に発生しないほどの高輝度状態であり、殆どの場合はゲイン可変による露光調整は行われないこととなるため、特にノイズリダクション処理などの手法を用いなくてもゲイン可変時のノイズの影響は、実用上で殆ど発生しないと考えることができる。
また、ステップF15のみでなく、ステップF16での撮像の際にも、このような露光調整制御を行うようにしても良い。
また図32,図33では、フレームレート可変以外に3つの露光調整要素(絞り機構、NDフィルタ機構、ゲイン可変)を用いたが、必ずしもこれら3つが全て用いられなくても良い。例えばNDフィルタ機構を用いない例も考えられる。
例えば図31(c)に示すようにフレームレート可変で得られた各画像データ#1〜#22を合成範囲として合成処理し、合成画像データを生成する場合、図示のように重み係数を与える。例えばフレーム期間=FR8の画像データ#8〜#22のそれぞれに対する重み係数=1とした場合、画像データ#1のフレーム期間FR1がフレーム期間FR8の5倍であったとしたら、画像データ#1に対する重み係数=1/5とする。また画像データ#2のフレーム期間FR2がフレーム期間FR8の(10/3)倍であったとしたら、画像データ#2に対する重み係数=3/10とする。
このように1フレーム期間長に応じて、逆比として求められる重み係数を各画像データに与えることで、合成画像データを滑らかな画像とすることができる。
なお、合成処理の際に、このような重み係数の設定ができるようにする場合、撮像時に各画像データに付加するメタデータとしてフレームレートの情報を含むようにすることが適切である。
以下では、上述した合成モード処理の際に適用できる各種の例を説明していく。ここでは、まずフレーム補間について述べる。
合成モード用撮像において時間的な連続性を有する複数フレームの画像撮像を行う場合において、露光調整のためなどで電子シャッタ機能が用いられる場合がある。
例えば図25の露光調整方式を採用した場合や、図26の露光調整方式で被写体輝度がD領域に相当する状態となった場合、さらにはユーザ設定その他で電子シャッタ機能が用いられるような場合などである。このような場合、連続フレーム撮像を行っても、フレーム期間内で非露光期間が生じ、その間の被写体情報が欠落することは先に述べた。
また、電子シャッタ機能を用いなくても、例えば図5のステップF15の連続撮像が、毎フレームごとではなく、1フレーム置きなどの間欠的に行われるような場合は、同様に、時間的な連続性を有する一連の複数フレームの画像データにおいて、被写体情報の欠落が生じている。
これらの状況で、合成処理の対象とする一連の画像データに被写体情報の欠落があると、その合成画像は滑らかさに欠けたものとなる。
このため、その一連の画像データを用いると、被写体の動きを滑らかに表現する合成画像が得られるが、より滑らかさを向上させたいという要望もある。
図34(c)に、実際に撮像されて記録媒体90等に記録されている、一連の画像データ#1,#2,#3,#4を示している。
この画像データ#1,#2,#3,#4を合成した場合に、合成画像は図34(a)のようになったとする。つまりあまり滑らかとはいえない長時間露光効果の状態である。
ここで補間処理によって図34(d)のように補間フレーム#h12,#h23,#h34を生成する。
これらの場合、MPEG方式などのコーデックによって一般的に用いられているフレーム間(フィールド間)補間技術を用い、動きベクトルを用いて2つのフレームの間の画素値を空間予測によって埋め合わせることにより、補間フレームを作成することができる。
そして、この画像データ#1,#h12,#2,#h23,#3,#h34,#4を合成した場合を図34(b)に示しているが、補間フレームを加えて合成することで、合成画像の滑らかさを高めることができる。
例えば図35(a)は、1フレーム期間=FR1で固定とした状態で、電子シャッタ機能により40msecの露光期間Rと、20msecの非露光期間(斜線部)として画像データ#1,#2,#3,#4の撮像を行った場合を示している。
この場合は、補間フレーム#h12,#h23,#h34は、実際には撮像されていない20msecを埋め合わせるという意味合いを持つが、実際に露光された40msecのフレームにおいて適正露光が得られていた場合には、補間フレームについても適正な画像が作成できる。
そして画像データ#1,#2,#3,#4と補間フレーム#h12,#h23,#h34を用いた合成処理の際には、露光時間の比に応じた係数を与える。
例えば画像データ#1、補間フレーム#h12、元の画像データ#2は、時間軸上では2:1:2の関係にあるので、逆比を演算することによって図示のように0.5:1:0.5の重み付けを与える。このようにすることで、実際の被写体の動きに合った露光時間を再現する。
なお重み付けの演算においては、複数の画像の輝度信号の総和を利用しても良いし、メタデータに記録されている露出やシャッタースピードを用いることもできる。
この場合は非露光期間は生じていないため、補間フレーム#h12,#h23,#h34は、より滑らかな合成画像を得るという目的のものとなる。そしてこの場合は、図のように画像データ#1,#2,#3,#4と補間フレーム#h12,#h23,#h34には、同等の重み付けを行って合成処理を行うことが考えられる。
例えばCPU31は、図8のステップF206で行われる調整処理として、図9の例に代えて図36のように行うようにする。
CPU31は、図8のステップF206に進んだ段階で、図36の処理を行う。まずステップF220で、図9の場合と同様に、選択画像リスト表示と重みバー表示を行う。例えば合成作業画像70を図12から図13のような状態とする。
このときに、画像表示領域72にプレビュー画として表示する合成画像としては、ステップF230、F231においてフレーム補間処理を行って生成し、表示させる。
即ちCPU31は、ステップF230で、その時点で合成範囲とされている一連の画像データを用いて、図34で説明した補間フレームを作成し、ステップF231で、図35で述べたような所定の重み係数を設定して合成処理を行う。これによって例えば図13の合成作業画像70の画像表示領域72に表示される合成画像は、フレーム補間処理を加えた上で合成された合成画像となる。
また、この図36の調整処理を終え、図8のステップF207で最終的な合成処理を行う場合には、ステップF206(図36)調整処理の最終段階で用いられていた補間フレームも用いて合成処理を行う。
特に、動きの非常に早い被写体を対象とする場合は、このようなフレーム補間処理により合成画像で滑らかな動きが表現できることの効果は大きい。
また、図8のステップF206の調整処理の段階ではフレーム補間を行わず、ステップF207の最終的な合成処理の段階で、補間フレームの生成及び補間フレームを用いた画像合成が行われるようにしてもよい。
或いは逆に、補間フレームの存在はユーザには明示しないようにしてもよい。
ユーザは、合成モード用撮像を行う際(図5のステップF15の撮像)には、フラッシュを使用することもある。例えば、その後の合成処理によっては、フラッシュを使用しなくとも先幕シンクロ効果等を実現できるが、ユーザによっては、合成作業の際に重み係数の変更等を行わない状態でも最初から先幕シンクロ効果等が得られるようにしたいと考えた場合や、フラッシュを使用することでの画像表現を求めたい場合など、フラッシュを使用しての撮像を行うことがある。
また、実際にフラッシュを焚いて撮像を行ったが、後で、フラッシュを使用していない状態での画像を用いて合成画像を生成したいと思い直すこともある。
さらに、撮像装置の性能やユーザの設定などによりフラッシュの光量が足りなかったといった場合もある。
図38は、図8の合成処理におけるステップF206の調整処理過程でフラッシュ無効化を実行できるようにした場合のCPU31の処理例を示している。
なお、図38のステップF220〜F225Aは図19と同様であり、この図38は、図19の処理にステップF240〜F245を加えたものである。
CPU31は、ユーザがフラッシュ無効化操作を行ったことを検知したら、処理をステップF240からF241に進める。
ステップF241〜F244では、合成範囲とされている各画像データについて、フラッシュ無効化のための重み係数の変更を行う。
CPU31は、ステップF241で、合成範囲とされている各画像データのうちの1つを処理対象として取り出し、ステップF242で、その画像データがフラッシュ画像(フラッシュを使用して撮像した画像データ)であるか、非フラッシュ画像(フラッシュを使用しないで撮像した画像データ)であるかを判別する。上述したようにフラッシュ画像であるか、非フラッシュ画像であるかは、その画像データに撮像時に付加されたメタデータを確認して判断すればよい。
即ちフラッシュ画像であれば、フラッシュ効果が無くなるように重み係数を低下させる。また、非フラッシュ画像であれば、重み係数を上昇させる。
なお、この重み係数は、フラッシュ画像と非フラッシュ画像との間での、画像の全体輝度の差をなくすようにするものであるため、フラッシュ画像についての重み係数の低下量と、非フラッシュ画像についての重み係数の上昇量は、それらの画像の全体輝度の相対的な差に応じて設定するものとなる。場合によっては、フラッシュ画像の重み係数を低下させ、非フラッシュ画像についての重み係数は現状のままでも、フラッシュ画像を非フラッシュ画像と同等の全体輝度とすることができる場合もある。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、各画像データに設定されている重み係数によれば、各画像データの画面の全体輝度の差が均一化されている。即ちフラッシュ画像が、非フラッシュ画像と同等の明るさの画像となるように、各画像データに重み係数が設定されたことになる。
また、無効化前の合成画像(つまり直前まで合成画像のプレビュー画として、画像表示領域72に表示させていた画像を、画像表示領域71に表示させる。
合成範囲とされてタイムライン73内に選択画像リストとして各画像データ#5〜#11については、図示するように、画像データ#11がフラッシュ画像であったとする。
このため、図38の調整処理に移行した当初であって、画像データ#5〜#11についての重み係数が均等であるとき(例えば図13のように重み係数が均一で重みバーが同じ高さである初期状態)では、合成画像のプレビュー画としては、この図37の画像表示領域71に表示されている後幕シンクロ効果のある合成画像が、画像表示領域72側に表示されている。
その状態でユーザがフラッシュ無効化操作を行って、ステップF241〜F245の処理が行われると、合成作業画像70は図37のようになる。
即ち、非フラッシュ画像である画像データ#5〜#10については重み係数が上昇され、それが重みバーw5〜w10が高くなることで表現され、またフラッシュ画像である画像データ#11については重み係数が低下され、それが重みバーw11が低くなることで表現される。
そして、フラッシュ無効化処理後の合成画像が、画像表示領域72に表示され、フラッシュ無効化前の合成画像が画像表示領域71側に表示される。
フラッシュ無効化処理後の合成画像は、図示するように、後幕シンクロ効果のなくなった長時間露光効果としての画像となる。つまり、フラッシュ画像である画像データ#11についても、フラッシュが使用されなかった状態の全体輝度とされて合成画像が生成される。
このように、ユーザがフラッシュを使用して撮像を行った場合でも、ユーザの意図に応じて簡易に、合成処理の際にフラッシュ効果を無効化することができる。
例えばフラッシュ撮像が、結果的にユーザの意図に合わない画像となった場合など、フラッシュ無効化操作を行うのみで、あたかもフラッシュを発光しなかったかのような重み付けとして、合成画像を得ることができる。
例えば、連続撮像画像について輝度信号の総和を検出/監視/ウォッチすることによって、輝度信号の変化を捉えることができる。
また、露出制御における調光機能(絞り機構、NDフィルタ機構、液晶アイリスなど)、シャッタースピード、電子シャッタースピード、ゲインなどを検出することによっても、間接的ではあるがフラッシュを焚いたフレームであるかどうかを判断することができる。
輝度信号(もしくは撮像した場面の明るさ)の時間的な変化の割合を検知することによって、急激な変化があった場合にはフラッシュが焚かれたと判断する。例えば、1/60秒の間に明るくなって暗くなる、というような変化を捉えた場合にはフラッシュが焚かれたと判断することもできる。
従って、例えば周囲にカメラマンが多数いる状況で、撮像時にユーザ自身が意図しないフラッシュ発光等が行われてしまい、それらのフラッシュ発光を合成時に全て無効化したいような場合を想定すると、フレーム間の輝度比較や露光制御状況等でフラッシュ画像か非フラッシュ画像かを判断することが好適となる。つまり撮像時の状況にかかわらず、撮像時の周囲の状況をキャンセルした状態で合成画像を簡易に得ることができる。
ユーザが撮像時にフラッシュを使用しても、フラッシュ光量が足りないような場合、合成処理の際に適切な画像効果の合成画像が得られない場合がある。
そこで合成処理の際に、フラッシュ画像補正を行うことができるようにする。
図40は、図8の合成処理におけるステップF206の調整処理過程でフラッシュ補正を実行できるようにした場合のCPU31の処理例を示している。
なお、図38のステップF220〜F225Aは図19と同様であり、この図38は、図19の処理にステップF250〜F255を加えたものである。
CPU31は、ユーザがフラッシュ補正操作を行ったことを検知したら、処理をステップF250からF251に進める。
ステップF251〜F255では、合成範囲とされている各画像データのうちでフラッシュ画像を抽出して重み係数の変更を行う。
CPU31は、ステップF251で、合成範囲とされている各画像データのうちの1つを処理対象として取り出し、ステップF252で、その画像データがフラッシュ画像であるか、非フラッシュ画像であるかを判別する。上述したようにフラッシュ画像であるか、非フラッシュ画像であるかは、その画像データに撮像時に付加されたメタデータを確認して判断すればよい。或いは上記のようにフレーム間の輝度比較や露光制御状況等により判断しても良い。
現在処理対象としてる画像データが非フラッシュ画像であれば、特に重み係数の変更は行わない。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、各画像データに設定されている重み係数によれば、フラッシュ画像について輝度が向上させるような補正のための重み係数が設定されたことになる。
なお、この例では非フラッシュ画像については重み係数を変更していないが、フラッシュ画像を際だたせるために、非フラッシュ画像については重み係数を低くするというように重み係数の変更を行うようにしても良い。
また、フラッシュ補正前の合成画像(つまり直前まで合成画像のプレビュー画として画像表示領域72に表示させていた画像)を、画像表示領域71に表示させる。
合成範囲とされてタイムライン73内に選択画像リストとして各画像データ#5〜#11については、図示するように、画像データ#11がフラッシュ画像であったとする。
このため、図40の調整処理に移行した当初であって、画像データ#5〜#11についての重み係数が均等であるとき(例えば図13のように重み係数が均一で重みバーが同じ高さである初期状態)では、合成画像のプレビュー画としては、この図39の画像表示領域71に表示されている後幕シンクロ効果のある合成画像が、画像表示領域72側に表示されている。但し、撮像時のフラッシュ光量不足により、画像データ#11の全体輝度が低めであって、後幕シンクロ効果があまり強調されていない画像となっている。
即ち、フラッシュ画像である画像データ#11について重み係数が上昇され、それが重みバーw11が高くなることで表現される。
そして、フラッシュ補正処理後の合成画像が、画像表示領域72に表示され、フラッシュ補正前の合成画像が画像表示領域71側に表示される。
フラッシュ補正処理後の合成画像は、図示するように、後幕シンクロ効果がはっきり表れた画像となる。
このように、ユーザがフラッシュを使用して撮像を行ったが、フラッシュの性能や被写体との距離の状況などで、被写体輝度が十分得られなかったような場合でも、ユーザの意図に応じて簡易に、合成処理の際にフラッシュ効果を補正することができる。
また、フラッシュ画像に対する重み係数をどの程度補正するかは、CPU31が自動計算しても良いし、ユーザが段階的に調整できるようにしても良い。
自動計算の場合は、フラッシュ画像と非フラッシュ画像についての輝度総和の標準的な差などを予め設定しておき、その輝度総和の差となるようにフラッシュ画像、非フラッシュ画像についての重み係数の調整を行うようにする。
ユーザが調整する場合は、或る程度固定の重み係数の変更量を設定しておき、フラッシュ補正操作が行われる毎に、フラッシュ画像についての重み係数を、固定の変更量だけ変化させていくようにすればよい。ユーザは所望の状態となるように、フラッシュ補正操作を繰り返せばよい。
そのため、フラッシュ無効化操作、フラッシュ補正操作などに応じて上記処理が実行されるようにすることは、合成作業の操作性を著しく向上させるものとなる。
続いて撮像時の被写体までの距離に応じて重み係数の補正を行う処理例を図41〜図44を用いて説明する。
なお、この処理を行うためには、図5のステップF15での撮像時に、各フレームの画像データに付加するメタデータ(例えばExifデータ)に撮像距離(撮像時のピント面までの距離)を保持しておくようにする。上述したように撮像時にはオートフォーカス制御によって主たる被写体に対して合焦状態とされるが、その際にレンズ位置検出部27はレンズアドレスからの逆算で主たる被写体までの距離を判定する。CPU31は、この距離の情報をメタデータとして付加しておく。
この場合の画像データ#5〜#11は、被写体が画面上で右上から左下の方向に移動しながら、徐々に撮像装置1側に近づいてくる状況を撮像したものであったとする。
ここで、ユーザが重み係数の操作を行い、図42のように画像データ#5、#8、#11の重み係数を高くし、他の画像データ#6,#7,#9,#10の重み係数を低くすることで、プレビュー画として表示されているマルチ発光効果を与えたとする。
実際にフラッシュ撮像を行った場合、被写体の距離が遠くなると、到達する光量が少なくなってしまうため、十分な発光光量がなければ、暗く写ってしまうことになる。これを避けるためにはより大型のフラッシュが必要となり、小型化/低消費電力化の弊害となってしまう。
これに対して本例では図42のような画像合成によれば、このような従来のフラッシュを実際に焚いた際の問題点を解決することができる。すなわち、大型のフラッシュを用いることなく、十分な光量で発光したかのような画像を得ることができる。
しかしながら、フラッシュを実際に焚いた場合のような画像を、実際にはフラッシュを焚くことなくよりリアルに再現したいというニーズも考えられる。つまり、従来のフラッシュ撮像によるマルチ発光効果を、よりリアルに再現したいという要望も考慮しなければならない。
なお、図44のステップF220〜F225は図9と同様であり、この図44は、図9の処理にステップF260〜F266を加えたものである。
例えばユーザが、重み係数の操作(或いはマルチ発光効果の係数テンプレート選択)により、図42のように合成画像にマルチ発光効果を与えた場合等が想定される。もちろんマルチ発光効果の場合に限らず、先幕シンクロ効果、後幕シンクロ効果の場合、或いは合成範囲内の任意の画像データの重み係数を高くしてフラッシュ効果を与えた場合なども想定される。
それらの際にユーザは、よりリアルな表現を求める場合はフラッシュ距離補正の操作を行えばよい。
ステップF261〜F264では、合成範囲とされている各画像データのうちで、重み係数によりフラッシュ効果を与えている画像を抽出して重み係数の変更を行う。
CPU31は、ステップF261で、合成範囲とされている各画像データのうちの1つを処理対象として取り出し、ステップF262で、その画像データが重み係数によってフラッシュ効果を与えている画像であるか否かを判別する。
そしてCPU31は、現在処理対象としてる画像データがフラッシュ効果画像であれば、ステップF263に進み、まずその画像データのメタデータから、その画像データでの被写体までの撮像距離を判別する。そしてステップF264でCPU31は、撮像距離に基づいて重み係数の補正値を算出し、当該画像データの重み係数の補正値として保持する。
なお、現在処理対象としてる画像データがフラッシュ効果を与えている画像でなければ、ステップF263,F264の処理は行わない。
合成範囲とされている各画像データの全てについて、以上の処理を行った時点で、合成範囲内でフラッシュ効果が与えられている画像データ(図42の場合は画像データ#5,#8,#11)について、撮像距離に基づく重み係数の補正値が算出された状態となる。
そして補正後に各画像データに対応する重みバーの表示の高さを変更し、また補正後の重み係数を用いて各画像データの合成処理を行い、合成画像を生成して画像表示領域72に表示させる。
また、このフラッシュ距離補正前の合成画像(つまり直前まで合成画像のプレビュー画として画像表示領域72に表示させていた画像)を、画像表示領域71に表示させる。
以上の処理を行うことによって、合成作業画像70は図43のような状態となり、フラッシュ距離補正がなされた合成画像が表示されることになる。
なおステップF266での合成時には、重み係数の補正後に生成される合成画像の明るさが全体的に変化してしまうのを防ぐために、全体の重み係数を自動的に調整し、適正な明るさの合成画像を得られるようにすることが適切である。
その場合、距離補正後の合成作業画像70は図45のようになる。即ち重みバーw5〜w11でわかるように、各画像データ#5〜#11の重み係数が、撮像距離に応じて補正された状態となり、その補正された重み係数による合成画像が画像表示領域72に表示される。
フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値
という関係があるので、ガイドナンバーを指定することによって、フラッシュ光量が距離の2乗に反比例することに基づいて重み係数の補正値の設定を行うことができる。
仮想的なガイドナンバーの指定はユーザー操作による指示を行うことが画像表現上は望ましいが、被写体の距離分布に応じて自動的にガイドナンバーを選択することもできる。例えば、被写体が近距離から中距離まで分布している際にはガイドナンバーを小さくして、被写体が近距離から遠距離まで分布している場合にはガイドナンバーを大きくする。
もちろん、プリセットで例えば「ガイドナンバー28」などと指示しても良い。指定するのは「ガイドナンバー」には限定されず、フラッシュ発光量を意味するものであれば特に限定されない。フラッシュ到達距離を指定することもできるし、絞り設定値を実際に撮影した絞り値とは異なる値であると指定することによって、仮想的なフラッシュ効果を得ることもできる。
マルチ発光効果については、係数テンプレート選択後に発光間隔(重み付けの強いフレームの間隔)を調整できるようにして、調整された発光間隔に合わせて撮像距離をもとに重み付けを判断し、自動で設定するようにすることも可能である。
調整操作のためには、所定の操作子にその操作機能を付加しても良いし、メニューから選択するようにしても良い。また、シャッターキー5aを押しながら十字キー5iの左右操作などで発光間隔が自在に操作できるようにしても良い。
撮像距離の情報としていわゆるデプスマップ(Depth Map)等の距離分布情報(各画素毎に被写体の距離を測定したもの)を取得することによって、
フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値
という関係に従って、各画素に重み付けを付加することもできる。
つまり、画像合成によって長時間露光画像を得る際に重み付けを用いるだけでなく、撮像距離に応じた領域抽出あるいはデプスマップなどの距離分布情報に応じて、1つの合成画像内において距離によって重み付けを変えることによって、よりリアルなフラッシュ効果を再現することが可能となる。
なお、上述したように距離分布情報は、撮像時にカメラDSP4の情報生成部44で生成することができる。
動被写体の動きを表現するための長時間露光撮影においては背景に動きはないか、背景に動きがあったとしても撮像意図としては重要視されない場合があるから、画面全体を重み付けして画像合成したとしても問題ない撮像シーンが多い。
例えば図46の合成範囲とされている各画像データ#5〜#11において、画像データ#5、#8、#11は、撮像時に実際にフラッシュ発光を行ったものであるとする。
しかしながら撮像距離が遠いフレームにおいてはフラッシュ光量が足りずに、適正露出/良好な画像が得られていないとする。この例では、被写体が近い画像データ#11ではフラッシュ光量が十分であるが、被写体が遠い画像データ#8、#5では光量が足りなかったとする(画像データ#5が最も光量が足りない状態)。
このため、重み係数を均一にして合成すると、図46のように、被写体が近いほど強調されたようなマルチ発光効果の画像となる。
このような合成画像は、リアルなマルチ発光効果であるといえるが、ユーザによっては、リアルさよりも逆に、撮像距離にかかわらずはっきりした発光効果を得るようにしたいと望む場合もある。このため、上述した例とは逆に、実際にフラッシュ発光撮像を行って得たリアルな画像を補正して、フラッシュ効果を強く与えるような補正も考えられる。
つまりステップF262においては、実際にフラッシュを焚いて撮像したフラッシュ画像であるか否かを判断し、フラッシュ画像であればステップF263で被写体までの距離を判別し、ステップF264で距離に応じて重み係数の補正値を算出する。このときに、上記例とは逆に、距離に応じたフラッシュ光量の低下に対して、光量が十分となるように重み係数を補正する補正値とする。
そして、各フラッシュ画像について重み係数の補正値を算出したら、ステップF266で、各フラッシュ画像について重み係数を補正値を用いて補正し、補正後、合成処理を行えばよい。
重み係数については、重みバーw5〜w11で示されているように、フラッシュ画像#5,#8,#11のうちで、被写体が遠い画像データほど、重み係数が高くされるように補正されたものとなる。つまり、あたかも発光光量の大きなフラッシュを焚いたかのように補正される。
なおステップF266での合成時には、重み係数の補正後に生成される合成画像の明るさが全体的に変化してしまうのを防ぐために、全体の重み係数を自動的に調整し、適正な明るさの合成画像を得られるようにすることが適切である。
フラッシュ発光して撮像したフラッシュ画像については、補正(重み係数の変更)が必要であるかを、
フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値
という関係に沿って判断する。ここでは例えば、
撮影距離(m)<フラッシュ到達距離(m)
であればフラッシュ光量が不足していると判断して、補正(重み付け)が必要であると判断する。
そして補正が必要である場合は、フラッシュ光量が距離の2乗に反比例すること、および「フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値」という関係に基づいて補正を行う。
仮想的なガイドナンバーの指定はユーザー操作による指示を行うことが画像表現上は望ましいが、被写体の距離分布に応じて自動的にガイドナンバーを選択することもできる。例えば、被写体が近距離から中距離まで分布している際にはガイドナンバーを小さくして、被写体が近距離から遠距離まで分布している場合にはガイドナンバーを大きくする。
もちろん、プリセットで、例えば「ガイドナンバー28」などと指示しても良い。
指定するのは「ガイドナンバー」には限定されず、フラッシュ発光量を意味するものであれば特に限定されない。フラッシュ到達距離を指定することもできるし、絞り設定値を実際に撮影した絞り値とは異なる値であると指定することによって、仮想的なフラッシュ効果を得ることもできる。
フラッシュを焚いたフレーム(フラッシュ画像)について、どの程度の補正(重み付け)が必要であるのかは、画像の輝度分布によって補正係数を定めておき、メタデータと補正係数を用いて補正(重み付け)をしても良い。
また、フラッシュを焚いたフレーム(フラッシュ画像)であるかどうかは、連続撮像されて記録された連続している画像の前後のフレームの輝度分布(輝度信号の総和)などから判断しても良い。
さらに、フラッシュを焚いたフレーム(フラッシュ画像)であるかどうかを、画像データに付加されているメタデータを参照することで判断し、連続している画像の前後のフレームの輝度分布(輝度信号の総和)などから他のフラッシュ(隣のカメラマン等によるフラッシュ等)が焚かれた場合や車が通りかかってライトで一瞬照らされてしまったりした場合であるかどうかを判断しても良い。こうして判断することによって、他のカメラマンがフラッシュを焚いてしまった場合などであっても、良好な合成画像を得ることができる。
フラッシュを焚いたフレームについて、補正(重み付け)が必要であるかどうかは、領域抽出あるいは距離分布情報による距離情報と、「フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値」を用いて、「距離情報(m)<フラッシュ到達距離(m)」であればフラッシュ光量が不足していると判断して、重み係数の補正が必要であると判断する。
補正が必要である場合は、フラッシュ光量が距離の2乗に反比例することに基づいて補正値を求めるが、このときにも領域抽出あるいは距離分布情報による距離情報を用いることによって、領域もしくは各画素に対して重み付けをすることができる。
つまり、画像合成によって長時間露光画像を得る際に重み付けを用いるだけでなく、撮影距離に応じた領域抽出あるいは距離分布情報などの距離情報に応じて、1つの画像内において距離によって重み付けを変えることによって、より適切なフラッシュ効果を再現することが可能となる。
フラッシュ無効化においても、領域抽出あるいは距離分布情報による距離情報を用いて、領域もしくは各画素に対して重み付けをすることによって、より適正な画像を得ることができる。
フラッシュ到達距離には「フラッシュ到達距離(m)=ガイドナンバー(ISO100)÷絞り設定値」という関係があり、フラッシュ光量が距離の2乗に反比例するという関係があるので、メタデータに記録されたフラッシュ発光量を利用して、距離ごとの補正値を演算することができる。
補正を行う際には、ガイドナンバーを指定することによって、フラッシュ光量が距離の2乗に反比例することに基づいて重み付けを行うこともできる。ガイドナンバーを指定するときには、メタデータを参照して実際のガイドナンバーを表示し、変更可能にすることもできるし、任意の(すなわち実際のフラッシュとは異なる)ガイドナンバーをも入力可能にすることによって、多彩な画像表現を行うこともできる。
続いてブレ補正を加えた合成モード処理例を説明する。
図48(a)(b)(c)は合成処理によって得た合成画像の例を示している。ここでは被写体として、画面上の右上から左下の方向に移動している主たる被写体(動きのある動的被写体)と、その背景の静的被写体が含まれている場合を示している。なおここで言う「静的被写体」とは、背景に撮し込まれる物、建物、風景などの「動かないもの」ではなく、撮像時にユーザが「動いて欲しくない」と思うものであって、例えば人や動物なども含まれる。即ち、合成画像においてブレが生じないようにしたい被写体のことである。
しかしながら、図5のステップF15での連続撮像は、或る程度の時間にわたって撮像を行うことから、ユーザの手ぶれや、被写体側の動きによって合成画像に静的被写体のブレが生ずることがある。
例えば図48(b)は、撮像装置1を三脚などで固定していない場合に手ぶれによってバックの静的被写体がぶれた状態を示している。
また図48(c)は静的被写体のそれぞれの勝手な動きによってブレが生じた状態(被写体ブレ)を示している。例えば撮像装置1を三脚などで固定したとしても、静的被写体自体が動いてしまえば、合成画像にユーザの望まないブレが生ずる。
まず手ブレ画像は、撮像者によって撮像装置自体が揺れることで生ずるものであり、この場合、バックの静的被写体は、それぞれ合成画像上でそれぞれ同様なブレ方をする。
このような手ブレに対する補正処理としては、合成範囲の画像データのそれぞれについて、各合成用画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、上記合成用画像データについての合成処理を行うものとする。
また被写体ブレは、個々の被写体がそれぞれ勝手に動くことで生じ、つまり静的被写体とされる各被写体がそれぞれ異なるブレ方をする。
このような被写体ブレに対しては、合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、1つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行うことで対応する。
図49は、合成作業画像70において、合成範囲とされている各画像データ#5〜#11が合成された合成画像が画像表示領域72にプレビュー画として表示されている状態を示している。そしてこの場合、撮像時の手ブレによってバックの被写体がぶれている(ユーザが意図していない尾を引いてしまう)。
なお説明上「手ブレ」と言っているが、連続撮像時の合成画像であるため、手振れが生じていなくても、撮像時に構図がズレてしまえば、同様のことが生じてしまう。
ユーザは、調整処理において例えば図49のような合成作業画像70が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、ブレ補正操作を行うことができる。例えば所定の操作キーやメニュー項目の選択によりブレ補正操作ができるようにする。
この基準画像選択処理とは、合成範囲とされている各画像データ#5〜#11のうちで、補正の基準となる画像データを選択する処理である。
基準画像は、合成開始位置〜合成終了位置に設定された選択画像リストのうち、最初のフレームが選択される。また、中央のフレームとしても良い。もちろんユーザーが基準画像を選択できるようにして、好みの背景状態で画像合成をできるようにしても良い。
特定点としては、静的被写体における特徴的な部分を選択し、変位量は、基準画像データと他の各画像データにおける特定点の動きベクトルに相当する。
基準画像以外の画像については、基準画像もしくは基準画像に近い(例えば隣のフレーム)画像における特定点の位置座標の周辺近傍(撮像装置1の焦点距離で決まる手ブレによる構図ブレの範囲)で同じ像を探して、抽出する。
フレームを選択して再生画で確認することによって、抽出された特定点を確認することができる。
また、抽出された基準画像以外の画像における特定点を、タッチパネルやカーソルなどを操作することによって、修正することができる。
また単に基準画像から特定点を抽出/選択するのではなく、基準画像以外の画像からも特定点の候補を抽出しておき、最も移動の少ない特定点を選択することができるようにしても良い。移動の少ない順に候補を挙げ、ユーザーが選択できるようにしても良い。
また、基準画像と基準画像以外の画像を相関演算して、各々対応する画素の変化を動きベクトルとして特定点の変化として得ても良い。
特定点を自動で設定する場合でも、ユーザーが選択する場合でも、1つではなく複数選択することができるようにしても良い。
特定点として1箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特定点の変化としても良い。
選択した複数の特定点に重み付けをして、動きベクトルの加重平均値を得ても良い。
このように特定点及び変位量を検出したら、CPU31は、その検出結果に基づいてステップF273で、基準画像以外の画像の座標変換を行う。
例えば画像データ#5が基準画像とされたとすると、まず画像データ#6については、その特定点とされた画像について、基準画像データ#5での特定点の画像との位置の変位量が求められているため、その変位量分だけ、画像データ#6の座標変換を行う。即ち画像データ#6における特定点の位置(XY座標値)が、画像データ#5における特定点の位置に一致するように座標変換(画像をXY座標上でずらす)を行う。画像データ#7〜#11についても、同様に座標変換を行い、それぞれの画像データ#7〜#11の特定点の位置が、基準画像データ#5の特定点の位置と一致するようにする。
この場合の合成作業画像70を図50に示しているが、図のように画像表示領域72には、手ブレの影響が補正された合成画像が表示されるようになる。
また、手ブレの影響は動きのある主たる被写体にも当然生じているが、座標変換後の合成によっては、この主たる被写体における手ブレの影響も解消されるため、滑らかな長時間露光効果を得ることができる。
また上記例では画像データ自体から特定点の動きベクトルを検出する手法を用いたが、各画像データのメタデータにセンサ出力(例えば、ブレ検出部13で検出される手振れの量および方向を検出するセンサ出力)を保持しておくことによって、その値を用いて各画像データの基準画像データに対する変位量を求め、座標変換を行うようにすることも可能である。
なお図51は、ブレ補正を行った後に、ユーザの重み係数の操作に応じてマルチ発光効果の合成画像を生成した例を示している。
図52の処理により、このようにブレ補正を行った上で、ユーザは任意の画像効果を得ることができる。
被写体ブレに対しては、合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、1つの合成用画像データに、各合成用画像データから抽出した動的被写体の画像領域を合成する合成処理を行うことで対応する。
そこで、被写体ブレ補正を行う。被写体ブレに対する補正処理を加えた処理例を図54に示す。なお、図54のステップF220〜F225は図9と同様であり、この図54は、図9の処理にステップF280〜F284を加えたものである。
ユーザは、調整処理において例えば図53のような合成作業画像70が表示されている際に、上述のように重み係数の変更や合成範囲の変更の操作に加え、所定の操作キーやメニュー項目の選択によりブレ補正操作を行うことができる。
この基準画像選択処理は、上記手ブレ補正の際に述べた処理と同様であり、合成範囲とされている各画像データ#5〜#11のうちで、補正の基準となる画像データを選択する処理である。
基準画像は、合成開始位置〜合成終了位置に設定された選択画像リストのうち、最初のフレームが選択される。また、中央のフレームとしても良い。もちろんユーザーが基準画像を選択できるようにして、好みの背景状態(つまり、この状態で被写体を動かさずに長時間露光したいというフレーム)で画像合成をできるようにしても良い。
例えば基準画像もしくはそれ以外の画像において、タッチパネルやカーソルなどによる操作により、ユーザが長時間露光で動きを表現したい被写体を選択できるようにする。CPU31はユーザ操作に応じて動き画像を決定する。
そしてステップF283で、各画像データ#5〜#11における動き画像の領域を抽出する。つまり各画像データ#5〜#11のそれぞれにおいて、指定された動き画像が含まれている座標範囲を抽出する処理を行う。
また撮像時にメタデータとして距離分布情報を取得し、距離情報に大きな差がある箇所を輪郭部分と判断し、領域抽出しても良い。
また、領域として抽出可能な候補を抽出し、ユーザーに選択を促しても良い。
また最初に領域抽出を設定した画像以外の画像については、設定画像もしくは設定画像に近い(例えば隣のフレーム)画像における特定点の位置座標の周辺近傍(分割露光による露光時間で決まる被写体振れの範囲)で同じ像を探して、抽出する。
フレームを選択して再生画で確認することによって、抽出された領域を確認することが可能である。抽出された領域を、タッチパネルやカーソルなどを操作して修正できるようにしても良い。
動き画像の領域を自動で設定する場合でも、ユーザーが選択する場合でも、1つではなく複数選択することができるようにしても良い。
すなわち、領域抽出は必ずしもすべてのフレームについて行われるわけではなく、1枚の画像に対してしか行われない場合もある。
これは抽出された動き画像以外の背景は、基準画像データのみを用い、その基準画像データに、動きを表現したい主たる被写体の画像(抽出された領域の画像)を加えていく処理である。
そしてこのようにして合成したプレビュー画を、画像表示領域72に表示させる。例えば図50のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像(静的被写体)は、基準画像データのみから構成されているため、ブレは生じない。
なお合成に用いられる領域およびその輝度に応じて、自動的に合成画像の明るさや色を調整することによって、適正な明るさ/色の合成画像を得ることができる。たとえば、抽出した領域が白っぽかったり、明るかったりする場合には、合成画像全体の輝度情報が明るくなってしまうため、これをマイナス補正するよう、輝度情報を元に演算する。
また抽出された領域は、撮像装置1のメモリ(例えばフラッシュROM33)に保持して、次回以降の撮像や画像合成の処理に用いても良い。
また領域抽出(領域分割)は、上記に挙げた手法以外にも、例えば輝度信号の強弱や、閾値を用いて行うことも可能である。例えば、輝度信号を閾値として用いて領域抽出を行うことによって、夜景の中で動く光の軌跡(自動車のテールランプなど)を長時間露光したかのような画像を合成することが可能である。
ここでは、時間的な連続性を有する合成範囲の画像データのそれぞれから、動的被写体の画像領域を抽出し、抽出した各動的被写体の画像領域について、各画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行ったうえで、1つの基準画像データに、各動的被写体の画像領域を合成する合成処理を行う例を述べる。
CPU31は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップF290からF291に進め、まず上記図52,図54の例と同様に基準画像選択処理を行う。
次にステップF292でCPU31は、図54の例と同様に動き画像を選択する処理を行う。そしてステップF293で各画像データについて動き画像の領域抽出を行う。
例えば画像データ#5を基準画像データとした場合、まず画像データ#6における特定点の、基準画像データ#5の特定点に対して検出した変位量を用いて、この画像データ#6から抽出した動き画像の領域について座標変換を行う。画像データ#7〜#11についても同様に、それらから抽出した動き画像の領域について座標変換を行う。
このようにして合成したプレビュー画を、画像表示領域72に表示させる。例えば図50のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像(静的被写体)は、基準画像データのみから構成されているため、手ブレの影響も被写体ブレの影響も生じない。また動き画像とした主たる被写体の画像も、座標変換後に合成しているため、手ブレの影響は生じない。
これは、時間的な連続性を有する合成範囲の画像データのそれぞれについて、各画像データ内での静的被写体の動きベクトル検出に基づく座標変換を行った後、画像データのそれぞれから、動的被写体の画像領域を抽出し、1つの基準画像データに、各画像データから抽出した動的被写体の画像領域を合成する合成処理を行うようにする例である。
CPU31は、ユーザがブレ補正操作を行ったことを検知したら、処理をステップF290からF291に進め、まず上記図52,図54の例と同様に基準画像選択処理を行う。
次にステップF292でCPU31は、図54の例と同様に動き画像を選択する処理を行う。
また次にステップF297では、CPU31は図52の例と同様、静的被写体についての特定点抽出及び特定点の変位量の検出を行う。即ち基準画像データ以外の各画像データについて、静的被写体の特定点の座標位置の、基準画像データでの特定点の座標位置に対するズレの量を検出する。
そしてステップF298で、CPU31は、当該変位量を用いて、基準画像データ以外の各画像データについて座標変換を行う。
例えば画像データ#5を基準画像データとした場合、まず画像データ#6における特定点の、基準画像データ#5の特定点に対して検出した変位量を用いて、この画像データ#6の全体の座標変換を行う。画像データ#7〜#11についても同様に座標変換を行う。
そしてCPU31はステップF296で合成処理を行う。この場合、基準画像データに対して、各画像データ#5〜#11から抽出された動き画像の領域(すなわち、長時間露光効果として動きを表現したい被写体)のデータを合成していく処理を行う。つまり基準画像データの画面全体と、それ以外の画像データで抽出した領域を用いて合成を行う。
このようにして合成したプレビュー画を、画像表示領域72に表示させる。例えば図50のようにバックの被写体にブレのない合成画像が得られることになる。バックの画像(静的被写体)は、基準画像データのみから構成されているため、手ブレの影響も被写体ブレの影響も生じない。また動き画像とした主たる被写体の画像も、座標変換後の各画像データ#5〜#11から抽出されたものであるため手ブレの影響も解消されている。
以上の実施の形態は、撮像装置1で撮像及び合成処理を行うものとして述べたが、合成処理は、撮像装置1以外の装置で行っても良い。図57には合成処理を実行できる機器の例としての情報処理装置、例えばパーソナルコンピュータ200を挙げている。
図57はパーソナルコンピュータ(以下「PC」)200の構成例を示している。
PC200は図示するように、CPU(Central Processing Unit)211、メモリ部212、ネットワークインターフェース部213、ディスプレイコントローラ214、入力機器インターフェース部215、HDDインターフェース部216、キーボード217、マウス218、HDD219、表示装置220、バス221、外部機器インターフェース部222、メモリカードインターフェース部223などを有する。
バス221上の各機器にはそれぞれ固有のメモリアドレス又はI/Oアドレスが付与されており、CPU211はこれらアドレスによって機器アクセスが可能となっている。バス221の一例はPCI(Peripheral Component Interconnect)バスである。
このメモリ部212には、CPU211において実行されるプログラムコードやPC200に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
即ちPC200に対するユーザの操作入力がキーボード217及びマウス218を用いて行われ、その操作入力情報が、入力機器インターフェース部215を介してCPU211に供給される。
HDD219は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でHDD219上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDD219には、CPU211が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
HDD219に格納されている各種プログラムは、PC200の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部212に展開される。CPU211はメモリ部212に展開されたプログラムに基づいた処理を行う。
本例の場合、外部機器としては、例えばデジタルスチルカメラやビデオカメラ、ビデオプレーヤなどが想定される。
PC200は、この外部機器インターフェース部222を介した通信により、デジタルスチルカメラ等からの画像データの取込などが可能となる。
なお、外部機器インターフェース部222は、USB規格に限らず、例えばIEEE(Institute of Electrical and Electronics Engineers)1394など、他のインターフェース規格であってもよい。
例えば上述した撮像装置1のようなデジタルスチルカメラ、或いはビデオカメラ等で用いられた記録媒体90を装着することで、その記録媒体90から画像データを読み込むこともできる。
本例の場合、図4の合成モードの処理として説明した、ステップST1〜ST4の処理、即ち合成対象画像選択/取込処理(ST1)、合成準備処理(ST2)、合成処理(ST3)、合成画像記録処理(ST4)が実行できるようにするが、この処理を行うためのプログラムは、例えばHDD219にインストールされ、起動時にメモリ部212に展開される。CPU211はメモリ部212に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
そして、CPU211においては起動されたプログラムにより、その機能ブロックとして図3の合成前処理部52、合成処理部53、記録/再生/送信制御部54、操作検知部55、表示制御部56、テンプレート管理部57が形成されるものとなる。
つまり、図7、図8、図9で説明した処理、さらには、図19、図22,図36,図38,図40,図44,図52,図54,図55,図56で説明した処理が、CPU211において実行される。
これによって上述してきたような各種画像効果を得るための合成処理を、ユーザはPC200を用いて行うことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
例えば上記撮像装置1の外部インターフェース8とPC200の外部インターフェース部222の間を接続し、撮像装置1で撮像された画像データをPC200に転送させて取り込むことができる。
もちろん撮像装置1で使用していた記録媒体90(メモリカード)を、メモリカードインターフェース部223に装着して、記録媒体90から撮像装置1で撮像された画像データをPC200に取り込むこともできる。
また、ユーザが撮像した画像コンテンツだけでなく、例えば外部のビデオプレーヤ等で再生され外部インターフェース部222から取り込んだ画像コンテンツ、或いはネットワークインターフェース部213によりネットワーク経由で外部サーバからダウンロードした画像コンテンツもHDD219に格納し、再生させることができる。
例えば、ユーザは撮像装置1を使用し、図5のステップF15で示した合成モード用撮像を行った後、その複数フレームの画像データをPC200に取り込む。そして合成処理のソフトウエアを起動し、CPU211に図4の合成モードの処理として説明した、ステップST1〜ST4の処理を実行させることで、より操作性の良い環境で、各種の画像合成を行い、多様な画像効果の合成画像を作成することができる。
例えばダウンロード等によりHDD216に取り込んだ動画データや、図57には示していないが、DVDドライブ、ブルーレイディスクドライブなどが接続されることで、DVDやブルーレイディスクなどの光ディスクに記録された画像コンテンツを再生することもでき、その場合、光ディスクに記録された動画コンテンツを対象として合成処理を行って、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの所望の画像表現の合成画像を生成することもできる。さらにテレビジョン放送チューナ等を搭載、又は接続しているのであれば、放送コンテンツを対象として合成画像を生成することもできる。
Claims (12)
- 被写体に対する撮像を行って画像データを得るとともに、フレーム内露光時間を可変する電子シャッタ機能と、光学系に配置される絞り機構とを含む複数の露光調整機能を有する撮像部と、
上記撮像部に固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、当該撮像実行中の被写体輝度に応じた露光調整制御として、上記電子シャッタ機能以外の露光調整機能を優先的に用いて露光調整制御を行う撮像制御部と、
上記撮像部による撮像動作によって撮像された、時間的に連続性を有する複数フレームの画像データを合成用画像データとして用いて合成処理を行い、静止画としての合成画像データを生成する合成処理部と、
を備えた撮像装置。 - 上記撮像部による撮像動作によって撮像された、時間的に連続性を有する複数フレームの画像データを、合成処理に用いる一連の画像データとして記録媒体に記録する記録部と、
上記記録媒体に記録された、時間的に連続性を有する複数フレームの画像データを、合成用画像データとして読み出す合成前処理部と、
をさらに備え、
上記合成処理部は、上記合成前処理部で得られた複数フレームの合成用画像データを用いて合成処理を行い、静止画としての合成画像データを生成する請求項1に記載の撮像装置。 - 上記撮像制御部は、上記電子シャッタ機能以外の露光調整機能を全て用いて露光調整制御を行っても、さらに被写体輝度を低下させるべき場合にのみ、上記電子シャッタ機能を用いた露光調整制御を行う請求項1に記載の撮像装置。
- 合成処理のための操作入力情報の検知を行う操作検知部をさらに備え、
上記合成処理部は、時間的な連続性を有する上記合成用画像データのうちで、上記操作入力情報によって指定される時間軸上の範囲内とされた複数の合成用画像データについて合成処理を行い、静止画としての合成画像データを生成する請求項1に記載の撮像装置。 - 合成処理のための操作入力情報の検知を行う操作検知部をさらに備え、
上記合成処理部は、複数の合成用画像データのそれぞれに対して上記操作入力情報によって指定された重み係数を用いて合成処理を行い、静止画としての合成画像データを生成する請求項1に記載の撮像装置。 - 上記合成処理部は、複数の合成用画像データについて加重平均による合成処理を行い、静止画としての合成画像データを生成する請求項1に記載の撮像装置。
- 上記合成処理部で生成された合成画像データを、表示用の画像データとして出力する表示制御部をさらに備えた請求項1に記載の撮像装置。
- 上記記録部は、上記合成処理部で生成された合成画像データを、記録媒体に記録する請求項2に記載の撮像装置。
- 上記合成処理部で生成された合成画像データを、外部機器に送信する送信部をさらに備えた請求項1に記載の撮像装置。
- 上記電子シャッタ機能以外の露光調整機能の1つは、上記撮像部の光学系に配置される光量フィルタ機構を用いた露光調整機能である請求項1に記載の撮像装置。
- 上記電子シャッタ機能以外の露光調整機能の1つは、上記撮像部の撮像信号処理系における撮像信号に対する可変ゲイン回路機能を用いた露光調整機能である請求項1に記載の撮像装置。
- 被写体に対する撮像を行って画像データを得るとともに、フレーム内露光時間を可変する電子シャッタ機能と、光学系に配置される絞り機構とを含む複数の露光調整機能を有する撮像部を備えた撮像装置の撮像方法として、
上記撮像部に固定フレームレートで時間的に連続性を有する複数フレームの画像データの撮像を実行させるとともに、当該撮像実行中の被写体輝度に応じた露光調整制御として、上記電子シャッタ機能以外の露光調整機能を優先的に用いて露光調整制御を行い、
上記撮像部による撮像動作によって撮像された、時間的に連続性を有する複数フレームの画像データを合成用画像データとして用いて合成処理を行い、静止画としての合成画像データを生成する撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008078016A JP4483962B2 (ja) | 2008-03-25 | 2008-03-25 | 撮像装置、撮像方法 |
US12/383,546 US8553138B2 (en) | 2008-03-25 | 2009-03-24 | Image capture apparatus and method for generating combined-image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008078016A JP4483962B2 (ja) | 2008-03-25 | 2008-03-25 | 撮像装置、撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009232383A JP2009232383A (ja) | 2009-10-08 |
JP4483962B2 true JP4483962B2 (ja) | 2010-06-16 |
Family
ID=41116557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008078016A Active JP4483962B2 (ja) | 2008-03-25 | 2008-03-25 | 撮像装置、撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8553138B2 (ja) |
JP (1) | JP4483962B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024053824A1 (ko) * | 2022-09-07 | 2024-03-14 | 삼성전자 주식회사 | 이미지를 제공하는 전자 장치 및 그의 동작 방법 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101551690B1 (ko) * | 2009-06-26 | 2015-09-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 |
JP2011223292A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 撮像装置、表示制御方法およびプログラム |
JP5825505B2 (ja) * | 2011-02-02 | 2015-12-02 | ソニー株式会社 | 制御装置、表示制御方法、およびプログラム |
JP5762114B2 (ja) * | 2011-04-28 | 2015-08-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR101933454B1 (ko) * | 2012-09-25 | 2018-12-31 | 삼성전자주식회사 | 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체 |
KR20140089672A (ko) * | 2013-01-04 | 2014-07-16 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 |
WO2014155877A1 (ja) * | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2015114694A (ja) | 2013-12-09 | 2015-06-22 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6228469B2 (ja) | 2014-01-20 | 2017-11-08 | 株式会社東芝 | 画像処理装置、画像処理方法、および画像投影装置 |
JP6070599B2 (ja) * | 2014-02-18 | 2017-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理システム、および撮像装置 |
JP2015180010A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社東芝 | 撮像装置のヘッド、および撮像装置 |
EP3188471A4 (en) * | 2014-08-29 | 2017-08-23 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
JP6351452B2 (ja) * | 2014-09-08 | 2018-07-04 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
JP6659230B2 (ja) * | 2015-04-08 | 2020-03-04 | オリンパス株式会社 | 撮像装置、合成撮影方法及び合成撮影プログラム |
AU2016252993B2 (en) | 2015-04-23 | 2018-01-04 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
CN106210516B (zh) * | 2016-07-06 | 2019-05-14 | Oppo广东移动通信有限公司 | 一种拍照处理方法及终端 |
JP6429915B2 (ja) * | 2017-02-14 | 2018-11-28 | キヤノン株式会社 | 撮像装置、その制御方法とプログラムと記録媒体 |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
JP2020136900A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像記録装置、および撮像方法 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN110442153B (zh) * | 2019-07-10 | 2022-03-25 | 佛山科学技术学院 | 一种被动式光学动捕系统摄像机校正控制方法及系统 |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
KR20240019637A (ko) * | 2022-08-04 | 2024-02-14 | 삼성전자주식회사 | 자동 노출 제어를 수행하는 전자 장치, 그 제어 방법, 및 컴퓨터 프로그램이 기록된 기록매체 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
US7295232B2 (en) * | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
JP4418632B2 (ja) | 2003-01-15 | 2010-02-17 | キヤノン株式会社 | 撮影装置、合成画像生成方法およびプログラム |
JP2005354166A (ja) | 2004-06-08 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2006025312A (ja) * | 2004-07-09 | 2006-01-26 | Konica Minolta Photo Imaging Inc | 撮像装置、及び画像取得方法 |
JP4205020B2 (ja) | 2004-07-30 | 2009-01-07 | 株式会社日立国際電気 | テレビカメラの制御方法及び画像記録装置の制御方法 |
JP2006086933A (ja) | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置及び制御方法 |
EP3310037A1 (en) * | 2004-10-26 | 2018-04-18 | Nikon Corporation | Digital camera and image combination device |
JP4378272B2 (ja) * | 2004-12-15 | 2009-12-02 | キヤノン株式会社 | 撮影装置 |
JP4979969B2 (ja) * | 2006-04-03 | 2012-07-18 | 三星電子株式会社 | 撮像装置および撮像方法 |
JP4823743B2 (ja) * | 2006-04-03 | 2011-11-24 | 三星電子株式会社 | 撮像装置,及び撮像方法 |
JP4928852B2 (ja) | 2006-07-03 | 2012-05-09 | 三洋電機株式会社 | 監視カメラ |
US7825969B2 (en) * | 2006-12-15 | 2010-11-02 | Nokia Corporation | Image stabilization using multi-exposure pattern |
US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
-
2008
- 2008-03-25 JP JP2008078016A patent/JP4483962B2/ja active Active
-
2009
- 2009-03-24 US US12/383,546 patent/US8553138B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024053824A1 (ko) * | 2022-09-07 | 2024-03-14 | 삼성전자 주식회사 | 이미지를 제공하는 전자 장치 및 그의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20090244318A1 (en) | 2009-10-01 |
US8553138B2 (en) | 2013-10-08 |
JP2009232383A (ja) | 2009-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4483962B2 (ja) | 撮像装置、撮像方法 | |
JP4483963B2 (ja) | 撮像装置、撮像方法 | |
JP4492724B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5077003B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4544332B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
JP5234119B2 (ja) | 撮像装置、撮像処理方法及びプログラム | |
RU2517064C2 (ru) | Устройство формирования изображения и способ управления дисплеем для этого устройства | |
JP2010252313A (ja) | 複数の短時間露光に応答する、シミュレートされた長時間露光画像の生成 | |
JP2009088928A (ja) | 撮像装置、撮像制御方法及び撮像制御プログラム | |
JP2017163191A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
WO2021014716A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5415753B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP6736289B2 (ja) | 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法 | |
JP6360409B2 (ja) | 撮像装置、撮像方法 | |
JP2014171146A (ja) | 撮影装置 | |
JP2014007680A (ja) | 画像生成装置 | |
JP5695400B2 (ja) | 撮像装置および撮像プログラム | |
JP2018042149A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100315 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4483962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |