JP4350616B2

JP4350616B2 - 撮像装置及びその制御方法

Info

Publication number: JP4350616B2
Application number: JP2004244127A
Authority: JP
Inventors: 幸夫尾高
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-24
Filing date: 2004-08-24
Publication date: 2009-10-21
Anticipated expiration: 2024-08-24
Also published as: US7433589B2; JP2006066996A; US20080284874A1; US8059189B2; US20060045510A1

Description

本発明は、補助光を使用した撮像装置及びその制御方法に関するものである。

従来、銀塩カメラやビデオカメラ、電子スチルカメラ、などでは静止画の補助光としてはキセノン管を使用した閃光装置であるストロボが使用されてきた。ストロボ装置はメインコンデンサに３００Ｖ程度の高電圧を充電しこの充電エネルギーをキセノン管を介して放電させることで発光エネルギーに変換し被写体を照明する。従ってコンパクトな本体に高圧部をレイアウトするため基板実装上パターン間隔などの沿面距離的問題や大きな主コンデンサの配置などレイアウト上の制限が多かった。

これに対して、白色ＬＥＤは数Ｖの電圧を印加することで発光が可能なため高圧を扱う場合の他の部品との沿面距離の問題点もなく、電池の電圧や能力が高ければ直接電池から駆動が可能で大きなスペースを取るメインコンデンサも不要となり小型化へのメリットがある。

一方、カメラ付き携帯電話や医療用カメラなど白色の発光ダイオード（以下白色ＬＥＤ）が補助光として使用されてきている。

しかしながら、白色ＬＥＤはストロボに使用されるキセノン管に比較すると輝度が著しく低い。このため撮影距離が限られ近距離で使用されるマクロストロボや手に持った範囲で撮影されるカメラ付携帯電話などで使用されて来たのである。

ところで、ストロボでの光量はガイドナンバー（以下ＧＮｏ.）で示されＩＳＯ感度とシャッター秒時（シャッタースピードともいう。以下同様）と光源からのの光量（ｃｄｓｅｃ）で決まる。例えば１０ｃｄの白色ＬＥＤを１／３０秒間通電しＩＳＯ感度を１００とすればＧｎｏ.は０.４１となる。一般的な内蔵ストロボのＧｎｏ.は６〜１４程度でありこの光量を出すためには約２１５倍〜１２００倍の光量が必要となる。

しかしながら、現在の撮像画像のローノイズ技術も発達しＩＳＯ感度も高く設定できるようになってきている。最近ではＩＳＯ８００に上げても撮影上問題ないレベルに達してきている。

一方、白色ＬＥＤ自体の発光効率アップも急ピッチで行われており撮像装置の補助光として期待されてきている。現在の一般の高輝度タイプの白色ＬＥＤの効率は約４０（ｌｍ／Ｗ）に達し、近い将来は蛍光灯レベル（８０〜１００ｌｍ／Ｗ）に達するとのことである。１Ｗ以上のパワー系の白色ＬＥＤは現在２０〜２５ｌｍ／Ｗであり同様に高効率化が急ピッチで進められている。従って、仮にＩＳＯ感度で８倍、白色ＬＥＤで効率が３倍となった場合には前期白色ＬＥＤが９個〜５０個程度で必要光量に達することとなり実用まであと一歩の所にある。また、白色ＬＥＤはコストも減少している。

しかしながら、現状では白色ＬＥＤの輝度がキセノン管に比較して低く複数個使用しなければならず、コストとスペース上の問題が大きい。

従って、必要個数を最小個数に減少させる必要がある。また、輝度不足から光量を得るため撮影時のシャッター秒時を長くすればガイドナンバーは大きくなるが手ぶれ写真となってしまう問題が生じる。

この手振れ写真の問題に対して電子スチルカメラでは有効な補正技術として、手振れを生じない程度のシャッター秒時で複数枚の画像を連写撮影し、撮影後の処理でその複数枚の画像を位置合わせを行いながら合成して手振れのない画像を得るという技術が提示されている。

例えば、本出願人から提案している特許文献１によれば、順次撮像した画像を経時的な位置ずれに対応して複数画面の座標変換を行った後に画像の合成を行う技術が開示されている。

また、例えば、特許文献２によれば、同様に複数枚の画像を撮影し、ずれを補正しながら合成することでぶれのない画像を得る技術が開示されている。

さらに、例えば、特許文献３によれば、連写した画像データをｍｏｔｉｏｎＪＰＥＧデータとして手振れデータとともに記録し、再生時に記録されている手振れデータに応じてぶれを補正しながら連写した画像データを再生するという技術が開示されている。
特許３１１０７９７号公報特開平９−２６１５２６号公報特開２０００−２９９８１３号公報

しかしながら、上記特許文献１乃至３に開示された技術によっても、手ぶれを補正すると共に補助光を発生させる白色ＬＥＤの使用個数を低減させてコストダウンを図るという課題は解決できていない。

つまり、特許文献１にはビデオカメラに応用した例は開示されているものの、後処理で手振れ補正、合成を行う技術は開示されておらず、補助光の効率よい使用方法とは無関係である。

また、特許文献２には電子スチルカメラへの応用例が開示されているものの、特許文献１と同様に手振れ補正と合成はカメラ内で行われる実施形態のみが開示されているため、補助光の使用方法を提案するものではない。

さらに、特許文献３は、連写された複数画像はＭｏｔｉｏｎＪＰＥＧの動画として記録されるので、複数画像に対する関連づけはされているものの、それは再生時にブレ補正を行いながら再生するためのものであり、画像合成で１枚の手振れのない画像を得るような手段は開示されていない。また、補助光の使用とは関係ない。

そこで、本発明は上記問題点に鑑みてなされたものであり、白色ＬＥＤを補助光として使用する際にコスト上及びスペース上の問題を解決するために使用する白色ＬＥＤの個数を低減させることを目的としている。この目的のため手振れを生じない程度のシャッター秒時で複数枚の画像を補助光撮影し、手振れ量を補正しながら合成することで白色ＬＥＤの使用個数を低減させてぶれのない画像を得ようとするものである。手振れの補正および合成のプロセスは、電子スチルカメラ内で行う必要は必ずしも無い。電子スチルカメラ内では、複数枚画像の撮影だけを行い、手振れ量補正および合成に関しては、パーソナルコンピュータ（以下ＰＣ）に取り込んで行うようにしても良い。

このようなＰＣ上で画像の後処理を行うことは、たとえば一眼レフタイプの電子スチルカメラや高級コンパクトタイプの電子スチルカメラの多くでは、撮像素子から得られた生データ画像をそのまま保存しておくことが出来るようになっている（一般にこれをＲＡＷ画像と呼ぶ）。ＲＡＷ画像は、そのままでは画像としてみることは出来ないが、ＰＣ上で色温度補正、階調補正、露出補正などを行いつつＪＰＥＧ画像に変換する（銀塩のイメージから現像処理と呼ばれる）ことができる。このようなＰＣ上での後処理は、一般的に行われている。

さらに、撮像素子の画素数増大や連写性能向上への要求のため、電子スチルカメラ内で撮像から画像の記録までの時間短縮も必要となってきており、後処理で手振れ補正、合成を行わせることにより、電子スチルカメラ側の負荷を減らすことができるメリットが有る。

また、本発明は、白色ＬＥＤの補助光を使用し必要光量を低輝度に分割し複数枚の撮影を行い、後処理で得られた画像を合成を行うことで白色ＬＥＤの使用個数を低減させ、しかも適正光量の撮影を行うものである。

上記課題を解決するために、本発明にかかる撮像装置は、第１の照明手段と該第１の照明手段より最大発光量が大きい第２の照明手段の少なくとも一方を用いた撮影が可能であり、振れを抑えるために露出時間を制限した複数回の撮影を行って得られた複数の画像を合成して適正露出の画像を得る撮像装置であって、被写体の光学像を電気信号に変換する撮像手段と、前記撮像手段よって得られた複数の画像を位置合わせして合成する画像合成手段と、前記複数の画像を得るための撮影回数が所定回数未満の場合には、前記第１の照明手段による照明を行って複数回の撮影を行い、所定回数以上の場合には、前記第２の照明手段による照明を行って１回の撮影を行うように制御する制御手段と、を有することを特徴とする。

また、本発明にかかる撮像装置の制御方法は、第１の照明手段と該第１の照明手段より最大発光量が大きい第２の照明手段の少なくとも一方を用いた撮影が可能であり、振れを抑えるために露出時間を制限した複数回の撮影を行って得られた複数の画像を合成して適正露出の画像を得る撮像装置の制御方法であって、被写体の光学像を電気信号に変換する撮像ステップと、前記撮像ステップで得られた複数の画像を位置合わせして合成する画像合成ステップと、前記複数の画像を得るための撮影回数が所定回数未満の場合には、前記第１の照明手段による照明を行って複数回の撮影を行い、所定回数以上の場合には、前記第２の照明手段による照明を行って１回の撮影を行うように制御する制御ステップと、を有することを特徴とする。

さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。

以上のような構成を備える本発明によれば、補助光を分割して露光し複数毎の低輝度画像を撮影して得られた複数の画像を合成することにより適正露光を得るため、一回の露光で適正にする場合と比較し光量が少なくなり、補助光を発する照明手段の光量または必要個数を減少させることができる。

また、撮影の補助光として白色発光ＬＥＤ及びキセノン管による閃光装置を有し、輝度の低い白色発光ＬＥＤと輝度の高い閃光装置を距離が遠い場合やレンズのＦＮｏ．が暗い場合など、つまりＧＮｏ．に係る撮影の条件より白色発光ＬＥＤによる補助光または閃光装置による補助光を選択し、比較的近距離の場合には白色発光ＬＥＤによる補助光使用時は分割し露光させ複数毎の低輝度画像を撮影し得られた複数の画像を合成することで適正露光を得、比較的遠距離の場合には閃光装置で一回の適正露光により撮影することで、比較的近距離の場合閃光装置の充電に要す時間を排除でき、また、白色発光ＬＥＤの発光光量が閃光装置よりも安定していることから発光制御しやすく調光精度を上げることができる。

＜第１の実施形態＞
以下、図面を参照して本発明の実施形態を説明する。

図１は、本発明の第１の実施形態の撮像装置の構成を示す図である。図１において、１００は撮像装置であり、５０はシステム制御回路で撮像装置１００全体を制御する。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、後述するＤ／Ａ変換器２６にクロック信号や制御信号の供給を行い、後述するメモリ制御回路２２及びシステム制御回路５０により制御されている。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が後述する露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、後述する画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いは後述するメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、後述するフラッシュ４８と連携することによりフラッシュ調光機能を有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６は１０２のバリアである保護手段の動作を制御するバリア制御手段である。

４８は低輝度時の白色ＬＥＤ等を使用した補助光手段としてのフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

システム制御回路５０は撮像装置１００全体を制御し、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が１０４の光学ファインダー内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、防振機能表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、後述する記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、画像表示部２８のＯＦＦを設定することで光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御手段で、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数でも良いし、或いは２系統以上の任意の数でも良い。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード、或いはその他種々の記憶媒体の規格に準拠したものを用いて構成して構わない。

さらに、インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインターフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインターフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。

次に、図２乃至図６を参照して、第１の実施形態の動作を説明する。図２及び図３は本実施形態の撮像装置１００の主ルーチンのフローチャートを示す。図２及び図３を用いて、撮像装置１００の動作を説明する。

電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ１０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ１０３）、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ１０５）、Ｓ１０３に戻る。

モードダイアル６０が撮影モードに設定されていたならば（Ｓ１０３）、Ｓ１０６に進む。モードダイアル６０がその他のモードに設定されていたならば（Ｓ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ１０４）、処理を終えたならばＳ１０３に戻る。

撮影モードでは、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断し（Ｓ１０６）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

電源８６に問題が無いならば（Ｓ１０６）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（Ｓ１０７）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（Ｓ１０７）、表示部５４を用いて画像や音声により撮像装置１００の各種設定状態の表示を行う（Ｓ１０９）。なお、画像表示部２８の画像表示をＯＮにして、画像表示部２８を用いて画像や音声により撮像装置１００の各種設定状態の表示を行うようにしてもよい。

続いて、画像表示部２８の画像表示をＯＮにして撮像した画像データを逐次表示するスルー表示状態に設定して（Ｓ１１０）、図３のステップ１１４に進む。ここで、シャッタースイッチＳＷ１が押されていないならば（Ｓ１１４）、Ｓ１０３に戻る。シャッタースイッチＳＷ１が押されたならば（Ｓ１１４）、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター秒時を決定する（Ｓ１１５）。測光処理に於いて、必要であればフラッシュフラグをセットし、フラッシュの設定も行う。

この測距・測光処理Ｓ１１５の詳細については図４を用いて後述する。測距・測光処理（Ｓ１１５）を終えたならば次に進み、シャッタースイッチＳＷ２が押されずに、さらにシャッタースイッチＳＷ１も解除されたならば（Ｓ１１６、Ｓ１１７）、Ｓ１０３に戻る。シャッタースイッチＳＷ２が押されたならば（Ｓ１１６）、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（Ｓ１１８）。この撮影処理Ｓ１２９の詳細は図５を用いて後述する。

次に、システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ１１９）。

この記録処理Ｓ１１９の詳細は図６を用いて後述する。記録処理Ｓ１１９が終了した際に、シャッタースイッチＳＷ２が押された状態であったならば（Ｓ１２０）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断し（Ｓ１２１）、連写フラグが設定されていたならば、連続して撮影を行うためにＳ１１８に戻り、次の撮影を行う。

連写フラグが設定されていないならば（Ｓ１２１）、シャッタースイッチＳＷ２が放されるまで（Ｓ１２０）、現在の処理を繰り返す。

シャッタースイッチＳＷ１が押された状態であったならば（Ｓ１２２）、システム制御回路５０は、Ｓ１１６に戻って次の撮影に備える。シャッタースイッチＳＷ１が放された状態であったならば（Ｓ１２２）、システム制御回路５０は、一連の撮影動作を終えてＳ１０３に戻る。

図４は、図３のＳ１１５における測距・測光処理の詳細なフローチャートを示す。システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（Ｓ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理に用いる所定の演算、及びＡＦ（オートフォーカス）処理を行っている。

なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、の各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断されるまで（Ｓ２０２でＹＥＳとなるまで）、露光制御手段４０を用いてＡＥ制御を行う（Ｓ２０３）。

ＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュが必要か否かを判断し（Ｓ２０４）、フラッシュが必要ならばフラッシュフラグをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶してフラッシュの準備を行う（Ｓ２０５）。

露出（ＡＥ）が適正と判断したならば（Ｓ２０２でＹＥＳ）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

次に、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＡＷＢ）が適正と判断されるまで（Ｓ２０６）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０７）。

ホワイトバランス（ＡＷＢ）が適正と判断したならば（Ｓ２０６でＹＥＳ）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距が合焦と判断されるまで（Ｓ２０８）、測距制御手段４２を用いてＡＦ制御を行う（Ｓ２０９）。測距（ＡＦ）が合焦と判断したならば（Ｓ２０８）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し（Ｓ２０９）、測距・測光処理ルーチンＳ１１５を終了する。

フラッシュ撮影の場合は、複数枚の補助光を使用した画像が撮影され、後述するように、その後、画像処理装置にて像の位置ズレを補正しながら加算合成が行われる。このときのシャッター秒時は手振れが発生しにくい時間にする必要がある。このようなシャッター秒時は次のようにして求めることが出来る。従来より３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター秒時であれば手振れが影響しにくいと言われている。一般的に撮像装置１００の撮像素子１４の画面サイズは３５ｍｍフィルムに対して小サイズの撮像素子が使用されるが、３５ｍｍフィルムに対する撮像素子の大きさの比と撮影レンズの実焦点距離から、３５ｍｍフィルムカメラ相当の焦点距離を求め、これをｆ'とすると、この逆数（１／ｆ'（ｓｅｃ））をシャッター秒時とすれば手振れしにくいシャッター秒時とすることが出来る。光度Ｉ（ｃｄ）の白色ＬＥＤを使用したフラッシュのガイドナンバーはレンズの開放Ｆナンバー、最大到達距離、ＩＳＯ感度、と前述の手振れの生じない程度のシャッター秒時ｔ（ｓｅｃ）で決定されている。

このガイドナンバーから必要光量が換算できる。ガイドナンバーと光量Ｑ(ｃｄｓｅｃ)の関係は、
ＧＮｏ.=０.３*√（４π×０．００４５×ＩＳＯ感度×Ｑ） [ＩＳＯ,ｍ]
Ｑ=Ｉ×ｔ.[ｃｄｓｅｃ]
として示される。ここで、分割撮影回数Ｎとすれば一回の発光は１／Ｎとなり分割発光分少ない白色ＬＥＤでカメラを構成できる。

撮影時の光量は測距装置の距離データと絞りで決定され光量が十分であれば分割発光数を少なくまたはシャッター秒時を短くし分割撮影を行うよう撮影条件を決定する。

撮影枚数については、少ないと防振効果が少なく、防振機能を使用しないで撮影したときとの差が少なくなり、また、多すぎると１枚あたりの露光量が少なくなりすぎて、後処理での動きベクトル検出の処理などが困難になったり処理にも時間が掛かったりするようになる。本実施形態では、４〜８枚程度が適切である。

以下の説明においては、フラッシュ撮影時の分割撮影枚数は４枚とした場合について説明するが、任意の枚数にした場合でも以下説明する内容を多少修正することで同様の動作が成り立つことはいうまでもない。

図５は、図３のＳ１１８における撮影処理の詳細なフローチャートを示す。

まずステップＳ３２０において、システム制御回路５０は、フラッシュフラグがセットされているかどうかをシステム制御回路５０の内部メモリ或いはメモリ５２をチェックすることによりフラッシュ４８の発光が必要か否かを判断する。不要であれば、直接ステップＳ３０１に進み、必要な場合は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶されている測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光し（Ｓ３２１）、まずフラッシュが発光していない状態での外光輝度を測光する（Ｓ３２２）。続いて、フラッシュ４８を制御することによりフラッシュである白色ＬＥＤによりプリ発光を行ってフラッシュが発光した状態の輝度を測光し（Ｓ３２３）、得られた２つの測光データから被写体への発光量と発光回数Ｎ回を計算し、システム制御回路５０の内部メモリ或いはメモリ５２に記憶し、本撮影に進む。

システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御部４０により、絞り機能を有するシャッター１２を得られた測光データに対応する絞り値に設定して、撮像素子１４を露光する（Ｓ３０１、Ｓ３０２）。

ステップＳ３０３で、フラッシュフラグがセットされているかをチェックしてフラッシュ４８が必要か否かを判断し、必要が無ければシステム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い露光終了まで露光を行い（Ｓ３０５）次のステップＳ３０６へ進む。フラッシュが必要な場合にはフラッシュを発光させ（Ｓ３０４）、システム制御回路５０は、内部メモリ或いはメモリ５２に記憶されるデータに従って一回分のフラッシュ光を照射し露光の終了を待ちフラッシュの露光を終えたら（Ｓ３０５）シャッター１２を閉じて（Ｓ３０６）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、画像データメモリ３０に撮影画像のデータを書き込む（Ｓ３０７）。

設定された撮影モードに応じて、フレーム処理を行う必要があるならば（Ｓ３０８）、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して垂直加算処理や（Ｓ３０９）、色処理（Ｓ３１０）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。必要が無ければステップＳ３１１に直接進む。

次に、フラッシュフラグがセットされている場合（Ｓ３１１）は、フラッシュ撮影が終了したかどうかを判断し（Ｓ３１２）、終了していない場合はＳ３０１に戻り、所定回数Ｎ回の撮影が終了するまで上記のステップを繰り返す。フラッシュ撮影の所定回数が終了した場合は、次に撮影終了後の画像表示のために表示用画像データを生成するとともに、インデックス表示や再生表示のためのサムネイル画像を生成する。フラッシュ撮影で得られた個々の画像は手振れしない秒時で撮影され、適正露光よりアンダーとなっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこで主画像として用いる画像を略撮影枚数分ゲインアップを行って表示画像データおよびサムネイル画像を生成する（Ｓ３１３）。具体的には、初回の主画像データの輝度情報を撮影枚数分乗算する。たとえば４枚を合成する場合は、初回の主画像の輝度情報を４倍する。このように整数倍することで、階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。また、ここでの画像情報がすでに輝度に対してリニア（線形）でない場合には輝度に対してリニアなデータに変換してから整数倍することが望ましい。そして次のステップＳ３１５に進む。

また、Ｓ３１１にてフラッシュフラグがセットされてない場合はゲインアップ処理は行わずに、撮影画像から表示画像データおよびサムネイル画像を生成する（Ｓ３１４）。

そして、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う（Ｓ３１５）。以上で撮影処理ルーチンＳ１１８を終了する。

次に、本実施形態の画像データの記録形式について説明する。なお、本実施形態では、記録される画像データの記録形式については、撮像装置の画像ファイルフォーマット規格Ｅｘｉｆ２.２およびカメラファイルシステム規格ＤＣＦ１.０に準拠している。

図６に本実施形態の画像データの記録媒体上でのディレクトリ構成、ファイル構成を示す。まず、ルートディレクトリ直下にＤＣＦイメージルートディレクトリであるＤＣＩＭディレクトリが作られる。ＤＣＩＭという名前はＤＣＦに基づき固定である。ＤＣＩＭディレクトリの下に複数のＤＣＦディレクトリが作られる。ＤＣＦディレクトリの命名規則は、ディレクトリ名は８文字で構成され、最初の３文字はディレクトリ番号を表し、"１００"〜"９９９"までの数字、次の５文字は自由文字であり任意の文字列である。図６では仮にＤＣＦディレクトリ名を"１００ＣＡＮＯＮ"、"１０１ＣＡＮＯＮ"、"１０２ＣＡＮＯＮ"とする。

ＤＣＦディレクトリの下に画像データが記録される。図６では１００ＣＡＮＯＮディレクトリ下に記録されている画像データの様子を表している。

ＤＣＦでは、画像データのファイル名は、ファイル名８文字、拡張子３文字で与えられ、ファイル名は最初の４文字は任意の文字列の自由文字、次の４文字はファイル番号を表す４桁の数字で"０００１"〜"９９９９"までの範囲を取る。本実施形態では、自由文字は"ＩＭＧ_"としている。

さらに、関連のあるファイル群をまとめて取り扱うことができるよう、同一ファイル番号を持つファイル群をＤＣＦオブジェクトとすることが規定されている。ＤＣＦオブジェクトでは、ファイル番号が同一であれば、自由文字および拡張子は異なって良い。このうち、拡張子については、ＤＣＦ基本ファイルとして、ＪＰＥＧ方式で記録された画像データに".ＪＰＧ"の拡張子を与えることが規定されている。また、同一オブジェクト内ではＤＣＦ基本ファイルは一つしか存在できないと規定されている。

以上のＤＣＦの規定に基づき、本実施形態ではフラッシュ撮影のときの撮影画像において、例えば１コマ目を主画像データとし、ＤＣＦ基本ファイルの形式に則り、".ＪＰＧ"の拡張子を与え、"ＩＭＧ_ｎｎｎｎ.ＪＰＧ（ｎｎｎｎは"０００１"〜"９９９９"までの範囲の任意の４桁数字。図８においては、ｎｎｎｎは仮に１２３４としている。）"というファイル名で記録する。そして、２コマ目以降の画像を従属画像データとして、１コマ目の画像と同じファイル番号で、かつ拡張子を".Ｓｍｍ(ｍｍは"０１"、"０２"、"０３"と増える２桁の数字)"として、"ＩＭＧ_ｎｎｎｎ.Ｓ０１"、"ＩＭＧ_ｎｎｎｎ.Ｓ０２"、"ＩＭＧ_ｎｎｎｎ.Ｓ０３"というファイル名で記録し、これらを同一オブジェクトとして扱う。こうすることで、フラッシュ撮影での合成処理を行う画像処理装置での画像処理工程で、特別な処理やデータ付加を行わずに、フラッシュ撮影された一連の関連する画像を判定することが容易に行える。

次に、記録処理の動作について図７を用いて説明する。図７は、図３のＳ１１９における記録処理に対応する詳細なフローチャートである。

図７において、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた撮影画像データを読み出して撮像素子の縦横画素比率を１：１に補間する画素正方化処理を行った後（Ｓ４０１）、メモリ３０に処理を終えた画像データを書き込む。そして、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行う（Ｓ４０２）。

次に、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶されるフラッシュフラグの状態を判断し（Ｓ４０３）、フラッシュ撮影でない場合は、通常の撮影であるので、前回記録したファイル番号に対して１を足し（Ｓ４０４）、拡張子をＪＰＧに設定し（Ｓ４０５）、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ４０６）。このときインデックス用のサムネイル画像もともに書き込まれる。

記録媒体への書き込みが終わったならば、記録処理ルーチンＳ１１９を終了する。Ｓ４０３においてフラッシュ撮影の場合は複数回撮影した１コマ目の記録かどうかの判断を行う（Ｓ４０７）。フラッシュ撮影の１コマ目の場合は、２コマ目以降の拡張子名を決定するためのシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される変数ｍｍを０に初期化する（Ｓ４０８）。次に、前回記録したファイル番号に対して１を足し（Ｓ４０９）、拡張子を".ＪＰＧ"に設定し（Ｓ４１０）、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ４１３）。このときインデックス用のサムネイル画像（図５のＳ３１３で説明したように主画像からゲインアップして求めた画像）もともに書き込まれる。

それから、フラッシュ撮影の最終コマであるかどうかの判定を行い（Ｓ４１４）、最終コマであれば記録処理ルーチンＳ１１９を終了する。そうでなければＳ４０１に戻る。

Ｓ４０７において、フラッシュ撮影した１コマ目以外の場合は、変数ｍｍを１増やす（Ｓ４１１）。そして、ファイル番号は防振連写の１コマ目と同じとし、拡張子は変数ｍｍの前にＳを付けたものとして設定する（Ｓ４１２）。本実施形では前述のように一例としてフラッシュ撮影の複数撮影回数を４コマとしているので、これにより、フラッシュ撮影の２〜４コマ目については、それぞれ".Ｓ０１"、".Ｓ０２"、".Ｓ０３"という拡張子が設定されることになる。そして、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ４１３）。それからフラッシュ撮影の最終コマかどうかの判定を行う（Ｓ４１４）。最終コマであれば記録処理ルーチンＳ１１９を終了する。そうでなければＳ４０１に戻る。

次に本実施形態の画像処理装置側の処理について説明する。図８は第１の実施形態の撮像装置２２０と画像処理装置２２２の接続状態を表す図である。

撮像装置２２０と画像処理装置２２２は、接続ケーブル２２１で接続され、撮像装置２２０内の画像データは画像処理装置２２２に転送され、そこでフラッシュ撮影で複数枚撮影された画像の位置合わせおよび加算合成処理が行われる。接続は、撮像装置２２０内のインターフェース９０、９４に接続されたＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、等の各種通信カードによって行われる。また、以上のような有線接続ではなく、ＩｒＤＡによる赤外線接続、ＩＥＥＥ８０２.１１ａ、同８０２.１１ｂ、同８０２.１１ｇなどの無線ＬＡＮカードによる無線接続であってもかまわない。
また、ＣＦ（コンパクトフラッシュ（登録商標））カード等のメモリ媒体を介して画像データを転送しても良い。

画像処理装置２２２は、形態としては一般的なＰＣでも良いし、画像処理専用のグラフィックワークステーション（ＧＷＳ）や画像処理専用のハードウェアでも良い。また、ダイレクトプリント機能のように直接撮像装置２２０と接続して印刷が行えるようなプリンタの形態であっても良い。

図９は画像処理装置２２２内の画像処理のフローチャートであり、撮像装置２２０から転送された画像を、フラッシュ画像合成処理が必要な画像だけ、自動的に判断して処理を行うようなフローである。

まず、未処理の画像データがあるかどうかを判断し（Ｓ５０１）、無い場合は画像処理を終了する。未処理の画像データがある場合は、それを画像処理装置内のメモリに読み込む（Ｓ５０２）。ここでは、まず主画像データを読むこととし、拡張子.ＪＰＧのデータを読み込む。

次に、フラッシュ撮影の画像処理が必要な画像かどうかを判断する（Ｓ５０３）。防振用画像処理が必要ない場合は、Ｓ５０１に戻って次の画像データを読み込む。フラッシュ撮影の画像合成処理が必要か否かは、読み込んだ初回の主画像データと同一ファイル番号を持ち、拡張子がＳｎｎの従属データの有無によって判断することができる。

フラッシュ撮影の画像合成処理が必要な場合、まず読み込んだ画像データを、加算合成処理のために輝度リニアフォーマットに変換する（Ｓ５０４）。読み込まれた画像データは元々ＪＰＥＧ形式であり、ガンマ処理や、撮像装置に固有の階調補正などがされている。このままで加算処理を行うとガンマなどの影響で色調や明度、コントラストなどが変化してしまう。このため、輝度リニアなフォーマットへの変更が必要になる。

次に、画像合成のために拡張子Ｓｎｎの従属画像データを１枚読み込む（Ｓ５０５）。このデータは撮像装置のフローで説明したように、拡張子は異なるがフォーマットはＪＰＥＧ形式であるので、初回の画像データと同様に輝度リニアフォーマットへの変換を行う（Ｓ５０６）。

そして、初回の画像データと従属画像データの位置合わせを行う（Ｓ５０７）。位置合わせは２枚の画像間の動きベクトルを求めることにより行う。動きベクトルの検出には多数の公知の手法が提案されている。一例をあげると、画像を小ブロックに分割し、対応するブロック間で二次元の相関を求め、対応する全てのブロックの動きベクトルを求める。こうして求められた各領域の動きベクトルをヒストグラムに取り、動きベクトルの最頻値をその画像間の動きベクトルとする手法である。

位置合わせが完了したなら、次の従属データがあるかどうかがチェックされ（Ｓ５０８）、まだ残っている場合はＳ５０５に戻り、従属画像データの読み込み（Ｓ５０５）、輝度リニアフォーマットへの変換（Ｓ５０６）、初回画像との動きベクトル量の検出による位置合わせ（Ｓ５０７）というステップが繰り返される。

全ての従属データの読み込み、変換、位置合わせが完了したなら、次に位置合わせした画像データを全て加算して合成を行う（Ｓ５０９）。
合成が終了した時点で得られた画像は輝度リニアフォーマットなので、ここで再度ＪＰＥＧフォーマットへの変換を行う（Ｓ５１０）。

また、この時点までのサムネイル画像は主画像だけをゲインアップされた画像であったので、合成が完了したこの時点で合成した画像から改めてサムネイル画像を生成する（Ｓ５１１）。

最後に合成した画像、サムネイル画像を保存して（Ｓ５１２）、Ｓ５０１に戻って次の画像データの処理に進む。

以上のように構成することで、画像処理装置２２０側で、フラッシュ撮影が行われたかどうかの判断が容易に行えるとともにフラッシュ撮影の一連の画像データが同一オブジェクトを構成するために、画像処理装置側でのフラッシュ画像の重ねあわせ処理を容易にするという効果が有る。

本実施形態では、撮像装置２２０が初回画像とするデータはフラッシュ撮影の１枚目を主画像とする実施形を示した。しかしながら、主画像とするのは連写中の任意のデータを主画像としてかまわない。連写の最後に撮影した画像を主画像としてもかまわない。１枚目、または最終コマを主画像とすることで、使用者にどの画像が主画像となるかを分かりやすくすることができるという効果がある。

Ｓ５０３での判断は、従属画像データの有無で判断しているが、これは撮像装置２２０側で主画像データのタグ情報にフラッシュ撮影で撮影されたかどうかを記録するようにして、画像処理装置２２０側ではそのタグ情報で判断するようにしてもかまわない。

以上のように、第１の実施形態ではフラッシュ撮影に先立ってプリ発光を行い本発光の光量を決定している。ここでは使用するレンズで手振れが発生しないシャッター秒時が１／６０秒とすれば、このシャッター秒時に応じてフラッシュ光量を分割し照射をおこなっている。たとえばシャッター秒時が１／６秒なら１／６０秒で１０回、１／１５秒だったなら１／６０秒で４回、１／３０秒であれば１／６０秒で２回として分割しているため白色ＬＥＤを複数個使用しなければならない場合にもその数量を軽減することが出来る。

尚、ここではプリ発光により照射光量を求めたが、アクティブの三角測距のように距離情報が得られる場合はＩＳＯ情報、距離情報から必要光量が計算可能なためプリ発光を行わなくても良い。

＜第２の実施形態＞
第２の実施形態は、補助光が従来のキセノンランプを用いた閃光装置及び白色ＬＥＤ等によるフラッシュ装置を少なくとも２つもつ場合の実施形態である。

第１の実施形態の説明でも記載したように、フラッシュ光の到達可能範囲内の被写体に対しては分割して撮影を行ったが距離が遠くなると光量もより必要なため分割回数が多くなってしまい手振れのほかに被写体が動いてしまうといった不都合が生じかねない。閃光装置では光源の輝度も高く遠距離まで撮影が出来るが閃光時間が短いために近距離での光量の制御性は白色ＬＥＤのようなフラッシュが有利である。第２の実施形態では各々の利点を生かした複数の補助光を有する撮影装置に関しての説明をおこなう。以下説明する第２の実施形態ではそのように構成される。

以下、図１０を用いて第２の実施形態を説明するが、実施形態の説明においては、第１の実施形態と共通な構成、シークエンスについては説明を省略する。また、第１の実施形態では細かい説明を行ったがここでは特に簡略化したフローチャートを用いて説明をおこなう。また、本実施形態では、図１のフラッシュ４８ブロック図に閃光装置であるストロボと白色ＬＥＤ等からなるフラッシュ装置を各々準備されている事とする。

図１０は第２の実施形態の撮像装置１００の撮影時のシークエンスを表す図である。本実施形態では、図３のＳ１１８における撮影処理の詳細なフローチャートを示す。

まずステップＳ３２０において、システム制御回路５０は、フラッシュフラグがセットされているかどうかをチェックすることによりフラッシュ４８の発光が必要か否かを判断する。不要であれば、直接ステップＳ３０１に進み、必要な場合は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶されている測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光し（Ｓ３２１）、まずフラッシュが発光していない状態での外光輝度を測光する（Ｓ３２２）。続いて、撮影に先立ってプリ発光を行ってフラッシュが発光した状態の輝度を測光し（Ｓ３２３）、得られた２つの測光データから被写体への発光量と発光回数Ｎ回を計算し、システム制御回路５０の内部メモリ或いはメモリ５２に記憶し、本撮影に進む。

システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御部４０により、絞り機能を有するシャッター１２を得られた測光データに対応する絞り値に設定して開口し、撮像素子１４を露光する（Ｓ３０１、Ｓ３０２）。

ステップＳ３０３で、フラッシュフラグがセットされているかをチェックしてフラッシュ４８が必要か否かを判断し（Ｓ６０１）、必要が無ければシステム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い露光終了まで露光を行い（Ｓ３０５）次のステップＳ３０６へ進む。フラッシュが必要な場合にはストロボによる閃光装置か白色ＬＥＤ等によるフラッシュ装置かを白色ＬＥＤ等の分割発光回数Ｎ回が被写体振れを発生すると予想される回数ｎを比較し（Ｓ６０２）被写体振れの発生すると予想される回数ｎ以上であればシステム制御回路５０は、内部メモリ或いはメモリ５２に記憶されるデータに従って閃光であるストロボ装置を発光させて（Ｓ６０３）露光終了まで露光を行う（Ｓ３０５）。被写体振れの発生がないと予想された場合にはシステム制御回路５０は、内部メモリ或いはメモリ５２に記憶されるデータに従って白色ＬＥＤ等のフラッシュ装置を発光させ（Ｓ３０４）分割された一回分のフラッシュ露光が終了するまで白色ＬＥＤによる露光を行う（Ｓ３０５）。露光が終了するとシャッター１２を閉じて（Ｓ３０６）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、画像データメモリ３０に撮影画像のデータを書き込む（Ｓ３０７）。

次にフラッシュのフラグがセットされているかの確認を行い補助光を必要としない場合はＳ３１４に進み、フラッシュフラグがセットされていている場合はＳ６０４に進む（Ｓ３１１）Ｓ６０４では、その補助光が閃光装置であった場合Ｓ３１４に進み、白色ＬＥＤのフラッシュであれば、白色ＬＥＤの発光による所定回数Ｎ回の撮影が終了するまで上記のステップを繰り返し、フラッシュ撮影の所定回数が終了した場合は（Ｓ３１２）、Ｓ３１３に進み、ここで撮影終了後の画像表示のために表示用画像データを生成するとともに、インデックス表示や再生表示のためのサムネイル画像を生成する。フラッシュ撮影で得られた個々の画像は手振れしない秒時で撮影され、適正露光よりアンダーとなっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこで主画像として用いる画像を略撮影枚数分ゲインアップを行って表示画像データおよびサムネイル画像を生成する（Ｓ３１３）。具体的には、画像データの輝度情報を撮影枚数分乗算する。たとえば４枚を合成する場合は、画像の輝度情報を４倍する。このように整数倍することで、階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。また、ここでの画像情報がすでに輝度に対してリニア（線形）でない場合には輝度に対してリニアなデータに変換してから整数倍することが望ましい。そして次のステップ（Ｓ３１５）に進む。

またＳ３１１にて補助光を使用しないまたは補助光が閃光装置である場合フラッシュフラグがセットされてない場合はゲインアップ処理は行わずに、撮影画像から表示画像データおよびサムネイル画像を生成する（Ｓ３１４）。

そして、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う（Ｓ３１５）。以上で撮影処理ルーチンＳ１１８を終了し、画像データの記録でフラッシュ使用時の画像を合成し、画像を記録することで一連の撮影動作が終了する。

以上の説明では閃光装置と白色ＬＥＤ等のフラッシュ装置とを光量が少ない部分をフラッシュ装置で、光量の多い場合を閃光装置で被写体を照明している。従って、近距離の撮影では小光量で光制御性の良いフラッシュ撮影を、遠距離では光制御性の良く光量の大きい閃光装置を使用しているため露出精度も向上させることができる。

＜第３の実施形態＞
第１の実施形態が分割回数Ｎ回で点灯消灯をおこなったが、ここでは一連の白色ＬＥＤ等を使用したフラッシュ撮影の場合Ｎ回の撮影が終了するまで点灯を続ける実施形態である。第３の実施形態において、第１の実施形態と共通な構成、シークエンスについては説明を省略する。

図１１は、図３のＳ１１８における撮影処理に対応する詳細なフローチャートである。まずステップＳ３２０において、システム制御回路５０は、フラッシュフラグがセットされているかどうかをチェックすることによりフラッシュ４８の発光が必要か否かを判断する。不要であれば、直接ステップＳ３０１に進み、必要な場合は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶されている測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光し（Ｓ３２１）、まずフラッシュが発光していない状態での外光輝度を測光する（Ｓ３２２）。

続いて、プリ発光を行ってフラッシュが発光した状態の輝度を測光し（Ｓ３２３）、得られた２つの測光データから被写体への発光量と発光回数Ｎ回を計算し、システム制御回路５０の内部メモリ或いはメモリ５２に記憶し、本撮影に進む。

ステップＳ３０３で、フラッシュフラグがセットされているかをチェックしてフラッシュ４８が必要か否かを判断し、必要が無ければシステム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い露光終了まで露光を行い（Ｓ３０５）次のステップＳ３０６へ進む。フラッシュが必要な場合にはフラッシュの発光を開始させる（Ｓ３０４）、システム制御回路５０は、内部メモリ或いはメモリ５２に記憶されるデータに従って露光の終了を待つ（Ｓ３０５）。露光を終えたら第１の実施形態ではフラッシュを１度消灯したがここではフラッシュの点灯はそのまま続け、シャッター１２を閉じて（Ｓ３０６）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、画像データメモリ３０に撮影画像のデータを書き込む（Ｓ３０７）。

次にフラッシュフラグがセットされている場合（Ｓ３１１）は、フラッシュ撮影が終了したかどうかを判断し（Ｓ３１１）、終了していない場合はＳ３０１に戻り、所定回数Ｎ回の撮影が終了するまで上記のステップを繰り返す。フラッシュ撮影の所定回数が終了した場合は（Ｓ３１２）、点灯を行っていた白色ＬＥＤでのフラッシュを消灯する（Ｓ６１０）、そしてここで撮影終了後の画像表示のために表示用画像データを生成するとともに、インデックス表示や再生表示のためのサムネイル画像を生成する。フラッシュ撮影で得られた個々の画像は手振れしない秒時で撮影され、適正露光よりアンダーとなっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこで主画像として用いる画像を略撮影枚数分ゲインアップを行って表示画像データおよびサムネイル画像を生成する（Ｓ３１３）。具体的には、初回の主画像データの輝度情報を撮影枚数分乗算する。仮に４枚を合成する場合は、初回の画像の輝度情報を４倍する。このように整数倍することで、階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。また、ここでの画像情報がすでに輝度に対してリニア（線形）でない場合には輝度に対してリニアなデータに変換してから整数倍することが望ましい。そして次のステップ（Ｓ３１５）に進む。

そして、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う（Ｓ３１５）。以上で撮影処理ルーチンＳ１１８を終了し、次に画像データの記録でフラッシュ使用時の画像を合成し、画像を記録することで一連の撮影動作を終了する。

以上の説明ではフラッシュのＮ回の分割撮影期間が終了するまで消灯が行われないため主被写体側で分割撮影であっても一回の撮影動作が行われている期間中である事が認識可能となる。

以上、図１から図１１を用いて本発明の第１の実施形態から第３の実施形態の説明を行った。

本実施形態の説明ではレンズや鏡筒が本体と一体化された、いわゆるデジタルコンパクトカメラに適用した実施形について説明したが、レンズ交換式の一眼レフタイプの撮像装置、または静止画撮影機能を有するビデオカメラなどについても本発明が適用可能なことは言うまでもない。

シャッター１２は絞りとシャッターを兼用するレンズシャッタータイプで説明を行ったが、絞りとシャッターは独立していても良い。また、シャッターはフォーカルプレーン式のシャッターで構成されても良い。

ズーム機能の無い単焦点レンズ内蔵の撮像装置であっても良いし、バリア１０２を有してなくとも良い。フラッシュ４８も内蔵でなく、外付けフラッシュであってもかまわない。

操作系についてもモードダイアルでなく、プッシュＳＷの組み合わせでモードが切り替え可能なように構成しても良い。

白色発光ダイオードは赤,青、緑での三色の発光ダイオードを使用しその色を合成し白色を得るもの或いは青及び紫外系発光ダイオードと蛍光体を使用して白色を得るもののどちらでも良い。

白色ＬＥＤ等の光源もこれと同等の性能を有する光源であれば白色ＬＥＤに限らない。

画像の合成を外部装置で行ったが、撮影装置自体で行って良いことはいうまでもない。

プリ発光や距離とＩＳＯ情報で求めた本発光の光量を分割し撮影するにあたり画像合成時にずれの大きい画像を削除するため想定される分撮影の回数を多することでも良い。

閃光装置とフラッシュ装置の切り替えは、テレ側で開放ＦＮｏ.が暗くなるようなズームレンズの場合、ＦＮｏ.が暗い場合に閃光装置を使用することでも良い。

画像の記録形式に関しても、本発明の実施形では、Ｅｘｉｆの規定に基づいて、拡張子.ＪＰＧとして記録する例、およびＲＡＷデータで記録する例を示したが、画像フォーマットの形式については以上に限定されるわけでなく、任意の画像フォーマットであっても良い。

従属画像データの拡張子の形式も本発明の実施形態での説明に限定されるものでなく、Ｅｘｉｆで主データ用に規定されている"ｊｐｇ"以外の任意の拡張子を使用することが出来る。

今後のＥｘｉｆの改訂、または別の新たな規格に適合した形態を取ることが可能である。

なお、記録媒体２００及び２１０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ-ＲやＣＤ-ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論問題無い。
また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。

そして、実施形態の説明に於いては、記録媒体２００及び２１０は撮像装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置１００に固定したままとなっていても勿論問題無い。

また、撮像装置１００に記録媒体２００或いは２１０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。

撮像装置１００に記録媒体２００及び２１０が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。

画像合成を行う画像処理装置の画像処理はソフトウェアで実現しても良いし、ハードウェアで実現しても良い。

また、画像処理は銀塩フィルムのラボのように、ユーザーが記憶媒体に記憶された画像をラボに持ち込んだり、インターネットなどの通信機能によりラボ側に画像を送付し、ラボ側にて画像合成処理を行うという形態でもかまわない。

さらに上記以外の本発明の趣旨に沿った範囲でさまざまな変形例の形態をとってもかまわない。

＜その他の実施形態＞
本発明では、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含む。

また、上記実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納され、そのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは云うまでもない。

＜まとめ＞
本実施形態によれば、撮影の補助光として白色発光ＬＥＤを有する撮像装置であって、補助光が必要な場合に補助光を分割して露光し、複数の補助光毎に低輝度画像を撮影して、得られた複数の画像を合成することにより適正露光を得るため、一回の露光で適正にする場合と比較し光量が少ないため１個又は複数個の発光ダイオードの光量または必要個数を減少させることが出来、コストダウンやスペースも減らせることから小型化に対する効果がある。

そして、白色ＬＥＤの補助光の光量を手ぶれの発生しない秒時で分割し発光することにより、画像合成が容易となる効果がある。

補助光の発光を、手ぶれの発生しないシャッター秒時でシャッターにより所定露光量となるよう分割露光し、所定露光となった後に消灯することにより、白色発光ＬＥＤが連続撮影中には連続点灯するようにするため、主被写体は一回の撮影中であると認識することができる。

また、撮影の補助光として白色発光ＬＥＤ及びキセノン管による閃光装置を有し、輝度の低い白色発光ＬＥＤと輝度の高い閃光装置を距離が遠い場合やレンズのＦＮｏ．が暗い場合など、つまりＧＮｏ．に係る撮影の条件より白色発光ＬＥＤによる補助光または閃光装置による補助光を選択し、比較的近距離の場合には白色発光ＬＥＤによる補助光使用時は分割し露光させ複数の補助光毎の低輝度画像を撮影して得られた複数の画像を合成することで適正露光を得、比較的遠距離の場合には閃光装置で一回の適正露光により撮影することによって、比較的近距離の場合閃光装置の充電に要す時間を排除できる効果や、白色発光ＬＥＤの発光光量が閃光装置よりも安定していることから発光制御しやすく調光精度が良くなる効果もある。

ここで、撮影条件とは補助光のＧＮｏ.はレンズの明るさを示すＦＮｏ.と距離の積で示される。そして、暗いレンズや距離ある被写体の場合には白色ＬＥＤの撮影で複数回の発光を数多く発光させるよりも閃光装置を使用する方が上述した調光精度に加え速射性が向上するという効果が期待できることが分かる。

また、撮影の条件とは白色発光ＬＥＤの分割発光回数が所定回数より大きい場合であるとすることにより、速射性能を向上させることができる。

白色発光ＬＥＤにより複数毎撮影された画像を合成する場合には、合成枚数が増え被写体ぶれの発生が予想される。この様なぶれの大きい画像は無理に合成すると不自然な合成画像が生成されてしまうため、このようなぶれの大きい画像を排除することにより自然な合成をすることができるようになる。

さらに、白色発光ＬＥＤには赤,青、緑での三色を合成し白色を得るものや青及び紫外系発光ＬＥＤにより蛍光体に照射し色変換を行い白色を得る物があるが本発明においてはどちらを使用してもよい。

本発明の第１乃至第３の実施形態で共通に用いられる撮像装置の構成を示すブロック図である。本発明の第１の実施形態の撮像装置の主ルーチンのフローチャートの一部である。本発明の第１の実施形態の撮像装置の主ルーチンのフローチャートの一部である。本発明の第１の実施形態の撮像装置の測距・測光ルーチンのフローチャートである。本発明の第１の実施形態の撮像装置の撮影ルーチンのフローチャートである。本発明の第１の実施形態の撮像装置の記録ディレクトリの構成図である。本発明の第１の実施形態の撮像装置の記録ルーチンのフローチャートである。本発明の第１の実施形態の撮像装置と画像処理装置の接続を表す図である。本発明の第１の実施形態の画像処理装置の画像処理ルーチンのフローチャートである。本発明の第２の実施形態の撮像装置の撮影ルーチンのフローチャートである。本発明の第３の実施形態の撮像装置の撮影ルーチンのフローチャートである。

符号の説明

１０：撮影レンズ１２：シャッター１４：撮像素子１６：Ａ／Ｄ変換器１８：タイミング発生回路２０：画像処理回路２２：メモリ制御回路２４：画像表示メモリ２６：Ｄ／Ａ変換器２８：画像表示部３０：メモリ３２：画像圧縮・伸長回路４０：露光制御手段４２：測距制御手段４４：ズーム制御手段４６：バリア制御手段４８：フラッシュ５０：システム制御回路５２：メモリ５４：表示部５６：不揮発性メモリ６０：モードダイアルスイッチ６２：シャッタースイッチＳＷ１６４：シャッタースイッチＳＷ２６６：画像表示ＯＮ／ＯＦＦスイッチ６８：防振機能ＯＮ／ＯＦＦスイッチ７０：操作部８０：電源制御手段８２：コネクタ８４：コネクタ８６：電源手段９０：インターフェース９２：コネクタ９４：インターフェース９６：コネクタ９８：記録媒体着脱検知手段１００：撮像装置１０２：保護手段１０４：光学ファインダ１１０：通信手段１１２：コネクタ（またはアンテナ）２００：記録媒体２０２：記録部２０４：インターフェース２０６：コネクタ２１０：記録媒体２１２：記録部２１４：インターフェース２１６：コネクタ２２０：撮像装置２２２：画像処理装置２２１：接続ケーブル

Claims

第１の照明手段と該第１の照明手段より最大発光量が大きい第２の照明手段の少なくとも一方を用いた撮影が可能であり、振れを抑えるために露出時間を制限した複数回の撮影を行って得られた複数の画像を合成して適正露出の画像を得る撮像装置であって、
被写体の光学像を電気信号に変換する撮像手段と、
前記撮像手段よって得られた複数の画像を位置合わせして合成する画像合成手段と、
前記複数の画像を得るための撮影回数が所定回数未満の場合には、前記第１の照明手段による照明を行って複数回の撮影を行い、所定回数以上の場合には、前記第２の照明手段による照明を行って１回の撮影を行うように制御する制御手段と、を有することを特徴とする撮像装置。
前記所定回数は、該所定回数の撮影を行っている間に被写体振れが発生すると予想される回数であることを特徴とする請求項１に記載の撮像装置。
前記第１の照明手段による照明を行って前記複数回の撮影を行う場合、該複数回の撮影のそれぞれに対して前記第１の照明手段により略同一の光量で照明を行うことを特徴とする請求項１または２に記載の撮像装置。
前記第１の照明手段の発光部は発光ダイオードで構成され、前記第２の照明手段の発光部は閃光発光管で構成されることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
第１の照明手段と該第１の照明手段より最大発光量が大きい第２の照明手段の少なくとも一方を用いた撮影が可能であり、振れを抑えるために露出時間を制限した複数回の撮影を行って得られた複数の画像を合成して適正露出の画像を得る撮像装置の制御方法であって、
被写体の光学像を電気信号に変換する撮像ステップと、
前記撮像ステップで得られた複数の画像を位置合わせして合成する画像合成ステップと、
前記複数の画像を得るための撮影回数が所定回数未満の場合には、前記第１の照明手段による照明を行って複数回の撮影を行い、所定回数以上の場合には、前記第２の照明手段による照明を行って１回の撮影を行うように制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。