以下、本発明の実施の形態について図面を参照して説明する。
[本発明の概要](高速連写のレビュー表示、シャッターアニメーション)図1は、本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
図1に示すように、電子カメラは、操作入力部11、制御部13、ズームレンズ/フォーカスレンズ駆動部15、絞り/シャッタ駆動部16、ストロボ駆動部17、ストロボ18、角速度センサ/加速度センサ19、手ブレ/振動検出部20、受光センサ/AFセンサ21、測光/測距/AF検出部22、光学系23、イメージセンサ25、信号処理部27、バッファメモリ部29、画像符号化/復号化部31、画像記録/入出力部33、画像メモリ媒体35、表示画像メモリ40aからなる表示駆動回路40、画像表示部41から構成されている。
制御部13は、撮影モード/撮影シーンの選択部13a、シーン別撮影プログラム13b、複数撮影条件の組合せ/連写枚数の設定部13d、撮影条件の組合せ設定データ13e、撮影制御部13h、画像表示の制御部13m、表示条件の設定データ13nから構成されている。なお、撮影制御部13hは、通常の撮影制御部13h1、高速連写撮影制御部13h2、マルチ条件による連写撮影部13h3、ブラケティング撮影制御部13h4、動画撮影部13h5から構成されている。
イメージセンサ25は、イメージセンサ部、タイミング部、垂直走査部、CDS/ADC部、デジタル画素加算部、デジタル信号読出し部、水平走査部、P/S変換部から構成されている。
信号処理部27は、表示合成処理部27j、撮像素子コントローラ部(撮影タイミング制御)、S/P変換部、複数のフレームメモリからなる画像メモリ部、画像信号処理部、画像補正処理部、画像特徴の抽出部、画像認識処理部、画像評価処理部、カラーマトリックスから構成されている。
図1において、並列読出しによる高速読出しが可能なCMOSからなるイメージセンサ25と、イメージセンサ25から高速読み出しした画像データを高速書込み可能な画像メモリ部を含み、高速符号化処理が可能なDSPからなる信号処理部27とを用いて、高速度で連写撮影または動画撮影などを行う。
1回のレリーズ操作による撮影で、撮影条件を少しずつ変えて複数枚の画像を撮影するブラケティング撮影をする場合、複数の撮影条件の組合せを少しずつ変えながら複数枚の画像を高速度で連写して、略同じタイミングの被写体を異なる撮影条件の組合せで多数枚撮影をする場合において、撮影された画像のレビュー表示(撮影確認表示)の方法を提供するものである。
イメージセンサ25は、光学系により結像された被写体像を撮像して撮像信号を出力する。また、イメージセンサ25は、入力された制御信号に応じて有効撮像領域中の全領域の画素の撮像信号を読出す全面素読出しモードと、有効撮像領域中の選択された部分領域の画素の撮像信号を選択して読出す選択読出しモードと、制御信号に応じて全領域または選択された部分領域の水平および/または垂直方向の複数の画素の撮像信号を加算して読出す加算読出しモードと、加算せずに読み出す加算なし読出しモードとを備え、さらに、撮像信号の出力回路に設けられた並列/直列変換回路を備えており、読み出された撮像信号を、並列/直列変換回路により直列信号に変換された直列デジタル信号として信号処理部27へ高速出力する。
信号処理部27は、イメージセンサ25からの撮像信号を順次に信号処理する。
撮影条件の組合せ設定データ13eは、高速度撮影モードまたは連続撮影モードに関連して、撮影条件の設定値の組合せを設定するための設定データを予め記憶する。
複数撮影条件の組合せ/連写枚数の設定部13dは、撮影条件の組合せ設定データ13eから読み出した設定データに基づいて撮影条件の設定値を設定する。
表示条件の設定データ13nは、連続撮影による撮影画像のレビュー表示に関連する表示条件の設定データを設定し、複数のシーン別に撮影条件の設定値の組合せを設定するための設定データを記憶する。表示条件の設定データ13nは、複数撮影条件の組合せ/連写枚数の設定部13dにより設定された撮影条件、もしくは、当該連続撮影における少なくとも撮影速度、撮影フレーム速度、連続撮影枚数からなる撮影条件のうち、いずれかの撮影条件に従って、レビュー表示における表示条件の設定データを設定する。表示条件の設定データ13nは、連続撮影による撮影レビュー表示の表示条件の設定データの組合せを、予め複数組を記憶するとともに、操作入力部からの操作に応じて、複数組の表示条件設定データの組合せの中から選択された表示条件設定データの組合せを、レビュー表示の表示条件として設定する。表示条件の設定データ13nは、レビュー表示設定モードにおいて、操作入力部からの操作に従って、連続撮影による撮影レビュー表示の表示条件の設定データをカスタム設定する。
撮影制御部13hは、高速度撮影モードまたは連続撮影モードに関連して、複数撮影条件の組合せ/連写枚数の設定部13dにより設定された撮影条件に従って、複数枚の画像の撮影動作を繰り返し行うように制御し、また、複数撮影条件の組合せ/連写枚数の設定部13dにより設定された複数の設定値の中から、異なる設定値の組合せを順次選択して、当該組合せを撮影条件として、所定の撮影枚数ずつ撮影動作を繰り返し行うように制御する。
画像表示の制御部13mは、表示条件の設定データ13nにより設定された表示条件設定データに基づいて、連続撮影された撮影画像の縮小画像を、撮影毎に順次追加表示して、レビュー表示を行うように制御する。画像表示の制御部13mは、連続撮影された撮影画像の縮小画像を、横方向、縦方向、斜め方向のいずれかの方向に、順次敷き詰めるように並べて追加表示して、レビュー表示を行うように制御する。画像表示の制御部13mは、連続撮影された撮影画像の縮小画像を、横方向、縦方向、斜め方向のいずれかの方向に、順次前回の撮影画像の縮小画像の上に、少なくともその一部が積み重なるように追加表示して、連続撮影された画像のレビュー表示を行うよう制御する。
画像表示の制御部13mは、また、被写体像のスルー画像の表示を、表示画面上にレビュー表示と並列もしくは重畳して表示するように制御する。あるいは、画像表示の制御部13mは、被写体像のスルー画像の表示位置から、追加するレビュー表示画像の表示位置に向かって、画像表示もしくはその表示枠が移動するアニメーション映像を描画表示するように制御する。
画像表示の制御部13mは、表示画面上の表示列、行、表示位置のいずれかが一杯のとき、または、最後の表示位置に該当するときには、表示された撮影画像のレビュー表示を全て消去させ、初期の表示位置から追加表示を再開するように制御してもよく、もしくは、最も古く表示された撮影画像のレビュー表示を消去させ、その他の撮影画像のレビュー表示を初期の表示位置の方向に順次平行移動させて更新表示し、最新の撮影画像のレビュー表示を最後の表示位置に追加表示することにより、スクロール表示するように制御してもよい。
さらに、画像表示の制御部13mは、複数撮影条件の組合せ/連写枚数の設定部13dにより設定された当該画像の撮影条件別に、異なる行、異なる列、異なる並びのいずれかに追加表示して、連続撮影画像のレビュー表示を行うよう制御する。画像表示の制御部13mは、また、操作入力部からの操作に応じて、レビュー表示に関する表示条件の設定を行うためのレビュー表示設定モードの操作画面を表示するように制御する。
撮影モード/撮影シーンの選択部13aは、操作入力部からの操作に従って、シーン見本画像表示手段に表示された複数のシーンの名称および見本画像の中から、撮影対象となる撮影シーンを選択する。
被写体像スルー表示と撮影画像のレビュー表示とを組合せて動画風に表示し、また撮影画像のサムネイルのレビュー表示をタイリング(敷詰め)表示や、カスケード(積み重ね)表示、または、スクロール表示して、アニメーション式にレビュー表示することで、高速連写でも撮影を妨げることなく、被写体の確認と撮影確認とが同時に行えるとともに、高速連写時のダイナミックさ、スピード感が強調され、高速連写らしい表示表をおこなうことができる。
また、複数の撮影画像の中から所望シーンまたはその見本画像を選択すると、選択されたシーン毎に設定された設定値に応じて、撮影時の撮影速度(連写撮影間隔)や、連写撮影コマ数、撮影画像サイズ(画素数)などを、選択されたシーンの高速連写に最適となるように自動的に設定して、高速撮影動作を制御するようにしてもよい。
[第1の実施形態] 図2は、本発明の第1の実施形態に係る高速度カメラの全体構成を示すブロック図である。
図2に示すように、高速度カメラは、操作入力部51、制御回路53、シャッタ駆動部55、絞り駆動部56、ズームレンズ駆動部57、焦点レンズ駆動部58、撮影光学系(ズームレンズ)59、ストロボ駆動回路60、ストロボ61、測光/測距センサ62、検出回路63、角速度センサ(Y/Pitch)64、検出回路65、角速度センサ(X/Yaw)66、検出回路67、HDD記憶装置68、プログラム・メモリ69、データ・メモリ70、画像メモリ媒体71、撮像素子73、DSP部75、バッファメモリ(B)77、画像CODEC(符号器/復号器)79、動画像CODEC(符号器/復号器)81、表示駆動回路83、画像表示部85から構成されている。
制御回路53は、入出力ポート53a、入出力ポート53b、HDD・IF53c、インタフェース53d、入力回路53e、メモリカード・IF53f、CPU53gから構成されている。
DSP部75は、コントローラ75a、S/P変換回路75b、バッファメモリ(A)75c、WB補正回路75d、画素補間/リサイズ回路75e、カラー補間回路75f、輪郭補正回路75g、ガンマ補正回路75h、マトリクス回路75i、画像認識処理部75j、画像補正処理部75k、画像合成処理部75mから構成されている。
以下、図2を参照して、高速度カメラの動作を簡単に説明する。
撮影光学系59により撮像面に結像された被写体像は、CCDやCMOSイメージセンサなどからなる撮像素子73により光電変換されて、スルー画像や撮影画像の撮像信号としてDSP(デジタル信号処理回路)部75へ出力され、DSP部75に設けられた複数のフレームメモリ等を備えたバッファメモリ(A)75c等に入力されて信号処理された後に、撮像画像の画素毎の輝度値、色差値のデジタル信号として出力され、バッファメモリ(B)77等に一時記憶される。
操作入力部51に設けられたレリーズボタン(図示しない)が押されて静止画の撮影指示が制御回路53に入力されると、設定撮影条件に基づいて露出動作および撮影動作を行い、スルー画像とは異なるスチル記録用の高解像度の被写体像の撮像信号を撮像素子73で撮像して、DSP部75で信号処理された画像データを、画像CODEC(Coder&Decoder、符号器/復号器)79により、JPEG規格等に準じた圧縮符号化画像データ又はRAWデータなど非圧縮の符号化画像データに符号化され、内蔵メモリ又はフラッシュメモリカードなどのメモリ媒体からなるデータ・メモリ70、若しくは小型のHDD記憶装置(Hard Disk Drive:ハードディスク記録装置)68等に、EXIF JPEGなどのファイル形式で記録される。
連写撮影の場合も、上記スチル撮影を高速で繰り返し行い、撮像素子73から高速度で読出した撮像信号をDSP部75などに高速で出力する。このときも同様に、データ・メモリ70又はHDD記憶装置68に、符号化画像データが記憶される。
動画撮影の場合も同様に、被写体像の撮像信号を撮像素子73で撮像して、DSP部75で信号処理された画像データを、動画像CODEC(符号器/復号器)81により、MPEG4やH.264/AVCなどの圧縮符号化方式に対応して圧縮符号化され、AVIやMP4などのファイル形式で、データ・メモリ70やHDD記憶装置68などに記録される。
なお、データ・メモリ70やHDD記憶装置68などに記録された画像データファイルは、画像メモリ媒体71又はUSBインターフェース(図示しない)など外部入出力インタフェースを介して、パーソナルコンピュータやプリンタに転送可能である。加えて、パーソナルコンピュータ内にある大容量HDD装置への画像データファイルの蓄積記録、CD−RやDVDなどのディスク媒体への保存記録、撮影画像のモニタへの再生表示、パーソナルコンピュータ内の画像編集ソフトなどを用いた撮影画像や録画済映像の編集、さらにプリンタでの印刷が可能である。
[イメージセンサ] 撮像素子73を、従来のようにCCD(Charge Coupled Device:電荷結合素子)イメージセンサで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS回路(Correlated Double Sampling:相関二重サンプル回路)でノイズ除去並びにサンプル及びホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(Analog−Digital Converter、A/D変換器)でデジタル撮像信号に変換されて、DSP部75に出力される。
一方、撮像素子73をCMOS(Complementary Metal Oxide Semicomductor:相補型金属‐酸化膜半導体)イメージセンサで構成する場合には、一般的なAPS(Active Pixcel Sensor:増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。
CCDセンサでは順番に取り出さなくてはならないが、CMOSセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできる。そのため、デジタルズーム処理で所定領域のみを切出して読出す場合に、高速読み出しが可能である。また、CCDセンサでは、信号電荷をそのまま転送するためスミアやノイズに弱い。しかしながらCMOSセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているため、伝送ノイズに強い。さらに、CMOS LSI等と同様に、同じ製造プロセスで、イメージセンサ部の周辺に、加算演算回路などデジタル論理回路や信号処理回路などを高集積化して比較的容易に一緒に作りこめるという利点もある。
反面、上記CMOSセンサでは、画素毎のアンプの閾値など個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、kTC雑音が大きい難点があったが、最近では、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流流とkTC雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたColumn型のCDS/ADC回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ(FPN)を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。
[高速度イメージセンサ、選択読出しと画素加算、撮像信号の高速出力] 図3は、本発明の第1の実施形態に係る高速度カメラの撮像素子73の構成を示すブロック図である。
図3に示すように、撮像素子73は、複数の単位画素回路73a1をから構成されるイメージセンサ部73a、CDS回路73b、A/D変換回路73c、画素加算回路73d、符号器73e、並列/直列変換回路73f、タイミング発生回路73g、垂直走査回路73h、水平走査回路73i、トランスミッタ73jから構成されている。
高速度カメラに採用される撮影素子においては、各カラム回路(列回路)部にCDS/ADC回路/画素加算回路を設け、また、デジタル撮像信号をP/S変換回路により並列/直列変換して出力するという構成のCMOSイメージセンサが有効である。
[CDS/ADC回路、画素加算回路] 図4Aは、本発明の第1の実施形態に係る高速度カメラの撮像素子73の詳細な構成を示す回路図であり、撮像素子内に設ける画素加算回路の例として、CMOSイメージセンサ内のCDS回路73b、A/D変換回路73cなど列回路部に画素加算回路を設けた例を示す。
図4Aに示すように、撮像素子73は、単位画素回路73a1、CDS回路73b、A/D変換回路73c、ラッチ73c1、符号器73e、並列/直列変換回路73f、水平走査回路73i、トランスミッタ73j、演算回路73k、ラッチ73k1、ラッチ73k2、ALU73k3、ラッチ73k4、演算回路73m、ラッチ73m1、ラッチ73m2、ALU73m3、ラッチ73m4、ADC基準信号(Ramp波形)73n、10ビットカウンタ73p、を有している。また、DSP75は、S/P変換回路75b、レシーバ75b1を有している。
図4Aに示すように、高速のCMOSイメージセンサを構成するために、ColumnADC方式の列回路に加算回路と高速転送回路を設けており、本実施形態の高速度カメラに用いる撮像素子73では、任意サイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読出しができるように構成している。
図3、図4Aに示すように、列回路部に設けられたCDS回路73b、A/D変換回路73c又は水平走査回路73iの後段部分に、各画素に隣接する同色フィルタの複数の画素の撮像信号同士をデジタル信号で加算するALU73k3、ALU73m3を演算回路73k、73mに設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読出しできるように構成する。これにより、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間又は速いシャッタ速度でも露出が良好な撮影ができ、高速レートの動画撮影又は連続撮影でも画像データ量の小さい撮像信号に変換して出力できる。
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部に設けられたCDS回路73b、A/D変換回路73cから水平走査回路73iの列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列デジタル信号として出力するか、または、並列のデジタル信号を符号化し、並列/直列変換回路73fにより並列/直列変換してトランスミッタ73jから、直列のデジタル撮像信号としてDSP部75に出力することで、高解像度の撮像信号を高速フレームレートでDSP部75に転送出力することができる。
図4Aに示すように、並列に並んだ列回路に設けるCDS回路、ADC回路の具体的構成には、各種方式が開発されているが、本実施形態では、いわゆる「Column ADC方式」のCDS回路73b、A/D変換回路73cを用いて、列毎に並列処理するA/D変換器により、画素の固定パターンノイズ(FPN)を抑圧しながらデジタル信号に変換する。Column ADC方式のCDS回路73bでは、固定パターンノイズを抑圧するために、粗精度と高精度の2段階のクランプ(Clamp)回路を用いる。一般に、クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
図4Bは、CDS回路73b、A/D変換回路73cの動作を説明するためのタイミングチャートである。図4Bに示すタイミングチャートにおいて、まず、列回路部の反転バッファA1、A2に並列接続されたクランプスイッチS1、S2を第1クランプ期間において同時に閉じてから、クランプスイッチS1を先に開くと、点Vinの電位が、A1の閾値電圧にS1スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、S2は閉じたままなので、その電圧がA2入力の閾値電圧になる。その後、S2を開くと、A2にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。S2スイッチングのバラツキ成分はA2の利得で割った分がVin側のバラツキに還元されるので、Vin側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ(FPN)の発生が抑えられる。
次に、行読出し線(転送ゲート線TG)にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチS4を閉じてサンプリングする。サンプリング完了後、スイッチS3を開いて、A/D変換用のランプ波形(RAMP波形、順次電圧が上昇する傾斜状、階段状の波形)の基準信号をスイッチS4から加えると、ランプ波形に応じてVinの電圧がやがてクランプ回路の閾値を越えてA2の出力が反転し、反転する電圧までの10ビットカウンタ73pの値がデジタルの画素信号値としてラッチ73c1に記憶され、A/D変換処理が終了する。
[画素加算動作] このようなCDS回路73b、A/D変換回路73cを含む列回路の後に、列加算回路(垂直加算回路)などの演算回路73kを設け、行アドレス選択された画素の信号を列信号線から読出し、CDS回路73b、A/D変換回路73cでノイズ除去されデジタル変換されたデジタル並列信号を、ラッチクロック信号でラッチ回路73k1にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミングのラッチクロック信号で別のラッチ回路73k2にラッチして、両方のラッチ回路の出力同士を列加算回路を構成するALU73k3でデジタル加算する。
また、水平信号線からの信号出力部に、行加算回路(水平加算回路)などのデジタル演算回路73mを設け、列加算された信号同士をラッチクロック信号で選択して水平信号線に読出し、ラッチ回路73m1,73m2にラッチして、両方のラッチ回路の出力同士を行加算回路を構成するALU73k4でデジタル加算する。
カラー撮像の場合には、例えば、「Bayer配列」等の千鳥状に2画素周期で交互に並んだRGB各色カラーフィルタに対応する各画素から、列方向に(一つ飛ばしで)隣接する同色フィルタの画素同士を、R画素はR画素同士で、G画素はG画素同士で、B画素はB画素同士で、列方向に複数加算し、また、行方向に(一つ飛ばしで)隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
また、加算された撮像信号のデジタル信号は符号器73eにより所定の符号化を行うとともに、並列/直列変換回路73fにより並列/直列変換して順次シリアル(直列)のデジタル信号に変換されてトランスミッタ73jから出力され、DSP部75のレシーバ75b1に転送される。ここで、入力された制御信号に応じて有効撮像領域中の全領域の画素の撮像信号を読出すことを全面素読出しモードと呼び、有効撮像領域中の選択された部分領域の画素の撮像信号を選択して読出すことを選択読出しモードと呼び、制御信号に応じて全領域又は選択された部分領域の水平及び/又は垂直方向の複数の画素の撮像信号を加算して読出すことを加算読出しモードと呼び、加算せずに読み出すことを加算なし読出しモードと呼ぶ。
[その他のCDS回路、ADC回路、加算回路] なお、本実施形態においては、CDS回路、ADC回路をColumn ADC方式で構成したが、たとえば、単純なColumn CDS方式や、DDS方式(Double Data Sampling)、電荷領域差分方式など、他のCDS回路、ADC回路や加算回路で構成しても良い。
例えば、特開2005−278135号公報「固体撮像装置および団体撮像装置の駆動方法」(図示しない)には、積分型ADCを列並列ADC比較器およびアップ/ダウン・カウンタを用いて、CDS回路、ADC回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせ、加算器なしで加算演算を行えるようにしたCMOSイメージセンサの構成例が開示されている。本実施形態においても、このような加算回路を用いて画素加算処理を行ってもよい。
[CML、LVDSなどの高速シリアル転送回路] 上述のように、加算された撮像信号のデジタル信号は、並列/直列変換回路73fで順次シリアル(直列)のデジタル信号に変換され、トランスミッタ73jからDSP部75に設けられたレシーバ75b1に転送される。なお、高解像度で高速フレームで撮像するためには、撮像信号を高速でDSP部75に転送する必要がある。
一般のCMOSからなる入出力回路では、入出力信号の振幅は、電源電圧の範囲において一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
例えば、CML系(Current Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、(電圧を振らせるというよりは)電流をon/offさせる方法で、(Vdd−0.4V)の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
また、LVDS系(Low−Voltage Differential Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器や表示装置や、映像信号のデジタル入出力インタフェースとして普及している。
LVDS系では、2本の配線を必要とするが、電流モード・ドライバの採用と、+1.2V電位を中心に0.3Vの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
このように、CMOS回路でも、高速でシリアル伝送できるCML系やLVDS系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路(送信トランスミッタ)から出力して、後段のDSP部75へ高速で伝送し、DSP部75に設けられた入力回路(受信レシーバ)で受信した直列デジタル信号をS/P変換回路75bで並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
[DSP部(デジタル信号処理部)] 撮像素子73がCMOSからなるイメージセンサの場合には、CMOSセンサ内蔵のCDS回路、ADC回路でノイズ除去およびデジタル変換され、同じく内蔵の高速出力回路から直列のデジタル信号で転送されたデジタル撮像信号がDSP部75に入力される。
DSP部75は、撮像素子73から直列のデジタル信号で転送されたデジタル撮像信号をS/P変換回路75bで並列デジタル信号に変換し、並列デジタル信号をバッファメモリ(A)75cに順次に記憶するとともに、バッファメモリ(A)75cから読み出した並列デジタル信号をWB補正回路75dに出力する。次いで、WB補正回路75dでホワイトバランス調整やカラーバランス調整を行った後に、撮像素子73の前面に設けられたモザイク状の「Bayer配列」や、千鳥配列されたRGBなどのカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないが、他の色差成分の画素値も、近隣周辺の画素値から画素補間(Pixel Signal Interpolation)して求めて(カラー補間処理)、画素毎にRGB色差成分毎の階調値を持つデジタル画像データに変換される。
また、カラー補間の前に、必要に応じて、画素補間/リサイズ回路75eにより、撮像画像サイズを異なる画像サイズに変換する解像度変換処理(Resolution Conversion)を行う場合もある。
画素補間/リサイズ回路75eでは、例えば、スルー画像や再生画像をファインダや画像モニタに表示する為にVideo RAMや表示ドライバ内の表示RAM領域に書込むために、(VGAサイズなどの)所定の画像サイズ(画素数)に変換するリサイズ(Resize)、または補間処理(Interpolation)を行う。あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズに縮小/拡大する処理や、リサイズ/補間処理または解像度変換処理を行う。
さらに、DSP部75では、ガンマ補正回路75hにより階調補正されたRGB系のデジタル画像信号はバッファメモリ(B)77に一時記憶された後、LCDモニタなど電子ファインダに再生表示されるか、マトリクス回路75iでRGB系からYUV系/YCbCr系など所定の色空間の画像信号に変換され、画像CODEC79により、JPEG静止画像データやMPEG4やH.264動画像データなどに圧縮/符号化処理される。なお、コントローラ75aは、CPU53gにより設定されたデータや条件に応じて、DSP部75内部に設けられたS/P変換回路75b、バッファメモリ(A)75c、WB補正回路75d、画素補間/リサイズ回路75e、カラー補間回路75f、輪郭補正回路75g、ガンマ補正回路75h、マトリクス回路75i、画像特徴処理部75j、画像認識処理部75k、画像評価処理部75mなど各回路を制御する。
[高速度撮影の撮影速度] 従来の業務用の高速度カメラなどでは、銀塩フィルム時代のフィルム送り機構の制約などから、コマ毎に必要な露出時間の約5倍程度の時間間隔を設けて連続撮影速度やフレーム速度を設定して撮影する場合が多かった。これを基準に、シャッタ係数をα=5程度に設定する場合が多かったが、これは、必ずしも所要の撮影速度から決められたものではなく、フィルム送り機構の制約などから、あるいは、習慣的に決められている場合が多かった。
また、従来のデジタルカメラでは、露出時間は1/1000秒から1/8000秒など微少時間で撮影できるものでも、連写撮影の速度は、CCDなど使用する撮像素子の制約、例えば、撮像電荷を垂直および水平転送路で順に伝送して読み出す原理上、撮像信号の読出しに要する時間や、読出し後の信号処理時間などの制約から、せいぜい3〜8枚/秒程度の連写しかできなかった。
本実施形態のように、撮像信号を高速度で読出し可能な高速度CMOSからなる撮像素子73、および、高速度で信号処理や符号化処理できるDSP部75などを用いた場合にも、撮像信号の読出し時間や信号処理時間による制約は免れないが、従来のCCDなどによるデジタルカメラに比べると数十倍の高速度で読出しや信号処理が可能となるので、所望の動く被写体や微少時間に起こる現象などを、適切な露出条件で、かつ、ブレなく撮影できるような条件を満たしさえすれば、上記のシャッタ係数αのような制約は、任意に設定することも可能となる。
例えば、撮影速度(フレーム速度)R(fps)は、シーン毎に設定された撮影倍率Mや被写体の移動速度Vなどの設定情報に従って、
R=(M×X)/(d×α) (1)
ただし、R:撮影速度(コマ/秒)、M:撮影倍率=イメージサイズ(Y´)/被写体サイズ(Y)、V:被写体の移動速度(mm/秒)、d:許容錯乱円径、α:シャッタ係数(α=1〜5など)、などの計算式から、撮影速度の目安を算出し、それに基づいて撮影速度Rを設定する。
同一シーンでも、操作に応じて、または、所望の作画表現に応じて、ユーザ所望の撮影速度や、撮影時間、画像サイズ、撮影感度、画素加算による感度UPなどの条件を選択できるようにして、その条件を満たした中で、上記の自動設定をしてもよい。
[高速度撮影の必要な露出時間] 例えば、必要な露出時間(T)は、シーン毎に設定された撮影倍率(M)や被写体の移動速度(V)などの設定情報に従って、
T=β×d/(M×V) (2)
ただし、T:露出時間(秒)、d:許容錯乱円径、M:撮影倍率=イメージサイズ(Y´)/被写体サイズ(Y)、V:被写体の移動速度(mm/秒)、β:係数(β=0.2〜1.0)、または、
T=β×Y´/(m×M×V) (3)
ただし、T:露出時間(秒)、Y´:撮像素子のイメージサイズ(mm)、m:撮像素子の画素数、M:撮影倍率、V:被写体の移動速度(mm/秒)、β:係数(β=0.2〜1.0など)、などの計算式で必要露出時間の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間Tを設定する。
[連写撮影時のレビュー表示] 図5Aは、本発明の高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートであり、図5Bは、図5Aに示す各ステップに対応する動作を説明するための画面例である。
図2に示す高速度カメラの全体構成図を参照して、図5Aに示すフローチャートを説明する。
まず、ステップS10では、CPU53gは、操作入力部51から入力回路53eを介して入力される操作情報に応じて所望の撮影モード、撮影シーンを選択し、さらにファインダ表示条件を選択する。この様子は図5B(a)に示すように画像表示部85に撮影シーンとして「人物」が選択されたことが表示される。
次いで、ステップS15では、CPU53gは、選択された撮影モードや撮影シーンに応じて、撮影条件の組合せ及び連写撮影枚数を適宜自動的に配分してコントローラ75aに設定する。
次いで、ステップS20では、CPU53gは、操作入力部51からのレリーズ操作に応じて、設定された撮影条件で設定枚数の画像の連続撮影を開始するよう撮影開始指令をコントローラ75aに出力する。ここで、操作入力部51から入力される1回のレリーズ操作に応じて、撮影動作に入ると、コントローラ75aに設定された複数の撮影条件の組合せの条件に従って、それぞれ設定された枚数の画像を高速で続けて連続撮影するように撮像素子73とDSP部75が制御される。この様子は、図5B(b)に示すように、撮影条件の組合せ毎の撮影枚数が、適宜自動的に配分して設定され、撮影条件毎に枚数が異なるサムネイルが画像表示部85に表示される。ここにおいて、連続撮影された撮影画像の縮小画像を順次追加表示する場合に、設定された当該画像の撮影条件別に、異なる行、列、並びのいずれかに追加表示して、連続撮影画像のレビュー表示を行うことができる。
次いで、ステップS25では、CPU53gは、撮影条件のサムネイルを、表示設定条件に従って、撮影順又は撮影条件ごとに画像表示部85にレビュー表示する。
次いで、ステップS30では、操作入力部51からの操作情報に含まれるモード情報に基づいて、CPU53gは、表示条件の設定データをデータ・メモリ70に記憶する。ここで、データ・メモリ70は、複数のシーン別に撮影条件の設定値の組合せを設定するための設定データを記憶することもできる。
次いで、ステップS35では、操作入力部51からの操作情報に含まれるモード情報に基づいて、CPU53gは、スルー画像をレビュー画像と同時に表示するか否か判断する。ここで、レビュー表示のみを表示する場合、ステップS40に進み、CPU53gは、撮影画像のサムネイルのみを画像表示部85にレビュー表示する。この様子は、図5B(c)に示すように、異なるサムネイルが画像表示部85に、左から右方向に並列にタイリング(敷詰めるように並べる)表示される。ここにおいて、連続撮影された撮影画像の縮小画像を、撮影毎に、横方向、縦方向、斜め方向のいずれかの方向に、順次に画像表示部85に敷き詰めるように並べて追加表示して、レビュー表示を行うことができる。
スルー画像をレビュー画像と同時に表示する場合、ステップS45に進み、CPU53gは、被写体像のスルー画像と同時に撮影画像のサムネイルを画像表示部85にレビュー表示する。この様子は、図5B(d)に示すように、異なるサムネイルが画像表示部85に、左から右方向にカスケード(滝のように流れるように連続して並べる)表示され、さらに最後の撮影画像のサムネイルが拡大表示される。ここにおいて、連続撮影された撮影画像の縮小画像を、撮影毎に順次追加表示して、画像表示部85にレビュー表示を行うとともに、被写体像のスルー画像の表示を、画像表示部85にレビュー表示と並列もしくは重畳して表示することができる。
次いで、ステップS50では、CPU53gは、並列表示か重ね表示か否かを判断する。ここで、重ね表示の場合、ステップS55に進み、CPU53gは、レビュー画像を順に部分的に重ねて画像表示部85に表示する。この様子は、図5B(e)に示すように、異なるサムネイルが画像表示部85に、左から右方向にスタック(積み重ねて並べる)表示され、さらに最後の撮影画像のサムネイルが拡大表示される。連続撮影された撮影画像の縮小画像を、撮影毎に、横方向、縦方向、斜め方向のいずれかの方向に、順次前回の撮影画像の縮小画像の上に、少なくともその一部が積み重なるように追加表示して、画像表示部85にレビュー表示を行うことができる。
並列表示の場合、ステップS60に進み、CPU53gは、レビュー画像を重ねずに並列に並べて画像表示部85に表示する。この様子は、図5B(f)に示すように、撮影条件毎に異なるサムネイルが画像表示部85に、左から右方向に撮影画像のレビュー画像が同時に多数枚表示され、さらに最後の撮影画像のサムネイルが拡大表示される。
次いで、ステップS65では、CPU53gは、操作入力部51での設定が画像表示部85への順次スクロール表示か否か判断する。ここで、順次スクロール表示しない場合、ステップS70に進み、CPU53gは、表示領域が一杯になった場合には、表示駆動回路83に、表示をクリアにするように指示し、画像表示部85に新しく更新表示する。この様子は、図5B(g)に示すように、撮影条件毎に異なるサムネイルが画像表示部85に左から右方向に並べて表示され、さらに最後の撮影画像のサムネイルが拡大表示される。ここにおいて、画像表示部85上の表示列、行、表示位置のいずれかが一杯のとき、または、最後の表示位置に該当するときには、表示された撮影画像のレビュー表示を全て消去させ、初期の表示位置から追加表示を再開することができる。
順次スクロール表示する場合、ステップS80に進み、CPU53gは、表示を順次スクロール移動して、表示領域がいっぱいになった場合には、古い画像から順次消えていくように表示駆動回路83に指示して更新表示する。この様子は、図5B(h)に示すように、撮影条件毎に異なるサムネイルが画像表示部85に、レビュー表示で表示領域や行、列が一杯(最後の表示位置)になった場合には、新たに最初の位置に戻って更新表示するか、あるいは、古い表示から消して、順次スクロール移動して最新のレビュー画像を優先して表示され、さらに最後の撮影画像のサムネイルが拡大表示される。ここにおいて、表示画面上の表示列、行、表示位置のいずれかが一杯のとき、または、最後の表示位置に該当するときには、最も古く表示された撮影画像のレビュー表示を消去させ、その他の撮影画像のレビュー表示を初期の表示位置の方向に順次平行移動して更新表示し、最新の撮影画像のレビュー表示を最後の表示位置に追加表示することにより、スクロール表示することができる。
次いで、ステップS85では、CPU53gは、連写撮影を終了するか否かを判断する。ここで、連写撮影を終了しない場合には、ステップS25に戻り、上述した処理を繰り返す。
連写撮影を終了する場合には、ステップS90に進み、CPU53gは、撮影された画像(図5B(i))、又はユーザに選択された画像を画像CODEC79で符号化してデータ・メモリ70に保存記録する。
なお、ブラケティング撮影やマルチ条件連写の場合には、撮影条件の組合せ毎の行×列に整列して一覧表示されるようにしてもよい。また、レビュー表示の表示設定条件データに従って、撮影レビュー表示と同時に、被写体像のスルー画像を並べて又は重ねて表示できるようにするのが望ましい。また、スルー画像から撮影レビュー画像への遷移移動のアニメーションなどを描画表示し、スルー画像とレビュー画像との関係が把握しやすいように表示するのが望ましい。
また、設定モードなどで、ユーザ操作に従って、予めレビュー表示の表示設定条件を設定しておき、表示方法や表示画像の枚数、アニメーションやスクロールのOn/Off、効果音の選択やOn/Offなどを、所望の表示方法に選択や設定できるようにするのが望ましい。なお、いずれかの撮影条件に従って、レビュー表示における表示条件の設定データを設定してもよい。あるいは、ファインダ表示の表示On/Off切り替えの操作ボタン[DISP]などの操作に応じて、複数のレビュー表示の表示方法の中から選択して切り替えできるようにしても良い。
[レビュー表示の表示例] 図6A、図6B、図7A、及び図7Bに、連写撮影時の撮影レビュー表示の表示動作例を示す。
図6A(a)乃至(c)は、高速連写時のシャッタアニメーションと撮影レビュー表示の表示例として、多数枚のレビュー表示を、順次、表示画面内に並列に並べて、タイリング表示(敷き詰めるように並べて表示)する例である。図6A(b)及び(c)に示すような効果音の表示により、スピード感ある自動レビュー表示がなされるとともに、高速連写や超高速連写らしいイメージを表現でき、また、本発明の高速レビュー表示やアニメーションのスピード感により高速連写らしいリアクションをユーザにフィードバックさせながら、高速連写感を残したまま、サイレント(静穏)機能も生かすことができる。図6A(d)乃至(f)は、横(左右)方向又は縦(上下)方向に、3行×3列、4行×4列、4行×5列などに並べるように表示する例である。
図6B(a)のように、異なる表示サイズや順不同の位置にタイリング表示してもよく、また図6B(b)のように撮影条件別にタイリング表示しても良い。あるいは、図6B(c)のように、擬似立体的にタイリング表示するなど、その他の並べ方や表示方法で表示しても良い。
図6B(d)のように、撮影画像のレビュー表示と被写体像のスルー画像とを並べて又は重ねて同時表示できることが望ましい。また、図6B(f)のように、レビュー画像が当該列に一杯になった場合には、スクロール表示でき、スルー表示領域(位置)から撮影レビュー表示領域(位置)へ画像表示または表示枠が移動する遷移移動のアニメーションなどを描画して表示できることも望ましい。
図7A及び図7Bに、シャッタアニメーション及び撮影レビュー表示の動作例として、撮影レビュー画像の順次スタック表示(積み重ねて表示)又はカスケード表示(連続して流れるように表示)を示す。
タイリング表示の場合と同様に、表示設定条件に応じて、表示スタイルや表示方向、表示枚数などは各種の仕様の中からユーザが選択できるようにする。また、連写速度や連写枚数などに応じて、これらの表示仕様を自動的に選択して設定するように制御してもよい。即ち、設定された撮影条件、もしくは、当該連続撮影における少なくとも撮影速度、撮影フレーム速度、連続撮影枚数からなる撮影条件のうち、いずれかの撮影条件に従って、レビュー表示における表示条件の設定データを設定してもよい。
図7A(d)乃至(f)は、順次積み重ねて表示する例であり、最新の撮影のレビュー画像が一番上に表示される。図7A(d)では横(左右)方向に、図7A(e)では縦(上下)方向に、図7A(f)では斜め方向に順次積み重ねて表示する。
図7B(a)は、レビュー表示の位置や向き(傾斜角度)、表示サイズなどを、順次ランダムに選択して積み重ねていくように表示する例で、これにより、連写撮影した画像の数が量的に把握しやすくなる。図7B(b)は撮影条件毎に積み重ね表示する例であり、図7B(c)は擬似立体的に表示する例である。
また、図7B(d)及び(e)に示すように、目標被写体及び構図の確認並びに分かりやすさのためには、撮影レビュー表示に加え、スルー画像の表示も同時に並べて又は重ねて表示したり、スルー表示領域(位置)からレビュー表示領域(位置)へ画像表示するか、又はその表示枠が移動する移動アニメーション(動的な映像表示)などを描画したりできるようにすることが望ましい。
なお、図7B(f)に示すように、ユーザの所望に応じて背景画像を設定したり、ユーザの設定した表示仕様や表示スタイルなどを適宜設定したり、カスタムで追加設定できることも望ましい。
[第1実施例](選択シーンに応じて、複数撮影条件の組合せと枚数を自動設定) 図8に、本発明の第1実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せをコントローラ75aに自動設定する場合における、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す。ここで、撮影シーンの名称及び撮影シーンの見本画像を表示し、操作入力部51からの操作に従って表示された複数のシーンの名称及び見本画像の中から撮影対象となる撮影シーンを選択してもよい。
図8では、例として、「人物(ポートレート)」の撮影シーンでは、露出補正、ホワイトバランス、及び色色調の撮影条件が「マルチ条件連写」に設定され、「雪景色、スキー」の撮影シーンでは、露出補正及びホワイトバランスの撮影条件が「マルチ条件連写」に設定されている。
各撮影シーンが選択されると、各撮影条件は、シーン毎に予め記憶された設定データの条件に設定されるが、シーン毎の各撮影条件の設定データにおいて、「オート」、または、「マルチ条件連写」と設定されている撮影条件がある場合に、撮影時にマルチ条件連写撮影が選択されているときには、これらの撮影条件は、複数の撮影条件の組合せ(マルチ条件)として選択され、それら撮影条件を少しずつ変えて分散された条件の組合せと、組合せ毎の枚数が自動的に設定されて順次撮影条件と枚数を変えながら連写撮影(マルチ条件連写)が行われる。その他の撮影条件は、シーン毎にデータ・メモリ70に予め記憶された設定データの条件もコントローラ75aに設定して撮影される。
[撮影条件の組合せ毎の枚数配分の具体例] 図9に示すように、シーン別の露出補正条件の配分設定データに従って、露出補正条件の配分割合が設定される。「人物」シーンでは、人物の顔の明るさなどが状況によりばらつく場合が多いので、顔や肌色などが比較的明るく撮影されるように、±0EV補正が19%、+0.3EV補正が37%、+0.7EV補正が33%、+1EV補正が11%のように、露出補正条件の配分割合が設定される。一方、「雪景色、スキー」シーンでは、「雪の白」が「白く」写るように、また、「雪景色のキラキラした明るさ」が強調された明るい画像となるよう、+0.3EV補正が6%、+0.7EVが21%、+1EVが21%、+1.3EVが18%、+1.7EVが15%、+2EVが9%、+2.3EVが6%、+2.7EVが3%などのように、比較的露出補正(+)側に広い範囲に、露出補正条件の配分割合が設定される。
また、図10に示すように、シーン別のホワイトバランス条件の配分設定データに従って、ホワイトバランス条件の配分割合が設定される。「雪景色、スキー」シーンでは、本来的に色温度が比較的高いものの、雪景色の色調が「青っぽく」、「雪らしく」撮影できるように、3500K〜4000K近辺の白熱電球並みに低い色温度にホワイトバランス条件を配分設定し、さらにゲレンデでのスキーシーンや人物撮影などで「青かぶりせず」に「自然な色」で撮影できるように、本来の色温度に近い4500K〜6000K近辺の色温度にも配分設定する。一方、人物を「屋内照明」で撮影するシーンでは、白熱電球や蛍光灯など各種の照明下の被写体を撮影する可能性が高いので、主な照明光源の色温度に合せて広範囲な色温度に配分設定する。
図11A及び図11Bに、選択シーンに応じて、撮影条件の組合せ毎の撮影枚数を配分した例を示す。撮影シーン別に設定された撮影条件の組合せ毎の割合が、それぞれの配分設定データの割合になるように配分設定する。
図11A(a)乃至(d)に、一例として、例えば、「人物」を「屋内」で撮影する場合であって、マルチ条件連写による撮影枚数Nが計60枚と設定されている場合を示す。ここで、露出補正条件が、前述の「人物」シーンの露出補正条件の分散配分の割合になるよう、及びホワイトバランス条件は、「屋内、照明」のホワイトバランスの分散配分の割合になるように設定する。
図11A(a)に示すように、マルチ条件連写による撮影枚数Nが計60枚と設定されている場合には、±0EVで11枚(19%)、+0.3EVで22枚(37%)、+0.7EVで20枚(33%)、+1EVで7枚(11%)の計60枚(100%)となるように、それぞれの撮影枚数を設定する。
図11A(b)及び(c)に示すように、上記で配分された±0EV補正では、色温度が2000Kで1枚(19%×12%)、2500Kで1枚(19%×10%)、3000Kで2枚(19%×19%)、3500Kで2枚(19%×15%)、4000Kで1枚(19%×7%)、4500Kで1枚(19%×10%)、5000Kで1枚(19%×10%)、5500Kで1枚(19%×10%)、6000Kで1枚(19%×5%)、6500Kで0枚(19%×3%)の計11枚となるよう、それぞれの撮影枚数をコントローラ75aに設定する。
このように、合計枚数が60枚で、かつ、シーン毎の露出補正条件の配分割合及びホワイトバランス条件の配分割合が共に満足するように、組合せ毎の撮影枚数が自動的に算出し、コントローラ75aに設定する。1回のレリーズ操作に応じて、撮影条件の組合せを変えながら、組合せ毎にコントローラ75aに設定された枚数ずつ、計60枚の画像が高速で連続撮影される。
図11B(a)及び(b)には、合計枚数が20枚と設定されている場合を示す。他の枚数に設定されている場合も同様である。
マルチ条件運写の合計撮影枚数をN、第1の撮影条件である「露出補正条件」の第(i)番目の露出補正設定値をΔEV(i)とすると、露出補正設定値ΔEV(i)毎の撮影枚数n(i)は、当該シーンにおけるΔEV(i)の配分設定割合REV(i)を、合計撮影枚数(N)に乗算して計算し、例えば、小数点以下を四捨五入などで整数化して、
n(i)=INT(N×REV(i)+0.5) (4)
等の計算式で略算して設定すればよい。
第1の撮影条件の「露出補正条件」の設定値をΔEV(i)、かつ、第2の撮影条件の「WB(ホワイトバランス)条件」の設定値をWB(j)に設定して撮影する枚数m(i,j)も、上で求めたΔEV(i)の撮影枚数n(i)を、各WB設定値WB(j)の設定割合RWB(j)に乗算して、
m(i,j)=INT(n(i)×RWB(j)+0.5) (5)
等の計算式で略算してWB補正回路75dに設定すればよい。
小数点以下の四捨五入による配分では、偏ることも多く、合計すると、設定合計枚数に対して増減する場合も生じる。そのため、適宜、低い割合の条件から順次減数したり、高い割合の条件から順次増数したりして合計枚数と調整してもよい。あるいは、小数での計算後、合計枚数に一致するまで、割合の高い条件の組合せから順次配分するなどの調整を行ってもよい。
図12A及び図12Bに、第1実施例(撮影シーンに応じて、撮影条件の組合せ毎の撮影枚数を制御)のカメラの連写撮影の制御フローチャートを示す。
ステップS110では、CPU53gは、操作入力部51での設定が撮影モードか否か判断する。ここで、撮影モードではない場合、ステップS115に進み、CPU53gは、操作入力部51での設定が設定モードか否か判断する。設定モードではない場合、ステップS120に進み、CPU53gは、その他のモード処理へと進む。
設定モードである場合、ステップS125に進み、CPU53gは、操作入力部51での設定がレビュー表示の設定モードか否かを判断する。ここで、レビュー表示の設定モードではない場合、ステップS130に進み、CPU53gは、その他の設定処理を行う。
レビュー表示の設定モードである場合、ステップS135に進み、CPU53gは、操作入力部51での操作に応じて、撮影レビュー表示の表示設定条件データを選択してコントローラ75aに設定する。その後、復帰する。
ステップS110で、CPU53gが、操作入力部51での設定が撮影モードか否か判断した場合に、撮影モードである場合、ステップS140に進み、CPU53gは、操作入力部51での操作に応じて、撮影シーン又は撮影条件をコントローラ75aに設定する。
次いで、ステップS145では、CPU53gは、操作入力部51での設定がマルチ条件の連写/ブラケティング連写か否か判断する。ここで、マルチ条件の連写/ブラケティング連写でない場合、ステップS150に進み、CPU53gは、その他の撮影モード処理へと進む。
マルチ条件の連写/ブラケティング連写である場合、ステップS155に進み、CPU53gは、マルチ条件連写の撮影枚数Nをコントローラ75aに設定する。
次いで、ステップS160では、CPU53gは、選択されたシーン毎の(露出補正など)第1撮影条件の分布設定データに基づいて、第1撮影条件の複数の設定値ΔC1(i)と各撮影枚数n(j)をコントローラ75aに設定する。
次いで、ステップS165では、CPU53gは、選択されたシーン毎の(WB設定など)第2撮影条件の分布設定データと第1撮影条件の設定値毎の撮影枚数に応じて、第2撮影条件の複数の設定値ΔC2(j)と各撮影枚数m(i,j)とをコントローラ75aに設定する。
次いで、ステップS170では、CPU53gは、スルー表示指令をコントローラ75aに設定しスルー表示処理を行う。
次いで、ステップS175では、CPU53gは、操作入力部51にレリーズ/撮影操作があるか否かを判断する。ここで、レリーズ/撮影操作がない場合には、CPU53gは、復帰する。
レリーズ/撮影操作がある場合には、ステップS180に進み、CPU53gは、測光処理を行い、適正露出条件など第1撮影条件(露出条件)と第2撮影条件(WBなど)の基準値C10、C20をコントローラ75aに設定する。
次いで、ステップS185では、CPU53gは、計算値I=1、SS=0に設定する。
次いで、ステップS190では、CPU53gは、(i)番目の第1撮影条件の設定値をC10+ΔC1(i)に補正してコントローラ75aに設定する。
次いで、ステップS200では、CPU53gは、J=1、S=0にする。
次いで、ステップS205では、CPU53gは、(j)番目の第2撮影条件の設定値をC20+ΔC2(j)に補正して設定し、K=0にする。
次いで、ステップS210では、CPU53gは、設定撮影条件にて、露出及び撮影処理を行う。
次いで、ステップS215では、CPU53gは、コントローラ75aをスルー表示/撮影レビュー表示処理に設定してスルー表示/撮影レビュー表示処理に設定を行う
次いで、ステップS220では、CPU53gは、計算値K=K+1、S=S+1、SS=SS+1に設定する。
次いで、ステップS225では、CPU53gは、コントローラ75aから撮影枚数を読み出し、当該設定枚数m(i,j)だけ撮影したか否か、即ちK≧m(i,j)か否かを判断する。ここで、K≧m(i,j)でない場合には、ステップS210に戻り、CPU53gは、上述した処理を繰り返す。
K≧m(i,j)である場合には、ステップS230に進み、CPU53gは、計算値J=J+1に設定する。
次いで、ステップS235では、CPU53gは、第2撮影条件の最後の補正条件の撮影を終了するか否か、即ちJ≧Jmax又はS≧n(i)か否かを判断する。ここで、J≧Jmax又はS≧n(i)でない場合には、ステップS205に戻り、CPU53gは、上述した処理を繰り返す。
J≧Jmax又はS≧n(i)である場合には、ステップS240に進み、CPU53gは、I=I+1にする。
次いで、ステップS245では、CPU53gは、第1撮影条件の最後の補正条件の撮影を終了するか否か、即ちI≧Imax又はSS≧Nか否かを判断する。ここで、I≧Imax又はSS≧Nでない場合には、ステップS190に戻り、CPU53gは、上述した処理を繰り返す。
I≧Imax又はSS≧Nである場合には、ステップS250に進み、CPU53gは、撮影後の撮影レビュー表示にコントローラ75aを設定して、撮影レビュー表示処理を行う。
次いで、ステップS255では、CPU53gは、バッファメモリ(A)75cに記憶した撮影画像を画像CODEC79に出力して符号化処理を行い、画像メモリ媒体71へのメモリ記録処理を行い、CPU53gは、復帰する。
図8乃至図12に、本発明における連写撮影の一例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せを自動的に設定して、複数の撮影条件の組み合わせ毎に複数枚の画像を連写撮影する例を示したが、選択シーンの代りに、測光値などのセンサ計測情報などに従って、複数の撮影条件の組合せを設定してもよい。また、撮影条件の頻度データなどの統計データに基づいて、撮影条件の組合せや組合せ毎の配分割合や撮影枚数を変えるようにしてもよい。
図13A、図13B及び図13Cに、図12の撮影制御フローにおける、連写撮影時のレビュー表示処理サブルーチンのフロー図を示す。
まず、ステップS310では、CPU53gは、連写撮影のレビュー画像表示処理サブルーチンを行う。
次いで、ステップS315では、CPU53gは、操作入力部51での設定がオート(自動)設定か否か判断する。ここで、オート設定でなければ、ステップS320に進み、CPU53gは、設定されているレビュー表示の設定条件データをデータ・メモリ70から読み込む。
ステップS325では、CPU53gは、表示条件の設定データをデータ・メモリ70から読み込む。
次いで、ステップS330では、CPU53gは、読み込んだデータに従い表示設定条件を表示駆動回路83に設定する。
ステップS315において、CPU53gが、オート(自動)設定であると判断した場合、ステップS335に進み、CPU53gは、連写モード及び連写速度(撮影フレーム速度)又は連写枚数に従って、表示スタイル、表示枚数などの表示設定条件を表示駆動回路83に設定する。
次いで、ステップS340では、CPU53gは、操作入力部51での設定がスルー画像をレビュー表示と同時にするか否かを判断する。ここで、スルー画像をレビュー表示と同時にしない場合、ステップS345に進み、CPU53gは、被写体像のスルー画像の表示を消去する。
スルー画像をレビュー表示と同時にする場合、ステップS350に進み、CPU53gは、表示設定条件にしたがい、スルー画像の表示サイズ、表示位置を表示駆動回路83に設定する。
次いで、ステップS355では、CPU53gは、被写体像のスルー画像をスルー表示位置に指定サイズで表示駆動回路83に表示する。
次いで、ステップS360では、CPU53gは、撮影条件別のレビュー表示か否か判断する。ここで、撮影条件別のレビュー表示でない場合、ステップS365に進み、CPU53gは、ランダム位置にレビュー表示するか否か判断する。ここで、ランダム位置にレビュー表示しない場合、ステップS370に進み、CPU53gは、表示設定条件と撮影順序に従い、レビュー表示の表示位置、表示サイズを表示駆動回路83に設定する。
ランダム位置にレビュー表示する場合、ステップS375に進み、CPU53gは、コントローラ75aから撮影枚数を読み出し、所定のレビュー画像の表示枚数を超えたか否か判断する。ここで、所定のレビュー画像の表示枚数を超えていない場合、ステップS390に進む。
所定のレビュー画像の表示枚数を超えている場合、ステップS380に進み、CPU53gは、以前のレビュー画像の表示を全て消去する。
次いで、ステップS385では、CPU53gは、コントローラ75aに対してレビュー画像の表示枚数カウントをリセットする。
次いで、ステップS390では、CPU53gは、表示設定条件データと乱数データに従い、次のレビュー画像の表示位置、表示サイズ、表示角度等を表示駆動回路83に設定する。
次いで、ステップS395では、CPU53gは、レビュー画像の表示枚数をコントローラ75aでカウントする。
ステップS360で、撮影条件別のレビュー表示であると判断した場合、ステップS400で、CPU53gは、表示設定条件データに従い、当該画像の撮影条件の設定値別にレビュー表示の表示位置、表示サイズを表示駆動回路83に設定する。
次いで、ステップS405では、CPU53gは、操作入力部51での設定が積み重ね表示か否か判断する。ここで、積み重ね表示ではない場合、ステップS410に進み、CPU53gは、表示設定条件に従い、レビュー画像の表示位置を設定表示方向の次の表示位置に表示駆動回路83を設定する。
積み重ね表示である場合、ステップS415に進み、CPU53gは、表示設定条件に従い、レビュー画像の表示位置を積み重ね方向、積み重ね位置に調製して表示駆動回路83に設定する。
次いで、ステップS420では、CPU53gは、表示駆動回路83での表示処理において、当該表示の行/列の表示位置が一杯か否か判断する。当該表示の行/列の表示位置が一杯ではない場合、ステップS4では、CPU53gは、
ここで、当該表示の行/列の表示位置が一杯である場合、ステップS425に進み、CPU53gは、スクロール表示するか否か判断する。ここで、スクロール表示しない場合、ステップS430に進み、CPU53gは、以前のレビュー画像の表示を全て消去し、新しい表示位置にリセットする。
スクロール表示する場合、ステップS435に進み、CPU53gは、最も古いレビュー画像の表示を消去し、その他の以前のレビュー画像を設定方向に順次スクロール移動して表示する。
次いで、ステップS440では、CPU53gは、操作入力部51での設定がアニメーション表示するか否か判断する。アニメーション表示する場合、ステップS445に進み、CPU53gは、表示駆動回路83にスルー画像表示位置からレビュー画像表示位置までの移動遷移指令を送り、アニメーションなどを描画表示する。
次いで、ステップS450では、CPU53gは、設定された表示位置、設定表示サイズ、角度になるように表示駆動回路83に指令を送り、最新の撮影画像のレビュー画像を表示する。その後復帰する。
[レビュー表示の設定画面] 図14に、ユーザ操作に従って、レビュー表示の表示設定条件などを予め選択や設定できるようにした場合の、レビュー表示設定の操作画面の動作例を示す。図14(d)乃至(f)に、連写レビュー表示設定の操作画面を示し、図14(e)に示されるように、操作入力部からの操作に従って、連続撮影による撮影レビュー表示の表示条件の設定データをカスタム設定してもよい。
[実施例1の効果]
高速度撮影モードまたは連続撮影モードに関連して設定された撮影条件に従って、複数枚の画像の撮影動作を繰り返し行うように制御しておき、連続撮影による撮影画像のレビュー表示に関連する表示条件設定データに基づいて、連続撮影された画像の縮小画像を、順次撮影毎に追加表示して、連続撮影された複数枚の撮影画像のレビュー表示を行うように制御することで、高速連写時のダイナミックさ、スピード感が強調され、高速連写らしい表示表現が行えるので、動画撮影モードと誤認識されることも無くなる。この結果、撮影した複数の画像の高速確認を行い易くすることができる。
また、上記撮影レビュー表示に加え、スルー画像の表示も同時に並べて又は重ねて表示することで、高速連写でも撮影を妨げることなく、被写体の確認と撮影の確認とが同時に行え、目標被写体及び構図の確認が容易となる。
11…操作入力部、13…制御部、13a…撮影モード/撮影シーンの選択部、13b…シーン別撮影プログラム、13d…複数撮影条件の組合せ/連写枚数の設定部、13e…撮影条件の組合せ設定データ、13h…撮影制御部、13h1…通常の撮影制御部、13h2…高速連写撮影制御部、13h3…マルチ条件による連写撮影部、13h4…ブラケティング撮影制御部、13h5…動画撮影制御部、13m…画像表示の制御部、13n…表示条件の設定データ、15…ズームレンズ/フォーカスレンズ駆動部、16…絞り/シャッタ駆動部、17…ストロボ駆動部、18…ストロボ、19…角速度センサ/加速度センサ、20…手ブレ/振動検出部、21…受光センサ/AFセンサ、22…測光/測距/AF検出部、23…光学系、25……イメージセンサ、27…信号処理部、27j…表示合成処理部、29…バッファメモリ部、31…画像符号化/復号化部、33…画像記録/入出力部、35…画像メモリ媒体、40…表示駆動回路、40a…表示画像メモリ、41…画像表示部、51…操作入力部、53…制御回路、53a…入出力ポート、53b…入出力ポート、53c…HDD・IF、53d…インタフェース、53e…入力回路、53f…メモリカード・IF、53g…CPU、55…シャッタ駆動部、56…絞り駆動部、57…ズームレンズ駆動部、58…焦点レンズ駆動部、59…撮影光学系、60…ストロボ駆動回路、61…ストロボ、62…測光/測距センサ、63…検出回路、64…角速度センサ、65…検出回路、66…角速度センサ、67…検出回路、68…HDD記憶装置、69…プログラム・メモリ、70…データ・メモリ、71…画像メモリ媒体、73…撮像素子、73a…イメージセンサ部、73a1…複数の単位画素回路、73b…CDS回路、73c…A/D変換回路、73c1…ラッチ、73d…画素加算回路、73e…符号器、73f…並列/直列変換回路、73g…タイミング発生回路、73h…垂直走査回路、73i…水平走査回路、73j…トランスミッタ、73k…演算回路、73k1…ラッチ、k2…ラッチ73、73k3…ALU、73k4…ラッチ、73m…演算回路、73m1…ラッチ、73m2…ラッチ、73m3…ALU、73m4…ラッチ、73n…ADC基準信号(Ramp波形)、73p…10ビットカウンタ、75…DSP部、75a…コントローラ、75b…S/P変換回路、75b1…レシーバ、75c…バッファメモリ(A)、75d…WB補正回路、75e…画素補間/リサイズ回路、75f…カラー補間回路、75g…輪郭補正回路、75h…ガンマ補正回路、75i…マトリクス回路、75j…画像認識処理部、75k…画像補正処理部、75m…画像合成処理部、77…バッファメモリ(B)、79…画像CODEC、81…動画像CODEC、83…表示駆動回路、85…画像表示部