JP3727841B2 - Digital still camera - Google Patents

Digital still camera Download PDF

Info

Publication number
JP3727841B2
JP3727841B2 JP2000301451A JP2000301451A JP3727841B2 JP 3727841 B2 JP3727841 B2 JP 3727841B2 JP 2000301451 A JP2000301451 A JP 2000301451A JP 2000301451 A JP2000301451 A JP 2000301451A JP 3727841 B2 JP3727841 B2 JP 3727841B2
Authority
JP
Japan
Prior art keywords
image
exposure
images
photographed
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000301451A
Other languages
Japanese (ja)
Other versions
JP2002112075A (en
Inventor
勝仁 新川
康裕 森本
広明 久保
吉宏 原
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2000301451A priority Critical patent/JP3727841B2/en
Publication of JP2002112075A publication Critical patent/JP2002112075A/en
Application granted granted Critical
Publication of JP3727841B2 publication Critical patent/JP3727841B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、同一の被写体に対して少なくとも２回連続撮影を行ない、この連続撮影によって得られた複数枚の撮影画像を所定の画像合成処理で合成して画質を改善したり、映像効果を高めた画像を得ることのできるデジタルスチルカメラに関する。
【０００２】
【従来の技術】
近年、デジタルスチルカメラの技術分野においては、連続して撮影した複数枚の撮影画像を所定の画像処理を行なった後、合成することで、各撮影画像よりも画質や映像効果を高めた画像を得ることのできるデジタルスチルカメラが商品化されている。
【０００３】
例えばビクター社製のデジタルスチルカメラ「ＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”」は、撮像素子を微小変位させて連続して２回撮影を行い、両撮影画像を合成することで解像度の高い撮影画像を得ることができる機能を備えている。また、このデジタルスチルカメラは、被写体の明るい部分と暗い部分とに合わせて２種類の露出制御値を設定し、それらの露出制御値で連続して２回撮影を行い、両撮影画像を合成することで暗い部分から明るい部分まで適切な濃度の撮影画像を得ることができる機能も備えている。
【０００４】
【発明が解決しようとする課題】
近年、デジタルスチルカメラに適用される撮像素子の高画素化が進み、２００万〜３００万画素の撮像素子を用いたものも商品化されているが、このような高密度の撮像素子を用いたデジタルスチルカメラに上述の画像合成機能を設けた場合、画質及び映像効果の高い画像が得られるという優れた価値をデジタルスチルカメラに付加するができる。
【０００５】
しかし、撮影画像のデータ数が増大すると、画像合成処理の時間が長くなり、合成結果がなかなか得られないという不都合が生じる。更には画像合成用に撮影された複数枚の画像が適切でないときは、ユーザに長時間の画像合成処理を待たした上、不本意な合成画像を提供するという問題が生じる。
【０００６】
デジタルスチルカメラで同一の被写体を連続撮影して得られた２枚の画像を合成する場合、基本的に両画像の内容は同一であることが必要であるが、被写体が静止状態であっても撮影者がデジタルスチルカメラを手に持って連続撮影する場合は、図２３に示すように微小なカメラアングルの変化に起因して最初の撮影と２回目の撮影との間にフレーミング（撮影範囲）のずれが発生し、これにより両撮影画像の内容は完全に一致しないことになる。
【０００７】
このため、２枚の撮影画像の画像合成処理においては、通常、両撮影画像の位置合わせ処理（画像マッチング処理）を行った後、対応する画素位置のデータについて所定の合成演算処理が行なわれる。しかし、画像合成処理おける位置合わせ処理は、一般に、一方の画像を基準（以下、基準画像という。）として他方の画像（以下、参照画像という。）を所定の移動量で平行移動や回転等を行なうとともに、移動位置毎に所相の相関関数を用いて相関値の演算を行ない、最も相関値の大きい移動量を両画像の位置ずれ量として算出するもので、参照画像の移動毎に相関値演算を繰り返すため、処理時間が長く、このため、画像合成処理の処理時間を長くする要因となっている。
【０００８】
従って、デジタルスチルカメラに上述の画像合成機能を設ける場合、必ず画像号処理において位置合わせ処理を行なう必要があるから、データ数の増加に伴い画像合成処理に長時間を要するという問題は重要である。取り分け画像合成用の撮影画像が不適切であることに起因して合成画像が不本意なものになるという問題は、画像合成機能の効果を半減させ、その機能の付加価値を著しく低下させるだけでなく、例えば画像合成処理により不必要に電力を消費するという別の問題の要因ともなるから重大である。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、連続撮影した画像を合成することで画質や映像効果の高い画像を得ることのできるデジタルスチルカメラにおいて、撮影画像が不適切であるときは、ユーザに警告したり、画像合成処理を強制的に禁止することでそれに起因する問題を軽減し、画像合成処理機能を有効に活用することのできるデジタルスチルカメラを提供するものである。
【００１０】
【課題を解決するための手段】
本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたものである。
【００１１】
なお、上記撮影条件は、撮影画像間の輝度差、焦点位置のずれ量、色バランスのずれ量等である。
【００１２】
上記構成によれば、レリーズが指示されると、撮像手段の露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化すると、これらの撮影画像を用いた画像合成処理が不適切であること示す警告が行なわれる。
【００１３】
例えば本撮影画像間の輝度差が所定の閾値以上であると、両撮影画像の合成画像の濃度バランスが不適切になるので、警告が行なわれる。また、本撮影画像間の焦点位置のずれ量（ピントのずれ具合）が所定の閾値以上であると、両撮影画像の合成画像のピント調整が不適切になるので、警告が行なわれる。また、本撮影画像間の色バランスのずれ量が所定の閾値以上であると、両撮影画像を合成した画像の色バランスが不適切になるので、警告が行なわれる。
【００１４】
また、本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたものである。
【００１５】
上記構成によれば、レリーズが指示されると、露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化していると、これらの撮影画像を用いた画像合成処理が不適切であるので、その後の撮影画像を取り込むための露光動作が禁止される。従って、撮影画像は画像合成処理も行なわれない。
【００１６】
【発明の実施の形態】
図１は本発明に係る画像処理システムに適用されるデジタルスチルカメラ（カラー撮像装置）のカメラ本体の正面図、図２は同デジタルスチルカメラに内蔵された主要部材の配置を示す上面図、図３は、同デジタルスチルカメラに内蔵された主要部材の配置を示す右側面図、図４は同デジタルスチルカメラの背面図である。
【００１７】
デジタルスチルカメラ１は、カメラ本体２とこのカメラ本体２の正面略中央に着脱可能に装着されるズームレンズからなる交換レンズ３とからなる一眼レフレックスカメラで構成されている。カメラ本体２は、正面略中央に交換レンズ３が装着されるマウント部２０１が設けられ、正面左端部にグリップ部２０２が設けられている。
【００１８】
グリップ部２０２の内部には電池収納室２０３とカード収納室２０４とが設けられ、電池収納室２０３には４本の単３形乾電池Ｅ１〜Ｅ４（カメラの電源電池）が収納され、カード収納室２０４には撮影画像の画像データを記録するためのメモリカードＭＣが着脱可能に収納されるようになっている。
【００１９】
マウント部２０１の下部には装着された交換レンズ３との電気的接続を行なうための複数個の接点ＳＴと機械的接続を行なうための複数個のカプラーＣＰとが設けられている。電気的な接点ＳＴは、交換レンズ３に内蔵されたレンズＲＯＭ３０１（図３参照）から当該レンズに関する固有の情報（開放Ｆ値や焦点距離等の情報）をカメラ本体２内の全体制御部（図６参照）に読み出したり、交換レンズ３内のズームレンズの位置やフォーカスレンズの位置の情報を全体制御部に出力するためのものである。カプラーＣＰはカメラ本体２内に設けられたズームレンズ駆動用のモータＺＭ（図３参照）の駆動力とフォーカスレンズ駆動用のモータＦＭ（図３参照）の駆動力とを交換レンズ３側に伝達するためのものである。
【００２０】
マウント部２０１に交換レンズ３が装着されたときの当該レンズ３の光軸Ｌ上であってカメラ本体２内の適所にカラー撮像素子２０５が配設されている。カラー撮像素子２０５（以下、ＣＣＤ２０５という。）は、図５に示すようにＣＣＤ（Charge-Coupled Device）からなるエリアセンサ２０５Ａの各画素の表面に、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ２０５Ｂが市松模様状に貼り付けられた、いわゆるベイヤー方式と呼ばれる単板式カラーエリアセンサで構成され、例えば１６００×１２００＝１９２万個の画素数を有している。
【００２１】
なお、図５に示すようにエリアセンサのｉ行ｊ列目の画素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ=１，２，…ｍ）とし、ｎ＝１６００、ｍ＝１２００とすると、Ｒ，Ｇ，Ｂの各カラーフィルタは、
Ｒ；（２ｈ＋１，２ｋ＋１）
Ｇ；（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）
Ｂ；（２ｈ＋２，２ｋ＋２）
但し、ｈ＝０，１，２，…ｎ／２（＝８００）、ｋ=０，１，２，…ｍ／２（＝６００）の画素位置に配置されている。
【００２２】
カメラ本体２のグリップ部２０２の上面にはシャッタボタン２０６が設けられている。シャッタボタン２０６の半押し操作と全押し操作とは後述するスイッチＳ１，Ｓ２により検出されるようになっている。スイッチＳ１がオンになると（シャッタボタン２０６が半押しされると）、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点調節等の準備動作）が行なわれ、スイッチＳ２がオンになると（シャッタボタン２０６が全押しされると）、撮影動作（ＣＣＤ２０５を露光し、その露光によって得られた画像信号に所定の画像処理を行なってメモリカードＭＣに記録する一連の動作）が行なわれる。
【００２３】
カメラ本体２の上面の略中央には電子ビューファインダ４（ＥＶＦ；Electronic View Finder）とポップアップタイプのフラッシュ５とが設けられている。電子ビューファインダ４はＣＣＤ２０５で撮影された被写体のモニタ画像（撮影待機状態においてＣＣＤ２０５により動画撮影された被写体の画像）を表示するカラー液晶表示デバイスからなる表示部４０１（以下、ＬＣＤ表示部４０１という。）とこのカラー液晶表示デバイスに表示されたモニタ画像をファインダ窓４０３の外側に導く接眼レンズ４０２とを備えている。
【００２４】
撮影待機状態では電子ビューファインダ４に被写体のモニタ画像（動画像）が表示されるので、撮影者はファインダ窓４０３を覗くことによってモニタ画像により被写体を視認することができる。
【００２５】
なお、モニタ画像はＬＣＤ表示部４０１に表示するためのものであるから、待機状態においては、ＣＣＤ２０５を通常の静止画撮影と異なる動作モード、所謂ドラフトモードで動作させてＬＣＤ表示部４０１の表示サイズと同一のサイズのモニタ画像が撮影される。すなわち、本実施形態では、ＬＣＤ表示部４０１は画素数２００×１５０で構成されているので、待機状態においては、全画素で受光はするが、受光データの読み出しは縦横両方向について８画素ピッチで行なわれ（１／８の間引き読み出しが行なわれて）、これにより画素数２００×１５０のモニタ画像が高速撮影可能になっている。
【００２６】
カメラ本体２の背面の略中央にはカラー液晶表示デバイスからなる表示部２０７（以下、ＬＣＤ表示部２０７という。）が設けられている。ＬＣＤ表示部２０７は、記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカードＭＣに記録された撮影画像を再生表示するものである。
【００２７】
撮影モードには露出制御に関するモードと画像合成処理に関するモードとが含まれる。露出制御に関するモードとはレリーズ時の露出制御値（絞りの絞り値と露光時間）の決定の仕方に関するモードである。露出制御に関するモードには少なくともプログラムモード、シャッタ優先モード、絞り優先モードが含まれる。露出制御値は予め設定された複数のプログラム線図のいずれか１つを用いて設定されるようになっており、プログラムモードでは標準的なプログラム線図を用いて露出制御値が設定され、シャッタ優先モードでは絞り値よりシャッタ速度（露光時間）を優先するようなプログラム線図を用いて露出制御値が設定され、絞り優先モードではシャッタ速度より絞り値を優先するようなプログラム線図を用いて露出制御値が設定される。
【００２８】
画像合成処理に関するモードとは、レリーズ時に撮影条件を変えて、若しくは撮影条件をそのままで連続して２回撮影を行ない、その撮影によって得られた２枚の撮影画像を所定の画像合成処理により合成して元の撮影画像よりも画質や映像効果の高い１の画像を作成し、メモリカードＭＣに記録するモードである。
【００２９】
画像合成処理に関するモードには少なくとも「ボケ味調整モード」、「階調調整モード」、「超解像モード」が含まれる。ボケ味調整モードとは、１回のシャッタ操作で合焦位置を変化させて連続して２回の撮影動作を行い、例えば主被写体（例えば人物等）に対して焦点を合せた撮影画像Ａと主被写体の背景に焦点を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成して所望のボケ具合を有する画像を得るモードである。
【００３０】
階調調整モードとは、１回のシャッタ操作で露出条件を変化させて連続して２回の撮影動作を行い、例えば主被写体に対して露出を合せた撮影画像Ａと主被写体の背景に露出を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、例えば画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得るモードである。
【００３１】
超解像モードとは、１回のシャッタ操作でピントや露出条件を変えないで連続して２回の撮影動作を行い、１回目の撮影と２回目の撮影とで僅かに異なるカメラアングルの差異により画面内の主被写体の位置が微小変化した撮影画像Ａと撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、元の撮影画像よりも解像度の高い画像を得るモードである。
【００３２】
ＬＣＤ表示部２０７の左側には電源スイッチ２０８が設けられている。この電源スイッチ２０８は記録モード（写真撮影の機能を果たすモード）及び再生モード（記録画像をＬＣＤ表示部２０７に再生するモード）を切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ２０８は３点スライドスイッチからなり、接点を中央の「ＯＦＦ」位置に設定すると、電源がオフになり、接点を上方の「ＲＥＣ」位置に設定すると、電源がオンになるとともに記録モードが設定され、接点を下方の「ＰＬＡＹ」位置に設定すると、電源がオンになるとともに再生モードが設定される。
【００３３】
ＬＣＤ表示部２０７の右側上方位置には４連スイッチ２０９が設けられている。４連スイッチ２０９は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作がそれぞれ検出されるようになっている。４連スイッチ２０９は多機能化され、例えばＬＣＤ表示部２０７に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するための操作スイッチとして機能するとともに、左右方向のスイッチは交換レンズ３のズーム比を変更するためのスイッチとしても機能するようになっている。
【００３４】
メニュー画面では、例えば複数の項目が配列表示され、現在選択されている項目に選択状態を示す表示（例えばカーソルや反転表示等）が行なわれる。例えば撮影モードの画像合成処理に関するモードを選択する場合、ＬＣＤ表示部２０７には、図６に示すようなメニュー画面が表示される。このメニュー画面における「通常撮影」の項目は、銀塩カメラにおける撮影動作と同様の通常の撮影を行なうモードである。
【００３５】
図６のメニュー画面において、４連スイッチ２０９の上方向スイッチが押されると、黒三角印のカーソルＫの表示位置（すなわち、カーソルＫが示す項目）が上方向にサイクリックに移動し、４連スイッチ２０９の下方向スイッチが押されると、カーソルＫが示す項目表示位置が下方向にサイクリックに移動する。そして、スイッチ群２１０の確定スイッチ２１０ｂが押されると、その時カーソルＫで指示されている項目（図６では階調調整モード）が撮影モードとして設定される。
【００３６】
従って、撮影者は撮影モード選択用のメニュー画面において、４連スイッチ２０９を上下方向に操作して所望の撮影モードを選択し、確定スイッチ２１０ｄを操作することでその撮影モードを設定することができる。なお、露出制御に関するモードについても同様の方法で所望の撮影モードを設定することができる。
【００３７】
また、インデックス画面ではメモリカードＭＣに記録されている全ての画像から９コマ分のサムネイル画像が配列表示され、現在選択されているコマに選択されている表示（例えば点滅表示や枠表示等）が行なわれる。４連スイッチ２０９の上下左右の何れかの方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示がその方向の項目やコマに移動する。例えば上方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示が上方向の項目やコマに移動する。
【００３８】
交換レンズ３のズーム操作では、４連スイッチ２０９の右方向スイッチを押圧すると、交換レンズ３がワイド側に連続的に移動し、４連スイッチ２０９の左方向スイッチを押圧すると、交換レンズ３がテレ側に連続的に移動する。
【００３９】
ＬＣＤ表示部２０７の右側下方位置にはＬＣＤ表示部２０７の表示や表示内容に関する操作を行なうためスイッチ群２１０が設けられている。スイッチ群２１０には取消スイッチ２１０ａ、確定スイッチ２１０ｂ、メニュー表示スイッチ２１０ｃ及び表示スイッチ２１０ｄが含まれる。
【００４０】
取消スイッチ２１０ａはメニュー画面で選択された内容を取り消すためのスイッチである。確定スイッチ２１０ｂはメニュー画面で選択された内容を確定するためのスイッチである。メニュー表示スイッチ２１０ｃはＬＣＤ表示部２０７にメニュー画面を表示させたり、メニュー画面の内容切り換えるためのスイッチである。メニュー表示スイッチ２１０ｃを押圧する毎にメニュー画面に切り換わる。表示スイッチ２１０ｄはＬＣＤ表示部２０７への表示を行なわせたり、メニュー画面の内容を切換えたりするスイッチである。電源電池Ｅ１〜Ｅ４の節電を図るため、カメラ起動時はＬＣＤ表示部２０７の表示は行なわれないようになっている。表示スイッチ２１０ｄを押圧する毎にＬＣＤ表示部２０７の表示と非表示とが交互に行なわれる。
【００４１】
図７は、デジタルスチルカメラ１の内部構成を示すブロック構成図である。
【００４２】
デジタルスチルカメラ１は、主にレンズ１０１、撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６、操作部１０７及び全体制御部１０８で構成されている。
【００４３】
レンズ１０１は交換レンズ３に相当するものである。レンズ１０１はフォーカス用レンズ１０１ａ及びズーム用レンズ１０１ｂを備え、内部に透過光量を調節するための絞り１０１ｃが設けられている。
【００４４】
撮像部１０２はレンズ１０１を通して入射した被写体光像を画像信号（電気画像）に光電変換して取り込むものである。撮像部１０２にはＣＣＤ２０５に相当するＣＣＤ１０２ａ、このＣＣＤ１０２ａの撮像動作を制御するタイミングジェネレータ１０２ｂ及びタイミングジェネレータ１０２ｂの駆動を制御するタイミング制御回路１０２ｃが含まれる。
【００４５】
ＣＣＤ１０２ａはタイミングジェネレータ１０２ｂから入力される駆動制御信号（積分開始信号／積分終了信号）に基づいて被写体光像を所定の時間（露光時間）だけ受光して画像信号（電荷蓄積信号）に変換し、その画像信号をタイミングジェネレータ１０２ｂから入力される読出制御信号（水平同期信号、垂直同期信号、転送信号等）を用いて信号処理部１０３に出力する。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離されて信号処理部１０３に出力される。すなわち、画素位置（２ｈ＋１，２ｋ＋１）の各画素で受光された画像信号を順次読み出すことでＲの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＧの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＢの色成分の画像信号が出力される。
【００４６】
タイミングシェネレータ１０２ｂはタイミング制御回路１０２ｃから入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読出制御信号を生成し、ＣＣＤ１０２ａに出力する。タイミング制御回路１０２ｃは撮像部１０２の撮影動作を制御するものである。タイミング制御回路１０２ｃは全体制御部１０８から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には記録モードにおいて撮影待機中に被写体の動画像（以下、ライブビュー画像という。）を電子ビューファインダ４にモニタ表示するための撮影の制御信号、シャッタボタン６が操作されて被写体の静止画（以下、記録画像という。）を撮影するための制御信号、基準クロック、ＣＣＤ１０２ａから出力された画像信号を信号処理部１０３で信号処理するためのタイミング信号（同期クロック）などが含まれる。このタイミング信号は信号処理部１０３内の信号処理回路１０３ａ及びＡ／Ｄ変換回路１０３ｂに入力される。
【００４７】
信号処理部１０３はＣＣＤ１０２ａから出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は当該画像データを構成する各画素の受光信号毎に行なわれる。以下、説明の便宜上、各画素の受光信号とこれらの集合により撮影画像を構成する画像信号とを区別するため、必要に応じて各画素の受光信号を画素信号（アナログ信号）もしくは画素データ（デジタル信号）という。
【００４８】
信号処理部１０３にはアナログ信号処理回路１０３ａ、Ａ／Ｄ変換回路１０３ｂ、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ、γ補正回路１０３ｅ及び画像メモリ１０３ｆが含まれる。なお、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ及びγ補正回路１０３ｅはデジタル信号処理を行う回路を構成するものである。
【００４９】
アナログ信号処理回路１０３ａは主にＣＤＳ回路（相関二重サンプリング）回路及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ１０２ａから出力される画像信号（各画素で受光された信号。アナログ信号）のサンプリングノイズの低減と信号レベルの調整を行う。
【００５０】
ＡＧＣ回路におけるゲインコントロールには、絞り１０１ｃの絞り値とＣＣＤ２０５の露光時間とで適正露出が得られなかった場合（例えば非常に低輝度の被写体を撮影する場合等）の撮影画像のレベル不足を補償する場合も含まれる。
【００５１】
Ａ／Ｄ変換回路１０２ｂはアナログ信号処理回路１０３ａから出力される画像信号をデジタルの信号（以下、画像データという。）に変換するものである。Ａ／Ｄ変換回路１０２ｂは各画素で受光された画素信号を、例えば１０ビットの画素データに変換する。
【００５２】
黒レベル補正回路１０３ｃはＡ／Ｄ変換された各画素データの黒レベルを基準の黒レベルに補正するものである。ＷＢ回路１０３ｄは撮影画像のホワイトバランスを調整するものである。ＷＢ回路１０３ｄは全体制御部１０８から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。なお、レベル変換テーブルの各色成分の変換係数は全体制御部１０８から撮影画像毎に設定される。γ補正回路１０３ｅは画素データのγ特性を補正するものである。γ補正回路１０３ｅは予め設定された補正テーブルを用いて各画素データのレベルを補正する。
【００５３】
画像メモリ１０３ｆは信号処理の終了した画像データを一時保存するメモリである。画像メモリ１０３ｆは少なくとも２フレーム分の画像データを記憶し得る容量を有している。これは、ボケ味調整モード等の撮影では２回連続して露光が行なわれ、２フレーム分の画像データが取り込まれるから、これらをそれぞれ保存できるようにするためである。なお、１フレーム分の画像データを記憶し得る記憶容量は、例えばＣＣＤ１０２ａの画素数を１６００×１２００＝１９２万とすると、１９２万個の画素データを記憶し得る容量である。
【００５４】
発光制御部１０４は全体制御部１０８から入力される発光制御信号に基づいてフラッシュ５の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。発光制御部１０４は全体制御部１０８から発光準備の指示があると、メインコンデンサを充電して発光可能状態にし、発光タイミング信号に同期してメインコンデンサの蓄積電荷を放電することによりフラッシュ５を発光させる。そして、全体制御部１０８から入力される発光停止信号に基づいてメインコンデンサの蓄積電荷の放電を停止させる。これによりフラッシュ５は所要の発光量で発光される。
【００５５】
レンズ制御部１０５はレンズ１０１内のフォーカス用レンズ１０１ａ、ズーム用レンズ１０１ｂ及び絞り１０１ｃの各部材の駆動を制御するものである。レンズ制御部１０５は絞り１０１ｃの絞り値を制御する絞り制御回路１０５ａ、フォーカスモータＦＭの駆動を制御するフォーカス制御回路１０５ｂ及びズームモータＺＭの駆動を制御するズーム制御回路１０５ｃを備えている。
【００５６】
絞り制御回路１０５ａは全体制御部１０８から入力される絞り値に基づいて絞り１０１ａを駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路１０５ｂはフォーカスモータＦＭの駆動を制御し、フォーカスモータＦＭの駆動力はカプラーＣＰ１を介してフォーカス用レンズ１０１ａに伝達される。フォーカス制御回路１０５ｂは全体制御部１０８から入力されるＡＦ制御信号（例えば駆動パルス数等の制御値）に基づいてフォーカスモータＦＭを駆動し、フォーカス用レンズを焦点位置に設定する。ズーム制御回路１０５ｃは全体制御部１０８から入力されるズーム制御信号（４連スイッチ２０９の操作情報）に基づいてズームモータＺＭを駆動し、ズーム用レンズ１０１ｂを４連スイッチ２０９で指定された方向に移動させる。すなわち、ズーム制御回路１０５ｃは全体制御部１０８から４連スイッチ２０９の右方向の操作情報が入力されると、ズームモータＺＭを正方向に駆動してズーム用レンズ１０１ｂをワイド側に移動させ、４連スイッチ２０９の左方向の操作情報が入力されると、ズームモータＺＭを逆方向に駆動してズーム用レンズ１０１ｂをテレ側に移動させる。
【００５７】
表示部１０６はＬＣＤ表示部２０７への表示と電子ビューファインダ４への表示とを行うものである。表示部１０６にはＬＣＤ表示部２０７に相当するディスプレイ１０６ａ及びＶＲＡＭ１０６ｂと電子ビューファインダ４内のＬＣＤ表示部４０１に相当するディスプレイ１０６ｃ及びＶＲＡＭ１０６ｄとが含まれる。ディスプレイ１０６ａは、例えば２００×１５０＝３００００の画素数を有し、ディスプレイ１０６ｃは、例えば２００×１５０＝３００００の画素数を有している。従って、ＶＲＡＭ１０６ｂはディスプレイ１０６ａの画素数に対応して略３万個の画素データが記憶可能になされ、ＶＲＡＭ１０６ｄはディスプレイ１０６ｃの画素数に対応して略３万個の画素データが記憶可能になっている。
【００５８】
撮影待機中ではＣＣＤ１０２ａがドラフトモードで駆動され、ＣＣＤ１０２ａから画素数２００×１５０のフレーム画像が順次、出力される。各フレーム画像の画像信号は所定の信号処理が行なわれた後、画像メモリ１０３ｆに格納されるとともに、順次、全体制御部１０８に読み出され、ＶＲＡＭ１０６ｄに転送される。これにより被写体のライブビュー画像がディスプレイ１０６ｃ（ＬＣＤ表示部４０１の表示面）に表示される。また、表示スイッチ２１０ｄに操作によりＬＣＤ表示部２０７の表示が指示されると、ＶＲＡＭ１０６ｂに転送され、これにより被写体のモニタ画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）にも表示される。
【００５９】
更にメニュースイッチ２１０ｃの操作によりメニュー表示が指示されると、全体制御部１０８内のＲ０Ｍ１０８ａに記憶されたメニュー画面の画像データがＶＲＡＭ１０６ｂに読み出され、これによりディスプレイ１０６ａの表示内容がメニュー画面に切り換えられる。
【００６０】
再生モードでは全体制御部１０８によりメモリカードＭＣに記録された各コマ画像ファイルから撮影画像のサムネイル画像が読み出され、所定のフォーマットに従って配列されてインデックス表示用の画像データが作成され、その画像データがＶＲＡＭ１０６ｂに読み出される。これによりディスプレイ１０６ａにはメモリカードＭＣに記録された撮影画像の一覧が表示される。そして、４連スイッチ２０９の操作により再生すべきコマが指定されると、メモリカードＭＣに記録されたそのコマに対応する画像ファイルからＣＣＤＲＡＷ形式で記録された撮影画像の画像データが読み出され、ディスプレイ１０６ａの表示サイズに調整されてＶＲＡＭ１０６ｂに転送される。これにより撮影画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）に再生表示される。
【００６１】
操作部１０７はカメラ本体２に設けられた撮影や再生に関する操作部材の操作情報を全体制御部１０８に入力するものである。操作部１０７から入力される操作情報にはシャッタボタン２０６、電源スイッチ２０８、４連スイッチ２０９、スイッチ群２１０等の各操作部材の操作情報が含まれる。
【００６２】
全体制御部１０８はデジタルスチルカメラ１の有する撮影機能及び再生機能を集中制御するものである。全体制御部１０８にはカードインターフェース１０９を介してメモリカードＭＣが接続されている。また、通信用インターフェース１１０を介してコンピュータＰＣが外部接続されるようになっている。
【００６３】
全体制御部１０８はマイクロコンクピュータからなり、撮影機能及び再生機能における種々の具体的な処理を行なうための処理プログラムや上述の撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６等の駆動を制御するための制御プログラムが記憶されたＲＯＭ１０８ａと処理プログラム及び制御プログラムに従って種々の演算作業を行なうためのＲＡＭ１０８ｂを備えている。
【００６４】
全体制御部１０８の行なう具体的な処理には、ライブビュー画像を取り込んだり、被写体を撮影する際の露出制御値（ＣＣＤ１０２ａの露光時間Ｔｖ〔Ｅｖ値〕と絞り１０１ｃの絞り値Ａｖ〔Ｅｖ値〕）を算出する処理（露出制御値演算処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれたライブビュー画像を電子ビューファイダ４に表示したり、再生モードにおいてメモリカードＭＣから画像メモリ１０３ｆに読み出された記録画像をＬＣＤ表示部２０７に表示する処理（画像表示処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれた記録画像をカードメモリＭＣに記録する処理（記録処理）、再生モードにおいてメモリカードＭＣから再生すべき記録画像を画像メモリ１０３ｆに読み出す処理（再生処理）、ボケ味調整モード等の特殊撮影モードにおいて連続して露光動作を行なうとともに、各露光動作の前後で連続撮影画像の位置ずれ量を算出するための画像を取り込むための露光動作を行なわせる処理（特殊露光制御処理）及びその露光制御で得られた２枚の撮影画像の合成を行なう処理（画像合成処理）等が含まれる。
【００６５】
露出値演算部１０８ｃ、表示制御部１０８ｄ、記録制御部１０８ｅ、再生制御部１０８ｆ、特殊露光制御部１０８ｇ及び画像処理部１０８ｈは全体制御部１０８における上述の各処理を機能ブロックで表わしたものである。
【００６６】
露出値定部１０８ｃは露出値演算処理を行なうもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【００６７】
表示制御部１０８ｄは画像表示処理を行なうもので、上述の表示部１０６の表示動作、すなわち、画像メモリ１０３ｆに一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＶＲＡＭ１０６ｃまたはＶＲＡＭ１０６ｄに転送する動作を行なう。
【００６８】
記録制御部１０８ｅは記録処理を行なうものである。記録制御部１０８ｅは、通常撮影モードにおいて、シャッタボタン２０６により撮影が指示されると、撮影指示後に画像メモリ１０３ｆに一時記憶された画像データ（静止画の画像データ）をＲＡＭ１０８ｂに読み出し、例えば２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成する。
【００６９】
また、レリーズ直前にドラフトモードで撮影され、画像メモリ１０３ｆに格納されたフレーム画像をＲＡＭ１０８ｂに読み出すことで、画素数２００×１５０のサムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報にはレンズ名称、コマ番号、撮影時の焦点距離、撮影時のＦナンバー、焦点位置、被写体輝度、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。
【００７０】
そして、記録制御部１０８ｅは圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付してＥＸＩＦ（Exchangeable Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７１】
なお、ボケ味調整モード、階調調整モード及び超解像モードの撮影モードにおいては、画像処理部１０８ｈで合成された合成画像に対して２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成し、この圧縮合成画像及びサムネイル画像の画像データにタグ情報を添付してＴＩＦＦ（Tag Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７２】
従って、合成前の２枚の撮影画像はメモリカードＭＣに記録されない。これは、カメラ本体で画像合成処理まで行なうため、メモリカードＭＣを効率よく活用するためである。パソコン等で別途画像合成をする際の利便性を考慮して合成前の２枚の撮影画像をメモリカードＭＣに記録させるようにしてもよい。
【００７３】
図８は、メモリカードＭＣへの画像ファイルの記録方法を示す図である。
【００７４】
メモリカードＭＣには先頭から各画像ファイルがファイル番号Ｘの順に記憶される。各画像ファイルには、「Ｐn．Ｙ」のファイル名が付与され、「n」は画像ファイルが作成された順番を示す６桁の番号であり、「Ｙ」は画像データの形式を示す記号である。例えば「Ｙ」が「ＪＰＧ」である場合、画像データはＪＰＥＧ方式で圧縮されているを示す。
【００７５】
メモリカードＭＣにおける各画像ファイルの記録領域は３つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファィルによって変化しないが、撮影画像データのデータサイズは圧縮率や撮影モードによって変化する。このため、メモリカードＭＣの画像ファィルの記憶領域に記憶可能なファイル数は各画像ファィルの撮影画像データのデータサイズによって変化する。
【００７６】
再生制御部１０８ｆはメモリカードＭＣに記録された撮影画像のＬＣＤ表示部２０７への再生処理を行なうものである。再生制御部１０８fは、電源スイッチ２０８により再生モードが設定されると、メモリカードＭＣに記録された各画像ファイルからサムネイル画像を読み出し、順次、所定のインデックスフォーマットに従ってＶＲＡＭ１０６ｂに記憶する。例えば１ページ当たり、９枚のサムネイル画像が３×３に２次配列されるようにＶＲＡＭ１０６ｂに記憶する。従って、これによりＬＣＤ表示部２０７に９枚の２次元配列されたサムネイル画像がインデックス表示される。
【００７７】
インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連スイッチ２０９及びスイッチ群２１０によって指定されると、再生処理部１０８ｆは、そのコマに対応する画像ファィルから撮影画像のデータを読み出し、所定の伸長処理を行なった後、画像メモリ１０３ｆに記憶する。この画像メモリ１０３ｆに読み出されたデータは、上述したように表示制御部１０８ｄによりデータサイズが調整されてＶＲＡＭ１０６ｂに転送され、これによりＬＣＤ表示部２０７に再生表示される。
【００７８】
特殊露光制御部１０８ｇは、ボケ味調整モード、階調調整モード及び超解像モードが設定されている状態でシャッタボタン６が全押しされたときのＣＣＤ１０２ａの露光動作を制御する。特殊露光制御部１０８ｇは、基本的にＳ２スイッチがオンになると、画像合成用の画像（以下、この画像を本撮影画像という。）を取り込むため、連続してＣＣＤ１０２ａの露光動作を２回繰り返すが、この２枚の本撮影画像の位置ずれ量を演算するための画像（以下、この画像を演算用画像という。）を少なくとも２枚取り込むため、本撮影画像用の各露光動作の前後で演算用画像用の露光動作を行なわす。
【００７９】
演算用画像は位置ずれ量を算出するためのもので、本撮影画像のように高画質を必要しないので、本実施の形態では、ドラフトモードでＣＣＤ１０２ａを駆動して演算用画像を取り込むようにしている。すなわち、演算用画像の撮影は、本撮影画像よりも少ない画素数で行なっている。
【００８０】
撮影待機状態においては、ＣＣＤ１０２ａはドラフトモードで露光動作が繰り返されているので、この状態でＳ２スイッチがオンになると、特殊露光制御部１０８ｇは、例えばＣＣＤ１０２ａの駆動モードをドラフトモード（全画素の受光データのうち、所定の画素数だけ間引いて読み出すモード。本実施形態では画素数の間引率を１／８としている。）からノーマルモード（全画素の受光データを読み出すモード）に切り換えて１回目の本撮影画像用の露光動作を行ない、この後、再度ドラフトモードに切り換えて演算用画像用の露光動作を少なくとも２回行い、更にノーマルモードに切り換えて２回目の本撮影画像用の露光動作を行なう。なお、演算用画像は、本撮影画像の前後であれば、必ずしも連続的に取り込まれる必要はなく、本撮影画像と演算用画像とを交互に取りこむようにしてもよい。
【００８１】
なお、ボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作の詳細は後述する。
【００８２】
画像処理部１０８ｈは、ボケ味調整モード、階調調整モード及び超解像モードで連続的に撮影された２枚の本撮影画像のレジストレーション処理（位置合わせ処理）をした後、両本撮影画像の対応する画素位置毎に両本撮影画像のデータを用いて所定の演算処理を行なって合成画像のデータを作成する。
【００８３】
レジストレーション処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる２枚の画像の位置を合わせるものである。レジストレーション処理は、一般に、例えば一方の撮影画像Ａを基準にして他方の撮影画像Ｂを拡大／縮小、平行移動、回転等を行ないつつ両撮影画像Ａ，Ｂを照合して、両撮影画像Ａ，Ｂが一致する撮影画像Ｂの拡大率、平行移動量及び回転角等が算出される。一方の撮影画像Ａに対する他方の撮影画像Ｂの一致度は、例えば撮影画像Ｂの平行移動量を引数とする両撮影画像Ａ，Ｂのデータのレベル差の絶対値の総和（相関関数）が最小となる平行移動量が撮影画像Ｂを撮影画像Ａに一致させるための移動量（すなわち、位置ずれ量）として算出される。
【００８４】
なお、本実施形態では、２枚の画像が連続して撮影された画像で、カメラぶれによる両本撮影画像の位置ずれが主として直線的なぶれに起因することを考慮して、本撮影画像Ｂを本撮影画像Ａに一致させるための平行移動量（Ｘ，Ｙ）（すなわち、本撮影画像Ａ，Ｂ間の位置ずれ量）だけを演算するようにしている。また、この演算は撮影画像Ｂを所定のピッチで移動させつつ相関関数の演算を繰り返すため、１９２万の画素データを有する本撮影画像を用いて直接、レジストレーション処理をしたのでは、繰返演算の処理回数が膨大となるので、本実施形態では、本撮影画像よりも画素数の少ない撮影画像（本撮影画像の露光動作の前後でドラフトモードによって撮影した演算用画像で、実質的に本撮影画像のデータを１／８に間引いた画像に相当するもの。）を用いてレジストレーション処理を行い、この処理結果に対して間引き率の８を乗じた数（例えばサムネイル画像の移動量が（３，４）であれば、（２４，３２）とする。）を本撮影画像でのレジストレーション処理における本撮影画像Ｂの移動量の初期値とするようにしている。
【００８５】
従って、画像処理部１０８ｈは、特殊露光制御部１０８ｇによりＣＣＤ１０２ａで複数枚の演算用画像が取り込まれると、これらの演算用画像を用いて上述のレジストレーション処理を行ない、最初の本撮影画像Ａと２回目の本撮影画像Ｂとの間の位置ずれ量（Ｘ，Ｙ）を算出する。
【００８６】
また、露光動作終了後の画像処理における２枚の本撮影画像Ａ，Ｂのレジストレーション処理では、例えば最初の本撮影画像Ａに対して２回目の本撮影画像Ｂを位置ずれ量（８Ｘ，８Ｙ）だけ移動させた状態を初期状態として、本撮影画像Ｂを（８Ｘ±ｍ，８Ｙ±ｎ）の範囲で１画素ピッチずつ移動させて上述の相関関数を演算し、この相関関数が最小となる平行移動量を算出することで本撮影画像Ａ，Ｂ間の位置ずれ量を算出する。初期状態で２回目の本撮影画像Ｂの最初の本撮影画像Ａに対する位置ずれ量は微小になっているので、比較的少ない繰返演算回数で平行移動量（Ｘ，Ｙ）が算出される。
【００８７】
次に、デジタルスチルカメラ１のボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作を詳細に説明する。
【００８８】
図９はボケ味調整モードにおける撮影動作を示すタイムチャートである。
【００８９】
同図において、上段の波形図は、シャッタボタン６に操作に基づくＳ１スイッチ及びＳ２スイッチのオンタイミングを示すものである。２段目の波形図は、ＣＣＤ１０２ａの露光動作を示すもので、オン期間は露光期間を示し、オフ期間は露光期間に蓄積されたデータの読み出し等が行なわれている期間を示している。
【００９０】
Ｓ２スイッチがオンになる前に短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態でライブビュー画像が取り込まれていることを示している。撮影待機状態では、ＣＣＤ１０２ａはドラフトモードで露光が繰り返され、１／３０秒毎にフレーム画像が取り込まれる。一方、Ｓ２スイッチがオンになった直後の長いオン期間Ｅ１は、最初の本撮影画像Ａを取り込むための露光期間であり、その後の長いオン期間Ｅ２は、２回目の本撮影画像Ｂを取り込むための露光期間である。以下、これらの露光動作に対応する撮影をそれぞれ本撮影Ｑ１，Ｑ２という。
【００９１】
また、オン期間Ｅ１とオン期間Ｅ２との間の３個の短いオン期間Ｅ３，Ｅ４，Ｅ５は、演算用画像を取り込むために露光動作が３回繰り返されていることを示している。この露光動作は、撮影待機状態におけるライブビュー画像の取り込みと同じである。以下、これらの露光動作に対応する撮影をそれぞれ間引撮影ＭＱ１，ＭＱ２，ＭＱ３という。
【００９２】
間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なっているのは、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くして本撮影画像Ａ，Ｂ間の位置ずれ量をできるだけ小さくするためである。なお、間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なうことによりＣＣＤ１０２ａから出力される画像信号のレベルが低くなるが、この分、アナログ信号処理回路１０３ａでレベル調整を行なうので、移動量の演算精度を低下させることはない。
【００９３】
また、オン期間Ｅ２の後に再び短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態に戻ったことを示し、再びライブビュー画像が取り込まれていることを示している。
【００９４】
３段目の波形図は、全体制御部１０８で制御される主な処理内容を示すものである。オン期間若しくはオン信号は、ボケ味調整モードの撮影に直接関係した所定の制御処理をしていることを示している。Ｓ１スイッチがオンになった直後の処理期間Ｃ１は、その後のレリーズに備えてＳ１スイッチがオンになる直前のフレーム画像を用いての測距及びその測距結果に基づくＡＦ（Auto Focus）演算（以下、第１ＡＦ演算という。）と同フレーム画像を用いてのＡＥ（Automatic Exposure）演算（以下、第１ＡＥ演算という。）及びＡＷＢ（Automatic White Balance）演算（以下、第１ＡＷＢ演算という。）とが行なわれていることを示している。オン信号Ｓ１，Ｓ３は、ＣＣＤ１０２ａの駆動モードをドラフトモードからノーマルモードに切り換えるものであり、オン信号Ｓ２，Ｓ４は、ＣＣＤ１０２ａの駆動モードをノーマルモードからドラフトモードに切り換えるものである。
【００９５】
間引撮影ＭＱ３の直後の処理期間Ｃ２は、間引撮影ＭＱ３で得られた演算用画像を用いて２回目の本撮影Ｑ２のためのＡＦ演算（以下、第２ＡＦ演算という。）と同演算用画像を用いてＡＥ演算（以下、第２ＡＥ演算という。)及びＡＷＢ演算（以下、第２ＡＷＢ演算という。）とを行なっていることを示している。
【００９６】
処理期間Ｃ３は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて最初の本撮影画像Ａに対する２回目の本撮影画像Ｂの移動量（Ｘ，Ｙ）を演算していることを示している。また、処理期間Ｃ４は本撮影画像Ａ，ＢのＡＷＢ調整及びγ補正等の信号処理を行なっていることを示し、処理期間Ｃ５は両本撮影画像Ａ，Ｂの画像合成処理（レジストレーション処理及びボケ味調整のための合成処理）を行なっていることを示し、処理期間Ｃ６は両本撮影画像Ａ，Ｂの合成画像を圧縮してメモリカードＭＣに記録する処理を行なっていることを示している。
【００９７】
最下段の波形図は、フォーカス用レンズ１０１ｂの相対的な位置の変化を示しすものである。処理期間Ｃ１の直後での波形の上昇変化Ｒ１は、フォーカス用レンズ１０１ｂが現在位置から被写体距離∞の位置に移動していることを示している。本実施形態では、ボケ味調整モードで、最初∞位置に焦点調節して本撮影Ｑ１を行ない、その後、予め設定された所定の被写体距離（例えば１ｍ）に焦点調節をして２回目の本撮影Ｑ２を行ない、本撮影Ｑ１，Ｑ２で得られた本撮影画像Ａ，Ｂを合成するようにしているので、Ｓ１信号、処理期間Ｃ１でのＡＦ演算処理及びフォーカス用レンズ１０１ｂの移動Ｒ１は、シャッタボタン６の半押しによりシャッタボタン６の全押し（レリーズ指示）に備えてボケ味調整モードでの最初の本撮影Ｑ１に対するＡＦ処理をしていることを示している。
【００９８】
また、本撮影Ｑ１の終了後における波形の下降変化Ｒ２は、２回目の本撮影Ｑ２に対するＡＦ処理を示し、フォーカス用レンズ１０１ｂは現在位置から所定の被写体距離(１ｍ）の焦点位置に移動していることを示している。
【００９９】
図９に示すタイムチャートから、ボケ味調整モードにおいては、撮影待機状態でシャッタボタン６が半押しされてＳ１スイッチがオンになると、∞位置に対してＡＦ処理が行なわれるとともに、露出制御値（絞り１０１ｃの絞り値及びＣＣＤ１０２ａの露光時間）及びＷＢ調整値が設定され、その後、シャッタボタン６が全押しされてＳ２がオンになると、ＣＣＤの駆動モードをノーマルモードに切り換え、設定された露光時間Ｅ１でＣＣＤ１０２ａの露光動作を行なって最初の本撮影Ｑ１が行なわれる。
【０１００】
この露光動作が終了すると、ＣＣＤ１０２ａから全画素の画像信号が読み出され、フォーカス用レンズ１０１ｂは現在位置から被写体距離１ｍの焦点位置に移動される。また、画像信号の読み出しが終了すると、このフォーカス用レンズ１０１ｂの移動期間を利用して、引き続き、ＣＣＤの駆動モードをドラフトモードに切り換えて所定の露光時間でＣＣＤ１０２ａの露光動作を連続３回行なって間引撮影ＭＱ１，ＭＱ２，ＭＱ３が行なわれるとともに、間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対するＡＥ演算が行なわれる。
【０１０１】
ボケ味調整モードでは焦点位置を変更して本撮影Ｑ１，Ｑ２を行なうため、最初の本撮影Ｑ１に対する露出値と２回目の本撮影Ｑ１に対する露出値とが変化する可能性が大きいので、第２ＡＥ演算では本撮影Ｑ２の直前に行なう間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対する露出制御値を設定するようにしている。
【０１０２】
なお、本撮影Ｑ２は本撮影Ｑ１に続いて連続的に行なわれるが、ボケ味調整モードにおいては、絞り値を本撮影Ｑ１と同じ状態（例えば開放絞り値）で撮影しないと、ボケ味調整の効果は得られない。そのため、本撮影Ｑ２では絞り１０１ｃの絞り値は固定し、ＣＣＤ１０２ａの露光時間のみで露出制御を行なうようにしている。従って、この露出制御では絞り優先でＣＣＤ１０２ａの露光時間が設定される。
【０１０３】
被写体移動を考慮すると、本撮影Ｑ１と本撮影Ｑ２との撮影間隔はできるだけ短くするのが望ましいため、本撮影Ｑ１のときではＡＧＣのゲインを４倍にし、露出時間を１／４にしている。なお、露光時間が十分に短い場合は、ゲインを上げる必要はない。また、図１０に示すようにレンズ１０１とＣＣＤ１０２aとの間にＮＤフィルタ１０２ｄを当該レンズ１０１の光軸上に挿脱可能に設けるとともに、このＮＤフィルタ１０２ｄの挿脱動作を制御する駆動回路１０２ｅを設け、ＮＤフィルタ１０２ｄとの組み合わせによって本撮影Ｑ２に好適の露光時間を設定するようにしてもよい。
【０１０４】
また、本実施形態では、露出制御値の演算に本撮影Ｑ２の直前に行なわれる間引撮影ＭＱ３の撮影画像を利用しているが、本撮影Ｑ１と本撮影Ｑ２との間に行なわれる他の間引撮影ＭＱ１，ＭＱ２で得られた画像を用いるようにしてもよい。
【０１０５】
また、間引撮影ＭＱ３で得られた演算用画像を用いて第２ＡＦ演算と第２ＡＷＢ演算とが行なわれ、これらの演算結果を用いて最初の本撮影Ｑ１と２回目の本撮影Ｑ１との間における被写体輝度、被写体距離、光源色等の撮影条件の変化の判定処理が行なわれる。
【０１０６】
撮影条件の変化の判定処理は、図１１に示すフローチャートを用いて以下の手順で行なわれる。
【０１０７】
まず、第２ＡＦ演算、第２ＡＥ演算及び第２ＡＷＢ演算でそれぞれ被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が算出される（＃１，＃３）。続いて、被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が第１ＡＦ演算、第１ＡＥ演算及び第１ＡＷＢ演算でそれぞれ算出された被写体距離Ｄｖ１、被写体輝度Ｂｖ１、ＡＷＢ調整ゲイン（Ｒ１／Ｇ１，Ｂ１／Ｇ１）と各々比較される（＃５）。
【０１０８】
被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜が所定値（例えば１ＥＶ）を超えている、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜が所定値（例えば１ｍ）を超えている、若しくはＡＷＢ調整ゲイン差ΔＧAWB＝｜Ｒ２／Ｇ２−Ｒ１／Ｇ１｜＋｜Ｂ２／Ｇ２−Ｂ１／Ｇ１｜が所定値（例えば０．５）を超えているのいずれかであれば（＃７，＃９，＃１１でＮＯ）、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化したと推定され、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が禁止されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃１７）。この警告表示は、例えば表示色を特定の警告色にしたり、点滅表示をすることで行なわれる。なお、文字による警告メッセージを表示させるようにしてもよく、警告音を発するようにしてもよい。
【０１０９】
この撮影禁止及び警告処理より実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下することがない。
【０１１０】
一方、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化していない場合、すなわち、被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜及びＡＷＢ調整ゲイン差ΔＧAWBがいずれも所定値以下であれば（＃７，＃９，＃１１でＹＥＳ）、本撮影Ｑ２のために被写体輝度Ｂｖ２に基づき露出制御値（絞り値，露光時間）が設定され（＃１３）、処理を終了する。
【０１１１】
図９に戻り、フォーカス用レンズ１０１ｂの被写体距離１ｍの焦点位置への移動が終了すると、２回目の本撮影Ｑ２が禁止されていなければ、ＣＣＤの駆動モードをドラフトモードに切り換え、再度設定された露光時間Ｅ２でＣＣＤ１０２ａの露光動作を行なって本撮影Ｑ２が行なわれる。また、この露光期間中に間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて本撮影Ｑ１で得られた本撮影画像Ａに対する本撮影Ｑ２で得られる本撮影画像Ｂの移動量（Ｘ，Ｙ）が演算される。
【０１１２】
本撮影画像の移動量（Ｘ，Ｙ）の演算処理は、図１２に示すフローチャートを用いて以下の手順で行なわれる。
【０１１３】
間引撮影ＭＱ１で得られる画像ＭＦ１に対して間引撮影ＭＱ２，ＭＱ３で得られる画像ＭＦ２，ＭＦ３が図１３に示すように移動しているとする。間引撮影ＭＱ１，ＭＱ２，ＭＱ３で３枚の画像ＭＦ１，ＭＦ２，ＭＦ３が得られると（＃２１）、まず、演算用画像ＭＦ１に対する演算用画像ＭＦ２の移動量(ｘ１,ｙ１）がＧの色成分のデータを用いて算出される（＃２３）。なお、Ｇの色成分データを用いているのは、他の色成分よりもデータ数が多く、画像のコントラストも他の色成分より明瞭であるから、容易かつ迅速に移動量(ｘ１,ｙ１）の演算ができるからである。移動量（ｘ１,ｙ１)は、演算用画像ＭＦ１を基準として演算用画像ＭＦ２を１画素ピッチずつｘ方向に０〜４０ピクセルまで、ｙ方向に０〜３０ピクセルまでそれぞれ移動させつつ演算用画像ＭＦ１と演算用画像ＭＦ２との相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量で算出される。
【０１１４】
なお、この演算における演算用画像ＭＦ２の移動量をｘ方向に４０ピクセル，ｙ方向に３０ピクセルにしているのは、演算用画像ＭＦ１，ＭＦ２が連続撮影されたもので、カメラぶれによる位置ずれは微小であること、演算用画像ＭＦ１，ＭＦ２の画素数が２００（ｙ方向）×１５０（ｘ方向）であるから、両方向についてそれぞれ全体サイズの１／５程度移動させれば、異常なカメラぶれでない限り、通常は相関関数の最小値を算出することができると考えられるからである。
【０１１５】
移動量（ｘ１，ｙ１）が算出されると、その移動量（ｘ１，ｙ１）に対する相関関数が０．５以上であるか否かが判別され（＃２５）、相関関数が０．５以上であれば（＃２５でＹＥＳ）、演算用画像ＭＦ１と演算用画像ＭＦ２とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、本撮影画像Ａ，Ｂにおいても位置合わせができず、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃３５）。これにより実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下させることがない。
【０１１６】
一方、相関関数が０．５よりも小さければ（＃２５でＮＯ）、上述の方法と同様の方法で演算用画像ＭＦ２に対する演算用画像ＭＦ３の移動量(ｘ２,ｙ２)がＧの色成分のデータを用いて算出される（＃２７）。そして、移動量（ｘ２，ｙ２）が算出されると、その移動量（ｘ２，ｙ２）に対する相関関数が０．５以上であるか否かが判別され（＃２９）、相関関数が０．５以上であれば（＃２９でＹＥＳ）、演算用画像ＭＦ２と演算用画像ＭＦ３とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、ステップ＃３５に移行して本撮影Ｆ２の撮影が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される。
【０１１７】
一方、相関関数が０．５よりも小さければ（＃２９でＮＯ）、本撮影Ｑ１，Ｑ２及び間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングと移動量（ｘ１，ｙ１），（ｘ２，ｙ２）とから本撮影Ｑ１と本撮影Ｑ２との間での移動量（ｘ，ｙ）が算出される（＃３１）。
【０１１８】
具体的には、例えば移動量ｘの場合は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングＴ１，Ｔ２，Ｔ３と移動量ｘ１，ｘ２との関係は図１４に示すようになるから、この関係図からタイミングＴ１，Ｔ２，Ｔ３におけるｘ方向の相対的な位置Ｐ１，Ｐ２，Ｐ３を決定することができる。従って、この３点Ｐ１〜Ｐ３を用いてｘ方向の移動量曲線Ｎ（Ｔ）が近似できるから、この近似曲線Ｎ（Ｔ）と本撮影Ｑ１，Ｑ２のタイミングＴ４，Ｔ５とから本撮影Ｑ１と本撮影Ｑ２との間でのｘ方向における移動量ｘがｘ＝Ｎ（Ｔ５）−Ｎ（Ｔ４）により算出される。なお、移動量ｙについても同様の方法で算出される。
【０１１９】
そして、移動量（ｘ，ｙ）を８倍して本撮影画像Ａに対する本撮影画像Ｂの移動量（Ｘ＝８ｘ，Ｙ＝８ｙ）が算出されて（＃３３）、処理を終了する。なお、移動量（ｘ，ｙ）を８倍しているのは、演算用画像ＭＦ１〜ＭＦ３のサイズは本撮影画像Ａ，Ｂの１／８であるから、演算用画像のサイズで算出した移動量（ｘ，ｙ）を本撮影画像のサイズでの移動量（Ｘ，Ｙ）に換算するものである。
【０１２０】
図９に戻り、本撮影Ｑ２が終了すると、撮影待機状態となり、ＣＣＤの駆動モードをドラフトモードに切り換えてＣＣＤ１０２ａでライブビュー画像が取り込まれ、ＥＶＦ４に表示される。
【０１２１】
また、本撮影Ｑ２が正常に行なわれている場合は、本撮影Ｑ１，Ｑ２で撮影された本撮影画像Ａ，Ｂについてそれぞれ所定の信号処理が行なわれた後、図１５に示すフローチャートに従ってレジストレーション処理が行なわれるとともに（＃４１，＃４３）、所定の画像合成処理が行なわれてボケ味調整画像が作成され（＃４５，＃４７，＃４９）、そのボケ味調整画像がメモリカードＭＣに記録される（＃５１）。
【０１２２】
本撮影画像Ａ，Ｂのレジストレーション処理もＧの色成分のデータを用いて行なわれる。まず、本撮影画像Ｂを移動量（Ｘ，Ｙ）だけ移動させて、図１６に示すように本撮影画像Ａに対して（Ｘ，Ｙ）だけ位置がずれた状態にする。そして、本撮影画像Ａを基準として本撮影画像Ｂを１画素ピッチずつ、例えばｘ方向に（Ｘ−４０）〜（Ｘ＋４０）ピクセルまで、ｙ方向に（Ｙ−３０）〜（Ｙ＋３０）ピクセルまでそれぞれ移動させつつ本撮影画像と本撮影画像Ｂとの相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量（Ｘ１，Ｙ１）が算出される（＃４３）。
【０１２３】
本撮影画像Ａ，Ｂの画像合成処理は、Ｒ，Ｇ，Ｂの色成分毎に行なわれ、まず、本撮影画像Ｂを移動量（Ｘ１，Ｙ１）だけ平行移動させて、図１７に示すように本撮影画像Ａと画像を一致させた状態にした後、両本撮影画像Ａ，Ｂのデータから重複しないデータ（斜線で示す部分のデータ）を削除して合成処理用のデータが作成される（＃４７）。図１７の例では、本撮影画像Ａから作成される合成処理用データはｉ＝１〜（ｎ−Ｙ１），ｊ＝（Ｘ１＋１）〜ｍの範囲にある画素位置のデータで構成され、本撮影画像Ｂから作成される合成処理用データはｉ＝（Ｙ１＋１）〜ｎ，ｊ＝１〜（ｍ−Ｘ１）の範囲にある画素位置のデータで構成される。
【０１２４】
そして、両本撮影画像Ａ，Ｂの合成処理用データの対応する画素位置のデータを、例えば平均したり、加重平均することでボケ味調整画像のデータが作成される。すなわち、両本撮影画像Ａ，Ｂの合成処理が行なわれる（＃４９）。図１７の例では、白抜き部分に含まれるデータについて、新たに画素位置のアドレス（ｋ，ｈ）（ｋ＝１，２，…（ｎ−Ｘ１），ｈ＝１，２，…（ｍ−Ｙ１））を設定し、本撮影画像Ａの合成処理用データをＤA(ｋ,h)、本撮影画像Ｂの合成処理用データをＤB(ｋ,h)とすると、例えば（ｗA・ＤA(ｋ,h)＋ｗB・ＤB(ｋ,h)）／２を演算することによりボケ味調整画像のデータＤC(ｋ,h)が作成される。
【０１２５】
そして、このボケ味調整画像のデータＤC(ｋ,h)はＪＰＥＧ方式で圧縮された後、メモリカードＭＣに記録される。
【０１２６】
図１８は階調調整モードにおける撮影動作を示すタイムチャートである。
【０１２７】
各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１２８】
同図に示すように、基本的な撮影動作はボケ味調整モードの撮影動作と同一である。従って、ここではボケ味調整モードの撮影動作と異なる部分や階調調整モードに特有の動作について説明する。
【０１２９】
図１８の露光動作の波形図に示すように、本実施の形態では間引撮影を２回しか行なっていない。１回目の間引撮影ＭＱ１は本撮影Ｑ１，Ｑ２の間に行なわれ、２回目の間引撮影ＭＱ１は本撮影Ｑ２の終了直後に行なわれている。このため、移動量（Ｘ，Ｙ）の演算は、２回目の本撮影Ｑ２が終了し、撮影待機状態になってから行なわれている。また、階調調整モードでは、本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１８のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１３０】
ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードでは可及的に本撮影Ｑ１と本撮影Ｑ２との間を短くして両本撮影間でのカメラぶれを低減することが望ましいが、ボケ味調整モードでは本撮影Ｑ１と本撮影Ｑ２との間で意図的にフォーカス用レンズを移動させているため、フォーカス用レンズの移動が完了するまで２回目の本撮影Ｑ２はできない。そのため、両本撮影間に一定の間隔を設ける必要があり、この期間を有効利用して間引撮影を３回行なうことにより本撮影の位置ずれを予測した。しかし、階調調整モードではそのような制限はないので、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、１回目の間引撮影ＭＱ１だけ行い、本撮影Ｑ２の直後に２回目の間引撮影ＭＱ２を行なうようしている。また、本撮影Ｑ１,間引撮影ＭＱ１及び本撮影Ｑ２は等間隔で行うようにしている。
【０１３１】
本撮影Ｑ１，Ｑ２の前後で複数回の間引撮影ＭＱ１，ＭＱ２，…を行なうのは、本撮影画像Ａ，Ｂのレジストレーション処理の負担を軽減するためのものであるから、間引撮影ＭＱ１，ＭＱ２で得られた演算用画像ＭＦ１，ＭＦ２を用いて算出される移動量（Ｘ，Ｙ）の精度をできるだけ高くするため、間引撮影ＭＱ１，Ｑ２はそれぞれ本撮影Ｑ１，Ｑ２の直後に行うようにするとよい。また、本実施の形態では、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直後に行っているが、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直前で行うようにしてもよい。
【０１３２】
また、本実施形態では、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件の変化の判別処理はしていないが、この判別処理を行うようにしてもよい。また、本実施形態では、間引撮影を２回しか行なっていないが、３回以上行なうようにしてもよい。
【０１３３】
なお、階調調整モードでの画像合成処理も上述したボケ味調整モードでの画像号合成処理と同様の方法で行なわれる。すなわち、本撮影画像Ａ，Ｂについてレジストレーション処理を行なった後、それぞれ合成処理用データを作成し、この合成用データの対応する画素位置のデータを、例えば平均したり、加重平均することで階調調整画像のデータが作成される。
【０１３４】
図１９は、超解像モードにおける撮影動作を示すタイムチャートである。
【０１３５】
各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１３６】
同図に示すように、超解像モードにおける撮影動作も基本的にボケ味調整モードの撮影動作と同一である。従って、ここでもボケ味調整モードの撮影動作と異なる部分や超解像モードに特有の動作について説明する。
【０１３７】
図１９の露光動作の波形図に示すように、本実施形態では本撮影Ｑ１，Ｑ２の間に間引撮影を２回行なっている。超解像モードにおいても本撮影Ｑ１から本撮影Ｑ２までの撮影動作をできるだけ短くするため、本撮影Ｑ１、間引撮影ＭＱ１、間引撮影ＭＱ２及び本撮影Ｑ２は等間隔で行うようにしている。この実施形態では、本撮影Ｑ１，Ｑ２の間で間引撮影ＭＱ１，ＭＱ２が行なわれているので、移動量（Ｘ，Ｙ）の演算が２回目の本撮影Ｑ２の露光動作中に行なわれている。
【０１３８】
なお、これと同じ露光処理を階調調整モードでも行なうことができる。一方、超階調モードでも本撮影Ｑ１と本撮影Ｑ２との間に一定の期間を設けなければならないという制限はないので、階調調整モードで説明した間引撮影のタイミング及び回数に関する変形例を超解像モードに適用することができる。
【０１３９】
また、本実施形態では間引撮影を本撮影Ｑ１，Ｑ２の間で２回しか行なっていないが、２回目の本撮影Ｑ２の直後に３回目の間引撮影を行うようにしてもよい。このようにすると、移動量演算のためのデータ数が増えるので、移動量の演算精度が向上する。従って、間引撮影の態様としては、本撮影Ｑ１の直後に１回，本撮影Ｑ２の直前若しくは直後で１回の計２回の間引撮影を基本態様として本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なう態様、本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なうとともに、本撮影Ｑ２の直後に少なくとも１回間引撮影を行なう態様が考えられ、特殊撮影モードの内容に応じて適宜、適切な撮影態様を選択することができる。
【０１４０】
また、超解像モードでも本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１９のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１４１】
また、本実施形態でも本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件変化の判別処理はしていないが、この判別処理を行うようにしてもよい。
【０１４２】
超解像モードでの画像合成処理は、上述したボケ味調整モードや階調調整モードでの画像号合成処理と異なっている。
【０１４３】
ここで、超解像処理の内容について、図２０を用いて簡単に説明する。なお、説明の便宜上、一次元の画像データについて説明する。
【０１４４】
被写体に対して撮影者がカメラを構えてシャッタ操作を行なったときに、連続して２回の露光動作を行って得られた２枚の撮影画像は、通常、撮影者が完全に静止していることはないから、微小なカメラぶれに起因して互いに被写体に対する撮影位置がわずかに変位したものとなっている。
【０１４５】
超解像処理は、最初の本撮影画像Ａと２回目の本撮影画像Ａとをそれぞれ補間処理するとともに、両本撮影画像Ａ，Ｂの位置合わせをして合成することより、解像度の高い高精細の画像を得るものである。
【０１４６】
すなわち、最初の本撮影画像Ａの画像データを図２０（ａ）とし、２枚目の本撮影画像Ｂの画像データを図２０（ｂ）とし、２枚目の本撮影画像Ｂは最初の本撮影画像Ｂに対して被写体に対する撮影位置が右側にΔｘだけずれているとする。なお、図２０（ａ）（ｂ）において、曲線Ｐは被写体の輝度特性を示し、ａ(1)，ａ(2)，…及びｂ(1)，ｂ(2)，…は画素位置、Ｃ(1)，Ｃ(2)，…及びＤ(1)，Ｄ(2)，…は各画素の受光レベルを示している。また、Ｃ(1)’，Ｃ(2)’，…は、受光レベルＣ(1)，Ｃ(2)，…を用いて画素位置ａ(1)，ａ(2)，…の間を補間したレベルであり、Ｄ(1)’，Ｄ(2)’，…は、受光レベルＤ(1)，Ｄ(2)，…を用いて画素位置ｂ(1)，ｂ(2)，…の間を補間したレベルである。
【０１４７】
図２０（ａ）（ｂ）に示すように、最初の本撮影画像Ａにおける各画素の被写体に対する受光位置と２枚目の本撮影画像Ｂにおける各画素の被写体に対する受光位置とは相違しているから、両本撮影画像Ａ，Ｂの画像データから撮像素子より２倍の画素位置の画像データが得られる。
【０１４８】
従って、同図（ｃ）に示すように、最初の本撮影画像Ａと２枚目の本撮影画像Ｂの位置合わせをして両画像データを単純に合成することにより撮像素子の画素密度に対して２倍の画素密度を有する画像データが得られる。
【０１４９】
なお、本実施形態では、カメラぶれに基づく被写体に対する撮像素子の受光位置のずれを利用しているから、画素位置ａ(i)と画素位置ｂ(i)とのずれ量Δｘは一定せず、画素位置ｂ(i)は画素位置ａ(i)と画素位置ａ(i＋1)との中間に必ず位置するとは限らないので、ずれ量Δｘが非常に小さい場合は、両本画像画像Ａ，Ｂの位置合わせが十分な精度で行なえなくなる虞がある。
【０１５０】
そこで、これを改善するため、本実施の形態では最初の本撮影画像Ａの画像データと２枚目の本撮影画像Ｂの画像データとをそれぞれ補間処理した後、合成するようにしている。このようにすることで、図２０（ｃ）に示すように、画素位置ｂ(i)と画素位置a(i+1)との間に画像データＣ(i)’，Ｄ(i)’が補間され、２枚の本撮影画像Ａ，Ｂは高い精度で位置合わせが行なわれるので、解像度の高い画像が得られる。
【０１５１】
従って、超解像モードでの画像合成処理では、本撮影画像Ａ，Ｂについてそれぞれ所定の補間処理によりデータ数を増加させた後、レジストレーション処理が行なわれる。そして、両本撮影画像Ａ，Ｂからそれぞれ合成処理用データが作成され、その合成処理用データの対応する画素位置のデータを平均化することで超解像画像のデータが作成される。
【０１５２】
以上のように、本実施形態に係るデジタルスチルカメラ１では、ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードにおいては、シャッタボタン６が全押しされてレリーズが指示されると、連続して２回、本撮影Ｑ１，Ｑ２行なわれるが、これら本撮影Ｑ１，Ｑ２の前後で少なくとも２回、間引撮影ＭＱ１，ＭＱ２を行ない、その間引撮影で得られた少なくとも２枚の演算用画像を用いて本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を演算するようにしたので、本撮影画像Ａ，Ｂを位置合わせてして所定の画像合成を行なう際の位置合わせ処理の処理負担が軽減され、処理時間の短縮を図ることができる。
【０１５３】
なお、上記実施形態では、間引撮影を連続して最大３回しか行なっていなかったが、図２１に示すように間引撮影を連続して４回以上行なってもよく、この場合は、同図に示すように、２回目の間引撮影ＭＱ２が終了した時点で間引撮影ＭＱ１，ＭＱ２で得られた２枚の演算用画像を用いて直ちに本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を行なうとよい。このようにすれば、位置ずれ量（Ｘ，Ｙ）を迅速に算出することができる。
【０１５４】
また、上記実施形態では、本撮影画像Ａ，Ｂとは別に演算用画像ＭＦ１，ＭＦ２，…を撮影するようにしていたが、図２２に示すように最初の本撮影画像Ａを演算用画像ＭＦ１として利用するようにしてもよいる。図２２の例では、本撮影画像Ａのための露光動作を正規の露光時間よりも短くする一方、これによる露光不足を信号処理でのレベル調整で補正し、処理期間Ｃ２’でこの本撮影画像Ａのデータを間引いて演算用画像ＭＦ１を取得している。そして、本撮影Ｑ２の露光期間中に、この演算用画像ＭＦ１と間引撮影ＭＱ２で撮影された演算用画像ＭＦ２とを用いて移動量（Ｘ，Ｙ）の演算を行なうようにしている。このようにすれば間引撮影ＭＱ１が省略できるので、本撮影Ｑ１と本撮影Ｑ２との間隔をより狭くすることができ、本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を小さくすることができる利点がある。
【０１５５】
また、本実施形態に係るデジタルスチルカメラ１では、２回目の本撮影Ｑ２の露光期間中に移動量演算を行ない、その演算結果によって本撮影画像Ａ，Ｂ間の位置ずれ量が大きいときは、本撮影Ｑ２を中断し、その旨をＥＶＦ４に警告するようにしたので、また、本撮影Ｑ１と本撮影Ｑ２との間で間引撮影ＭＱ１，ＭＱ２を行い、この間引撮影で得られた画像を用いて本撮影Ｑ１と本撮影Ｑ２の間で被写体輝度、被写体距離及び光源の色バランス等の撮影条件が変化したか否かを判別し、その判別結果で撮影条件が変化しているときは、本撮影Ｑ２を中止し、その旨をＥＶＦ４に警告するようにしたので、実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがない。また、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率の低下を防止することができる。
【０１５６】
なお、本実施形態は、連続して２枚の撮影画像を取り込む場合について説明したが、本発明は、３枚以上の撮影画像を取り込む場合にも適用することができる。また、本実施形態は、複数の間引撮影ＭＱによる撮影画像を用いて撮影条件の変化を検出するものであったが、間引撮影ＭＱを行なわない場合には、本撮影画像そのものを用いて（例えば、本撮影画像のデータを適当に間引いて画像サイズを小さくした画像を用いて）撮影条件の変化を検出するものであってもよい。
【０１５７】
【発明の効果】
以上説明したように、本発明によれば、同一の被写体に対して少なくとも２回連続的に撮影し、その撮影で得られた少なくとも２枚の撮影画像に対して画像相互の位置合わせ処理と所定の合成演算処理とを行って１の画像を作成することのできるデジタルスチルカメラにおいて、２枚の撮影画像を得るための露光動作の間で撮影条件が変化したか否かを判別し、撮影条件が変化していると、警告をするようにしたので、ユーザはその警告により撮影後の無用な画像合成処理を中止させることで、撮影処理の効率低下を防止することができる。
【０１５８】
また、撮影条件が変化していると、その後の露光動作を禁止するようにしたので、無駄な撮影が防止され、撮影処理の効率低下が確実に防止することができる。
【図面の簡単な説明】
【図１】 本発明に係るデジタルスチルカメラのカメラ本体の正面図である。
【図２】 同デジタルスチルカメラの主要部材の配置を示す図である。
【図３】 同デジタルスチルカメラのに内蔵された主要部材の配置を示す右側面図である。
【図４】 同デジタルスチルカメラの背面図である。
【図５】 カラー撮像素子の撮像面の構成を示す図である。
【図６】 撮影モードの選択方法を説明するための図である。
【図７】 デジタルスチルカメラの内部構成を示すブロック図である。
【図８】 メモリカードへの画像ファイルの記録方法を示す図である。
【図９】 ボケ味調整モードでの撮影動作を示すタイムチャートである。
【図１０】 レンズとＣＣＤとの間にＮＤフィルタを挿脱可能に設けた他のデジタルスチルカメラの内部構成を示すブロック構成図である。
【図１１】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の撮影条件の変化を判別する処理を示すフローチャートである。
【図１２】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の移動量を演算する処理を示すフローチャートである。
【図１３】 ３枚の演算用画像相互の移動量の一例を示す図である。
【図１４】 ３回の間引撮影の各タイミングと各間引撮影で得られた画像相互の移動量とから２枚の本撮影画像相互の移動量を算出する方法を説明するための図である。
【図１５】 ２枚の本撮影画像を合成してボケ味調整画像を作成する処理手順を示すフローチャートである。
【図１６】 本撮影画像でのレジストレーション処理の初期状態を示す図である。
【図１７】 レジストレーション処理後の２枚の本撮影画像のデータから画像合成処理用のデータを作成する方法を説明するための図である。
【図１８】 階調調整モードでの撮影動作を示すタイムチャートである。
【図１９】 超解像モードでの撮影動作を示すタイムチャートである。
【図２０】 超解像処理を説明するための図である。
【図２１】 間引撮影の他の態様を示すタイムチャートである。
【図２２】 最初の本撮影を１回目の間引撮影と兼用する間引撮影の態様を示すタイムチャートである。
【図２３】 連続して露光動作をした場合にカメラアングルが変化する様子を示す図である。
【符号の説明】
１ デジタルスチルカメラ
１０１ レンズ
１０２ 撮像部
１０２ａ ＣＣＤ（撮像手段）
１０３ 信号処理部
１０４ 発光制御部
１０５ レンズ制御部
１０６ 表示部
１０７ 操作部
１０８ カードＩ／Ｆ
１０８ 全体制御部（判別手段）
１０８ａ ＲＯＭ
１０８ｂ ＲＡＭ
１０８ｃ 露出値演算部
１０８ｄ 表示制御部
１０８ｅ 記録制御部
１０８ｆ 再生制御部
１０８ｇ 特殊露光制御部（露光制御手段，露光禁止手段）
１０８ｈ 画像処理部（画像合成手段）
１０９ カードインターフェース
１１０ 通信用インターフェース
２ カメラ本体
２０５ カラー撮像素子
２０６ シャッタボタン
２０７ 表示部（警告手段）
２０８ 電源スイッチ
２０９ ４連スイッチ
２１０ スイッチ群
３ 交換レンズ
４ 電子ビューファインダ（警告手段）
５ フラッシュ
ＭＣ メモリカード[0001]
BACKGROUND OF THE INVENTION
In the present invention, continuous shooting is performed at least twice on the same subject, and a plurality of captured images obtained by the continuous shooting are combined by a predetermined image combining process to improve the image quality or enhance the video effect. The present invention relates to a digital still camera that can obtain an image.
[0002]
[Prior art]
In recent years, in the technical field of digital still cameras, a plurality of continuously photographed images are subjected to predetermined image processing and then combined to produce an image with higher image quality and video effect than each captured image. Digital still cameras that can be obtained have been commercialized.
[0003]
For example, the digital still camera “GC-X1“ PIXSTER ”” manufactured by Victor Co., Ltd. takes two continuous shots with a slight displacement of the image sensor, and combines the two shot images to obtain a high-resolution shot image. It has a function that can. In addition, this digital still camera sets two types of exposure control values according to the bright part and dark part of the subject, shoots twice continuously with these exposure control values, and synthesizes both captured images. Thus, it has a function of obtaining a photographed image having an appropriate density from a dark part to a bright part.
[0004]
[Problems to be solved by the invention]
In recent years, an increase in the number of pixels of an image sensor applied to a digital still camera has progressed, and products using an image sensor with 2 to 3 million pixels have been commercialized. When the above-described image composition function is provided in a digital still camera, an excellent value that an image with high image quality and video effect can be obtained can be added to the digital still camera.
[0005]
However, when the number of captured image data increases, the time required for image composition processing increases, and there is a problem in that it is difficult to obtain a composition result. Furthermore, when a plurality of images photographed for image composition are not appropriate, there is a problem that an unintentional composite image is provided after waiting for a long time image composition processing.
[0006]
When combining two images obtained by continuously shooting the same subject with a digital still camera, the contents of both images must be basically the same, but even if the subject is stationary When a photographer continuously holds a digital still camera in his / her hand, framing (shooting range) between the first shooting and the second shooting due to a minute change in camera angle as shown in FIG. Therefore, the contents of the two captured images do not completely match.
[0007]
For this reason, in the image composition processing of two captured images, usually, after performing the alignment processing (image matching processing) of both captured images, a predetermined composition operation processing is performed on the data at the corresponding pixel positions. However, the alignment processing in the image composition processing is generally performed by performing parallel movement, rotation, or the like on the other image (hereinafter referred to as a reference image) with a predetermined amount of movement using one image as a reference (hereinafter referred to as a reference image). The correlation value is calculated for each movement position using the correlation function of the phase, and the movement amount with the largest correlation value is calculated as the positional deviation amount between both images. Since the calculation is repeated, the processing time is long, and this is a factor for increasing the processing time of the image composition processing.
[0008]
Therefore, when the above-described image composition function is provided in a digital still camera, it is necessary to perform alignment processing in the image signal processing. Therefore, the problem that the image composition processing takes a long time as the number of data increases is important. . The problem that the composite image becomes unintentional due to the improperly taken image for image composition is that the effect of the image composition function is halved and the added value of the function is significantly reduced. However, it is also serious because it causes another problem that power is unnecessarily consumed by, for example, image synthesis processing.
[0009]
The present invention has been made in view of the above problems, and in a digital still camera capable of obtaining an image with high image quality and video effect by synthesizing continuously shot images, when the shot image is inappropriate It is intended to provide a digital still camera that can warn a user or forcibly prohibit image composition processing to reduce problems caused by it and effectively use an image composition processing function.
[0010]
[Means for Solving the Problems]
The present invention relates to an image pickup means for photoelectrically converting a subject light image into an image signal and outputting it, an exposure control means for performing an exposure operation of the image pickup means on the same subject at least twice in succession, and the exposure control. In a digital still camera provided with image composition means for creating one image having different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by means Determining means for determining whether or not the photographing condition has changed to a predetermined threshold value or more between the captured images; and warning means for warning if the determining means determines that the photographing condition has changed to a predetermined threshold value or more. WithIt is.
[0011]
Note that the above shooting conditions are between shot images.ofFor example, luminance difference, focus position shift amount, color balance shift amount, and the like.
[0012]
According to the above configuration, when the release is instructed, the exposure operation of the imaging unit is continuously performed at least twice, and at least two images are taken with respect to the same subject. Then, it is discriminated whether or not the shooting condition has changed to a predetermined threshold value or more between the shot images by the discriminating unit, and when the shooting condition has changed to a predetermined threshold value or more between the shot images, image synthesis using these shot images A warning is given indicating that the process is inappropriate.
[0013]
For exampleBookIf the luminance difference between the captured images is equal to or greater than a predetermined threshold, the density balance of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of focus position shift (focus shift) between the captured images is equal to or greater than a predetermined threshold, the focus adjustment of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of color balance deviation between the captured images is equal to or greater than a predetermined threshold value, a warning is issued because the color balance of the image obtained by combining both captured images becomes inappropriate.
[0014]
The present invention also provides an imaging unit that photoelectrically converts an object light image into an image signal and outputs the exposure signal, an exposure control unit that performs an exposure operation of the imaging unit on the same subject at least twice, and A digital still provided with an image composition means for creating one image having a different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by the exposure control means In the camera, a determination unit that determines whether or not the shooting condition has changed to a predetermined threshold value or more between the captured images, and the determination unit determines that the shooting condition has changed to a predetermined threshold value or more. Exposure prohibiting means for prohibiting the exposure operation for capturing the actual captured imageIt is.
[0015]
According to the above configuration, when the release is instructed, the exposure operation is continuously performed at least twice, and at least two images are taken for the same subject. Then, it is determined whether or not the shooting condition has changed between the captured images by a determination means, and if the shooting condition has changed between the captured images by more than the predetermined threshold, these captured images are used. Therefore, the subsequent exposure operation for capturing a captured image is prohibited. Therefore, the photographed image is not subjected to image composition processing.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a front view of a camera body of a digital still camera (color imaging apparatus) applied to an image processing system according to the present invention, and FIG. 2 is a top view showing an arrangement of main members built in the digital still camera. 3 is a right side view showing an arrangement of main members built in the digital still camera, and FIG. 4 is a rear view of the digital still camera.
[0017]
The digital still camera 1 includes a single-lens reflex camera that includes a camera body 2 and an interchangeable lens 3 that is a zoom lens that is detachably mounted in the front center of the camera body 2. The camera body 2 is provided with a mount portion 201 to which the interchangeable lens 3 is attached at the center of the front surface, and a grip portion 202 at the front left end portion.
[0018]
A battery storage chamber 203 and a card storage chamber 204 are provided inside the grip portion 202. The battery storage chamber 203 stores four AA batteries E1 to E4 (power supply batteries for the camera), and the card storage chamber. In 204, a memory card MC for recording image data of a photographed image is detachably stored.
[0019]
A plurality of contacts ST for electrical connection with the mounted interchangeable lens 3 and a plurality of couplers CP for mechanical connection are provided below the mount portion 201. The electrical contact ST is a lens controller 301 (see FIG. 3) built in the interchangeable lens 3 and receives information specific to the lens (information such as the open F value and focal length) in the overall control unit (see FIG. 6), and information on the position of the zoom lens and the position of the focus lens in the interchangeable lens 3 is output to the overall control unit. The coupler CP transmits the driving force of the zoom lens driving motor ZM (see FIG. 3) provided in the camera body 2 and the driving force of the focus lens driving motor FM (see FIG. 3) to the interchangeable lens 3 side. Is to do.
[0020]
A color image sensor 205 is disposed at an appropriate position in the camera body 2 on the optical axis L of the lens 3 when the interchangeable lens 3 is mounted on the mount unit 201. As shown in FIG. 5, a color image sensor 205 (hereinafter referred to as CCD 205) is provided with R (red), G (green), B (on the surface of each pixel of an area sensor 205A composed of a CCD (Charge-Coupled Device). It is composed of a so-called Bayer type single area color area sensor with a blue color filter 205B pasted in a checkered pattern, and has, for example, 1600 × 1200 = 19.2 million pixels.
[0021]
As shown in FIG. 5, the pixel position of the i-th row and j-th column of the area sensor is (i, j) (i = 1, 2,... N, j = 1, 2,... M), and n = 1600, If m = 1200, the R, G, B color filters are
R; (2h + 1, 2k + 1)
G; (2h + 2, 2k + 1), (2h + 1, 2k + 2)
B; (2h + 2, 2k + 2)
However, h = 0, 1, 2,... N / 2 (= 800), k = 0, 1, 2,... M / 2 (= 600).
[0022]
A shutter button 206 is provided on the upper surface of the grip portion 202 of the camera body 2. A half-pressing operation and a full-pressing operation of the shutter button 206 are detected by switches S1 and S2 described later. When the switch S1 is turned on (when the shutter button 206 is pressed halfway), a preparatory operation for capturing a still image of the subject (preparation operations such as setting of exposure control values and focus adjustment) is performed, and the switch S2 is switched on. When turned on (when the shutter button 206 is fully pressed), a photographing operation (a series of operations for exposing the CCD 205, performing predetermined image processing on the image signal obtained by the exposure, and recording the image signal on the memory card MC) is performed. Done.
[0023]
An electronic view finder 4 (EVF; Electronic View Finder) and a pop-up type flash 5 are provided at substantially the center of the upper surface of the camera body 2. The electronic viewfinder 4 is referred to as a display unit 401 (hereinafter referred to as an LCD display unit 401) composed of a color liquid crystal display device that displays a monitor image of a subject photographed by the CCD 205 (an image of a subject photographed by the CCD 205 in a photographing standby state). ) And an eyepiece lens 402 for guiding the monitor image displayed on the color liquid crystal display device to the outside of the finder window 403.
[0024]
Since the monitor image (moving image) of the subject is displayed on the electronic viewfinder 4 in the shooting standby state, the photographer can view the subject with the monitor image by looking through the viewfinder window 403.
[0025]
Since the monitor image is for display on the LCD display unit 401, in the standby state, the display size of the LCD display unit 401 is set by operating the CCD 205 in an operation mode different from normal still image shooting, so-called draft mode. A monitor image of the same size as is taken. In other words, in this embodiment, the LCD display unit 401 is configured with 200 × 150 pixels, so that light is received by all pixels in the standby state, but the light reception data is read at an 8-pixel pitch in both the vertical and horizontal directions. Thus, a monitor image having 200 × 150 pixels can be captured at high speed.
[0026]
A display unit 207 (hereinafter referred to as an LCD display unit 207) made up of a color liquid crystal display device is provided in the approximate center of the back surface of the camera body 2. The LCD display unit 207 displays a menu screen for setting the shooting mode, shooting conditions, and the like in the recording mode, and plays back and displays the shot image recorded on the memory card MC in the playback mode.
[0027]
The shooting mode includes a mode related to exposure control and a mode related to image composition processing. The mode related to exposure control is a mode related to how to determine an exposure control value (aperture value and exposure time) at the time of release. The modes relating to exposure control include at least a program mode, a shutter priority mode, and an aperture priority mode. The exposure control value is set using any one of a plurality of preset program diagrams. In the program mode, the exposure control value is set using a standard program diagram, and the shutter is set. In the priority mode, the exposure control value is set using a program diagram that prioritizes the shutter speed (exposure time) over the aperture value, and in the aperture priority mode, the program diagram that prioritizes the aperture value over the shutter speed is used. An exposure control value is set.
[0028]
The mode related to image composition processing is to shoot two times continuously while changing the shooting conditions at the time of release or with the shooting conditions as they are, and synthesize two shot images obtained by the shooting by a predetermined image composition processing In this mode, one image having higher image quality and video effect than the original photographed image is created and recorded in the memory card MC.
[0029]
The mode relating to the image composition processing includes at least a “blur adjustment mode”, a “tone adjustment mode”, and a “super-resolution mode”. In the blur adjustment mode, a shooting operation is performed twice in succession by changing the in-focus position by one shutter operation. For example, the shot image A is focused on a main subject (for example, a person). In this mode, a captured image B focused on the background of the main subject is captured, and the captured images A and B are combined to obtain an image having a desired blur condition.
[0030]
In the gradation adjustment mode, the exposure condition is changed by a single shutter operation, and two shooting operations are continuously performed. For example, the captured image A in which the exposure is adjusted for the main subject and the background of the main subject are exposed. Is taken together, and both the captured images A and B are combined to intentionally increase the contrast between, for example, an image having an appropriate density distribution over the entire screen or the main subject and the background, thereby creating creativity. This mode obtains a strong image.
[0031]
Super-resolution mode means that the camera operation is performed twice in succession without changing the focus and exposure conditions with a single shutter operation, and the camera angle difference slightly differs between the first and second shooting. Is a mode in which a captured image A and a captured image B in which the position of the main subject in the screen is slightly changed are captured and an image with a higher resolution than the original captured image is obtained by combining the captured images A and B. .
[0032]
A power switch 208 is provided on the left side of the LCD display unit 207. The power switch 208 also serves as a mode setting switch for switching and setting a recording mode (a mode for performing photography) and a reproduction mode (a mode for reproducing a recorded image on the LCD display unit 207). That is, the power switch 208 is a three-point slide switch. When the contact is set to the center “OFF” position, the power is turned off. When the contact is set to the upper “REC” position, the power is turned on and recording is performed. When the mode is set and the contact is set to the lower “PLAY” position, the power is turned on and the playback mode is set.
[0033]
A quadruple switch 209 is provided at an upper right position of the LCD display unit 207. The quadruple switch 209 has a circular operation button, and press operations in four directions of up, down, left, and right on the operation button are detected. The quadruple switch 209 is multi-functional and functions as an operation switch for changing an item selected on the menu screen displayed on the LCD display unit 207 or changing a playback target frame selected on the index screen, for example. In addition, the switch in the left-right direction also functions as a switch for changing the zoom ratio of the interchangeable lens 3.
[0034]
On the menu screen, for example, a plurality of items are displayed in an array, and a display (for example, a cursor or a reverse display) showing the selected state is performed on the currently selected item. For example, when a mode related to image composition processing in the shooting mode is selected, a menu screen as shown in FIG. 6 is displayed on the LCD display unit 207. The item “normal shooting” in this menu screen is a mode for performing normal shooting similar to the shooting operation in the silver halide camera.
[0035]
In the menu screen of FIG. 6, when the up switch of the quad switch 209 is pressed, the display position of the black triangle mark cursor K (that is, the item indicated by the cursor K) moves cyclically upward, and the quad switch When the downward switch of the switch 209 is pressed, the item display position indicated by the cursor K cyclically moves downward. When the confirmation switch 210b of the switch group 210 is pressed, the item (gradation adjustment mode in FIG. 6) designated by the cursor K at that time is set as the shooting mode.
[0036]
Accordingly, the photographer can set the shooting mode by operating the quad switch 209 in the vertical direction on the menu screen for selecting the shooting mode, selecting a desired shooting mode, and operating the confirmation switch 210d. . It should be noted that a desired shooting mode can be set in a similar manner for the mode relating to exposure control.
[0037]
In addition, on the index screen, thumbnail images for nine frames from all the images recorded on the memory card MC are arranged and displayed, and a display selected for the currently selected frame (for example, blinking display or frame display) is displayed. Done. When one of the up / down / left / right direction switches of the quadruple switch 209 is pressed, the display indicating the selection state of the menu screen or the index screen moves to the item or frame in that direction. For example, when the upward switch is pressed, the display indicating the selection state of the menu screen or the index screen moves to the upward item or frame.
[0038]
In the zoom operation of the interchangeable lens 3, when the right switch of the quad switch 209 is pressed, the interchangeable lens 3 continuously moves to the wide side, and when the left switch of the quad switch 209 is pressed, the interchangeable lens 3 is telephoto. Move continuously to the side.
[0039]
A switch group 210 is provided at a position on the lower right side of the LCD display unit 207 in order to perform operations related to display and display contents of the LCD display unit 207. The switch group 210 includes a cancel switch 210a, a confirmation switch 210b, a menu display switch 210c, and a display switch 210d.
[0040]
The cancel switch 210a is a switch for canceling the content selected on the menu screen. The confirmation switch 210b is a switch for confirming the content selected on the menu screen. The menu display switch 210c is a switch for displaying a menu screen on the LCD display unit 207 and switching the contents of the menu screen. Each time the menu display switch 210c is pressed, the menu screen is displayed. The display switch 210d is a switch for causing the display on the LCD display unit 207 to be displayed and switching the contents of the menu screen. In order to save the power source batteries E1 to E4, the LCD display unit 207 is not displayed when the camera is activated. Each time the display switch 210d is pressed, display and non-display of the LCD display unit 207 are alternately performed.
[0041]
FIG. 7 is a block configuration diagram showing the internal configuration of the digital still camera 1.
[0042]
The digital still camera 1 mainly includes a lens 101, an imaging unit 102, a signal processing unit 103, a light emission control unit 104, a lens control unit 105, a display unit 106, an operation unit 107, and an overall control unit 108.
[0043]
The lens 101 corresponds to the interchangeable lens 3. The lens 101 includes a focusing lens 101a and a zoom lens 101b, and a diaphragm 101c for adjusting the amount of transmitted light is provided inside.
[0044]
The imaging unit 102 captures a subject light image incident through the lens 101 by photoelectric conversion into an image signal (electrical image). The imaging unit 102 includes a CCD 102a corresponding to the CCD 205, a timing generator 102b that controls the imaging operation of the CCD 102a, and a timing control circuit 102c that controls driving of the timing generator 102b.
[0045]
The CCD 102a receives a subject light image for a predetermined time (exposure time) based on a drive control signal (integration start signal / integration end signal) input from the timing generator 102b, and converts it into an image signal (charge accumulation signal). The image signal is output to the signal processing unit 103 using a read control signal (horizontal synchronization signal, vertical synchronization signal, transfer signal, etc.) input from the timing generator 102b. At this time, the image signal is separated into R, G, and B color components and output to the signal processing unit 103. That is, by sequentially reading out the image signal received at each pixel at the pixel position (2h + 1, 2k + 1), an R color component image signal is output, and each pixel at the pixel position (2h + 2, 2k + 1), (2h + 1, 2k + 2). The image signal of the G color component is output by sequentially reading out the image signal received at, and the image signal of the B color component by sequentially reading out the image signal received at each pixel at the pixel position (2h + 2, 2k + 2). Is output.
[0046]
The timing generator 102b generates a drive control signal based on the control signal input from the timing control circuit 102c, generates a read control signal based on the reference clock, and outputs it to the CCD 102a. The timing control circuit 102c controls the shooting operation of the imaging unit 102. The timing control circuit 102c generates a shooting control signal based on the control signal input from the overall control unit 108. The shooting control signal includes a shooting control signal for displaying a moving image of a subject (hereinafter referred to as a live view image) on the electronic viewfinder 4 during shooting standby in the recording mode. Includes a control signal for capturing a still image (hereinafter referred to as a recorded image), a reference clock, a timing signal (synchronization clock) for signal processing of the image signal output from the CCD 102a by the signal processing unit 103, and the like. . This timing signal is input to the signal processing circuit 103a and the A / D conversion circuit 103b in the signal processing unit 103.
[0047]
The signal processing unit 103 performs predetermined analog signal processing and digital signal processing on the image signal output from the CCD 102a. The signal processing of the image signal is performed for each light reception signal of each pixel constituting the image data. Hereinafter, for the sake of convenience of explanation, in order to distinguish between the light reception signal of each pixel and the image signal that constitutes the photographed image by these sets, the light reception signal of each pixel is converted to a pixel signal (analog signal) or pixel data (digital Signal).
[0048]
The signal processing unit 103 includes an analog signal processing circuit 103a, an A / D conversion circuit 103b, a black level correction circuit 103c, a WB circuit 103d, a γ correction circuit 103e, and an image memory 103f. The black level correction circuit 103c, the WB circuit 103d, and the γ correction circuit 103e constitute a circuit that performs digital signal processing.
[0049]
The analog signal processing circuit 103a mainly includes a CDS circuit (correlated double sampling) circuit and an AGC (auto gain control) circuit, and sampling noise of an image signal (a signal received by each pixel, an analog signal) output from the CCD 102a. Reduction and signal level adjustment.
[0050]
The gain control in the AGC circuit compensates for insufficient level of the captured image when an appropriate exposure cannot be obtained with the aperture value of the aperture 101c and the exposure time of the CCD 205 (for example, when shooting a very low brightness subject). It is also included when doing.
[0051]
The A / D conversion circuit 102b converts the image signal output from the analog signal processing circuit 103a into a digital signal (hereinafter referred to as image data). The A / D conversion circuit 102b converts the pixel signal received by each pixel into, for example, 10-bit pixel data.
[0052]
The black level correction circuit 103c corrects the black level of each pixel data subjected to A / D conversion to a reference black level. The WB circuit 103d adjusts the white balance of the captured image. The WB circuit 103d adjusts the white balance of the photographed image by converting the level of the pixel data of the R, G, and B color components using the level conversion table input from the overall control unit. Note that the conversion coefficient of each color component in the level conversion table is set for each captured image from the overall control unit 108. The γ correction circuit 103e corrects the γ characteristic of the pixel data. The γ correction circuit 103e corrects the level of each pixel data using a preset correction table.
[0053]
The image memory 103f is a memory for temporarily storing image data for which signal processing has been completed. The image memory 103f has a capacity capable of storing image data for at least two frames. This is because exposure is performed twice in succession in shooting in the blur adjustment mode and the like, and image data for two frames is captured, so that they can be stored respectively. Note that the storage capacity capable of storing image data for one frame is a capacity capable of storing 1.92 million pixel data, for example, assuming that the number of pixels of the CCD 102a is 1600 × 1200 = 19.2 million.
[0054]
The light emission control unit 104 controls the light emission of the flash 5 based on the light emission control signal input from the overall control unit 108. The light emission control signal includes a light emission preparation instruction, a light emission timing, and a light emission amount. When there is an instruction for light emission preparation from the overall control unit 108, the light emission control unit 104 charges the main capacitor to make it ready for light emission, and discharges the flash 5 by discharging the accumulated charge of the main capacitor in synchronization with the light emission timing signal. Let Then, based on the light emission stop signal input from the overall control unit 108, the discharge of the accumulated charge in the main capacitor is stopped. Thereby, the flash 5 emits light with a required light emission amount.
[0055]
The lens control unit 105 controls driving of the focusing lens 101a, the zoom lens 101b, and the diaphragm 101c in the lens 101. The lens control unit 105 includes an aperture control circuit 105a that controls the aperture value of the aperture 101c, a focus control circuit 105b that controls the drive of the focus motor FM, and a zoom control circuit 105c that controls the drive of the zoom motor ZM.
[0056]
The aperture control circuit 105a drives the aperture 101a based on the aperture value input from the overall control unit 108, and sets the aperture amount to the aperture value. The focus control circuit 105b controls driving of the focus motor FM, and the driving force of the focus motor FM is transmitted to the focus lens 101a via the coupler CP1. The focus control circuit 105b drives the focus motor FM based on an AF control signal (for example, a control value such as the number of drive pulses) input from the overall control unit 108, and sets the focus lens to the focus position. The zoom control circuit 105c drives the zoom motor ZM based on the zoom control signal (operation information of the quad switch 209) input from the overall control unit 108, and moves the zoom lens 101b in the direction specified by the quad switch 209. Move. That is, when the right control information of the quad switch 209 is input from the overall control unit 108, the zoom control circuit 105c drives the zoom motor ZM in the forward direction to move the zoom lens 101b to the wide side. When operation information in the left direction of the continuous switch 209 is input, the zoom motor ZM is driven in the reverse direction to move the zoom lens 101b to the tele side.
[0057]
The display unit 106 performs display on the LCD display unit 207 and display on the electronic viewfinder 4. The display unit 106 includes a display 106 a and a VRAM 106 b corresponding to the LCD display unit 207, and a display 106 c and a VRAM 106 d corresponding to the LCD display unit 401 in the electronic viewfinder 4. The display 106a has, for example, 200 × 150 = 30000 pixels, and the display 106c has, for example, 200 × 150 = 30000 pixels. Therefore, the VRAM 106b can store approximately 30,000 pixel data corresponding to the number of pixels of the display 106a, and the VRAM 106d can store approximately 30,000 pixel data corresponding to the number of pixels of the display 106c. Yes.
[0058]
During the shooting standby, the CCD 102a is driven in the draft mode, and frame images of 200 × 150 pixels are sequentially output from the CCD 102a. The image signal of each frame image is subjected to predetermined signal processing, then stored in the image memory 103f, and sequentially read out to the overall control unit 108 and transferred to the VRAM 106d. As a result, the live view image of the subject is displayed on the display 106c (display surface of the LCD display unit 401). When the display switch 210d is instructed to display the LCD display unit 207 by an operation, it is transferred to the VRAM 106b, whereby a monitor image of the subject is also displayed on the display 106a (display surface of the LCD display unit 207).
[0059]
When the menu display is instructed by operating the menu switch 210c, the image data of the menu screen stored in the R0M 108a in the overall control unit 108 is read out to the VRAM 106b, whereby the display content of the display 106a is switched to the menu screen. It is done.
[0060]
In the playback mode, thumbnail images of captured images are read from each frame image file recorded on the memory card MC by the overall control unit 108, arranged in accordance with a predetermined format, and image data for index display is created. Is read into the VRAM 106b. As a result, a list of photographed images recorded on the memory card MC is displayed on the display 106a. When the frame to be reproduced is designated by the operation of the quad switch 209, the image data of the captured image recorded in the CCD RAW format is read from the image file corresponding to the frame recorded on the memory card MC, The display size is adjusted to the display 106a and transferred to the VRAM 106b. As a result, the captured image is reproduced and displayed on the display 106a (display surface of the LCD display unit 207).
[0061]
The operation unit 107 inputs operation information of operation members related to shooting and reproduction provided in the camera body 2 to the overall control unit 108. The operation information input from the operation unit 107 includes operation information of each operation member such as the shutter button 206, the power switch 208, the quad switch 209, and the switch group 210.
[0062]
The overall control unit 108 performs centralized control of the shooting function and playback function of the digital still camera 1. A memory card MC is connected to the overall control unit 108 via a card interface 109. Further, the computer PC is externally connected via the communication interface 110.
[0063]
The overall control unit 108 is a microcomputer, and includes a processing program for performing various specific processes in the photographing function and the reproduction function, the above-described imaging unit 102, signal processing unit 103, light emission control unit 104, and lens control unit 105. A ROM 108a storing a control program for controlling driving of the display unit 106 and the like and a RAM 108b for performing various arithmetic operations according to the processing program and the control program are provided.
[0064]
Specific processing performed by the overall control unit 108 includes an exposure control value (exposure time Tv [Ev value] of the CCD 102a and an aperture value Av [Ev value] of the aperture 101c) when capturing a live view image or photographing a subject. ) (Exposure control value calculation processing), a live view image captured from the CCD 102a to the image memory 103f in the recording mode is displayed on the electronic viewfinder 4, and read from the memory card MC to the image memory 103f in the reproduction mode. Processing for displaying the recorded image on the LCD display unit 207 (image display processing), processing for recording the recorded image taken in from the CCD 102a to the image memory 103f in the recording mode into the card memory MC (recording processing), and memory in the reproduction mode A recorded image to be reproduced from the card MC is stored in the image memory 103. For continuous reading in special shooting modes such as reading processing (playback processing) and blur adjustment mode, and capturing images for calculating the amount of positional deviation of continuously shot images before and after each exposure operation A process for performing an exposure operation (special exposure control process) and a process for synthesizing two captured images obtained by the exposure control (image synthesis process) are included.
[0065]
The exposure value calculation unit 108c, the display control unit 108d, the recording control unit 108e, the reproduction control unit 108f, the special exposure control unit 108g, and the image processing unit 108h represent the above-described processes in the overall control unit 108 as functional blocks. .
[0066]
The exposure value determiner 108c performs an exposure value calculation process, determines the luminance of the subject using the image data of the G color component of the live view image, and calculates the exposure control value based on the determination result.
[0067]
The display control unit 108d performs image display processing. The display control unit 108d reads the display operation of the display unit 106 described above, that is, reads the image data temporarily stored in the image memory 103f, and sets the image size to the display destination image size as necessary. After the adjustment, the operation of transferring to the VRAM 106c or VRAM 106d is performed.
[0068]
The recording control unit 108e performs a recording process. When the photographing is instructed by the shutter button 206 in the normal photographing mode, the recording control unit 108e reads the image data (still image data) temporarily stored in the image memory 103f after the photographing instruction to the RAM 108b. Predetermined compression processing by the JPEG method such as DCT conversion and Huffman coding is performed to create image data for recording.
[0069]
Also, a thumbnail image having a pixel number of 200 × 150 is created by reading out a frame image shot in the draft mode immediately before the release and stored in the image memory 103f to the RAM 108b. Further, tag information relating to the photographed image recorded in association with the image data for recording is created. This tag information includes the lens name, frame number, focal length at the time of shooting, F-number at the time of shooting, focus position, subject brightness, white balance adjustment value, shooting mode, compression rate, shooting date, presence / absence of flash emission, etc. It is.
[0070]
Then, the recording control unit 108e attaches tag information to the compressed captured image and thumbnail image data to create an EXIF (Exchangeable Image File Format) format image file, and records this image file on the memory card MC. .
[0071]
Note that, in the shooting mode of the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, a predetermined image by a JPEG method such as two-dimensional DCT conversion or Huffman coding is applied to the synthesized image synthesized by the image processing unit 108h. The image data for recording is created by performing compression processing, tag information is attached to the compressed composite image and the image data of the thumbnail image to create an image file in a TIFF (Tag Image File Format) format, and this image file is Record in the memory card MC.
[0072]
Therefore, the two captured images before synthesis are not recorded on the memory card MC. This is to efficiently use the memory card MC because the camera body performs the image composition processing. In consideration of the convenience of separately combining images on a personal computer or the like, the two photographed images before combining may be recorded on the memory card MC.
[0073]
FIG. 8 is a diagram illustrating a method of recording an image file on the memory card MC.
[0074]
Each image file is stored in the memory card MC in the order of the file number X from the top. Each image file is given a file name of “Pn.Y”, “n” is a 6-digit number indicating the order in which the image files were created, and “Y” is a symbol indicating the format of the image data. is there. For example, when “Y” is “JPG”, the image data is compressed by the JPEG method.
[0075]
The recording area of each image file in the memory card MC is composed of three areas, and tag information data, photographed image data, and thumbnail image data are stored in each area from the top. The data sizes of the tag information data and the thumbnail image data do not change depending on the image file, but the data size of the photographed image data varies depending on the compression rate and the photographing mode. For this reason, the number of files that can be stored in the image file storage area of the memory card MC varies depending on the data size of the captured image data of each image file.
[0076]
The reproduction control unit 108f performs reproduction processing of the captured image recorded on the memory card MC on the LCD display unit 207. When the playback mode is set by the power switch 208, the playback control unit 108f reads thumbnail images from each image file recorded on the memory card MC, and sequentially stores them in the VRAM 106b according to a predetermined index format. For example, nine thumbnail images per page are stored in the VRAM 106b so as to be secondarily arranged in 3 × 3. Therefore, nine thumbnail images arranged two-dimensionally are displayed in an index on the LCD display unit 207.
[0077]
When a thumbnail image of a frame to be reproduced is designated by the quadruple switch 209 and the switch group 210 with respect to the thumbnail image displayed as an index, the reproduction processing unit 108f obtains the captured image data from the image file corresponding to the frame. After reading and performing a predetermined decompression process, it is stored in the image memory 103f. The data read out to the image memory 103f is adjusted in data size by the display control unit 108d as described above, transferred to the VRAM 106b, and reproduced and displayed on the LCD display unit 207.
[0078]
The special exposure control unit 108g controls the exposure operation of the CCD 102a when the shutter button 6 is fully pressed while the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode are set. The special exposure control unit 108g basically repeats the exposure operation of the CCD 102a twice in order to capture an image for image composition (hereinafter, this image is referred to as an actual captured image) when the S2 switch is turned on. Since at least two images for calculating the amount of positional deviation between the two actual captured images (hereinafter referred to as “calculation images”) are taken in, the calculation is performed before and after each exposure operation for the actual captured images. An image exposure operation is performed.
[0079]
The calculation image is used to calculate the amount of misregistration, and does not require a high image quality like the actual captured image. In this embodiment, the calculation image is captured by driving the CCD 102a in the draft mode. Yes. That is, the calculation image is captured with a smaller number of pixels than the actual captured image.
[0080]
In the photographing standby state, the CCD 102a repeats the exposure operation in the draft mode. When the S2 switch is turned on in this state, the special exposure control unit 108g sets the drive mode of the CCD 102a to the draft mode (light reception of all pixels), for example. A mode in which a predetermined number of pixels are read out and read out of the data (in this embodiment, the thinning rate of the number of pixels is set to 1/8) to a normal mode (a mode in which light reception data of all pixels is read) is switched to the first time. The exposure operation for the actual captured image is performed, and then the operation is switched to the draft mode again to perform the exposure operation for the calculation image at least twice, and further to the normal mode to perform the second exposure operation for the actual captured image. . Note that the calculation image does not necessarily need to be captured continuously as long as it is before and after the main captured image, and the main captured image and the calculation image may be captured alternately.
[0081]
The details of the shooting operation in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode will be described later.
[0082]
The image processing unit 108h performs registration processing (positioning processing) of two actual captured images continuously captured in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, and then both the captured images. For each corresponding pixel position, a predetermined calculation process is performed using the data of both the captured images to generate composite image data.
[0083]
The registration process aligns the positions of two images to be combined in order to accurately combine the same symbols in the screen in the image combining process. In the registration process, for example, both the captured images A and B are collated while enlarging / reducing, translating, rotating, and the like of the other captured image B on the basis of one captured image A. , B, the enlargement ratio, the parallel movement amount, the rotation angle, and the like of the captured image B are calculated. The degree of coincidence between one captured image A and the other captured image B is, for example, the sum of absolute values (correlation functions) of the level difference between the data of both captured images A and B with the parallel movement amount of the captured image B as an argument. The parallel movement amount is calculated as a movement amount (that is, a positional deviation amount) for matching the captured image B with the captured image A.
[0084]
Note that, in the present embodiment, in consideration of the fact that the positional deviation between the two captured images due to the camera shake is mainly caused by the linear blur in the image in which two images are continuously captured. Only the parallel movement amount (X, Y) (that is, the amount of positional deviation between the actual captured images A and B) for making the actual captured image A coincide with each other is calculated. In addition, since this calculation repeats the calculation of the correlation function while moving the captured image B at a predetermined pitch, if the registration process is directly performed using the actual captured image having 1.92 million pixel data, iterative calculation is performed. Therefore, in this embodiment, the captured image having a smaller number of pixels than the actual captured image (the calculation image captured in the draft mode before and after the exposure operation of the actual captured image is substantially the actual captured image). A registration process is performed using the image data corresponding to an image obtained by thinning the image data to 1/8. The number obtained by multiplying the result of the process by 8 (for example, the moving amount of the thumbnail image is (3 4), (24, 32) is set as the initial value of the amount of movement of the actual captured image B in the registration process for the actual captured image.
[0085]
Therefore, when a plurality of calculation images are captured by the CCD 102a by the special exposure control unit 108g, the image processing unit 108h performs the above-described registration processing using these calculation images, and the first actual captured image A and A positional deviation amount (X, Y) from the second actual captured image B is calculated.
[0086]
Further, in the registration processing of the two main captured images A and B in the image processing after the exposure operation is completed, for example, the second actual captured image B with respect to the first actual captured image A is misaligned (8X, 8Y). ), The above-mentioned correlation function is calculated by moving the actual captured image B by one pixel pitch within the range of (8X ± m, 8Y ± n), and the correlation function is minimized. By calculating the amount of translation, the amount of positional deviation between the captured images A and B is calculated. Since the amount of positional deviation of the second actual captured image B from the first actual captured image A in the initial state is very small, the parallel movement amount (X, Y) is calculated with a relatively small number of repeated calculations.
[0087]
Next, photographing operations in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode of the digital still camera 1 will be described in detail.
[0088]
FIG. 9 is a time chart showing the photographing operation in the blur adjustment mode.
[0089]
In the figure, the upper waveform diagram shows the ON timing of the S1 switch and the S2 switch based on the operation of the shutter button 6. The waveform diagram in the second stage shows the exposure operation of the CCD 102a. The ON period indicates the exposure period, and the OFF period indicates the period during which data stored in the exposure period is read.
[0090]
The exposure operation of the CCD 102a is repeated in a short cycle before the S2 switch is turned on, which indicates that a live view image is captured in a shooting standby state. In the shooting standby state, the CCD 102a is repeatedly exposed in the draft mode, and a frame image is captured every 1/30 seconds. On the other hand, a long on period E1 immediately after the S2 switch is turned on is an exposure period for capturing the first actual captured image A, and a subsequent long on period E2 is for capturing the second actual captured image B. Exposure period. Hereinafter, photographing corresponding to these exposure operations is referred to as main photographing Q1 and Q2, respectively.
[0091]
In addition, three short ON periods E3, E4, and E5 between the ON period E1 and the ON period E2 indicate that the exposure operation is repeated three times in order to capture the calculation image. This exposure operation is the same as capturing a live view image in the shooting standby state. Hereinafter, photographing corresponding to these exposure operations is referred to as thinned photographing MQ1, MQ2, MQ3, respectively.
[0092]
The reason why the thinned-out photographing MQ1, MQ2, MQ3 is performed in the draft mode is to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible and to minimize the amount of positional deviation between the main photographing images A and B. is there. Note that the level of the image signal output from the CCD 102a is lowered by performing the thinning-out photography MQ1, MQ2, MQ3 in the draft mode. However, the analog signal processing circuit 103a adjusts the level accordingly, so that the movement amount is calculated. There is no reduction in accuracy.
[0093]
Further, the exposure operation of the CCD 102a is repeated again in a short cycle after the ON period E2, which indicates that the camera has returned to the shooting standby state, and that a live view image has been captured again.
[0094]
The third-stage waveform diagram shows the main processing contents controlled by the overall control unit 108. The ON period or ON signal indicates that a predetermined control process directly related to shooting in the blur adjustment mode is being performed. In the processing period C1 immediately after the S1 switch is turned on, distance measurement using a frame image immediately before the S1 switch is turned on and AF (Auto Focus) calculation based on the result of the distance measurement (in preparation for a subsequent release) Hereinafter, an AE (Automatic Exposure) calculation (hereinafter referred to as a first AE calculation) and an AWB (Automatic White Balance) calculation (hereinafter referred to as a first AWB calculation) using the same frame image. Indicates what is being done. The on signals S1 and S3 are for switching the driving mode of the CCD 102a from the draft mode to the normal mode, and the on signals S2 and S4 are for switching the driving mode of the CCD 102a from the normal mode to the draft mode.
[0095]
The processing period C2 immediately after the thinned-out photographing MQ3 is used for the same calculation as the AF operation for the second main photographing Q2 (hereinafter referred to as the second AF calculation) using the calculation image obtained by the thinned-out photographing MQ3. It shows that AE calculation (hereinafter referred to as second AE calculation) and AWB calculation (hereinafter referred to as second AWB calculation) are performed using the image.
[0096]
In the processing period C3, the movement amount (X, Y) of the second actual captured image B with respect to the first actual captured image A is calculated using the three calculation images obtained by the thinned-out images MQ1, MQ2, MQ3. It shows that you are doing. The processing period C4 indicates that signal processing such as AWB adjustment and γ correction of the captured images A and B is performed, and the processing period C5 is an image synthesis process (registration processing and The processing period C6 indicates that the composite image of both the captured images A and B is compressed and recorded in the memory card MC. Yes.
[0097]
The lowermost waveform diagram shows a change in the relative position of the focusing lens 101b. The rising change R1 of the waveform immediately after the processing period C1 indicates that the focusing lens 101b has moved from the current position to the subject distance ∞. In the present embodiment, in the blur adjustment mode, the main photographing Q1 is performed by first adjusting the focus to the ∞ position, and then the second main photographing is performed by adjusting the focus to a predetermined subject distance (for example, 1 m). Since Q2 is performed and the main captured images A and B obtained in the main imaging Q1 and Q2 are combined, the AF calculation processing and the movement R1 of the focusing lens 101b in the S1 signal, the processing period C1 are performed by the shutter. This shows that the AF processing for the first actual photographing Q1 in the blur adjustment mode is performed in preparation for the full depression (release instruction) of the shutter button 6 by half-pressing the button 6.
[0098]
Further, the waveform falling change R2 after the end of the main photographing Q1 indicates an AF process for the second main photographing Q2, and the focusing lens 101b is moved from the current position to a focal position of a predetermined subject distance (1 m). It shows that.
[0099]
From the time chart shown in FIG. 9, in the blur adjustment mode, when the shutter button 6 is half-pressed in the shooting standby state and the S1 switch is turned on, AF processing is performed for the ∞ position and the exposure control value ( The aperture value of the aperture 101c and the exposure time of the CCD 102a) and the WB adjustment value are set. After that, when the shutter button 6 is fully pressed and S2 is turned on, the drive mode of the CCD is switched to the normal mode, and the set exposure time At E1, the CCD 102a is exposed and the first actual photographing Q1 is performed.
[0100]
When this exposure operation is completed, image signals of all the pixels are read out from the CCD 102a, and the focusing lens 101b is moved from the current position to a focal position with a subject distance of 1 m. When the reading of the image signal is completed, the CCD driving mode is continuously switched to the draft mode using the moving period of the focusing lens 101b, and the exposure operation of the CCD 102a is continuously performed three times with a predetermined exposure time. Thinned-out photography MQ1, MQ2, MQ3 is performed, and AE calculation is performed on the actual photography Q2 using the calculation image obtained in the thinned-out photography MQ3.
[0101]
In the bokeh adjustment mode, since the main photographing Q1 and Q2 are performed by changing the focal position, the exposure value for the first main photographing Q1 and the exposure value for the second main photographing Q1 are likely to change. In the calculation, the exposure control value for the main photographing Q2 is set using the calculation image obtained by the thinning photographing MQ3 performed immediately before the main photographing Q2.
[0102]
Note that the main shooting Q2 is performed continuously following the main shooting Q1, but in the blur adjustment mode, if the aperture value is not set in the same state as the main shooting Q1 (for example, an open aperture value), the blur adjustment is not performed. There is no effect. Therefore, in the main photographing Q2, the aperture value of the aperture 101c is fixed, and exposure control is performed only by the exposure time of the CCD 102a. Therefore, in this exposure control, the exposure time of the CCD 102a is set with priority on the aperture.
[0103]
Considering subject movement, it is desirable to make the shooting interval between the main shooting Q1 and the main shooting Q2 as short as possible. Therefore, in the main shooting Q1, the AGC gain is quadrupled and the exposure time is set to ¼. If the exposure time is sufficiently short, there is no need to increase the gain. As shown in FIG. 10, an ND filter 102d is detachably provided on the optical axis of the lens 101 between the lens 101 and the CCD 102a, and a drive circuit 102e for controlling the insertion / removal operation of the ND filter 102d is provided. A suitable exposure time may be set for the main photographing Q2 by combination with the ND filter 102d.
[0104]
Further, in the present embodiment, the photographed image of the thinned-out photograph MQ3 performed immediately before the main photographing Q2 is used for the calculation of the exposure control value. However, other operations performed between the main photographing Q1 and the main photographing Q2 are used. You may make it use the image obtained by thinning imaging MQ1 and MQ2.
[0105]
Further, the second AF calculation and the second AWB calculation are performed using the calculation image obtained by the thinning-out shooting MQ3, and using these calculation results, between the first main shooting Q1 and the second main shooting Q1. A process for determining changes in shooting conditions such as subject brightness, subject distance, and light source color is performed.
[0106]
The determination process of the change of the photographing condition is performed by the following procedure using the flowchart shown in FIG.
[0107]
First, the subject distance Dv2, the subject luminance Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) are calculated by the second AF calculation, the second AE calculation, and the second AWB calculation (# 1, # 3), respectively. Subsequently, the subject distance Dv1, the subject brightness Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) calculated by the first AF calculation, the first AE calculation, and the first AWB calculation, respectively, are adjusted. Each is compared with the gain (R1 / G1, B1 / G1) (# 5).
[0108]
Subject brightness difference ΔBv = | Bv2-Bv1 | exceeds a predetermined value (for example, 1 EV), subject distance difference ΔDv = | Dv2-Dv1 | exceeds a predetermined value (for example, 1 m), or AWB adjustment gain difference ΔGAWB= | R2 / G2-R1 / G1 | + | B2 / G2-B1 / G1 | exceeds any predetermined value (for example, 0.5) (NO in # 7, # 9, # 11) ) Since it is presumed that the shooting conditions have changed greatly between the main shooting Q1 and the main shooting Q2, and an appropriate composite image cannot be obtained, the exposure operation of the main shooting F2 is prohibited, and the EVF4 infender screen A warning to that effect is displayed (# 17). This warning display is performed, for example, by changing the display color to a specific warning color or blinking. Note that a warning message using characters may be displayed, or a warning sound may be emitted.
[0109]
Due to this shooting prohibition and warning processing, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded in the memory card MC. Recording efficiency is not reduced.
[0110]
On the other hand, when the shooting conditions are not significantly changed between the main shooting Q1 and the main shooting Q2, that is, the subject luminance difference ΔBv = | Bv2-Bv1 |, the subject distance difference ΔDv = | Dv2-Dv1 |, and the AWB adjustment gain. Difference ΔGAWBAre all equal to or smaller than a predetermined value (YES in # 7, # 9, and # 11), an exposure control value (aperture value, exposure time) is set based on the subject brightness Bv2 for the actual photographing Q2 (# 13). The process is terminated.
[0111]
Returning to FIG. 9, when the movement of the focus lens 101b to the focus position with the subject distance of 1 m is completed, if the second main photographing Q2 is not prohibited, the drive mode of the CCD is switched to the draft mode and set again. The exposure operation of the CCD 102a is performed at the exposure time E2, and the actual photographing Q2 is performed. Further, during this exposure period, the actual captured image B obtained by the actual photographing Q2 with respect to the actual captured image A obtained by the actual photographing Q1 using the three calculation images obtained by the thinned photographing MQ1, MQ2, MQ3. The movement amount (X, Y) is calculated.
[0112]
The calculation process of the movement amount (X, Y) of the actual captured image is performed in the following procedure using the flowchart shown in FIG.
[0113]
Assume that the images MF2 and MF3 obtained by the thinning-out photography MQ2 and MQ3 are moved as shown in FIG. 13 with respect to the image MF1 obtained by the thinning-out photography MQ1. When three images MF1, MF2, and MF3 are obtained by the thin-out photographing MQ1, MQ2, and MQ3 (# 21), first, the movement amount (x1, y1) of the calculation image MF2 with respect to the calculation image MF1 is G color. Calculation is performed using the component data (# 23). The G color component data is used because the number of data is larger than that of the other color components and the contrast of the image is clearer than the other color components, so that the moving amount (x1, y1) can be easily and quickly performed. This is because the calculation can be performed. The movement amount (x1, y1) is calculated by moving the calculation image MF2 from 0 to 40 pixels in the x direction by 0 to 40 pixels in the x direction and from 0 to 30 pixels in the y direction on the basis of the calculation image MF1. And the image MF2 for calculation are calculated, and the movement amount in the x direction and the y direction that minimizes the correlation function is calculated.
[0114]
Note that the movement amount of the calculation image MF2 in this calculation is set to 40 pixels in the x direction and 30 pixels in the y direction because the calculation images MF1 and MF2 are continuously photographed, and the displacement due to camera shake is Since it is very small and the number of pixels of the calculation images MF1 and MF2 is 200 (y direction) × 150 (x direction), it is not abnormal camera shake if they are moved about 1/5 of the total size in both directions. This is because the minimum value of the correlation function can usually be calculated.
[0115]
When the movement amount (x1, y1) is calculated, it is determined whether the correlation function for the movement amount (x1, y1) is 0.5 or more (# 25), and the correlation function is 0.5.If it is above (YES in # 25)The calculation image MF1 and the calculation image MF2 do not match, that is, it is estimated that an abnormal camera shake has occurred. Since an image cannot be obtained, the exposure operation of the main photographing F2 is interrupted and a warning to that effect is displayed in the infender screen of the EVF 4 (# 35). As a result, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded on the memory card MC, and the recording efficiency is also reduced. I will not let you.
[0116]
On the other hand, the correlation function is 0.5Is smaller (NO at # 25)The movement amount (x2, y2) of the calculation image MF3 with respect to the calculation image MF2 is calculated using the G color component data by the same method as described above (# 27). When the movement amount (x2, y2) is calculated, it is determined whether the correlation function for the movement amount (x2, y2) is 0.5 or more (# 29), and the correlation function is 0.5.If it is above (YES in # 29)Since the calculation image MF2 and the calculation image MF3 do not match, that is, it is estimated that an abnormal camera shake has occurred, the process shifts to step # 35 and the shooting of the main shooting F2 is interrupted. , A warning to that effect is displayed in the infender screen of EVF4.
[0117]
On the other hand, the correlation function is 0.5Is smaller (NO at # 29)From the timings and movement amounts (x1, y1), (x2, y2) of the main photographing Q1, Q2 and thinned photographing MQ1, MQ2, MQ3, the movement amount (x, y) is calculated (# 31).
[0118]
Specifically, for example, in the case of the movement amount x, the relationship between the timings T1, T2, T3 of the thinned-out photographing MQ1, MQ2, MQ3 and the movement amounts x1, x2 is as shown in FIG. From these, relative positions P1, P2, and P3 in the x direction at timings T1, T2, and T3 can be determined. Accordingly, since the movement amount curve N (T) in the x direction can be approximated using these three points P1 to P3, the main photographing Q1 and the timings T4 and T5 of the main photographing Q1 and Q2 can be approximated from the approximate curve N (T). The movement amount x in the x direction with respect to the main photographing Q2 is calculated by x = N (T5) −N (T4). Note that the movement amount y is also calculated by the same method.
[0119]
Then, the movement amount (x, y) is multiplied by 8 to calculate the movement amount (X = 8x, Y = 8y) of the actual captured image B with respect to the actual captured image A (# 33), and the process is terminated. Note that the movement amount (x, y) is multiplied by 8 because the size of the calculation images MF1 to MF3 is 1/8 of the main captured images A and B. The amount (x, y) is converted into a movement amount (X, Y) at the size of the actual captured image.
[0120]
Returning to FIG. 9, when the main photographing Q2 is completed, the photographing standby state is set, the CCD driving mode is switched to the draft mode, the live view image is captured by the CCD 102a, and is displayed on the EVF 4.
[0121]
Further, when the main photographing Q2 is normally performed, predetermined signal processing is performed on the main photographed images A and B photographed in the main photographing Q1 and Q2, respectively, and then the registration is performed according to the flowchart shown in FIG. The processing is performed (# 41, # 43), and a predetermined image composition process is performed to create a blur adjustment image (# 45, # 47, # 49), and the blur adjustment image is stored in the memory card MC. It is recorded (# 51).
[0122]
The registration processing of the captured images A and B is also performed using the data of the G color component. First, the actual captured image B is moved by the movement amount (X, Y) so that the position is shifted by (X, Y) with respect to the actual captured image A as shown in FIG. Then, with the actual captured image A as a reference, the actual captured image B is one pixel pitch, for example, from (X-40) to (X + 40) pixels in the x direction and from (Y-30) to (Y + 30) pixels in the y direction. A correlation function between the actual captured image and the actual captured image B is calculated while being moved, and movement amounts (X1, Y1) in the x and y directions that minimize the correlation function are calculated (# 43).
[0123]
The image composition processing of the main captured images A and B is performed for each of the R, G, and B color components. First, the main captured image B is translated by the movement amount (X1, Y1), as shown in FIG. After the actual captured image A and the image are made to coincide with each other, non-overlapping data (data indicated by hatching) is deleted from the data of the actual captured images A and B, and data for the composition processing is created. (# 47). In the example of FIG. 17, the composition processing data created from the actual captured image A is composed of data at pixel positions in the range of i = 1 to (n−Y1) and j = (X1 + 1) to m. The composition processing data created from the image B is composed of data at pixel positions in the range of i = (Y1 + 1) to n, j = 1 to (m−X1).
[0124]
Then, for example, the data of the pixel positions corresponding to the synthesis processing data of the main photographed images A and B are averaged or weighted averaged to generate the blur adjustment image data. In other words, the composite processing of both the captured images A and B is performed (# 49). In the example of FIG. 17, for the data included in the white portion, a new pixel position address (k, h) (k = 1, 2,... (N−X1), h = 1, 2,. Y1)) is set, and the composite processing data of the actual captured image A is set to DA(k, h), D for the composition processing data of the actual captured image BBIf (k, h), for example, (wA・ DA(k, h) + wB・ DB(k, h)) / 2 to calculate the blur adjustment image data DC(k, h) is created.
[0125]
The data D of this blur adjustment imageC(k, h) is recorded in the memory card MC after being compressed by the JPEG method.
[0126]
FIG. 18 is a time chart showing the photographing operation in the gradation adjustment mode.
[0127]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0128]
As shown in the figure, the basic shooting operation is the same as the shooting operation in the blur adjustment mode. Therefore, here, a part different from the shooting operation in the blur adjustment mode and an operation specific to the gradation adjustment mode will be described.
[0129]
As shown in the waveform diagram of the exposure operation in FIG. 18, in this embodiment, thinning imaging is performed only twice. The first thinned-out photographing MQ1 is performed between the main photographing Q1 and Q2, and the second thinning-out photographing MQ1 is performed immediately after the end of the main photographing Q2. For this reason, the movement amount (X, Y) is calculated after the second main photographing Q2 is completed and the photographing standby state is entered. Further, in the gradation adjustment mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (see the movement R1 of the focus lens in FIG. 18). After that, the focal position is fixed.
[0130]
In special shooting modes such as the bokeh adjustment mode, gradation adjustment mode, and super-resolution mode, shorten the distance between the main shooting Q1 and the main shooting Q2 as much as possible to reduce camera shake between the two main shootings. However, since the focus lens is intentionally moved between the main photographing Q1 and the main photographing Q2 in the blur adjustment mode, the second main photographing Q2 cannot be performed until the movement of the focusing lens is completed. . Therefore, it is necessary to provide a certain interval between the two main photographing, and the positional deviation of the main photographing is predicted by performing the thinning photographing three times by effectively using this period. However, since there is no such limitation in the gradation adjustment mode, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, only the first thinned-out shooting MQ1 is performed, and the second shooting immediately after the main shooting Q2. Thinning-out photography MQ2 is performed. Further, the main photographing Q1, the thinned-out photographing MQ1, and the main photographing Q2 are performed at equal intervals.
[0131]
The plural thinned-out photographs MQ1, MQ2,... Before and after the main photographing Q1, Q2 are for reducing the burden of registration processing of the main photographed images A, B. Therefore, the thinned-out photographing MQ1. , MQ2 are performed immediately after the main photographing Q1 and Q2, respectively, in order to make the accuracy of the movement amount (X, Y) calculated using the calculation images MF1 and MF2 obtained by MQ2 as high as possible. It is good to do. In this embodiment, the thinned-out photographing MQ1 and Q2 are performed immediately after the main photographing Q1 and Q2, respectively. However, the thinned-out photographing MQ1 and Q2 are performed immediately before the main photographing Q1 and Q2, respectively. Good.
[0132]
In the present embodiment, in order to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible, the above-described change determination process of the photographing conditions is not performed between the main photographing Q1 and the main photographing Q2. Processing may be performed. Further, in this embodiment, thinning-out photographing is performed only twice, but it may be performed three or more times.
[0133]
The image synthesis process in the gradation adjustment mode is also performed in the same manner as the image number synthesis process in the blur adjustment mode described above. That is, after registration processing is performed on the captured images A and B, data for synthesis processing is created, and the data of pixel positions corresponding to the data for synthesis is averaged or weighted averaged, for example. Data of the adjustment image is created.
[0134]
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
[0135]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0136]
As shown in the figure, the shooting operation in the super-resolution mode is basically the same as the shooting operation in the blur adjustment mode. Therefore, here, a different part from the shooting operation in the blur adjustment mode and an operation specific to the super-resolution mode will be described.
[0137]
As shown in the waveform diagram of the exposure operation in FIG. 19, in the present embodiment, thinning-out photographing is performed twice between the main photographing Q1 and Q2. Even in the super-resolution mode, in order to minimize the photographing operation from the main photographing Q1 to the main photographing Q2, the main photographing Q1, the thinned photographing MQ1, the thinned photographing MQ2, and the main photographing Q2 are performed at equal intervals. In this embodiment, since the thinned-out photographs MQ1 and MQ2 are performed between the main photographing Q1 and Q2, the movement amount (X, Y) is calculated during the second main photographing Q2 exposure operation. Yes.
[0138]
The same exposure process can be performed in the gradation adjustment mode. On the other hand, there is no restriction that a certain period must be provided between the main shooting Q1 and the main shooting Q2 even in the super gradation mode. Therefore, the modification example regarding the timing and number of times of thinning shooting described in the gradation adjustment mode. It can be applied to the super-resolution mode.
[0139]
Further, in this embodiment, the thinned-out photographing is performed only twice between the main photographing Q1 and Q2, but the third thinning-out photographing may be performed immediately after the second main photographing Q2. In this way, since the number of data for the movement amount calculation increases, the calculation accuracy of the movement amount is improved. Therefore, as a mode of thinning-out shooting, two times between the main shootings Q1 and Q2 are set as a basic mode of thinning-out shooting once, immediately after the main shooting Q1, and immediately before or after the main shooting Q2. A mode in which thinning shooting is performed more than once, a mode in which thinning shooting is performed twice or more between main shooting Q1 and Q2, and at least one thinning shooting is performed immediately after main shooting Q2, is considered special shooting. An appropriate shooting mode can be selected as appropriate in accordance with the contents of the mode.
[0140]
Even in the super-resolution mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (refer to the focus lens movement R1 in FIG. 19). Thereafter, the focal position is fixed.
[0141]
Also in this embodiment, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, the above-described shooting condition change determination process is not performed between the main shooting Q1 and the main shooting Q2. You may make it perform.
[0142]
The image composition process in the super-resolution mode is different from the image number composition process in the above-described blur adjustment mode and gradation adjustment mode.
[0143]
Here, the contents of the super-resolution processing will be briefly described with reference to FIG. For convenience of explanation, one-dimensional image data will be described.
[0144]
When a photographer holds a camera and performs a shutter operation on a subject, two photographed images obtained by performing two consecutive exposure operations usually have the photographer completely stopped. Therefore, the shooting position with respect to the subject is slightly displaced from each other due to minute camera shake.
[0145]
In the super-resolution processing, the first actual captured image A and the second actual captured image A are interpolated, and both the captured actual images A and B are aligned and combined, thereby achieving a high resolution. A fine image is obtained.
[0146]
That is, the image data of the first actual captured image A is shown in FIG. 20A, the image data of the second actual captured image B is shown in FIG. 20B, and the second actual captured image B is the first actual captured image B. Assume that the shooting position of the subject with respect to the shot image B is shifted to the right by Δx. 20 (a) and 20 (b), the curve P indicates the luminance characteristics of the subject, a (1), a (2),... And b (1), b (2),. (1), C (2),... And D (1), D (2),. C (1) ′, C (2) ′,... Are interpolated between the pixel positions a (1), a (2),... Using the light reception levels C (1), C (2),. D (1) ′, D (2) ′,... Of the pixel positions b (1), b (2),... Using the received light levels D (1), D (2),. It is the level which interpolated between.
[0147]
As shown in FIGS. 20A and 20B, the light receiving position of each pixel in the first actual captured image A with respect to the subject is different from the light receiving position of each pixel in the second actual captured image B. Thus, image data at twice the pixel position from the image sensor can be obtained from the image data of both the captured images A and B.
[0148]
Therefore, as shown in FIG. 3C, the first actual captured image A and the second actual captured image B are aligned, and the two image data are simply combined to match the pixel density of the image sensor. Thus, image data having twice the pixel density is obtained.
[0149]
In the present embodiment, since the shift of the light receiving position of the image sensor with respect to the subject due to camera shake is used, the shift amount Δx between the pixel position a (i) and the pixel position b (i) is not constant, Since the pixel position b (i) is not necessarily located between the pixel position a (i) and the pixel position a (i + 1), if the shift amount Δx is very small, the two image images A and B There is a possibility that the alignment cannot be performed with sufficient accuracy.
[0150]
Therefore, in order to improve this, in the present embodiment, the image data of the first actual captured image A and the image data of the second actual captured image B are interpolated and then combined. By doing so, as shown in FIG. 20C, the image data C (i) ′ and D (i) ′ are placed between the pixel position b (i) and the pixel position a (i + 1). Interpolation is performed and the two main captured images A and B are aligned with high accuracy, so that an image with high resolution can be obtained.
[0151]
Therefore, in the image composition processing in the super-resolution mode, the registration processing is performed after increasing the number of data for each of the main captured images A and B by a predetermined interpolation processing. Then, composite processing data is created from both the captured images A and B, and data of pixel positions corresponding to the composite processing data is averaged to create super-resolution image data.
[0152]
As described above, in the digital still camera 1 according to the present embodiment, in the special shooting modes such as the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, the shutter button 6 is fully pressed and the release is instructed. Then, the main shootings Q1 and Q2 are performed twice in succession. At least two shots MQ1 and MQ2 are performed at least twice before and after the main shootings Q1 and Q2, and at least two images obtained by the thinning shooting are performed. Since the misalignment amount (X, Y) between the actual captured images A and B is calculated using the calculation image, the actual captured images A and B are aligned and a predetermined image composition is performed. The processing load of the alignment processing is reduced, and the processing time can be shortened.
[0153]
In the above embodiment, the thinning-out photographing is performed only three times at the maximum continuously. However, as shown in FIG. 21, the thinning-out photographing may be performed four times or more continuously. As shown in the figure, when the second thinned-out photographing MQ2 is completed, the positional deviation amount between the main-captured images A and B immediately using the two calculation images obtained by the thinned-out photographing MQ1 and MQ2 ( X, Y) may be performed. In this way, the positional deviation amount (X, Y) can be calculated quickly.
[0154]
In the above embodiment, the calculation images MF1, MF2,... Are taken separately from the main captured images A and B. However, as shown in FIG. 22, the first main captured image A is calculated as the calculation image MF1. You may make it use as. In the example of FIG. 22, the exposure operation for the actual captured image A is made shorter than the normal exposure time, while the underexposure due to this is corrected by level adjustment in signal processing, and this actual captured image is processed in the processing period C2 ′. The calculation image MF1 is acquired by thinning out the data of A. Then, during the exposure period of the main photographing Q2, the movement amount (X, Y) is calculated using the calculation image MF1 and the calculation image MF2 photographed by the thinning-out photographing MQ2. In this way, since the thinned-out photographing MQ1 can be omitted, the interval between the main photographing Q1 and the main photographing Q2 can be further narrowed, and the positional deviation amount (X, Y) between the main photographing images A and B can be reduced. There are advantages that can be done.
[0155]
Further, in the digital still camera 1 according to the present embodiment, the movement amount calculation is performed during the exposure period of the second main shooting Q2, and when the positional deviation amount between the main shooting images A and B is large according to the calculation result, Since the main photographing Q2 is interrupted and the EVF 4 is warned to that effect, the thinned photographing MQ1 and MQ2 are performed between the main photographing Q1 and the main photographing Q2, and the image obtained by the thinning photographing is obtained. It is used to determine whether or not shooting conditions such as subject brightness, subject distance and light source color balance have changed between the main shooting Q1 and the main shooting Q2, and when the shooting conditions have changed according to the determination result, Since the main shooting Q2 is stopped and the EVF 4 is warned to that effect, the shooting that is substantially failed shooting is stopped and the processing efficiency of the shooting operation is not reduced. Further, image data having no composite value is not recorded on the memory card MC, and a decrease in recording efficiency can be prevented.
[0156]
Although the present embodiment has been described for the case of capturing two captured images in succession, the present invention can also be applied to the case of capturing three or more captured images. Further, in the present embodiment, a change in shooting condition is detected using a plurality of images obtained by thinning-out shooting MQ. However, when thinning-out shooting MQ is not performed, the actual shooting image itself is used. For example, a change in photographing condition may be detected (for example, using an image obtained by thinning out the data of the actual photographed image to reduce the image size).
[0157]
【The invention's effect】
As described above, according to the present invention, the same subject is continuously photographed at least twice, and image mutual alignment processing and predetermined processing are performed on at least two photographed images obtained by the photographing. In the digital still camera capable of creating one image by performing the above-mentioned composite calculation processing, it is determined whether or not the shooting conditions have changed between the exposure operations for obtaining two shot images, and the shooting conditions Since the user is warned if the change has occurred, the user can prevent the efficiency of the photographing process from being lowered by canceling useless image composition processing after photographing by the warning.
[0158]
Further, if the shooting conditions are changed, the subsequent exposure operation is prohibited, so that useless shooting is prevented and the reduction in efficiency of the shooting process can be surely prevented.
[Brief description of the drawings]
FIG. 1 is a front view of a camera body of a digital still camera according to the present invention.
FIG. 2 is a diagram showing an arrangement of main members of the digital still camera.
FIG. 3 is a right side view showing an arrangement of main members built in the digital still camera.
FIG. 4 is a rear view of the digital still camera.
FIG. 5 is a diagram illustrating a configuration of an imaging surface of a color imaging element.
FIG. 6 is a diagram for explaining a method of selecting a shooting mode.
FIG. 7 is a block diagram showing an internal configuration of a digital still camera.
FIG. 8 is a diagram illustrating a method of recording an image file on a memory card.
FIG. 9 is a time chart showing a shooting operation in a blur adjustment mode.
FIG. 10 is a block configuration diagram showing an internal configuration of another digital still camera in which an ND filter is detachably provided between a lens and a CCD.
FIG. 11 is a flowchart illustrating a process for determining a change in shooting condition between two main captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 12 is a flowchart showing a process of calculating a movement amount between two actual captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 13 is a diagram illustrating an example of an amount of movement between three calculation images.
FIG. 14 is a diagram for explaining a method of calculating a movement amount between two actual captured images from each timing of three thinning shootings and a movement amount between images obtained by each thinning shooting; is there.
FIG. 15 is a flowchart illustrating a processing procedure for synthesizing two main captured images to create a blur adjustment image.
FIG. 16 is a diagram illustrating an initial state of a registration process for a real captured image.
FIG. 17 is a diagram for explaining a method of creating data for image composition processing from data of two main captured images after registration processing.
FIG. 18 is a time chart showing a photographing operation in the gradation adjustment mode.
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
FIG. 20 is a diagram for explaining super-resolution processing.
FIG. 21 is a time chart showing another aspect of thinning shooting.
FIG. 22 is a time chart showing an aspect of thinned-out photography in which the first actual photography is also used as the first thinned-out photography.
FIG. 23 is a diagram showing how the camera angle changes when the exposure operation is continuously performed.
[Explanation of symbols]
1 Digital still camera
101 lens
102 Imaging unit
102a CCD (imaging means)
103 Signal processor
104 Light emission controller
105 Lens control unit
106 Display section
107 Operation unit
108 Card I / F
108 Overall control unit (discriminating means)
108a ROM
108b RAM
108c Exposure value calculator
108d Display control unit
108e Recording control unit
108f Playback control unit
108g Special exposure control unit (exposure control means, exposure prohibition means)
108h Image processing unit (image composition means)
109 card interface
110 Communication interface
2 Camera body
205 color image sensor
206 Shutter button
207 Display section (warning means)
208 Power switch
209 Quad switch
210 Switch group
3 interchangeable lenses
4 Electronic viewfinder (warning means)
5 Flash
MC memory card

Claims (7)

被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の輝度差が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の輝度差が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at Determining means for determining whether or not the luminance difference between the images has changed to a predetermined threshold value or more, and warning means for warning if the determining means determines that the luminance difference between the captured images has changed to a predetermined threshold value or more. And a digital still camera. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された撮影画像を記録媒体に記録する記録手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備え、画像合成処理に関するモードにおいて、当該画像合成手段により合成された上記１の画像のみをメモリカードに記録するデジタルスチルカメラにおいて、上記画像合成処理に関するモードにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止すると共に、合成価値のない画像をメモリカードに記録することを禁止する禁止手段とを備えたことを特徴とするデジタルスチルカメラ。Imaging means for photoelectrically converting a subject light image into an image signal and outputting; exposure control means for performing exposure operation of the imaging means on the same subject at least twice consecutively; and exposure control by the exposure control means different in recording means for recording the images picked up on the recording medium, and the photographed image by using at least two images captured by the exposure control by the upper Symbol exposure control means performs a predetermined composite operation An image synthesizing unit that creates one image having image quality, and a digital still camera that records only the one image synthesized by the image synthesizing unit in a memory card in a mode related to image synthesizing processing. A determination means for determining whether or not the shooting condition has changed to a predetermined threshold value or more between the captured images in the processing-related mode; When photographing condition by another means is determined to have changed more than a predetermined threshold value, thereby prohibiting subsequent exposure operation for taking in the captured image, to record an image without combining values in the memory card ban A digital still camera comprising a prohibiting means. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の輝度差が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の輝度差が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at Determining means for determining whether or not the luminance difference between the images has changed to a predetermined threshold value or more, and when the determining means determines that the luminance difference between the captured images has changed to a predetermined threshold value or more, the subsequent book A digital still camera comprising: an exposure prohibiting unit that prohibits an exposure operation for capturing a photographed image. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of deviation of the focal position between the images has changed to a predetermined threshold value or more, and the determination unit determines that the amount of deviation of the focal position between the captured images has changed to a predetermined threshold value or more. And a digital still camera that includes an exposure prohibiting unit that prohibits an exposure operation for capturing the actual captured image thereafter. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の色バランスのずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の色バランスのずれ量が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of color balance deviation between the images has changed to a predetermined threshold value or more; And a digital still camera that includes an exposure prohibiting unit that prohibits an exposure operation for capturing the actual captured image thereafter. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of deviation of the focal position between the images has changed to a predetermined threshold value or more; And a digital still camera comprising warning means for warning. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の色バランスのずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の色バランスのずれ量が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of color balance deviation between the images has changed to a predetermined threshold value or more; And a digital still camera comprising warning means for warning.
JP2000301451A 2000-09-29 2000-09-29 Digital still camera Expired - Fee Related JP3727841B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000301451A JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000301451A JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Publications (2)

Publication Number Publication Date
JP2002112075A JP2002112075A (en) 2002-04-12
JP3727841B2 true JP3727841B2 (en) 2005-12-21

Family

ID=18782988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000301451A Expired - Fee Related JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Country Status (1)

Country Link
JP (1) JP3727841B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5011504B2 (en) * 2005-07-22 2012-08-29 カシオ計算機株式会社 Image composition apparatus, image composition method, and program
JP4818031B2 (en) * 2005-10-27 2011-11-16 キヤノン株式会社 Image processing apparatus and image processing method
KR101446941B1 (en) * 2007-12-10 2014-10-06 삼성전자주식회사 Apparatus and method for storing image when the image is speedly captured
JPWO2012033005A1 (en) * 2010-09-08 2014-01-20 日本電気株式会社 Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP2002112075A (en) 2002-04-12

Similar Documents

Publication Publication Date Title
JP3395770B2 (en) Digital still camera
JP4904108B2 (en) Imaging apparatus and image display control method
JP2001177741A (en) Electronic camera and display system
JP2005269562A (en) Photographing apparatus
JP2008182485A (en) Photographing device and photographing method
JP2009147730A (en) Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program
JP2008180906A (en) Photographing device and focusing control method
JP2008028960A (en) Photographing apparatus and exposure control method
JP2002112008A (en) Image processing system and recording medium recording image processing program
JP3859131B2 (en) Digital camera
JP4189820B2 (en) Imaging apparatus and image recording method
JP2007235640A (en) Photographing device and method
JP3444281B2 (en) IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD
JP4033456B2 (en) Digital camera
JP2004023747A (en) Electronic camera
JP4049291B2 (en) Digital still camera
JP2003051979A (en) Electronic camera provided with image processing function and a computer-readable recording medium recording program enabling the electronic camera to realize the image processing function
JP3601500B2 (en) Digital camera
JP2000307941A (en) Digital camera
JP2002209125A (en) Digital camera
JP3727841B2 (en) Digital still camera
JP4013026B2 (en) Electronic camera and image display method during automatic focus adjustment
JP2008005248A (en) Imaging apparatus
JP3843689B2 (en) Digital camera
JP3395769B2 (en) Digital still camera

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030401

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20041217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041224

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050929

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121007

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131007

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees