以下、本発明の実施の形態を図面を参照して説明する。
[本発明の概要] (撮影条件の組合せを変えて高速連写) 図1は、本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
図1に示すように、電子カメラは、操作入力部11、制御部13、ズームレンズ/フォーカスレンズ駆動部15、絞り/シャッタ駆動部16、ストロボ駆動部17、ストロボ18、角速度センサ/加速度センサ19、手ブレ/振動検出部20、受光センサ/AFセンサ21、測光/測距/AF検出部22、光学系23、イメージセンサ25、バッファメモリ部29、画像符号化/復号化部31、画像記録/入出力部33、画像メモリ媒体35、表示部37、表示制御部39から構成されている。
詳しくは、制御部13は、撮影モード/撮影シーンの選択部13a、シーン別撮影プログラム13b、撮影条件113c1、撮影条件n13cn、複数撮影条件の組合せ/連写枚数の設定部13d、撮影条件の組合せ設定データ13e、撮影条件の頻度統計データ13f、撮影条件13g、撮影制御部13h、通常の撮影制御部13h1、高速連写撮影制御部13h2、マルチ条件による連写撮影部13h3、画像評価制御部13i、画像記録/入出力制御部13jから構成されている。
詳しくは、撮影モード/撮影シーンの選択部13aは、操作入力部の操作に従って、表示された複数のシーンの名称および見本画像の中から、撮影しようとする撮影シーンを選択する。
複数撮影条件の組合せ/連写枚数の設定部13d、撮影条件の組合せ設定データ13eから読み出した設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。複数撮影条件の組合せ/連写枚数の設定部13dは、測光/測距/AF検出部22からの計測信号に応じて、撮影条件の撮影条件の組合せ設定データ13eから撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
また、複数撮影条件の組合せ/連写枚数の設定部13dは、連続撮影の合計枚数を設定する。さらに、複数撮影条件の組合せ/連写枚数の設定部13dは、撮影条件の設定データ記憶手段から読み出された撮影条件の設定値の組合せ毎の配分割合の設定データに従って、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の組合せ毎の撮影枚数を配分設定する。
複数撮影条件の組合せ/連写枚数の設定部13dは、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の分散度を設定する。複数撮影条件の組合せ/連写枚数の設定部13dは、設定された分散度に応じて、撮影条件の設定値の分散範囲を増減し、増減された分散範囲において、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。
複数撮影条件の組合せ/連写枚数の設定部13dは、撮影条件の頻度統計データ13fから、頻度データに基づく撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
複数撮影条件の組合せ/連写枚数の設定部13dは、設定データに従って、露出補正条件、または、ホワイトバランス設定条件、ストロボ発光条件、AF(自動合焦)条件、被写界深度条件などの撮影条件のうち、いずれかの撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
撮影条件の組合せ設定データ13eは、高速度撮影モードまたは連続撮影モードに関連して、撮影条件の設定値の組合せを設定するための設定データを予め複数組記憶する。撮影条件の組合せ設定データ13eには、複数のシーン別に撮影条件の設定値の組合せを設定するための設定データを記憶する。また、撮影条件の組合せ設定データ13eには、撮影モード/撮影シーンの選択部13aにより選択された撮影シーンに応じて、撮影条件の組合せ設定データ13eから対応するシーンの撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
撮影条件の頻度統計データ13fは、撮影条件の頻度データまたは統計データを予め記憶し、撮影条件の頻度データに基づいて撮影条件の設定値の組合せを設定するための設定データを記憶する。
高速連写撮影制御部13h2は、高速度撮影モードまたは連続撮影モードに関連して、複数撮影条件の組合せ/連写枚数の設定部13dにより設定された複数の設定値の組合せの中から、操作に応じて順次設定値の組合せを選択して当該組合せを撮影条件とし、設定された組合せ毎の撮影枚数ずつ撮影動作を繰り返し実行するよう制御する。
測光/測距/AF検出部22は、受光センサ/AFセンサ21からの検出信号に基づいて、外部光や被写体光の輝度または照度を計測するとともに被写体までの距離を計測する。表示部37は、撮影シーンの名称および見本画像を表示する。
イメージセンサ25は、光学系により結像された被写体像を撮像して撮像信号を出力する。イメージセンサ25は、入力された制御信号に応じて、有効撮像領域中の全領域の画素の撮像信号を読出す全画素読出しモードと、制御信号に応じて、有効撮像領域中の選択された部分領域の画素の撮像信号を選択して読出す選択読出しモードと、制御信号に応じて、全領域または選択された部分領域の水平および/または垂直方向の複数の画素の撮像信号を加算して読出す加算読出しモードと、制御信号に応じて、全領域または選択された部分領域の画素の撮像信号を加算せずに読み出す加算なし読出しモードとを備え、撮像信号の出力回路に設けられた並列/直列変換回路を備え、読み出された撮像信号を、並列/直列変換回路により直列信号に変換された直列デジタル信号として信号処理部27へ高速出力する。
表示制御部39は、連続撮影された複数の画像、または、その縮小画像(サムネイル画像)を、当該画像の撮影時の複数の撮影条件の組合せ別に、または、所定の撮影条件の設定値別に、配列して表示部37に再生表示するよう制御する。表示制御部39は、連続撮影された複数の画像の画質を、画像評価処理部27hにより順次評価するとともに、連続撮影された複数の画像、または、その縮小画像(サムネイル画像)を、当該画像の所定の画質の評価値の優劣または大小に基づいて選択し、選択された複数の画像を配列して画像表示手段に再生表示するよう制御する。
画像記録/入出力部33は、操作入力部11の操作に従って、表示部37に表示された画像の中から選択された画像の画像データを符号化して、画像メモリ媒体35に保存記録するように制御する。画像記録/入出力部33は、画質の評価値の優劣または大小に基づいて選択された所定数の画像、または、操作入力部の操作に従って選択された画像のうち、いずれかの画像データを符号化してメモリ媒体に保存記録するように制御する。
信号処理部27は、イメージセンサ25から高速読み出しした画像データを内部に設けられた画像メモリ部に高速書込みし、高速符号化処理を行うため、撮影タイミングを制御する撮像素子コントローラ、S/P変換部、複数のフレームメモリからなる画像メモリ部、画像信号処理部、画像補正処理部、画像特徴の抽出部、画像認識処理部、撮影された画像の所定の画質特性を評価して画質の評価値を出力する画像評価処理部から構成されている。
図1において、並列読出しして高速読出しが可能なCMOSからなるイメージセンサ25と、イメージセンサ25から高速読み出しした画像データを高速書込み可能な画像メモリ部27cを含み、高速符号化処理が可能なDSPからなる信号処理部27とを用いて、高速度で連写撮影または動画撮影などを行う。
1回のレリーズ操作による撮影において、複数の撮影条件の組合せを少しずつ変えながら複数枚の画像を高速度で連写して、略同じタイミングの被写体を異なる撮影条件の組合せで多数枚撮影して、写りや画質のよい画像や所望の画像を容易に記録できるようにするものである。
また、複数の中から所望シーンまたはその見本画像を選択すると、選択されたシーン毎に設定された設定値に応じて、撮影時の撮影速度(連写撮影間隔)や、連写撮影コマ数、撮影画像サイズ(画素数)などを、選択されたシーンの高速連写に最適となるように自動的に設定して、高速撮影動作を制御するようにしてもよい。
また、20枚〜300枚/秒など高速で連写されるので、1回の撮影でも撮影枚数も多くなるので、膨大なメモリを一度に消耗することになり、不要な画像を多数保存してメモリが一杯になり削除するのも手間がかかる。
そのため、撮影された画像の画質を評価する画像評価処理部27hやシーン別撮影プログラムを設けて、撮影条件をそれぞれ変えながら連写された複数枚の画像の中から、「ベスト3」や「ベスト10」、「撮影条件別や画質項目別のベスト3」など、評価値の大小に従って選択された画像を、記録候補として表示部37に表示して、選択された画像、または、その中からユーザ操作により選択された画像を画像メモリ媒体35に保存記録するように構成する。
[発明の要点1] 図1に示すように、高速動作が可能なCMOSイメージセンサなど、多数枚の超高速連写機能を利用して、1度のレリーズ操作によるスチル撮影においても、複数の撮影条件の組合せを少しずつ変えながら、(項目Aの複数Lの撮影条件)×(項目Bの複数mの撮影条件)×(項目Cの複数nの撮影条件)・・・、即ち、L×m×n×・・・・枚の画像を高速度で連続撮影して記録できるようにする。
また、連続撮影した画像の中から、所望の画像を選択して、選択された画像のみを画像メモリ媒体35に保存記録できるようにする。さらに、同じ条件でそれぞれ複数枚pずつ繰り返し撮影して、L×m×n×・・・・×p枚の画像を連続撮影できるようにしてもよい。
その際、選択された撮影モードや撮影シーンに応じて、また、撮影条件毎の割合や分布の設定データ、または、被写体輝度値などの計測値や被写体の状況に基づいて、撮影条件の組合せや分散させる範囲、組合せ毎の配分割合や撮影枚(コマ)数を自動的に設定して、組合せ毎にそれぞれ設定された枚数ずつ高速連写できるようにしたことで、従来例との違いを明かにする。
[発明の要点2] また、実際の撮影条件の頻度データなどの統計データに基づいて、撮影条件の組合せや組合せ毎の配分割合や撮影枚数を変えるようにする。
[発明の要点3] 上記撮影条件の組合せ毎の撮影割合や撮影枚数の配分を、連写撮影する合計枚数(N)や、選択された撮影シーンや所定の撮影条件に応じて、自動的に増減したり、撮影条件の分散度などを変えたりするように制御する。
[発明の要点4] 上記マルチ条件で連写する際、撮影された複数枚、L×m×n・・・枚の画像を、L×m枚、m×n枚、・・・など、撮影条件の組合せ別に並べて表示して、撮影条件が異なる画像同士を比較して、ユーザが気に入った画像や、写りのよい画像を操作により選択して記録できるようにする。
[発明の要点5] 撮影された画像の画質を評価する画像評価処理部27hやプログラムを設けて、撮影条件を変えながら連写された画像の中から、自動的に「ベスト3」や「ベスト10」、「撮影条件別や画質項目別のベスト3」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示して、選択された画像を保存記録する。
写りや画質の良い画像の評価方法、自動選択方法としては、例えば、(a)適正露出条件に近い画像、(b)輝度ヒストグラム分布やRGB別ヒストグラムの分布範囲が広い画像、白飛びや黒つぶれ領域の少ない輝度分布特性の画像、(c)画像の周波数成分、フーリエ変換の変換係数など、空間周波数特性の特徴量から、解像度やコントラストが高い画像、ブレやボケの少ない画像などの画質を評価する。あるいは、(d)赤眼や、眼がつぶった人物像、ハレーションや反射が多い画像、逆光で撮影された画像、ブレ、ボケが目立つ画像などを検出や評価して、失敗画像や劣化画像と判断される画像を優先的に候補から落として、残りの画像からユーザ操作に応じて選択する、…等の方法を用いればよい。また、評価方法を複数の中からユーザが選択できるようにしても良い。
[第1の実施形態] 図2は、本発明の第1の実施形態に係る高速度カメラの全体構成を示すブロック図である。
図2に示すように、高速度カメラは、操作入力部51、制御回路53、シャッタ駆動部55、絞り駆動部56、ズームレンズ駆動部57、焦点レンズ駆動部58、撮影光学系(ズームレンズ)59、ストロボ駆動回路60、ストロボ61、測光/測距センサ62、検出回路63、角速度センサ(Y/Pitch)64、検出回路65、角速度センサ(X/Yaw)66、検出回路67、HDD記憶装置68、プログラム・メモリ69、データ・メモリ70、画像メモリ媒体71、撮像素子73、DSP部75、バッファメモリ(B)77、画像CODEC(符号器/復号器)79、動画像CODEC(符号器/復号器)81、表示駆動回路83、画像表示部85から構成されている。
制御回路53は、入出力ポート53a、入出力ポート53b、HDD・IF53c、インタフェース53d、入力回路53e、メモリカード・IF53f、CPU53gから構成されている。
DSP部75は、コントローラ75a、S/P変換回路75b、バッファメモリ(A)75c、WB補正回路75d、画素補間/リサイズ回路75e、カラー補間回路75f、輪郭補正回路75g、ガンマ補正回路75h、マトリクス回路75i、画像特徴処理部75j、画像認識処理部75k、画像評価処理部75mから構成されている。
以下、図2を参照して、高速度カメラの動作を簡単に説明する。
撮影光学系59により撮像面に結像された被写体像は、CCDやCMOSイメージセンサなどからなる撮像素子73により光電変換されて、スルー画像や撮影画像の撮像信号としてDSP(デジタル信号処理回路)部75へ出力され、DSP部75に設けられた複数のフレームメモリ等を備えたバッファメモリ(A)75c等に入力されて信号処理された後に、撮像画像の画素毎の輝度値、色差値のデジタル信号として出力され、バッファメモリ(B)77等に一時記憶される。
操作入力部51に設けられたレリーズボタン(図示しない)が押されて静止画の撮影指示が制御回路53に入力されると、設定撮影条件に基づいて露出動作および撮影動作を行い、スルー画像とは異なるスチル記録用の高解像度の被写体像の撮像信号を撮像素子73で撮像して、DSP部75で信号処理された画像データを画像CODEC(Coder&Decoder、符号器/復号器)79により、JPEG規格等に準じた圧縮符号化画像データ、または、RAWデータなど非圧縮の符号化画像データに符号化され、内蔵メモリまたはフラッシュメモリカードなどのメモリ媒体からなるデータ・メモリ70、または、小型のHDD記憶装置(Hard Disk Drive:ハードディスク記録装置)68等に、EXIF JPEGなどのファイル形式で記録される。
連写撮影の場合も、上記スチル撮影を高速で繰り返し行い、撮像素子73から高速度で読出した撮像信号をDSP部75などに高速で出力する。このときも同様に、データ・メモリ70、または、HDD記憶装置68に符号化画像データを記憶する。
動画撮影の場合も同様に、被写体像の撮像信号を撮像素子73で撮像して、DSP部75で信号処理された画像データを動画像CODEC符号器/復号器)81により、MPEG4やH.264/AVCなどの圧縮符号化方式に対応したて圧縮符号化され、AVIやMP4などのファイル形式で、データ・メモリ70やHDD記憶装置68などに記録される。
なお、データ・メモリ70やHDD記憶装置68などに記録された画像データファイルは、画像メモリ媒体、または、USBインターフェース(図示しない)など外部入出力インタフェースを介して、パーソナルコンピュータやプリンタに転送することができ、パーソナルコンピュータ内の大容量のHDD装置に画像データファイルを蓄積記録したり、さらに、CD−RやDVDなどのディスク媒体に保存記録したり、あるいは、撮影画像をモニタに再生表示したり、パーソナルコンピュータ内の画像編集ソフトなどを用いて撮影画像や録画済の映像を編集したり、プリンタで印刷したりすることができる。
[イメージセンサ] 撮像素子73を、従来のようにCCD(Charge Coupled Device:電荷結合素子)イメージセンサで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のCCD転送路によって順繰りに転送され、出力回路で初めてFD(Floating Diffusion)アンプにより信号電圧に増幅されて出力される。CCDから出力された撮像信号は、CDS回路(Correlated Double Sampling:相関二重サンプル回路)でノイズ除去およびサンプル&ホールド処理され、AGC(自動利得制御)アンプで増幅され、ADC(Analog−Digital Converter、A/D変換器)でデジタル撮像信号に変換されて、DSP部75に出力される。
一方、撮像素子73をCMOS(Complementary Metal Oxide Semicomductor:相補型金属‐酸化膜半導体)イメージセンサで構成する場合には、一般的なAPS(Active Pixcel Sensor:増幅型画素センサ)型のCMOSセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。
CCDのように順番に取り出さなくとも、CMOSセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には高速で読み出せる。また、CCDでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、CMOSセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またCMOS LSI等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に、加算演算回路などデジタル論理回路や信号処理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。
反面、上記CMOSセンサでは、画素毎のアンプの閾値など個々の素子バラツキによる固定パターンノイズ(FPN)や暗電流、kTC雑音が大きい難点があったが、最近では、(CCDと同様に)埋め込みフォトダイオードとFDアンプを用いる構造にして、暗電流流とkTC雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたColumn型のCDS/A/D変換回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ(FPN)を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのAD変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。
[高速度イメージセンサ、選択読出しと画素加算、撮像信号の高速出力] 図3は、本発明の第1の実施形態に係る高速度カメラの撮像素子の構成を示すブロック図である。
図3に示すように、撮像素子73は、複数の単位画素回路73a1をから構成されるイメージセンサ部73a、CDS回路73b、A/D変換回路73c、画素加算回路73d、符号器73e、並列/直列変換回路73f、タイミング発生回路73g、垂直走査回路73h、水平走査回路73i、トランスミッタ73jから構成されている。
高速度カメラに採用される撮影素子においては、各カラム回路(列回路)部にCDS/A/D変換回路/画素加算回路を設け、また、デジタル撮像信号をP/S変換回路により並列/直列変換して出力するという構成のCMOSイメージセンサが有効である。
[CDS/A/D変換回路、画素加算回路] 図4は、本発明の第1の実施形態に係る高速度カメラの撮像素子の詳細な構成を示す回路図であり、撮像素子内に設ける画素加算回路の例として、CMOSイメージセンサ内のCDS回路73b、A/D回路73cなど列回路部に画素加算回路を設けた例を示す。
図4に示すように、撮像素子73は、単位画素回路73a1、ADC基準信号(Ramp波形)73n、10ビットカウンタ73p、ラッチ73c1、演算回路73k、ラッチ73k1、ラッチ73k2、ALU73k3、ラッチ73k4、水平走査回路73i、演算回路73m、ラッチ73m1、ラッチ73m2、ALU73m3、ラッチ73m4、符号器73e、並列/直列変換回路73f、トランスミッタ73j、DSP75、P/S変換回路75b、レシーバ75b1を有している。
図4に示すように、高速のCMOSイメージセンサを構成するために、ColumnADC方式の列回路に加算回路と高速転送回路を設けており、本実施形態の高速度カメラに用いる撮像素子73では、任意サイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読出しができるように構成している。
図3、図4に示すように、列回路部に設けられたCDS回路73b、A/D変換回路73cや水平走査回路73iの後段部分に、各画素に隣接する同色フィルタの複数の画素の撮像信号同士をデジタル信号で加算するALU73k3,ALU73m3を演算回路73k,73mを設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読出しできるように構成して、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間や速いシャッタ速度でも露出が良好な撮影ができ、高速レートの動画撮影や連続撮影でも、画像データ量の小さい撮像信号に変換して出力できるようにした。
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部に設けられたCDS回路73b、A/D変換回路73cから水平走査回路73iの列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列デジタル信号として出力するか、または、並列のデジタル信号を符号化し、並列/直列変換回路73fにより並列/直列変換してトランスミッタ73jから、直列のデジタル撮像信号としてDSP部75に出力することで、高解像度の撮像信号を高速フレームレートでDSP部75に転送出力することができる。
[CDS回路、A/D変換回路の動作] 図4に示すように、並列に並んだ列回路に設けるCDS回路、A/D変換回路の具体的構成には、各種方式が開発されているが、本実施形態では、いわゆる「Column ADC方式」のCDS回路73b、A/D変換回路73cを用いて、列毎に並列処理するA/D変換器により、画素の固定パターンノイズ(FPN)を抑圧しながらデジタル信号に変換する。Column ADC方式のCDS回路73bでは、固定パターンノイズを抑圧するために、粗精度と高精度の2段階のクランプ(Clamp)回路を用いる。一般に、クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
図5は、CDS回路、A/D変換回路の動作を説明するためのタイミングチャートである。図5に示すタイミングチャートにおいて、まず、列回路部の反転バッファA1、A2に並列接続されたクランプスイッチS1、S2を第1クランプ期間において同時に閉じてから、クランプスイッチS1を先に開くと、点Vinの電位が、A1の閾値電圧にS1スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、S2は閉じたままなので、その電圧がA2入力の閾値電圧になる。その後、S2を開くと、A2にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。S2スイッチングのバラツキ成分はA2の利得で割った分がVin側のバラツキに還元されるので、Vin側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ(FPN)の発生が抑えられる。
次に、行読出し線(転送ゲート線TG)にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチS4を閉じてサンプリングする。サンプリング完了後、スイッチS3を開いて、A/D変換用のランプ波形(RAMP波形、順次電圧が上昇する傾斜状、階段状の波形)の基準信号をスイッチS4から加えると、ランプ波形に応じてVinの電圧がやがてクランプ回路の閾値を越えてA2の出力が反転し、反転する電圧までの10ビットカウンタ73pの値がデジタルの画素信号値としてラッチ73c1に記憶され、A/D変換処理が終了する。
[画素加算動作] このようなCDS回路73b、A/D変換回路73cを含む列回路の後に、列加算回路(垂直加算回路)などの演算回路73kを設け、行アドレス選択された画素の信号を列信号線から読出し、CDS回路73b、A/D変換回路73cでノイズ除去されデジタル変換されたデジタル並列信号を、ラッチクロック信号でラッチ73k1にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミングのラッチクロック信号で別のラッチ73k2にラッチして、両方のラッチ回路の出力同士を列加算回路を構成するALU73k3でデジタル加算する。
また、水平信号線からの信号出力部に、行加算回路(水平加算回路)などの演算回路73mを設け、列加算された信号同士をラッチクロック信号で選択して水平信号線に読出し、ラッチ73m1,73m2にラッチして、両方のラッチ回路の出力同士を行加算回路を構成するALU73k4でデジタル加算する。
カラー撮像の場合には、例えば、「Bayer配列」等の千鳥状に2画素周期で交互に並んだRGB各色カラーフィルタに対応する各画素から、列方向に(一つ飛ばしで)隣接する同色フィルタの画素同士を、R画素はR画素同士で、G画素はG画素同士で、B画素はB画素同士で、列方向に複数加算し、また、行方向に(一つ飛ばしで)隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
また、加算された撮像信号のデジタル信号は符号器73eにより所定の符号化を行うとともに、並列/直列変換回路73fにより並列/直列変換して順次シリアル(直列)のデジタル信号に変換されてトランスミッタ73jから出力され、DSP部75のレシーバ75b1に転送される。
[その他のCDS回路、A/D変換回路、加算回路] なお、本実施形態においては、CDS回路、A/D変換回路をColumn ADC方式で構成したが、たとえば、単純なColumn CDS方式や、DDS方式(Double Data Sampling)、電荷領域差分方式など、他のCDS回路、A/D変換回路や加算回路で構成しても良い。
例えば、特開2005−278135号公報「固体撮像装置および団体撮像装置の駆動方法」(図示しない)には、積分型ADCを列並列ADC比較器およびアップ/ダウン・カウンタを用いて、CDS回路、A/D変換回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせ、加算器なしで加算演算を行えるようにしたCMOSイメージセンサの構成例が開示されている。本実施形態においても、このような加算回路を用いて画素加算処理を行ってもよい。
[CML、LVDSなどの高速シリアル転送回路] 上述のように、加算された撮像信号のデジタル信号は、並列/直列変換回路73fで順次シリアル(直列)のデジタル信号に変換され、トランスミッタ73jからDSP部75に設けられたレシーバ75b1に転送される。なお、高解像度で高速フレームで撮像するためには、撮像信号を高速でDSP部75に転送する必要がある。
一般のCMOSからなる入出力回路では、入出力信号の振幅は、電源電圧の範囲において一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
例えば、CML系(Current Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、(電圧を振らせるというよりは)電流をon/offさせる方法で、(Vdd−0.4V)の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
また、LVDS系(Low−Voltage Differential Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器や表示装置や、映像信号のデジタル入出力インタフェースとして普及している。
LVDS系では、2本の配線を必要とするが、電流モード・ドライバの採用と、+1.2V電位を中心に0.3Vの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
このように、CMOS回路でも、高速でシリアル伝送できるCML系やLVDS系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路(送信トランスミッタ)から出力して、後段のDSP部75へ高速で伝送し、DSP部75に設けられた入力回路(受信レシーバ)で受信した直列デジタル信号をS/P変換回路75bで並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
[DSP部(デジタル信号処理部)] 撮像素子73がCMOSからなるイメージセンサの場合には、CMOSセンサ内蔵のCDS回路、A/D変換回路でノイズ除去およびデジタル変換され、同じく内蔵の高速出力回路から直列のデジタル信号で転送されたデジタル撮像信号がDSP部75に入力される。
DSP部75は、撮像素子73から直列のデジタル信号で転送されたデジタル撮像信号をS/P変換回路75bで並列デジタル信号に変換し、並列デジタル信号をバッファメモリ(A)75cに順次に記憶するとともに、バッファメモリ(A)75cから読み出した並列デジタル信号をWB補正回路75dに出力する。次いで、WB補正回路75dでホワイトバランス調整やカラーバランス調整を行った後に、撮像素子73の前面に設けられたモザイク状の「Bayer配列」や、千鳥配列されたRGBなどのカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないが、他の色差成分の画素値も、近隣周辺の画素値から画素補間(Pixel Signal Interpolation)して求めて(カラー補間処理)、画素毎にRGB色差成分毎の階調値を持つデジタル画像データに変換される。
また、カラー補間の前に、必要に応じて、画素補間/リサイズ回路75eにより、撮像画像サイズを異なる画像サイズに変換する解像度変換処理(Resolution Conversion)を行う場合もある。
画素補間/リサイズ回路75eでは、例えば、スルー画像や再生画像をファインダや画像モニタに表示する為にVideo RAMや表示ドライバ内の表示RAM領域に書込むために、(VGAサイズなどの)所定の画像サイズ(画素数)に変換するリサイズ(Resize)、または補間処理(Interpolation)を行う。あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズに縮小/拡大する処理や、リサイズ/補間処理または解像度変換処理を行う。
さらに、DSP部75では、ガンマ補正回路75hにより階調補正されたRGB系のデジタル画像信号はバッファメモリ(B)77に一時記憶された後、LCDモニタなど電子ファインダに再生表示されるか、マトリクス回路75iでRGB系からYUV系/YCbCr系など所定の色空間の画像信号に変換され、画像CODEC79により、JPEG静止画像データやMPEG4やH.264動画像データなどに圧縮/符号化処理される。なお、コントローラ75aは、CPU53gにより設定されたデータや撮影条件に応じて、DSP部75内部に設けられたS/P変換回路75b、バッファメモリ(A)75c、WB補正回路75d、画素補間/リサイズ回路75e、カラー補間回路75f、輪郭補正回路75g、ガンマ補正回路75h、マトリクス回路75i、画像特徴処理部75j、画像認識処理部75k、画像評価処理部75mなどの各回路を制御する。
[高速度撮影の撮影速度] 従来の業務用の高速度カメラなどでは、銀塩フィルム時代のフィルム送り機構の制約などから、コマ毎に必要な露出時間の約5倍程度の時間間隔を設けて連続撮影速度やフレーム速度を設定して撮影する場合が多かった。これを基準に、シャッタ係数をα=5程度に設定する場合が多かったが、これは、必ずしも所要の撮影速度から決められたものではなく、フィルム送り機構の制約などから、あるいは、習慣的に決められている場合が多かった。
また、従来のデジタルカメラでは、露出時間は1/1000秒から1/8000秒など微少時間で撮影できるものでも、連写撮影の速度は、CCDなど使用する撮像素子の制約、例えば、撮像電荷を垂直および水平転送路で順に伝送して読み出す原理上、撮像信号の読出しに要する時間や、読出し後の信号処理時間などの制約から、せいぜい3〜8枚/秒程度の連写しかできなかった。
本実施形態のように、撮像信号を高速度で読出し可能な高速度CMOSからなる撮像素子73、および、高速度で信号処理や符号化処理できるDSP部75などを用いた場合にも、撮像信号の読出し時間や信号処理時間による制約は免れないが、従来のCCDなどによるデジタルカメラに比べると数十倍の高速度で読出しや信号処理が可能となるので、所望の動く被写体や微少時間に起こる現象などを、適切な露出条件で、かつ、ブレなく撮影できるような条件を満たしさえすれば、上記のシャッタ係数αのような制約は、任意に設定することも可能となる。
例えば、撮影速度(フレーム速度)R(fps)は、シーン毎に設定された撮影倍率Mや被写体の移動速度Vなどの設定情報に従って、
R=(M×X)/(d×α) (1)
ただし、R:撮影速度(コマ/秒)、M:撮影倍率=イメージサイズ(Y´)/被写体サイズ(Y)、V:被写体の移動速度(mm/秒)、d:許容錯乱円径、α:シャツタ係数(α=1〜5など)、などの計算式から、撮影速度の目安を算出し、それに基づいて撮影速度Rを設定する。
同一シーンでも、操作に応じて、または、所望の作画表現に応じて、ユーザ所望の撮影速度や、撮影時間、画像サイズ、撮影感度、画素加算による感度UPなどの条件を選択できるようにして、その条件を満たした中で、上記の自動設定をしてもよい。
[高速度撮影の必要な露出時間] 例えば、必要な露出時間(T)は、シーン毎に設定された撮影倍率(M)や被写体の移動速度(V)などの設定情報に従って、
T=β×d/(M×V) (2)
ただし、T:露出時間(秒)、d:許容錯乱円径、M:撮影倍率=イメージサイズ(Y´)/被写体サイズ(Y)、V:被写体の移動速度(mm/秒)、β:係数(β=0.2〜1.0)、または、
T=β×Y´/(m×M×V) (3)
ただし、T:露出時間(秒)、Y´:撮像素子のイメージサイズ(mm)、m:撮像素子の画素数、M:撮影倍率、V:被写体の移動速度(mm/秒)、β:係数(β=0.2〜1.0など)、などの計算式で必要露出時間の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間Tを設定する。
[マルチ条件連写の動作] 図6Aは、本発明の実施形態に係る高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートであり、図6Bは、図6Aに示す各ステップに対応する動作を説明するための画面例である。
図2に示す高速度カメラの全体構成図を参照して、図6Aに示すフローチャートを説明する。
まず、ステップS10では、CPU53gは、操作入力部51から入力回路53eを介して入力される操作情報に応じて所望の撮影モードや撮影シーンを選択する。この様子は6B(a)に示すように画像表示部85に表示される。
次いで、ステップS20では、CPU53gは、撮影モードや撮影シーンに応じて、複数の撮影条件の組合せを自動的に選択し、その撮影条件の組合せ毎の撮影枚数を、適宜自動的に配分してコントローラ75aに設定する。ここで、操作入力部51から入力される1回のレリーズ操作に応じて、撮影動作に入ると、コントローラ75aに設定された複数の撮影条件の組合せの条件に従って、それぞれ設定された枚数の画像を高速で続けて連続撮影するように撮像素子73とDSP部75が制御される。このとき、撮影された画像は順次バッファメモリ(A)75c内のフレームメモリに一時記録され、信号処理される。この撮影条件(1),(2),(3)の組合せに対応した撮影枚数を図6B(b)に示す。
次いで、ステップS30では、CPU53gは、複数の撮影条件を組合せ設定して、それぞれ設定された複数毎の画像を高速連写撮影する。ここで、撮影された画像は、撮影条件の組合せ毎の行×列に整列して画像表示部85に一覧表示される。この様子は図6B(c)に示すように、撮影条件(1)と撮影条件(2)との組み合わせに応じた枚数の画像が表示される。
次いで、ステップS40では、CPU53gは、高速連写された画像の画質を画像評価処理部75mに評価させる。ここで、コントローラ75aでの設定に応じて、複数枚撮影された画像データの画質を評価する。
次いで、ステップS50では、CPU53gは、画質評価値の優劣に従って画像を選択し、保存記録する候補として画像表示部85に画像表示する。ここで、CPU53gは評価された評価値の優劣に従って画像を自動的に選択し、例えば、解像度やコントラスト(中間階調表現)、鮮鋭度、ブレやボケの少なさなど、所定の画質特性毎に、画質の良い画像から順にベスト3やベスト10を表示するなど、保存記録する候補の画像を同時に比較できるように、例えば、複数枚ずつ同時に画像を表示するか順に切り替え画像表示部85に表示する。この様子は図6B(d)に示すように、中間調Best3、鮮明度Best3、解像度Best3が画像表示部85に表示される。
最後に、ステップS60では、CPU53gは、評価値に従って選択された画像、又はユーザにより選択された画像を画像CODEC79により符号化して画像メモリ媒体71に保存記録する。なお、ステップS60では、ステップS50において選択された画質が優れた画像、または、ステップS30やステップS50において画像表示部85に表示された画像を見てユーザが選択した所望の画像を、優先して画像メモリ媒体71に保存記録し、それ以外の画像は一括で削除できるようにする。この様子は図6B(e)に示すように、選択された画像が画像表示部85に表示される。
[第1実施例](選択シーンに応じて、複数撮影条件の組合せと枚数を設定)
図7に、本発明の第1実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せをコントローラ75aに設定する場合での、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す。
各撮影シーンが選択されると、各撮影条件は、シーン毎に予め記憶された設定データの条件に設定されるが、シーン毎の各撮影条件の設定データにおいて、「オート」、または、「マルチ条件連写」と設定されている撮影条件がある場合に、撮影時にマルチ条件連写撮影が選択されているときには、これらの撮影条件は、複数の撮影条件の組合せ(マルチ条件)として選択され、それら撮影条件を少しずつ変えて分散された条件の組合せと、組合せ毎の枚数が自動的に設定されて順次撮影条件と枚数を変えながら連写撮影(マルチ条件連写)が行われる。その他の撮影条件は、シーン毎にデータ・メモリ70に予め記憶された設定データの条件もコントローラ75aに設定して撮影される。
図7において、「人物(ポートレート)」と、「雪景色、スキー」の撮影シーンで、露出補正とホワイトバランスの撮影条件が、「マルチ条件連写」に設定されている場合を例に説明する。図8に示すように、選択されたシーン別の露出補正条件の配分設定データに従って、露出補正条件の配分割合が設定され、また、図9に示すように、シーン別のホワイトバランスの配分割合の設定データに従って、ホワイトバランスの条件がWB補正回路75dに配分設定され、これら撮影条件の組合せ毎の配分割合の撮影枚数で、マルチ条件連写を行うように制御される。
[撮影条件の組合せ毎の枚数配分の具体例] すなわち、「人物」シーンでは、人物の顔の明るさなどが状況によりばらつく場合が多いので、顔や肌色などが比較的明るく撮影されるように、露出補正は±0EVが19%、+0.3EV補正が37%、+0.7EV補正が33%、+1EV補正が11%、・・・のように撮影割合が設定され、「雪景色、スキー」シーンでは、「雪の白」が「白く」写るように、また、「雪景色のキラキラした明るさ」が強調された明るい画像となるよう、露出補正は+0.3EV補正が6%、+0.7EVが21%、+1EVが21%、+1.3EVが18%、+1.7EVが15%、+2EVが9%、・・・・など、比較的露出補正(+)側に広い範囲で露出補正値を分散して配分している。
また、「雪景色、スキー」シーンのホワイトバランス条件では、本来は色温度が比較的高いが、雪景色の色調が「青っぽく」、「雪らしく」写るように、色温度が3500K、4000K、・・・と白熱電球並みに低い色温度で撮影する場合と、ゲレンデでのスキーシーンや人物撮影など、「青かぶりさせず」に「自然な色」に撮影したいシーンも想定して、本来の色温度に近い4500K〜6000K近辺の色温度での撮影する場合にも配分している。一方、人物を「屋内照明」で撮影するシーンでは、白熱電球や蛍光灯など各種の照明下の被写体を撮影する可能性が高いので、主な照明光源の色温度に合せて広範囲な色温度に配分している。
図10A、図10Bに、選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す。上述のような、撮影シーン別に設定された複数の撮影条件の組合せ毎の割合がそれぞれの配分設定データの割合になるように、例えば、「人物」シーンを「屋内」で撮影する場合には、露出補正条件が、前述の「人物」シーンの露出補正条件の分散配分の割合になるように、マルチ条件連写による撮影枚数Nが計60枚と設定されている場合には、図10A(a),(c)に示すように、±0EVが11枚(19%)、+0.3EVが22枚(37%)、+0.7EVが20枚(33%)、+1EVが7枚(11%)、・・・で、計60枚(100%)となるように、それぞれ、撮影枚数が設定される。
かつ、その際のホワイトバランス条件も、「屋内、照明」のホワイトバランスの分散配分の割合になるように、例えば、上記で配分された±0EV補正の11枚(19%)の中で、色温度が2000Kで1枚(19%×12%)、2500Kで1枚(19%×10%)、3000Kで2枚(19%×19%)、3500Kで2枚(19%×15%)、4000Kで1枚(19%×7%)、・・・・の各枚数で計11枚となるよう、それぞれの撮影枚数がコントローラ75aに設定される。
このように、合計枚数が60枚で、かつ、シーン毎の露出補正条件の配分割合、及び、ホワイトバランス条件の配分割合が共に満足するように、組合せ毎の撮影枚数が自動的に算出されてコントローラ75aに設定され、1回のレリーズ操作に応じて、撮影条件の組合せを変えながら、組合せ毎にコントローラ75aに設定された枚数ずつ、計60枚の画像が高速で連続撮影される。他の枚数の場合も同様である。
マルチ条件運写の合計撮影枚数をN、第1の撮影条件である「露出補正条件」の第(i)番目の露出補正設定値をΔEV(i)とすると、露出補正設定値ΔEV(i)毎の撮影枚数n(i)は、当該シーンにおけるΔEV(i)の配分設定割合REV(i)を、合計撮影枚数(N)に乗算して計算し、例えば、小数点以下を四捨五入などで整数化して、
n(i)=INT(N×REV(i)+0.5) (4)
等の計算式で略算して設定すればよい。
第1の撮影条件の「露出補正条件」の設定値をΔEV(i)、かつ、第2の撮影条件の「WB(ホワイトバランス)条件」の設定値をWB(j)に設定して撮影する枚数m(i,j)も、上で求めたΔEV(i)の撮影枚数n(i)を、各WB設定値WB(j)の設定割合RWB(j)に乗算して、
m(i,j)=INT(n(i)×RWB(j)+0.5) (5)
等の計算式で略算してWB補正回路75dに設定すればよい。
小数点以下の四捨五入による配分では、偏ることも多く、合計すると、設定合計枚数に対して増減(減数または増数)する場合も生じるので、適宜、割合の少ない条件から順次減数したり、割合の多い条件から順に増数したりして合計枚数と調整したり、あるいは、小数で計算した後、合計枚数に一致するまで、割合の大きい条件の組合せから順に配分するなどの調整をおこなってもよい。
図11A、図11Bは、第1実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャートである。
まず、ステップS110では、CPU53gは、操作入力部51での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップS115に進み、CPU53gは、その他のモード処理へ進む。
次いで、撮影モードにある場合、ステップS120に進み、CPU53gは、操作入力部51の設定に応じて、撮影シーンをコントローラ75aに設定する。次いで、ステップS130では、CPU53gは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップS135に進み、CPU53gは、その他の撮影モード処理へ進む。マルチ条件による連写撮影モードにある場合、ステップS140に進み、CPU53gは、操作入力部51から入力された操作情報に基づいて、マルチ条件連写の撮影枚数Nをコントローラ75aに設定する。
次いで、ステップS150では、CPU53gは、選択されたシーン毎の露出補正の分布設定データに基づいて、複数の露出補正設定値と各撮影枚数とをコントローラ75aに設定する。
例えば、撮影枚数Nを、当該シーンにおける各露出補正設定値ΔEV(i)の設定割合REV(i)に応じて配分し、露出補正設定値ΔEV(i)毎の撮影枚数n(i)を上記(4)式に当てはめて決定する。
次いで、ステップS160では、CPU53gは、選択されたシーン毎のWB分布設定データと露出補正毎の撮影枚数に応じて、WB設定値と各撮影枚数とをコントローラ75aに設定する。
例えば、露出補正値毎の撮影枚数n(i)を、各WB設定値WB(j)の設定割合RWB(j)に応じて配分し、ΔEV(i)、かつ、WB(j)の条件で撮影する枚数m(i,j)を上記(5)式に当てはめて決定する。
次いで、ステップS170では、CPU53gは、操作入力部51からレリーズ又は撮影操作があるか否かを判断する。ここで、レリーズ又は撮影操作がない場合には、CPU53gは、復帰する。
操作入力部51からレリーズ又は撮影操作がある場合には、ステップS175に進み、CPU53gは、測光/測距センサ62、検出回路63からの検出信号に基づいて測光処理を行い、測光値に応じて適正露出条件EVをコントローラ75aに設定する。
次いで、ステップS180では、CPU53gは、I=1、SS=0にする。次いで、ステップS185では、CPU53gは、(i)番目の露出補正の設定値ΔEV(i)に従って、露出条件をEV+ΔEV(i)に補正してコントローラ75aに設定する。
次いで、ステップS190では、CPU53gは、J=1、S=0にする。次いで、ステップS195では、CPU53gは、(j)番目のWB設定値をWB(j)に設定し、K=0とする。
次いで、ステップS200では、CPU53gは、設定露出補正条件、並びにWB設定条件にて、コントローラ75aが撮像素子73を制御して露出及び撮影処理を行い、バッファメモリ(A)75cに撮影画像を一時記憶する。次いで、ステップS205では、CPU53gは、K=K+1、S=S+1、SS=SS+1にする。
次いで、ステップS210では、CPU53gは、設定枚数m(i,j)だけ撮影したか否か、即ちK≧m(i,j)か否かを判断する。ここで、K≧m(i,j)でない場合には、ステップS200に戻り、CPU53gは、上述した処理を繰り返す。K≧m(i,j)である場合には、ステップS215に進み、CPU53gは、J=J+1にする。
次いで、ステップS220では、CPU53gは、最後のWB条件での撮影を終了するか否か、即ちJ≧Jmax又はS≧n(i)か否かを判断する。ここで、J≧Jmax又はS≧n(i)でない場合には、ステップS195に戻り、CPU53gは、上述した処理を繰り返す。
J≧Jmax又はS≧n(i)である場合には、ステップS225に進み、CPU53gは、I=I+1にする。
次いで、ステップS230では、CPU53gは、最後の露出補正条件での撮影を終了するか否か、即ちI≧Imax又はSS≧Nか否かを判断する。ここで、I≧Imax又はSS≧Nでない場合には、ステップS185に戻り、CPU53gは、上述した処理を繰り返す。I≧Imax又はSS≧Nである場合には、ステップS235に進み、CPU53gは、バッファメモリ(A)75cに記憶した撮影画像を画像CODEC79に出力して符号化処理を行い、画像メモリ媒体71へのメモリ記録処理を行い、CPU53gは、復帰する。
[第1実施例の効果] (1)複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
(2)従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
(3)また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
(4)一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
[第2実施例](計測データに基づいて、条件毎の撮影枚数を設定する) 図12A、図12Bに、第2実施例として、被写体の平均輝度と画面内での輝度差など、検出されたセンサ計測情報から、背景の露出条件と日中シンクロストロボ(ディライトストロボ)の発光強度条件などを、条件を少しずつ分散させて組合せ、複数の条件で複数枚連写する例を示す。
例えば、日中の撮影でも、明るい一部の被写体を含んだ画面ではそれに引っ張られて、他の被写体が暗く写ってしまうことがある。また、太陽を背にした逆光の人物なども暗く写されてしまう。このような場合、日中でもストロボを少し発光照射して(日中シンクロストロボ、ディライト・ストロボなどと呼ばれる)、主要被写体が適当な明るさで撮影されるようにするのが望ましいが、発光強度が強すぎると主要被写体が白飛びして写ってしまう。
このような状況を平均輝度と輝度差とから判別して、背景の露出条件を適切に設定し、かつ、日中シンクロストロボの発光強度を調整して撮影するが、状況は千差万別なので、本例では、その組合せを適当に分散し、条件をばらつかせて複数枚連写する。
本実施例では、図12A(a)のように、被写体の平均輝度と輝度差との計測値の組合せに応じて、日中シンクロストロボ発光の強度をどの程度まで抑えて発光するかを決定する設定データを予めデータ・メモリ70に記憶しておく。図は省略したが、同様に、平均輝度と輝度差との計測値の組合せに応じて、背景の露出制御条件や測光方式も、平均測光によるAEか、高輝度重視測光、低輝度重視測光、中央重点測光によるAEか、などの条件を設定しておく。
操作入力部51からレリーズの半押し操作やAEロック操作がされ、平均輝度と輝度差とが計測されたら、その計測値の組合せに従い、測光方式などを選択し背景の露出条件が設定され、また、平均輝度が所定値以下の場合には、高感度モードまたは所定の加算数の画素加算読出しモードに設定される。
また、ストロボ発光強度については、図12A(b)に示すように、例えば、平均輝度=2.5と輝度差=3.5の場合、合計連写枚数Nに応じて、枚数Nが20枚と少ない場合には、分散度を減数して小さくし、平均輝度:2.5±0.5、輝度差:3.5±0.5の範囲で、また、枚数Nが100枚と多い場合には、分散度を増数して大きくし、平均輝度:2.5±1.5、輝度差:3.5±1.5と分散を広くした範囲で、それぞれ計測値の組合せに対応するストロボ発光強度条件をストロボ駆動回路60に設定する。
その結果、図12Bに示すように、連写枚数に応じて、各条件での撮影枚数がそれぞれコントローラ75aに配分設定され、レリーズボタンが全押しされたら、設定された条件に順次撮影条件を変えながら複数枚の連続撮影が行われる。
図13A、図13Bは、本発明の第2実施例のカメラの撮影制御に関するフローチャートである。
まず、ステップS310では、CPU53gは、操作入力部51での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップS315に進み、CPU53gは、その他のモード処理へと進む。撮影モードにある場合、ステップS320に進み、CPU53gは、操作入力部51の設定に応じて、撮影シーン、撮影条件などをコントローラ75aに設定する。
次いで、ステップS330では、CPU53gは、操作入力部51からレリーズボタン半押し又はAEロック操作か否かを判断する。ここで、操作入力部51からレリーズボタン半押し又はAEロック操作にない場合には、ステップS335に進み、CPU53gは、その他のキー処理へと進む。
操作入力部51からレリーズボタン半押し又はAEロック操作にある場合、ステップS340に進み、CPU53gは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップS345に進み、CPU53gは、その他の撮影処理へと進む。
マルチ条件による連写撮影モードにある場合、ステップS350に進み、CPU53gは、操作入力部51から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ75aに設定する。次いで、ステップS360では、CPU53gは、分割測光(マルチパターン測光)処理を行う。次いで、ステップS365では、CPU53gは、検出回路63からの測光データに基づいて平均輝度値と輝度差を算出する。
次いで、ステップS370では、CPU53gは、この平均輝度値と輝度差に基づいて、被写体又は背景の露出条件(測光方式)をコントローラ75aに設定する。次いで、ステップS375では、CPU53gは、平均輝度<所定値か否かを判断する。ここで、平均輝度<所定値でない場合には、ステップS387に進み、CPU53gは、加算なしの通常読み出しモードにコントローラ75aに設定する。平均輝度<所定値である場合には、ステップS380に進み、CPU53gは、平均輝度に応じて、高感度モード、又は(m×n)画素の加算読出しモードに設定する。
次いで、ステップS385では、CPU53gは、連写枚数に応じて、撮影条件の分散度をコントローラ75aに設定する。次いで、ステップS390では、CPU53gは、平均輝度値と輝度差に応じて、ストロボの発行の基本条件をストロボ駆動回路60に設定する。
次いで、ステップS400では、CPU53gは、連写枚数、分散度、及び被写体の平均輝度値と輝度差に応じて、ストロボ発光条件を基本設定から複数の発行条件に分散配分し、各発行条件での撮影枚数をコントローラ75aに設定する。
次いで、ステップS410では、CPU53gは、操作入力部51での設定がレリーズ全押し又は撮影操作があるか否かを判断する。ここで、操作入力部51での設定がレリーズ全押し又は撮影操作がない場合には、ステップS410に戻り、CPU53gは、上述した処理を繰り返す。
操作入力部51での設定がレリーズボタン全押し又は撮影操作がある場合には、ステップS415に進み、CPU53gは、第1のストロボ発光条件と撮影枚数とをコントローラ75aに設定する。次いで、ステップS420では、CPU53gは、設定ストロボ発光条件にてストロボ駆動回路60によりストロボ発光し、設定露出条件と設定読出しモードにて露出及び撮影処理を行う。
次いで、ステップS425では、CPU53gは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップS420に戻り、CPU53gは、上述した処理を繰り返す。
設定枚数だけ撮影した場合、ステップS430に進み、CPU53gは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップS435に進み、CPU53gは、次のストロボ発光条件と撮影枚数とをコントローラ75aに設定する。その後、ステップS420に進み、CPU53gは、上述した処理を繰り返す。
最後の条件での撮影を終了する場合、ステップS440に進み、CPU53gは、撮影画像データの符号化処理、メモリ記録処理を行い、CPU53gは、復帰する。
[第1、第2実施例の効果] (1)複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
(2)従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
(3)また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
(4)一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
[第3実施例](撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定) 図14A、図14Bに、第3実施例として、撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定してマルチ条件の連写を行う例を示す。
本実施例では、図14(a)に示すように、各焦点距離などにおける撮影頻度データなどの撮影統計データを予めデータ・メモリ70に記憶設定しておき、この撮影頻度データに基づいて、図14B(a)、(b)に示すように、撮影時のレンズの焦点距離と検出された被写体輝度とから、当該撮影において頻度が多いと推定される複数の被写体距離条件を推定して、当該被写体距離に応じて、複数の各AE(自動露出)条件、AF(自動合焦)条件、被写界深度条件等の組合せを分散配分してコントローラ75aに設定し、条件の組合せ毎の連写枚数を切り替えて、連写撮影を行うように制御する。
図15A、図15Bは、本発明の第3実施例のカメラの撮影制御に関するフローチャートである。
まず、ステップS510では、CPU53gは、操作入力部51での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップS515に進み、CPU53gは、その他のモード処理へと進む。撮影モードにある場合、ステップS520に進み、CPU53gは、操作入力部51での設定に応じて、撮影シーン、撮影条件をコントローラ75aに設定する。
次いで、ステップS525では、CPU53gは、ズームレンズ駆動部57からズーム処理情報を、焦点レンズ駆動部58からレンズ焦点距離情報を取得する。次いで、ステップS530では、CPU53gは、操作入力部51からレリーズ半押し又はAEロック操作があるか否かを判断する。ここで、操作入力部51からレリーズ半押し又はAEロック操作がない場合には、ステップS535に進み、CPU53gは、その他のキー処理へと進む。
操作入力部51からレリーズボタン半押し又はAEロック操作がある場合、ステップS540に進み、CPU53gは、マルチ条件による連写撮影か否かを判断する。ここで、マルチ条件による連写撮影でない場合には、ステップS545に進み、CPU53gは、その他の撮影処理へと進む。
マルチ条件による連写撮影である場合、ステップS550に進み、CPU53gは、操作入力部51から入力された操作情報に基づいて、マルチ条件連写の撮影条件、撮影枚数をコントローラ75aに設定する。次いで、ステップS555では、CPU53gは、連写枚数に応じて、撮影条件の分散度をコントローラ75aに設定する。
次いで、ステップS560では、CPU53gは、測光処理を行う。次いで、ステップS565では、CPU53gは、検出回路63からの測光データに基づいて被写体の輝度(明るさ)を算出する。
次いで、ステップS570では、CPU53gは、分散度に応じて、算出被写体輝度を中心に被写体輝度条件を分散させる。すなわち、CPU53gは、設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。次いで、ステップS575では、CPU53gは、(当該焦点距離における)被写体輝度と被写体距離の頻度データに基づいて、分散させた被写体輝度毎に推定される複数の被写体距離条件と各撮影枚数の配分をコントローラ75aに設定する。
次いで、ステップS585では、CPU53gは、操作入力部51からレリーズ全押し又は撮影操作があるか否か判断する。ここで、操作入力部51からレリーズ全押し又は撮影操作がない場合には、ステップS585に戻り、CPU53gは、上述した処理を繰り返す。
操作入力部51からレリーズボタン全押し又は撮影操作がある場合、ステップS590に進み、CPU53gは、第1の被写体輝度及び推定される被写体距離と撮影枚数とをコントローラ75aに設定する。
次いで、ステップS595では、CPU53gは、設定された被写体輝度及び推測される被写体距離に応じて、AE(露出)条件、WB条件をコントローラ75aに設定する。次いで、ステップS600では、CPU53gは、推測被写体距離に応じて、焦点レンズ駆動部58でAF(自動合焦)処理を行う。次いで、ステップS605では、CPU53gは、設定露出条件にて、コントローラ75aが撮像素子73を制御して露出及び撮影処理を行い、バッファメモリ(A)75cに撮影画像を一時記憶する。
次いで、ステップS610では、CPU53gは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップS595に戻り、CPU53gは、上述した処理を繰り返す。設定枚数だけ撮影した場合、ステップS615に進み、CPU53gは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップS620に進み、CPU53gは、被写体輝度及び推測被写体距離と撮影枚数とをコントローラ75aに設定する。その後、ステップS595に進み、上述した処理を繰り返す。
最後の条件での撮影を終了する場合、ステップS625に進み、CPU53gは、撮影画像データの符号化処理、メモリ記録処理を行い、CPU53gは、復帰する。
この場合も、分散された撮影条件毎の配分割合に従って、撮影条件の組合せ毎の撮影枚数を自動的に配分設定する。また、マルチ条件連写の撮影枚数に応じて、撮影条件の分散度などを自動的にコントローラ75aに設定して、枚数が多い場合には、より広がって分散された撮影条件の組合せになるよう設定されるのが望ましい。
[第3実施例の効果]頻度データとして、実際の撮影例や画像データベースにおける各撮影条件の頻度データなどを集計して、予め撮影頻度データメモリに記憶しておくことで、実際の撮影における頻度や確率の高い被写体の状況や撮影シーンに適切な撮影条件を含む組合せ条件にて多くの枚数を撮影するので、画質や写りの良い所望の画像が得られる確率をより高めることができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
[第4実施例](連写された画像を画質評価して、評価値の高い画像を優先して記録)本実施例では、撮影条件の組合せ毎に設定された枚数の撮影を行った後、各画像の画質を評価し、評価値に応じて画像を一覧表示したり、評価値の高い画像やユーザに選択された画像を優先して保存記録したり、評価値の低い画像を保存記録しないように制御する。
図16A、図16Bは、本発明の第4実施例のカメラの撮影制御に関するフローチャートである。まず、ステップS710では、CPU53gは、撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップS715に進み、CPU53gは、その他のモード処理へと進む。撮影モードにある場合、ステップS720に進み、CPU53gは、操作入力に応じて、撮影シーン、撮影条件を設定する。
次いで、ステップS725では、CPU53gは、マルチ条件による連写撮影がONか否かを判断する。ここで、操作入力部51での設定がマルチ条件による連写撮影がONでない場合には、ステップS730に進み、CPU53gは、その他の撮影処理へと進む。
操作入力部51での設定がマルチ条件による連写撮影がONである場合、ステップS735に進み、CPU53gは、操作入力部51から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ75aに設定する。次いで、ステップS740では、検出回路63からの検出信号に基づいてCPU53gは、測光処理を行い、被写体光又は被写体特徴、被写体状況の計測を行う。
次いで、ステップS745では、CPU53gは、選択シーン若しくは計測値と、各撮影条件の分布設定データに応じて、撮影条件のいずれかを複数条件に分散してコントローラ75aに設定する。次いで、ステップS760では、操作入力部51からCPU53gは、レリーズ又は撮影操作があるか否かを判断する。ここで、操作入力部51からレリーズ又は撮影操作がない場合には、CPU53gは、復帰する。
操作入力部51からレリーズボタン又は撮影操作がある場合、ステップS765に進み、CPU53gは、第1の撮影条件をその最初の設定値、またその撮影枚数(N11)をコントローラ75aに設定する。次いで、ステップS770では、CPU53gは、第2の撮影条件をその最初の設定値、またその撮影枚数(N21)をコントローラ75aに設定する。次いで、ステップS775では、CPU53gは、最後の撮影条件をその最初の設定値にし、またその撮影枚数(Nn1)をコントローラ75aに設定する。
次いで、ステップS780では、CPU53gは、設定撮影条件にて、露出及び撮影処理を行う。次いで、ステップS790では、CPU53gは、設定枚数(Nnk)だけ撮影したか否かを判断する。ここで、設定枚数(Nnk)だけ撮影していない場合、ステップS780に戻り、CPU53gは、上述した処理を繰り返す。設定枚数(Nnk)だけ撮影した場合、ステップS790に進み、CPU53gは、設定枚数(NnN)だけ撮影したか否かを判断する。ここで、設定枚数(NnN)だけ撮影していない場合、ステップS795に進み、CPU53gは、最後の撮影条件を、次の設定値に、またその設定枚数(Nnk)をコントローラ75aに設定し、ステップS780に進み、CPU53gは、上述した処理を繰り返す。設定枚数(NnN)だけ撮影した場合、ステップS800に進み、CPU53gは、設定枚数(N2M)だけ撮影したか否かを判断する。
ここで、設定枚数(N2M)だけ撮影していない場合、ステップS805に進み、CPU53gは、第2の撮影条件を、次の設定値に、またその設定枚数(N2j)をコントローラ75aに設定し、ステップS775に進み、上述した処理を繰り返す。設定枚数(N2M)だけ撮影した場合、ステップS810に進み、CPU53gは、設定枚数(N1L)だけ撮影したか否かを判断する。ここで、設定枚数(N1L)だけ撮影していない場合、ステップS815に進み、CPU53gは、第1の撮影条件を、次の設定値に、またその設定枚数(N1i)をコントローラ75aに設定し、ステップS770に進み、上述した処理を繰り返す。
設定枚数(N1L)だけ撮影した場合、ステップS820に進み、CPU53gは、撮影された連写画像の画質評価処理を画像評価処理部75mに行わせる。なお、画像評価処理部75mでの画質評価処理としては後述する画質評価方法1から4を採用することとする。
次いで、ステップS830では、CPU53gは、画像評価処理部75mでの評価結果に応じて、評価の高い画像、又は項目別の評価ベスト画像をバッファメモリ(A)75cから読み出し記録候補画像として画像表示部85に表示する。
次いで、ステップS840では、CPU53gは、選択画像の記録が可能か否かを判断する。ここで、選択画像の記録が可能でない場合、ステップS845に進み、CPU53gは、操作入力部51の設定に応じて、記録する画像を選択し、ステップS850に進む。選択画像の記録が可能である場合、CPU53gは、選択された撮影画像の画像データの符号化処理、保存記録処理を行い、CPU53gは、復帰する。
[画質評価方法1] 図17は画像評価処理部75mでの画像評価方法(1)として、RGB各色の輝度ヒストグラム分布の統計量から画質評価することを示すフローチャートである。図17においては、画像の評価方法の例(1)を示すとして、画像評価処理部75mでは、各画像データの輝度値、または、RGB各色差成分の輝度値の分布ヒストグラム(頻度分布表、頻度分布図)を算出して、その輝度分布から画質を評価する。
例えば、輝度分布ヒストグラムが中央からはずれて高輝度側に偏ると、露出オーバー気味で、高輝度領域が飽和したり、いわゆる「白飛び」した画像になり、逆に、輝度分布が低輝度側に偏ると、露出アンダー気味で、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、輝度分布が中央でも、その分布幅が狭くて、一様に広く分布していない場合には、ダイナミック・レンジが狭くて、中間諧調やこまかな濃淡に欠けた画像となる。いずれも、露出条件や写りの良くない画像の典型である。
この輝度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、輝度値を集計演算して、輝度分布のヒストグラムをグラフ表示等できる機種が多いので、それを流用すれば、比較的容易に実装できる。
まず、ステップS860では、CPU53gは、画像上の点(i,j)の輝度をf[i,j]と表す。次いで、ステップS862Rでは、CPU53gは、R画像の点(i,j)の輝度をR[i,j]と表す。次いで、ステップS864Rでは、CPU53gは、輝度分布図(ヒストグラム)PR(X)を作成する。次いで、ステップS866Rでは、CPU53gは、R輝度のヒストグラム分布を表す。
次いで、ステップS862Gでは、CPU53gは、G画像の点(i,j)の輝度をG[i,j]と表す。次いで、ステップS864Gでは、CPU53gは、輝度分布図(ヒストグラム)PG(X)を作成する。次いで、ステップS866Gでは、CPU53gは、G輝度のヒストグラム分布を表す。
次いで、ステップS862Bでは、CPU53gは、B画像の点(i,j)の輝度をB[i,j]と表す。次いで、ステップS864Bでは、CPU53gは、輝度分布図(ヒストグラム)PB(X)を作成する。次いで、ステップS866Bでは、CPU53gは、B輝度のヒストグラム分布を表す。
次いで、ステップS868では、CPU53gは、輝度分布の統計量について、輝度分布の平均値(Mean)XM=ΣiXi/N、中央値(Median)Xmedまたは最頻値(Mode)、輝度分布の分散(Variance)σ2=Σi(xi−xM)2/(N−1)、輝度分布の標準偏差(SD)σ=√(σ2)、変動係数CV=(標準偏差/平均)={σ/xM}×100、輝度分布の歪み度SKは=Σi{(xi−xM)/σ}3/N、輝度分布の尖り度K=Σi{(xi−xM)/σ}4/N−3、とする。
例えば、輝度分布の平均値(Mean)XM=ΣiXi/N(ただし、Xiは画素毎の輝度値)、(平均値は大きなはずれ値の影響を受け易いので、代表値としては中央値の方が有効である)、または、中央値(Median)Xmed:分布の頻度数の順位が中央にある輝度値、最頻値(Mode)Xmode(最も頻度数が多い輝度値)や、輝度の最大値Xminや最小値Xmax、輝度分布の分散(Variance)σ2は、
σ2=Σi(xi−xM)2/(N−1) (6)
輝度分布の標準偏差(SD、Standard Deviation)σ=√(σ2)(分散や標準偏差は、分布の広がりの程度を示す)などから、画質の評価値を算出することができる。
あるいは、RGB毎のバラツキを示す変動係数CVは、
CV=(標準偏差/平均)={σ/xM}×100 (7)
となる。また、輝度分布の歪み度(ゆがみど、わいど、Skewness)SKは、
SK=Σi{(xi−xM)/σ}3/N (8)
なお、歪み度は、分布が左右対称かどうかの非対称性を示す。左右対称なら0、右に大きな「はずれ値」があれば正の値に、左に大きな「はずれ値」があれば負の値となる。輝度分布の尖り度(とがり度、とつ度、Kurtosis)Kは、
K=Σi{(xi−xM)/σ}4/N−3 (9)
なお、尖り度は、分布が正規分布ならば0、正規分布より広がりが大きければ正の値に、正規分布より広がりが小さければ負の値となる。輝度分布やRGB毎の輝度分布の指標値や統計量などを元に、輝度分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、露出条件の良し悪し、写りの良し悪しの判定ができる。もちろん、その他の統計値などを用いて評価値を算出しても良い。
次いで、ステップS870では、CPU53gは、画質の特性を、輝度分布の平均、輝度分布の中央、輝度分布の広がり度合い、RGB毎のかたより、輝度分布の左右対称性、正規分布より広い/狭いとする。次いで、ステップS872では、CPU53gは、画質評価値を決定する。
このように、画質評価方法1において、撮影された画像データの輝度値の分布ヒストグラム、または、RGB色差成分毎の輝度値の分布ヒストグラムを算出して、その輝度分布特性、または、その指標値、その統計量のうち、いずれかに基づいて、露出条件または中間調表現の良し悪しなどの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
[画質評価方法2] 図18Aに、離散フーリエ変換、離散コサイン変換と、各変換による低周波/高周波成分を示す。図18B、図18Cに、画像評価処理部75mでの画質評価方法(2)として、画像データのDFT、DCTなどによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
二次元画像データの各点の輝度値f(x,y)を、離散フーリエ変換(DFT)、離散コサイン変換(DCT)、あるいは、それらをソフト処理で高速計算するFFT(高速フーリエ変換)アルゴリズム等により、周波数軸に変換したF(u,v)を求め、その周波数毎の振幅値や変換係数等、画像の周波数特性や、全体に占める高周波成分や低周波成分の比率から、画質のボケの程度や鮮鋭度(シャープさ)、解像度等を評価できる。
最近のデジタルカメラでは、JPEG等の画像圧縮符号化のためにDCT変換用のDSPやソフトウェアを内蔵しているので、その部分を流用すれば、比較的容易に実装できる。離散フーリエ変換(DFT)は、
F[u,v]=(1/MN)Σx=0 M−1Σy=0 N−1f[x,y]W1 uxW2 vy
(10)
ただし、各変換係数W1=exp(−j2π/M)、W2=exp(−j2π/N))
次に、離散コサイン変換では、
F[u,v]=(4/√MN)C(u)C(v)
・ΣxΣyf[x,y]・cos{(2x+1)uπ/2M}
・cos{(2y+1)vπ/2N} (11)
ただし、各変換係数C(u),C(v)=1/√2(u,v=0)、C(u),C(v)=1(u,v≠0))で計算できる。
まず、ステップS876では、CPU53gは、画像上の点(x,y)の輝度をf[x,y]と表す。次いで、ステップS878では、CPU53gは、順次走査により1次元信号に変換する。次いで、ステップS880では、CPU53gは、フーリエ変換、DFT等で、周波数軸に変換する。
また、二次元画像f(x,y)を周波数空間に変換した周波数成分F(u,v)もu,v空間上に分布するが、二次元空間上の周波数特性から判別してもよい。
図18Cに示すように、予め、画像を順次走査して1次元信号に並び替えてからDFT変換などを施して評価しても、また、DCTなど周波数軸に変換したその振幅値やDCT係数をジグザグ走査などで、1次元に並び替えてから、高周波成分の比率を産出したり、評価してもよい。また、前記ヒストグラム分布の評価と同様に、上記周波数特性の分布の代表値や統計量を求めて、それを元に評価してもよい。
まず、ステップS885では、CPU53gは、点(x,y)の輝度をf[x,y]と表す。次いで、ステップS890では、CPU53gは、DFT,DCT等、離散直交変換する。次いで、ステップS895では、CPU53gは、F[u,v]振幅値をジグザグ操作など1次元化する。次いで、ステップS900では、CPU53gは、F[i](F[u,v]の振幅、又はDCT係数等)を設定する。次いで、ステップS910では、CPU53gは、以下を行う。
画質評価値=高周波比率
=(高周波成分振幅値合計)/(全成分の振幅値合計) (12)
あるいは、
ボケ評価値=低周波比率
=(全成分合計−高周波成分合計)/(全成分の合計) (13)
次いで、ステップS920では、CPU53gは、周波数分布の再頻値(Mode)をfmode(振幅が最も大きい周波数)と、周波数分布の中央値(Median)をfmed(N/2番目に多い周波数)と、周波数分布の平均値(Mean)をfMと、周波数分布の分散(Variance、σ2)をσ2と、周波数分布の標準偏差(SD、Standard Devitation、σ)をσとし、さらにfM、σ2、σを各々以下のようにする。
fM=ΣiF[i]/N (14)
σ2=偏差平方和/(N−1)
=Σi(F[i]−fM)2/(N−1) (15)
σ=SQRT(分散)
=√{Σi(F[i]−fM)2/(N−1)} (16)
このように、画質評価方法2において、撮影された画像データを離散フーリエ変換DFT、離散コサイン変換DCTなどにより周波数空間に変換し、周波数空間に変換されたデータの変換係数、または、周波数分布特性、周波数毎の振幅値、高周波成分の比率、周波数特性分布の統計量のうち、いずれかに基づいて、鮮鋭度、解像度、ボケの程度などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
[画質評価方法3] 図19A、図19Bは、画像評価処理部75mでの画質評価方法3として、画像の変換や復元等に用いるPSF(点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法を示したフローチャートである。
図19Aにおいて、ステップS1010では、画像評価処理部75mはPSF法による画像復元では、撮影された画像g(x,y)を、ブレやボケのない本来の画像i(x,y)が、ブレやボケを生じさせる成分p(x,y)により劣化した劣化画像g(x,y)とみなし、
g(x,y)=p(x,y)*i(x,y) (17)
(*は、コンボリューション、畳み込み積分演算)
と想定し、また、P(x,y)を、PSF関数(Point Spread Function、点像分布関数)や、LSF関数(Line Spread Function、線像分布関数)などとして、劣化要因となるp(x,y)を推定し、p(x,y)が推定できれば、本来の画像i(x,y)をデコンボリューション(逆畳み込み積分)演算により画像復元にも利用できるものである。
次いで、ステップS1020では、画像評価処理部75mは劣化画像g(x,y)を、フーリエ変換(FFT)や離散フーリエ変換(DFT)等で周波数軸に変換して、G(u,v)を求める。
G(u、v)=P(u、v)・I(u、v)(コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる)であるので、そのP(u、v)を周波数領域で推定し、P(u、v)が推定できれば、逆フィルタとして1/P(u、v)を求め、1/P(u、v)を用いて本来の画像i(x、y)が復元できる原理である。
すなわち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を求め、それを逆フーリエ変換して、
i(x,y)=逆フーリエ変換{I(u、v)}
=Σx=0 M−1Σy=0 N−1I[u,v]W1 uxW2 vy (18)
(ただし、W1=exp(−j2π/M)、W2=exp(−j2π/N))
ここでは、このPSF法におけるPSF(Point Spread Function、点像分布関数)やP(u、v)の推定方法を、一般のアマチュアや非熟練者の撮影画像では「露出設定の失敗」と並んで多い傾向にある。この方法を「焦点ボケ」画像や「直線ブレ」画像の判別や評価に用いて、写りや画質の悪い画像を検出し、それらを優先して削除できる(または、保存記録しない)ようにする。
次いで、ステップS1030では、CPU53gは、劣化画像のフーリエ変換画像を得ることができる。(G(u,v)=P(u,v)・i(u,v)と想定される)
一般に、直線ブレした画像をフーリエ変換したF(u,v)の振幅値の分布は、図19A(a)に示すようにブレやボケが少ない一般画像となる。図19A(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って、数本の細長い筋や傾斜した楕円形状に抜けたり歪んだパターンが現れる。また、焦点ボケした画像のF(u,v)は、図19A(d)に示すような焦点ボケ画像パターンとなり、中央部の高周波成分が同心円状に抜けたり歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図19A(c)に示すような、両方の特徴を合せた持ったパターンとなる。
次いで、ステップS1040では、画像評価処理部75mは、PSF法、ゼロクロス法、又はHough変換法、逆フィルタ法等で、P(u,v)又はPSFを推定する。
次いで、ステップS1050では、画像評価処理部75mは、例えば、ブレ方向角度(θ)、ブレ距離(L)に対して、θ方向に周期1/Lでゼロ交差する直線ブレの評価値を出力する。
次いで、ステップS1060では、画像評価処理部75mは、直線ブレ補正用フィルタを設定する。
P(u,v)=sin(πfL)/πfL (19)
(f=ucosθ+vsinθ)
一方、ステップS1070では、画像評価処理部75mは、PSF法、ゼロクロス法、又はHough変換法、逆フィルタ法等で、P(u,v)又はPSFを推定する。
次いで、ステップS1080では、画像評価処理部75mは、例えば、焦点の広がり半径(r)に対して、周期1.01π/rで、同心円状にゼロ交差する焦点ボケの評価値を出力する。
次いで、ステップS1090では、画像評価処理部75mは、焦点ボケ補正用フィルタを設定する。
P(u,v)=2・J1(r・R)/r・R (20)
J1=1次の第1種ベッセル関数
次いで、ステップS1100では、画像評価処理部75mは、直線ブレ、焦点ボケの度合いを出力する。又は、設定フィルタにより、直線ブレ、焦点ボケを補正した画像を出力する。
次いで、ステップS1100では、画像評価処理部75mは、直線ブレ、焦点ボケの度合いを出力する。または、画像評価処理部75mは、設定フィルタにより直線ブレ、焦点ボケを補正した画像を出力する。
本実施例では、ゼロ点交差法やHough変換(ハフ変換、ヒュー変換)法などにより、直線ブレの場合には、フーリエ変換のF(u,v)の振幅値が周期1/Lでゼロ交差する方向の、ブレの方向角度(θ)と、ブレの距離またはその画素数(L)、焦点ボケの場合には、同じくF(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の、焦点の広がりの半径またはその画素数(r)を、推定計算できるので、画像評価処理部75mからの値を評価値として、直線ブレ画像や、焦点ボケ画像を評価できる。
図20は、PSF法による、直線ブレ方向、ブレ距離、焦点ボケ半径の算出(推定)方法の一例を示すフローチャートである。
PSF法では、角速度センサ66、検出回路67で検出されたブレ方向(θ)とブレ距離(L)、焦点ボケの広がり半径(r)の推定方法として、ブレ方向(θ)は、G(u,v)の縦/横の相対比(R)から算出し、ブレ距離(L)または焦点広がり半径(r)は、復元画像iL、iL+1を順次計算して求め、その相関値C(L)から逆算するか、または、相関値C(L)が所定値以上の相関度に飽和するまで繰り返して求める。さらに計算時間を短縮する方法として多階調Hough変換で求める方法などもある。
図20において、ステップS1210では、画像評価処理部75mは、ブレ方向(θ)の推定法により、G{u,v}の縦/横の相対比Rから、ブレ方向(θ)を逆算する。相対比Rは、
R=∫|G{rcos(θ+π/2),rcos(θ+π/2)}|dr
÷∫|G{rcosθ,rcosθ}|dr (21)
ただし、r=√{u2+v2}
G{u, v}:劣化画像のフーリエ・スペクトル
次いで、ステップS1220では、画像評価処理部75mは、ブレ距離(L)、焦点の広がり半径(r)の推定法により、復元画像iL、iL間の相関値C(L)より、ブレ距離(L又はr)を逆算する。
C(L)=Σx,yiL(x,y)iL+ΔL(x,y)
÷√[Σx,y{iL(x,y)}2
・Σx,y{iL+ΔL(x,y)}2] (22)
ただし、iL(x,y):パラメータがLの場合の復元画像、iL+ΔL(x,y):パラメータがL+ΔLの場合の復元画像である。
次いで、ステップS1230では、画像評価処理部75mは、直線ブレのP(u,v)の算出する。(θ方向に周期T=1/Lでゼロ交差)
P(u,v)=sin(πfL)/πfL (23)
(f=ucosθ+vsinθ)
次いで、ステップS1240では、画像評価処理部75mは、焦点ボケのP(u,v)を算出する。(周期T=1.01π/rで、同心円状のゼロ交差)
P(u,v)=2・J1(r・R)/r・R (24)
(J1=1次の第1種ベッセル関数)
このように、画質評価方法3において、撮影された画像データを高速フーリエ変換FFTまたは離散フーリエ変換DFTにより周波数空間に変換し、周波数空間に変換されたデータから、点像分布関数PSF法、または、ゼロ点交差法、Hough変換法などにより、フーリエ変換の振幅値のパターンから、ブレの距離および方向角度、または、焦点の広がり半径などの評価値を推定し、直線ブレの度合、または、焦点ボケの度合などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
[画質評価方法4] また、そのほか、画質そのものでなく、既に記録済みの画質の良い他の画像、または、画質評価済みの他の画像と比べて、類似する特性かどうかを判別して、画質の優劣を評価しても良い。
すなわち、該当画像f(x,y)と、記録済みの参照画像t(x,y)との、輝度値の二次元分布パターン、あるいは、輝度分布ヒストグラム、周波数空間に変換した画像における、それぞれの類似度や相関係数を求め、記録済みの参照画像に良く似た画像パターンや露出特性、鮮鋭度などが類似した特性の画像を優先して選択したり、削除できるようにすればよい。
相関係数の一例として、ピアソンの積率相関係数Rは、次式で計算できる。
R=(画像fと画像tの共分散)/(画像ffの標準偏差)・(画像tの標準偏差)
={ΣyΣx(f[x,y]−fav)(t[x,y]−tav)}
/√{ΣyΣx(f[x,y]−fav)2}
・√{ΣyΣx(t[x,y]−tav)2} (25)
ただし、favは入力画像fの濃度値の平均値、tAVは参照画像tの濃度値の平均値である。
[第4実施例の効果] 以上説明したように、画像の画質を評価する手段やプログラムを設けて、複数の撮影条件の組合せで撮影条件を変えながら連写された複数枚の画像の中から、自動的に「ベスト3」や「ベスト10」、「撮影条件別や画質項目別のベスト3」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
このため、本発明のように、1度のレリーズボタン操作により多数枚の画像が撮影された場合にも、一度に多数のメモリ容量を消耗してしまうことなく、また、多数枚の画像の中から不要の画像や画質や写りの良くない多数の画像を逐一削除したりする面倒もない。
[変形例] また、上記の例において、ユーザの操作に応じて、画質の評価方法や、優先する画質特性の項目、画質の良い画像から何枚まで自動的に保存記録するかなどを、任意に選択しておくような、画質評価に関するカスタム設定機能を設けても良い。
さらに、画質評価の評価値が所定値に達しない画質や写りが良くないと推定される画像や、または、ブレやボケなどが目立つ画像を自動的に画像補正するような画像補正手段や画像復元手段を付加して設けることもできる。