JP5366584B2 - 撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、撮影レンズを介して取り込まれた被写体の光学像を撮像素子で光電変換して画像データを生成する撮像装置などに関するものである。特にホワイトバランス（以下、ＷＢと記述する場合がある）とヒストグラムとの演算を行う撮像装置などに関するものである。

近年、デジタルカメラの多くが画像データを輝度毎に集計したヒストグラムを生成する処理を行うことができる。このようなものの中でも、例えば、特許文献１には、ヒストグラム処理に要する時間の短縮を可能とするデジタルカメラが提案されている。このデジタルカメラでは、画像データをリサイズして縮小し、縮小した画像データからヒストグラムを計算することでヒストグラム処理を短縮させている。

また、特許文献２には、ヒストグラム処理を効率的に行うことでシステムへの負担の軽減を可能にしたデジタルカメラが提案されている。このデジタルカメラでは、撮影条件が変化した場合にヒストグラムを計算するように制御することで処理負担を軽減させている。

特開２００２−８４４４０号公報 特開２００３−２４４４８７号公報

しかしながら、デジタルカメラでは、静止画の画像データからヒストグラムを計算し、ヒストグラムの結果に応じて信号処理の設定を最適化することで画質の向上を図るような処理を行う。この場合、静止画の画像データからヒストグラムを計算する処理が、静止画の現像処理全体の時間に単純に加算されてしまい、パフォーマンスを損なうという問題がある。

一方で、現像処理の設定を求める目的でヒストグラムの計算を行うため、ヒストグラム処理を行うときの入力画像は現像前の画像データである。したがって、現像前の画像データではカラーバランスが補正されておらず、ヒストグラム結果は撮影状況を正しく反映していないという問題もあった。
本発明は、上述したような問題点に鑑みてなされたものであり、撮影された画像データを現像する処理時間を延ばすことなく、撮影された画像データに適正なヒストグラム処理を行うことができるようにする。

本発明の撮像装置は、被写体を撮像して画像データを取得する撮像手段と、前記撮像手段により取得された画像データからホワイトバランス積分値を算出するホワイトバランス積分手段と、前記ホワイトバランス積分手段により算出されたホワイトバランス積分値を用いて静止画用ホワイトバランス制御値を算出する静止画用ホワイトバランス制御値算出手段と、ヒストグラム処理を行うときに用いるヒストグラム用ホワイトバランス制御値を算出するヒストグラム用ホワイトバランス制御値算出手段と、前記撮像手段により取得された画像データのホワイトバランスを調整してヒストグラム処理を行うヒストグラム処理手段とを有し、前記ヒストグラム用ホワイトバランス制御値算出手段は、前記撮像手段により静止画用の画像データが取得されるより前にＥＶＦモードにおいて前記撮像手段により取得された画像データに対するホワイトバランス制御値に基づいて、前記静止画用の画像データのヒストグラムに用いる画像データのホワイトバランスを調整するヒストグラム用ホワイトバランス制御値を算出し、前記ヒストグラム処理手段は、前記ホワイトバランス積分手段による前記静止画用の画像データに基づく前記静止画用のホワイトバランス積分値を算出する処理と並行して、前記算出されたヒストグラム用ホワイトバランス制御値を用いて前記静止画用の画像データを調整して前記静止画用の画像データのヒストグラム処理を行うことを特徴とする。

本発明によれば、撮影された画像データを現像する処理時間を延ばすことなく、撮影された画像データに適正なヒストグラム処理を行うことができる。

撮像装置のブロック図である。 撮像装置の主な動作処理を示すフローチャートである。 撮像装置の静止画撮影の動作処理を示すフローチャートである。 撮像装置の静止画撮影の動作処理を示すフローチャートである。 撮像装置の静止画撮影の動作処理を示すフローチャートである。 撮像装置の静止画撮影の動作処理のタイミングチャートを示す図である。 ユーザ設定に対応した既定の色温度の対応表の一例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る撮像装置の構成を示す図である。
撮像装置１００は、保護部１０２、撮影レンズ１０、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０を含んで構成される。
保護部１０２は、撮影レンズ１０を含む撮像部を覆い、撮像部の汚れや破損を防止する。シャッター１２は、絞り機能を備えている。撮像素子１４は、光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４からのアナログ信号出力をデジタル信号に変換する。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御部５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。ホワイトバランスのための演算処理として、映像信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、映像信号の各画素の信号値を色度座標に展開し所定の領域についての色信号の積分値を得る白サーチ積分が行われる。白サーチ積分に使用する色度座標上の積分領域の設定は画像処理回路２０内に保持される。

また、撮像装置１００は、メモリ制御回路２２、画像表示メモリ２４、Ｄ／Ａ変換器２６、画像表示部２８を含んで構成される。
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０及び圧縮・伸長回路３２を制御する。ここで、Ａ／Ｄ変換器１６のデータは、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
画像表示部２８は、ＴＦＴ−ＬＣＤ等からなる。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

また、撮像装置１００は、メモリ３０、圧縮・伸長回路３２、露光制御部４０、測距制御部４２、ズーム制御部４４、バリア制御部４６、ストロボ４８、システム制御部５０を含んで構成される。
メモリ３０は、撮影した静止画像や動画像を格納するためのメモリである。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。したがって、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御部５０の作業領域としても使用することが可能である。
圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

システム制御部５０は、撮像装置１００全体を制御する。露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、ストロボ４８と連携することによりフラッシュ調光機能も有する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御する。露光制御部４０及び測距制御部４２は、ＴＴＬ（スルー・ザ・レンズ）方式を用いて制御されている。すなわち、システム制御部５０は、画像処理回路２０による演算結果に基づいて、露光制御部４０及び測距制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。バリア制御部４６は、保護部１０２の動作を制御する。ストロボ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

また、撮像装置１００は、メモリ５２、表示部５４、不揮発性メモリ５６を含んで構成される。
メモリ５２は、システム制御部５０の動作用の定数、変数、プログラム等を格納している。また、メモリ５２は、ＡＥ処理で用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値の関係を定義したテーブルである。表示部５４は、システム制御部５０によるプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等である。表示部５４は、撮像装置１００の操作部６３近辺の視認し易い位置に単数或いは複数個所設置されている。例えば、表示部５４は、ＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとして、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示がある。また、ＬＣＤ等に表示するものとして、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。
また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

また、撮像装置１００は、モードダイアル６０、シャッタースイッチ（ＳＷ１）６１、シャッタースイッチ（ＳＷ２）６２、操作部６３を含んで構成される。これらは、ユーザがシステム制御部５０の各種の動作指示を入力するための入力部である。入力部は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

シャッタースイッチ（ＳＷ１）６１は、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
シャッタースイッチ（ＳＷ２）６２は、不図示のシャッターボタンの操作完了でＯＮとなり、一連の処理の動作開始を指示する。一連の処理とは、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理及び記録処理である。なお、記録処理とは、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００、２１０に画像データを書き込む処理である。

操作部６３は、各種ボタンやタッチパネル等からなり、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンである。また、操作部６３は、例えば、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等である。

また、撮像装置１００は、電源制御部８０、コネクタ８２、コネクタ８４、電源部８６、インタフェース９０、９４、光学ファインダー１０４、通信部１１０、コネクタ（アンテナ）１１２、記録媒体着脱検知部９８を含んで構成される。
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
電源部８６は、アルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

インタフェース９０、９４は、メモリカードやハードディスク等の記録媒体２００、２１０との間でデータを送受信する。コネクタ９２、９６は、記録媒体２００、２１０との接続を行う。記録媒体着脱検知部９８は、コネクタ９２又はコネクタ９６に記録媒体２００又は記録媒体２１０が装着されているか否かを検知する。なお、ここでは、記録媒体を取り付けるインタフェース及びコネクタを２系統有している場合について説明している。しかしながら、記録媒体を取り付けるインタフェース及びコネクタは、何れの系統数であってもよい。また、異なる規格のインタフェース及びコネクタを組み合わせる構成であってもよい。

インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成してもよい。この場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードを接続する。このようにすることで、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

光学ファインダー１０４は、撮像する被写体を確認する窓であり、画像表示部２８による電子ファインダー機能を使用することなく被写体を確認することができる。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示及び露出補正表示等が設置されている。通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。
コネクタ（アンテナ）１１２は、通信部１１０により撮像装置１００を他の機器と接続する。なお、無線通信の場合はアンテナとして機能する。

撮像装置１００は、記録媒体２００、２１０が着脱可能に設けられている。記録媒体２００、２１０は、メモリカードやハードディスク等である。記録媒体２００、２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２、インタフェース２０４、２１４を備えている。また、記録媒体２００、２１０は、撮像装置１００と接続を行うコネクタ２０６、２１６を備えている。

次に、本実施形態に係る撮像装置の動作処理について図２〜図４に示すフローチャートを参照して説明する。なお、図２〜図４に示すフローチャートの処理は、システム制御部５０が、メモリ５２に格納されているプログラムを実行することにより実現する。

まず、図２を参照して、撮像装置により撮像処理を行う前の動作処理について説明する。この処理は、電池交換等により撮像装置１００に電源が投入されることにより開始される。
まず、ステップＳ２０１では、システム制御部５０は、フラグや制御変数等を初期化する。ステップＳ２０２では、システム制御部５０は、画像表示部２８の画像表示をＯＦＦ状態に初期設定する。

ステップＳ２０３では、システム制御部５０は、モードダイアル６０が、電源ＯＦＦ、撮影モード又はその他のモードの何れの設定位置であるかを判断する。モードダイアル６０が電源ＯＦＦに設定されていた場合、ステップＳ２０５に処理を進める。ステップＳ２０５では、システム制御部５０は、各表示部の表示を終了状態に変更し、保護部１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。また、電源制御部８０は、画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行う。その後、ステップＳ２０３に処理を戻す。
また、ステップＳ２０３において、モードダイアル６０がその他のモードに設定されていた場合、システム制御部５０は選択されたモードに応じた処理を実行する。その後、ステップＳ２０３に処理を戻す。また、ステップＳ２０３において、モードダイアル６０が撮影モードに設定されていた場合、ステップＳ２０６に処理を進める。

ステップＳ２０６では、システム制御部５０は、電源制御部８０により電源部８６の残容量や動作状況が撮像装置１００の動作に問題があるか否かを判断する。問題がある場合、ステップＳ２０８に処理を進め、システム制御部５０は、表示部５４を用いて画像や音声により所定の警告表示を行い、その後、ステップＳ２０３に処理を戻す。一方、問題がない場合、ステップＳ２０７に処理を進める。

ステップＳ２０７では、システム制御部５０は、記録媒体２００、２１０の動作状態が撮像装置１００の動作、特に記録媒体２００、２１０に対して画像データを記録再生する動作に問題があるか否かを判断する。問題がある場合、ステップＳ２０８に処理を進め、上述したような所定の警告表示を行い、その後、ステップＳ２０３に処理を戻す。一方、問題がない場合、ステップＳ２０９に処理を進める。

ステップＳ２０９では、システム制御部５０は、ファインダーのモードがＯＶＦ（光学ビューファインダー）モードの状態であるか否かを判定する。より具体的には、ファインダーのモードがＯＶＦモードの状態であるかＥＶＦ（電子ビューファインダー）モードの状態であるかを判定する。ここで、ＯＶＦモードとは、光学ファインダー１０４により撮影する被写体を確認するモードである。一方、ＥＶＦモードとは、ファインダー機能として、画像表示部２８にスルー画像を表示させて撮影する被写体を確認するモードである。スルー画像とは、静止画を撮影する前後において、撮像素子１４によって撮像された動画像のことをいう。
ステップＳ２０９において、ＯＶＦモードであると判定した場合、スルー画像の表示を行わず、図３に示すフローチャートの処理に進む。一方、ＥＶＦモードであると判定した場合、ステップＳ２１０の処理に進む。

ステップＳ２１０では、システム制御部５０は、スルー画像を画像表示部２８に表示するための撮影準備の初期化を行う。
ステップＳ２１１では、システム制御部５０は、撮影準備が完了した後、画像表示部２８を介してスルー画像の表示を開始する。なお、スルー画像の表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０及びメモリ制御回路２２を介して、画像表示メモリ２４に逐次画像データが書き込まれる。そして、書き込まれた画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ビューファインダー機能が実現する。

次に、スルー画像の表示状態における静止画撮影時のカメラ動作について図３、図４及び図５を参照して説明する。
まず、ステップＳ３０１では、システム制御部５０は、モードダイアル６０が変更されているか否かを判定する。変更されている場合、ステップＳ２０３に処理を戻す。一方、変更されていない場合、ステップＳ３０２に処理を進める。

ステップＳ３０２では、システム制御部５０は、ＯＶＦモードであるか否かを判定する。より具体的には、ＯＶＦモードであるかＥＶＦモードであるかを判定する。ＯＶＦモードの場合、ステップＳ３０６に処理を進める。一方、ＥＶＦモードの場合、ステップＳ３０３に処理を進める。
ステップＳ３０３では、システム制御部５０は、スルー画像を継続して表示するための処理を行う。例えば、画像処理回路２０が撮像素子１４から取得した画像信号に対して所定の測光演算を行い、その演算結果をメモリ３０に格納したり、システム制御部５０がこの演算結果を基に露光制御部４０を用いてスルー画像に対するＡＥ処理を行ったりする。

更に、ステップＳ３０４では、システム制御部５０は、ＥＶＦモードでのホワイトバランス処理を行う。具体的には、画像処理回路２０が、撮像素子１４から取得した画像信号に対して所定のホワイトバランス演算を行い、その演算結果をメモリ３０に格納する。システム制御部５０は、この演算結果を基に画像処理回路２０にホワイトバランス制御値を設定して、スルー画像に対するホワイトバランス処理を行う。
その後、ステップＳ３０５では、システム制御部５０は、ホワイトバランス処理をした後のスルー画像を画像表示部２８に表示する。

ステップＳ３０６では、システム制御部５０は、ユーザによりシャッタースイッチ（ＳＷ１）６０が押下されたか否かを判定する。押下されていない場合、ステップＳ２０３に処理を戻す。一方、押下された場合、ステップＳ３０７に処理を進める。
ステップＳ３０７では、画像処理回路２０が撮像素子１４から得られた画像信号に対して所定の測距演算を行い、その演算結果をメモリ３０に格納する。そして、システム制御部５０は、測距演算結果を基に測距制御部４２を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる。

その後、ステップＳ３０８では、システム制御部５０は、スルー画像を画像表示部２８に表示する。
ステップＳ３０９では、システム制御部５０は、ユーザによりシャッタースイッチ（ＳＷ２）６１が押下されたか否かを判定する。押下されていない場合、ステップ３１０に処理を進め、再びシステム制御部５０は、ユーザによりシャッタースイッチ（ＳＷ１）６０が押下されたか否かを判定する。押下されていない場合、ステップＳ２０３に処理を戻し、押下されている場合、ステップＳ３０８に処理を戻す。
一方、ステップＳ３０９において、シャッタースイッチ（ＳＷ２）６１が押下された場合、ステップ３１１に処理を進める。

ステップＳ３１１からステップＳ３１３までは、一連の撮影動作を行う静止画撮影処理を実行する。
ステップＳ３１１では、システム制御部５０は、図４で後述する方法によって、静止画の撮影処理が実行する。
ステップＳ３１２では、システム制御部５０は、ステップＳ３１１でメモリ３０に保存された圧縮画像データを、静止画ファイルとして記録媒体２００に書き込む。

ステップＳ３１３では、システム制御部５０は、ステップＳ３１１で撮影された画像データをとして画像表示部２８に表示して、静止画撮影の処理を完了する。
ステップＳ３１４では、システム制御部５０は、ユーザによりシャッタースイッチ（ＳＷ１）６０が押下されているか否かを判定する。押下されている場合、ステップＳ３０８に処理を戻し、スルー画像を表示して、撮影待機状態に復帰する。押下されていない場合、ステップＳ２０３に処理を戻す。

次に、静止画撮影の処理について、図４に示すフローチャートを参照して説明する。この処理は、上述した図３に示すフローチャートのステップＳ３１１の処理に対応する。
まず、ステップＳ４０１では、システム制御部５０は、タイミング発生回路１８に同期して撮像素子１４から画像信号の読み出しを開始する。このとき、ステップＳ３０３のＡＥ処理の結果、ストロボ撮影の場合、システム制御部５０は、ストロボ４８を画像信号の先幕又は後幕に同期して発光する。システム制御部５０は、撮像素子１４から逐次読み出された画像信号をＡ／Ｄ変換器１６を介して画像データに変換し、メモリ３０に逐次格納する。

ステップＳ４０２では、システム制御部５０は、ステップＳ４０１の画像信号の読み出しと並行して積分処理を行う。この処理は、ホワイトバランス積分手段による処理の一例に対応する。より具体的には、システム制御部５０は、画面内を複数のブロックに分割し、ブロックごとに信号レベルの積分値（ホワイトバランス積分値）を算出する。システム制御部５０は、算出した積分値を後述するホワイトバランス処理に用いる。
すなわち、システム制御部５０は、ステップＳ４０１の処理から少し遅れて、撮像素子１４から読み出され、メモリ３０に格納された画像データを読み出し、画像処理回路２０を使って積分処理を行い、積分結果を逐次メモリ３０に格納する。

ステップＳ４０３では、システム制御部５０は、ＯＶＦモードで静止画撮影したか否かを判定する。ＯＶＦモードで撮影した場合、ステップＳ４０５に処理を進める。一方、ＥＶＦモードで撮影した場合、ステップＳ４０４に処理を進める。
ステップＳ４０４の処理は、ＥＶＦモードで撮影した場合の処理である。
ステップＳ４０４では、システム制御部５０は、ステップＳ３０４において演算した、ＥＶＦモードでのホワイトバランス制御値をメモリ３０から取得し、静止画撮影用のホワイトバランス制御値に変換する。この処理は、ヒストグラム用ホワイトバランス制御値算出手段により処理の一例に対応する。すなわち、ＥＶＦモードで撮影している撮影状態と静止画撮影状態とでは、撮像素子１４の制御方法が異なり、撮像素子の色ごとの感度のバランスが異なっている。したがって、ＥＶＦモードで演算したホワイトバランス制御値をそのまま静止画撮影用のホワイトバランス制御値に適用することはできない。

そのため、システム制御部５０は、撮像素子１４に固有の変換係数を適用してＥＶＦモードでのホワイトバランス制御値を静止画撮影用のホワイトバランス制御値に変換する。なお、変換した静止画撮影用のホワイトバランス制御値は、ＥＶＦモードでのホワイトバランス制御値から算出した近似値であるため、後述するヒストグラムのカラーバランスの最適化のみに用いる。一方、静止画の現像処理に対しては後述する静止画用のホワイトバランス処理で算出するホワイトバランス制御値を用いる。
その後、システム制御部５０は、静止画撮影用に変換したホワイトバランス制御値をヒストグラム用ホワイトバランス制御値としてメモリ３０に格納する。

一方、ステップＳ４０５の処理は、ＯＶＦモードで撮影し、ＥＶＦモードでのホワイトバランス制御値を取得できない場合の処理である。システム制御部５０は、不揮発性メモリ５６に記憶されたホワイトバランスのユーザ設定値に応じてデフォルトホワイトバランス制御値を決定する。
ここで、ホワイトバランスのユーザ設定値とデフォルトホワイトバランス制御値との対応関係の一例を、図７を参照して説明する。図７に示す対応表７０１は、ホワイトバランスのユーザ設定値に応じて、対応する色温度が示されている。ここで、色温度とホワイトバランス制御値は、所定の演算によって相互に変換可能である。したがって、対応表７０１のホワイトバランスのユーザ設定値に対応する色温度を参照することで、ホワイトバランス制御値を決定することができる。

ここで、対応表７０１に示すように、ホワイトバランスのユーザ設定がオートの場合、高輝度用と低輝度用とに分かれており、被写体輝度に応じて２つの設定を切り替えて使用する。オート以外のホワイトバランスのユーザ設定は、一つの色温度に対応しているので、一つのホワイトバランス制御値を決定することができる。このユーザ設定に基づいて決定したホワイトバランス制御値は、後述するヒストグラムのカラーバランスの最適化のみに用いる。一方、静止画の現像処理に対しては後述する静止画用のホワイトバランス処理で算出するホワイトバランス制御値を用いる。
この後、システム制御部５０は、対応表７０１に基づいて決定したホワイトバランス制御値をヒストグラム用ホワイトバランス制御値としてメモリ３０に格納する。

ステップＳ４０６では、システム制御部５０は、画像処理回路２０内に設けられているヒストグラム回路に上述したステップＳ４０４及びステップＳ４０５で取得したストグラム用ホワイトバランス制御値を設定する。画像処理回路２０内のヒストグラム回路の入力設定において、色ごとにゲインを適用する回路が備わっていて、ヒストグラム用ホワイトバランス制御値を設定することでヒストグラム回路に入力される画像のカラーバランスを最適に調整することができる。

ステップＳ４０７では、システム制御部５０は、ヒストグラム処理を開始する。具体的には、システム制御部５０は、メモリ３０に格納された画像データを画像処理回路２０に逐次入力し、ヒストグラム演算結果をメモリ３０に書き込む。システム制御部５０は、ヒストグラム処理を開始したら、ステップＳ４０８に処理を進める。
ステップＳ４０８では、システム制御部５０は、ステップＳ４０２で開始した積分処理が完了するのを待機する。積分処理が完了したら、ステップＳ４０９に処理を進める。

ステップＳ４０９では、システム制御部５０は、静止画用のホワイトバランス処理を行う。具体的には、システム制御部５０は、ステップＳ４０２で実行した積分結果をメモリ３０から読み出し、所定のホワイトバランス演算を実行して静止画用のホワイトバランス制御値を算出し、静止画用のホワイトバランス制御値をメモリ３０に格納する。この処理は、静止画用ホワイトバランス制御値算出手段により処理の一例に対応する。続いて、システム制御部５０は、メモリ３０に格納された画像データに算出したホワイトバランス制御値を用いて、ホワイトバランス処理を行う。
ステップＳ４１０では、システム制御部５０は、ステップＳ４０７で開始したヒストグラム処理が完了するのを待機する。ヒストグラム処理が完了したら、ステップＳ４１１に処理を進める。
ステップＳ４１１では、システム制御部５０は、現像処理に設定するパラメータの生成処理を行う。このステップＳ４１１の処理については図５に示すフローチャートを参照して後述する。

ステップＳ４１２では、システム制御部５０は、画像処理回路２０において現像処理を実行するように指示する。ここで、現像処理とは、ＪＰＥＧ等の所定の現像及び圧縮処理を行い、処理後の画像データをメモリ３０内に保存する一連の処理である。システム制御部５０が画像処理回路２０に処理後の画像データはメモリ３０に格納させることで、一連の現像処理が終了する。

次に、現像パラメータの生成処理について、図５に示すフローチャートを参照して説明する。この処理は、上述した図５に示すフローチャートのステップＳ４１１の処理に対応する。
まず、ステップＳ５０１では、システム制御部５０は、ステップＳ４０７で実行したヒストグラム処理の結果から飽和輝度を算出する。具体的には、システム制御部５０は、ステップＳ４０７で実行したヒストグラム処理の結果をメモリ３０から読み出し、累積ヒストグラムが９９％になる輝度値を検出し、飽和輝度としてメモリ３０に格納する。

ステップＳ５０２では、システム制御部５０は、メモリ３０に格納された飽和輝度を用いて、飽和ターゲット輝度に対して不足分をゲインとして算出する。なお、ゲインの算出は次の式に従って行う。
ゲイン＝飽和ターゲット輝度／飽和輝度
ただし、ゲインは１．０〜１．４の間でリミット処理をする。

ステップＳ５０３では、システム制御部５０は、メモリ３０に格納されたヒストグラム処理の結果を参照し、高輝度側のヒストグラムを調べる。具体的には、システム制御部５０は、８ｂｉｔ階調（０〜２５５）のレンジで２００以上の輝度を高輝度側と定義し、しきい値以上の輝度値にヒストグラムが現れるかを調べる。
ステップＳ５０４では、システム制御部５０は、高輝度側のヒストグラムがあるか否かを判定し、高輝度側のヒストグラムがある場合、ステップＳ５０６に処理を進め、高輝度側のヒストグラムがない場合、ステップＳ５０５に処理を進める。

ステップＳ５０５では、システム制御部５０は、高輝度側のヒストグラムが現れない場合は、コントラストが低くダイナミックレンジを使い切っていない状態であると判断し、ステップＳ５０２で算出したゲインを画像処理回路２０に設定する。その後、ステップＳ５０６に処理を進める。
ステップＳ５０６は、ゲイン以外の現像パラメータの設定である。
ステップＳ５０６では、システム制御部５０は、シャープネス等のゲイン以外の現像パラメータについて所定の値を画像処理回路２０に設定し、現像パラメータの生成処理を終了する。

次に、図４に示す静止画撮影の処理を時間軸方向で示したタイミングチャートについて、図６を参照して、説明する。
図６に示すように、本実施形態では、映像信号の読み出し処理（センサー読み出し６０１）と積分処理（積分処理６０２）とに並行して、ヒストグラム処理（ヒストグラム処理６０３）を実行している。したがって、現像処理（現像処理６０４）の開始を遅らせることがなく、同時に全体の現像時間を延ばすことなく、ヒストグラム処理を行うことができる。また、ヒストグラム用のホワイトバランス処理を実行することで、静止画の映像信号から正確なヒストグラム処理を行うことができる。
以上、静止画の現像時間を延ばすことなくヒストグラムをとり、且つ、静止画の映像信号から正確なヒストグラムをとるための方法について説明した。

本実施形態では、撮影画像からヒストグラムを計算し、ヒストグラム処理の結果に応じて画像処理の設定を最適化することで画質の向上を図るような場合、静止画の現像処理時間を延ばすことなく撮影画像からヒストグラム処理を行うことができる。また、同時に、ヒストグラムを計算するときに、カラーバランスを調整することで撮影状況やデバイスの特性を考慮した正確なヒストグラムを求めることができる。

なお、本実施形態の説明では、ホワイトバランスのユーザ設定がオートや太陽光等を例にして説明したが、ホワイトバランスのユーザ設定はこれに限定されるものではない。他の撮影条件や撮像装置の設定に基づいて、ヒストグラム用ホワイトバランス制御値を算出してもよい。例えばユーザが色温度を指定するマニュアルホワイトバランスに設定されている場合、静止画用のホワイトバランス制御値は固定されているために、ＥＶＦモードでのホワイトバランス制御値を用いなくてもよい。すなわち、固定されたホワイトバランス制御値を、ヒストグラム用のホワイトバランス制御値とすればよい。

また、例えばユーザが白紙をターゲットとしてホワイトバランスを合わせるように設定されている場合、その白紙をターゲットとしたときのホワイトバランス制御値を、ヒストグラム用のホワイトバランス制御値とすればよい。

また、例えばストロボ撮影ではＥＶＦモードでのホワイトバランス制御値を用いると撮影画像のホワイトバランス制御値とは全く異なったものになる。したがって、システム制御部５０は、撮像装置の設定がストロボ撮影であると判断した場合、図７の対応表７０１で示したストロボの色温度を用いて、ホワイトバランス制御値を算出すればよい。

また、ＥＶＦモードでのホワイトバランス制御値が安定していないような場合、図４に示すフローチャートのステップＳ４０５と同等の処理を行ってもよい。すなわち、システム制御部５０は、上述したステップＳ３０４において、ＥＶＦモードにおいて、スルー画像に対してホワイトバランス処理を行ったときのホワイトバランス制御値が安定しているか否かを判定する。この処理は、安定判定手段による処理の一例に対応する。そして、システム制御部５０は、ホワイトバランス制御値が安定していないと判定した場合、図７の対応表７０１で示した色温度を用いて、ホワイトバランス制御値を算出すればよい。

上述した本発明の実施形態における撮像装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

１０：撮影レンズ
１２：シャッター
１４：撮像素子
１６：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御部
４２：測距制御部
４４：ズーム制御部
４６：バリア制御部
４８：ストロボ
５０：システム制御部
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：モードダイアルスイッチ
６１：シャッタースイッチＳＷ１
６２：シャッタースイッチＳＷ２
６３：操作部
８０：電源制御部
８２：コネクタ
８４：コネクタ
８６：電源部
９０：インタフェース
９２：コネクタ
９４：インタフェース
９６：コネクタ
９８：記録媒体着脱検知部
１００：撮像装置
１０２：保護部
１０４：光学ファインダー
１１０：通信部
１１２：コネクタ／アンテナ
２００：記録媒体
２０２：記録部
２０４：インタフェース
２０６：コネクタ
２１０：記録媒体
２１２：記録部
２１４：インタフェース
２１６：コネクタ

Claims (10)

1. 被写体を撮像して画像データを取得する撮像手段と、
   前記撮像手段により取得された画像データからホワイトバランス積分値を算出するホワイトバランス積分手段と、
   前記ホワイトバランス積分手段により算出されたホワイトバランス積分値を用いて静止画用ホワイトバランス制御値を算出する静止画用ホワイトバランス制御値算出手段と、
   ヒストグラム処理を行うときに用いるヒストグラム用ホワイトバランス制御値を算出するヒストグラム用ホワイトバランス制御値算出手段と、
   前記撮像手段により取得された画像データのホワイトバランスを調整してヒストグラム処理を行うヒストグラム処理手段とを有し、
   前記ヒストグラム用ホワイトバランス制御値算出手段は、前記撮像手段により静止画用の画像データが取得されるより前にＥＶＦモードにおいて前記撮像手段により取得された画像データに対するホワイトバランス制御値に基づいて、前記静止画用の画像データのヒストグラムに用いる画像データのホワイトバランスを調整するヒストグラム用ホワイトバランス制御値を算出し、
   前記ヒストグラム処理手段は、前記ホワイトバランス積分手段による前記静止画用の画像データに基づく前記静止画用のホワイトバランス積分値を算出する処理と並行して、前記算出されたヒストグラム用ホワイトバランス制御値を用いて前記静止画用の画像データを調整して前記静止画用の画像データのヒストグラム処理を行うことを特徴とする撮像装置。
2. 前記静止画用ホワイトバランス制御値算出手段により算出された静止画用ホワイトバランス制御値を用いて、ホワイトバランス処理を行うホワイトバランス処理手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記ＥＶＦモードにおいて前記撮像手段により取得された画像データに対してホワイトバランス処理を行ったホワイトバランス制御値が安定しているか否かを判定する安定判定手段を更に有し、
   前記安定判定手段によりホワイトバランス制御値が安定していないと判定された場合、前記ヒストグラム用ホワイトバランス制御値算出手段は、撮影条件又は該撮像装置の設定に基づいて、デフォルトホワイトバランス制御値を、ヒストグラム用ホワイトバランス制御値とすることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ヒストグラム用ホワイトバランス制御値算出手段は、撮影条件又は該撮像装置の設定に基づいて、デフォルトホワイトバランス制御値を、ヒストグラム用ホワイトバランス制御値とすることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記撮像手段により取得された画像データがストロボ撮影により取得された画像データの場合、前記ヒストグラム用ホワイトバランス制御値算出手段は、デフォルトホワイトバランス制御値を、ヒストグラム用ホワイトバランス制御値とすることを特徴とする請求項４に記載の撮像装置。
6. 該撮像装置の設定が、白紙をターゲットとしてホワイトバランスを合わせる設定の場合、前記ヒストグラム用ホワイトバランス制御値算出手段は、白紙をターゲットとしたときのホワイトバランス制御値を、ヒストグラム用ホワイトバランス制御値とすることを特徴とする請求項４に記載の撮像装置。
7. 該撮像装置の設定が、色温度を指定してホワイトバランス制御値が固定されるマニュアルホワイトバランスの設定の場合、前記ヒストグラム用ホワイトバランス制御値算出手段は、固定されたホワイトバランス制御値を、ヒストグラム用ホワイトバランス制御値とすることを特徴とする請求項４に記載の撮像装置。
8. 前記ホワイトバランス処理手段によりホワイトバランス処理された画像データに対して、現像処理をする現像処理手段を更に有し、
   前記現像処理手段は、前記ヒストグラム処理手段によるヒストグラム処理の結果に基づいて算出された現像パラメータに基づいて、現像処理することを特徴とする請求項２に記載の撮像装置。
9. 被写体を撮像して画像データを取得する撮像ステップと、
   前記撮像ステップにより取得された画像データからホワイトバランス積分値を算出するホワイトバランス積分ステップと、
   前記ホワイトバランス積分ステップにより算出されたホワイトバランス積分値を用いて静止画用ホワイトバランス制御値を算出する静止画用ホワイトバランス制御値算出ステップと、
   ヒストグラム処理を行うときに用いるヒストグラム用ホワイトバランス制御値を算出するヒストグラム用ホワイトバランス制御値算出ステップと、
   前記撮像ステップにより取得された画像データのホワイトバランスを調整してヒストグラム処理を行うヒストグラム処理ステップとを有し、
   前記ヒストグラム用ホワイトバランス制御値算出ステップでは、前記撮像ステップにより静止画用の画像データが取得されるより前にＥＶＦモードにおいて前記撮像ステップにより取得された画像データに対するホワイトバランス制御値に基づいて、前記静止画用の画像データのヒストグラムに用いる画像データのホワイトバランスを調整するヒストグラム用ホワイトバランス制御値を算出し、
   前記ヒストグラム処理ステップでは、前記ホワイトバランス積分ステップによる前記静止画用の画像データに基づく前記静止画用のホワイトバランス積分値を算出する処理と並行して、前記算出されたヒストグラム用ホワイトバランス制御値を用いて前記静止画用の画像データを調整して前記静止画用の画像データのヒストグラム処理を行うことを特徴とする画像処理方法。
10. 被写体を撮像して画像データを取得する撮像ステップと、
    前記撮像ステップにより取得された画像データからホワイトバランス積分値を算出するホワイトバランス積分ステップと、
    前記ホワイトバランス積分ステップにより算出されたホワイトバランス積分値を用いて静止画用ホワイトバランス制御値を算出する静止画用ホワイトバランス制御値算出ステップと、
    ヒストグラム処理を行うときに用いるヒストグラム用ホワイトバランス制御値を算出するヒストグラム用ホワイトバランス制御値算出ステップと、
    前記撮像ステップにより取得された画像データのホワイトバランスを調整してヒストグラム処理を行うヒストグラム処理ステップとをコンピュータに実行させるためのプログラムであって、
    前記ヒストグラム用ホワイトバランス制御値算出ステップでは、前記撮像ステップにより静止画用の画像データが取得されるより前にＥＶＦモードにおいて前記撮像ステップにより取得された画像データに対するホワイトバランス制御値に基づいて、前記静止画用の画像データのヒストグラムに用いる画像データのホワイトバランスを調整するヒストグラム用ホワイトバランス制御値を算出し、
    前記ヒストグラム処理ステップでは、前記ホワイトバランス積分ステップによる前記静止画用の画像データに基づく前記静止画用のホワイトバランス積分値を算出する処理と並行して、前記算出されたヒストグラム用ホワイトバランス制御値を用いて前記静止画用の画像データを調整して前記静止画用の画像データのヒストグラム処理を行うことを特徴とするプログラム。

Images