JP5720382B2

JP5720382B2 - 撮像装置

Info

Publication number: JP5720382B2
Application number: JP2011084215A
Authority: JP
Inventors: 山田　学; 学山田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-04-06
Filing date: 2011-04-06
Publication date: 2015-05-20
Anticipated expiration: 2031-04-06
Also published as: JP2012222481A

Description

本発明は、撮影動作時に液晶ディスプレイなどの表示手段に被写体画像を表示させる撮像装置であって、表示される被写体画像にフリッカ（ちらつき）が生じる露光条件を補助光学系によって検出し、主撮像光学系を用いた被写体画像の表示においてはフリッカの発生を低減させることができる撮像装置に関するものである

従来から、蛍光灯環境下でデジタルカメラ等の撮像装置を用いて撮影処理を行うと、面間フリッカ（フレーム間フリッカ）が発生することが知られている。

また、近年では、ローリングシャッターによるモニタリング撮影を行うことができるＣＭＯＳセンサを搭載したデジタルカメラが増えている。ローリングシャッターを備えるデジタルカメラは、水平ラインごとに露光の差が生じることから、この水平ラインごとの露光差によって、１フレーム内での画像の輝度差による明暗のばらつき、いわゆる面内フリッカ（フレーム内フリッカ）が発生することも知られている。

ローリングシャッターを備えるデジタルカメラにおいて、面内フリッカを低減させるために、１フレーム内の輝度情報に基づいて面内フリッカの有無を判定し、フリッカが生じているときはローリングシャッターではなくメカニカルシャッタを用いて撮影をする撮像装置が知られている（例えば特許文献１を参照）。特許文献１に記載の撮像装置は、静止画撮影には有効である。

しかし、ローリングシャッターなどのメカニカルシャッタをモニタリング撮影に用いることは困難である。すなわち、モニタリング撮影では、連続して撮影した画像を順次表示するので、撮影間隔を短くする必要がある。メカニカルシャッタを用いた場合は、メカ機構の動作のために撮影間隔が長くなり、消費電力の増加の要因にもなる。また、連続使用においてメカ機構への負荷を考慮すると、メカニカルシャッタをモニタリング撮影に用いることは困難である。

また、撮像装置から得られる信号に対して離散フーリエ変換処理を行ってスペクトルを抽出し、この抽出されたスペクトルからフリッカ係数を算出して、このフリッカ係数に基づき、フリッカが発生しないようにモニタリング画像への補正を行うフリッカ低減回路を備えた撮像装置が知られている（例えば特許文献２を参照）。特許文献２に記載の撮像装置は、モニタリング撮影においてもフリッカの発生を低減させることができる。しかし、フリッカ成分の推定に誤差が生じる場合は、見た目に違和感が生じる画像となるおそれがある。

本発明は上記の課題に鑑みてなされたものであって、フリッカが生じる露光条件を、補助光学系を用いて検出し、検出結果に応じて主光学系の露光制御を行うことで、主撮像光学系を用いたモニタリング表示においてフリッカの発生を低減させることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像レンズを介して画像信号を出力する主撮像光学系と、主撮像光学系を介して出力された画像信号から記録または表示に用いられる主画像情報を取得する主画像情報取得手段と、上記主画像情報を表示する表示部と、を有する撮像装置であって、上記主撮像光学系とは異なる少なくとも１つ以上の補助光学系と、上記補助光学系に少なくとも２つの異なる露光秒時の設定をする補助露光秒時設定手段と、上記補助露光秒時設定手段が設定した異なる露光秒時に基づいて、上記補助光学系を介して補助画像情報を取得する補助画像情報取得手段と、上記補助画像情報取得手段に設定された１の露光秒時である第１露光秒時に基づいて取得された第１補助画像情報と、上記補助画像情報取得手段にフリッカが発生しない値に設定された他の露光秒時である第２露光秒時に基づいて取得された第２補助画像情報と、に含まれる任意の垂直ラインの輝度データを取得する輝度データ取得手段と、上記第１補助画像情報に係る輝度データと、上記第２補助画像情報に係る輝度データと、を比較する輝度データ比較手段と、上記輝度データ比較手段における比較の結果に基づいて面内フリッカが発生するか否かを判定する面内フリッカ判定手段と、上記面内フリッカ判定手段において面内フリッカが発生すると判定されたときは、上記主撮像光学系の露光秒時を上記第２露光秒時の整数倍に設定し、上記面内フリッカ判定手段において面内フリッカが発生しないと判定されたときは、上記主撮像光学系の露光秒時を上記第１露光秒時に設定する、主露光秒時設定手段と、を有することを最も主要な特徴とする。

本発明によれば、モニタリング動作に用いる画像を出力しない補助光学系を用いて、フリッカが生じる露光条件を判定し、この判定結果に応じて、主撮像光学系の露光制御を行うことで、モニタリング動作にて表示される画像におけるフリッカの発生を低減させることができる。

また、本発明によれば、フリッカが発生しない撮影環境であれば、主要撮像光学系の露光秒時の設定を高速なものに設定することができる。

本発明に係る撮像装置であるカメラの例であって、（ａ）正面図、（ｂ）上面図、（ｃ）背面図である。本発明に係る撮像装置の例を示す機能ブロック図である。面内フリッカが生じる例を説明する図である。面間フリッカが生じる例を説明する図である。上記撮像装置における面内フリッカ低減処理の例を示すフローチャートである。上記撮像装置における面内フリッカ低減処理の別の例を示すフローチャートである。上記撮像装置における面間フリッカ低減処理の例を示すフローチャートである。上記撮像装置における面間フリッカ低減処理の別の例を示すフローチャートである。上記撮像装置におけるフリッカ判定処理に用いる輝度の閾値の例を示すグラフである。上記撮像装置における画角判定処理に用いる加速度センサの出力の閾値の例を示すグラフである。

以下、本発明に係る撮像装置の例であるデジタルカメラの例について図面を参照しながら説明する。図１は、本発明に係る撮像装置の例であるデジタルカメラの外観構成の例であって、図１（ａ）は正面図を、図１（ｂ）は上面図を、図１（ｃ）は背面図を示している。

図１（ａ）において、デジタルカメラ１の正面（前面）には、撮像に用いられる主撮像光学系を構成する撮像レンズ５を含む鏡胴ユニット６と、フラッシュ動作をするストロボ発光部７と、被写体を視認するための光学ファインダ８と、主に測距に用いるための光学系である補助光学系１６と、を有している。

また、図１（ｂ）において、デジタルカメラ１の上面には、シャッターボタンであるレリーズボタン２と、電源ボタン３と、撮影モードや再生モードなどからなる動作モードの切り替えに用いる切替ダイヤル４と、を有している。

また、図１（ｃ）において、デジタルカメラ１の背面には、撮像動作時に被写体像を表示するモニタリング動作に用いられ、また、再生動作時には記録されている被写体画像の表示に用いられる表示部を構成する液晶モニタ（ＬＣＤモニタ）９と、光学ファインダ８の接眼レンズ部８ａと、広角側ズーム（Ｗ）スイッチ１０と、望遠側ズーム（Ｔ）スイッチ１１と、デジタルカメラ１の動作パラメータなどを設定するための設定メニューをＬＣＤモニタ９に表示させるためのメニュー（ＭＥＮＵ）ボタン１２と、確定ボタン（ＯＫボタン）１３と、を有している。また、デジタルカメラ１の側面内部には、撮影した画像を保存するための図示しないメモリカード１４を収納するメモリカード収納部１５が設けられている。

次に本実施例に係るデジタルカメラ１の内部構成の例について、図２のブロック図を用いて説明する。図２においてデジタルカメラ１は、撮像レンズ５を介して被写体画像を結像させる受光面を有する撮像素子であるＣＭＯＳ１０４と、ＣＭＯＳ１０４から出力される電気信号（デジタルＲＧＢ画像信号）に対して所定の画像信号処理を施す信号処理部１０１と、フォーカスレンズを含む撮像レンズ５と絞りユニットおよびメカシャッタユニットからなるユニット１８を駆動するモータドライバ１０３と、デジタルカメラ１の全体制御を行うＣＰＵ１０２と、を有してなる。

主撮像光学系１７は、撮像レンズ５と、ユニット１８と、ＣＭＯＳ１０４と、を有しなる。

また、デジタルカメラ１は、撮像処理によって取得された画像を一時的に格納するメモリ１０８と、デジタルカメラ１を図示しない通信インターフェースを介して外部機器と接続させるための通信ドライバ１０７と、撮像された被写体画像のデータを格納する着脱可能なメモリカード１４と、信号処理部１０１から出力される画像信号を表示可能な信号に変換する表示コントローラとＬＣＤモニタ９からなる表示部１０９と、利用者が操作可能な各種ボタン類（レリーズボタン２や切替ダイヤル４、メニューボタン１２、ＯＫボタン１３など）からなる操作部１０６と、を有してなる。

また、デジタルカメラ１は、主撮像光学系１７を用いて行う撮像処理において、補助的な動作に使用される補助光学系１６と、ＣＰＵ１０２によって発光動作の開始と停止が制御されるストロボ発光部７と、ストロボ発光用のメインコンデンサ１０５と、を有してなる。

撮影レンズ５と、ユニット１８を駆動するモータドライバ１０３は、ＣＰＵ１０２からの駆動信号によって、駆動制御される。

ＣＭＯＳ１０４は、２次元に配列された受光素子を有しており、この受光素子に結像した光学像を電荷に変換し、隣接する駆動部から送信される読出し信号タイミングで外部に電気信号として出力する。ＣＭＯＳ１０４を構成する複数の画素（受光素子）上にＲＧＢ原色フィルタ（以下、「ＲＧＢフィルタ」という。）が配置されており、ＲＧＢ３原色に対応した電気信号（デジタルＲＧＢ画像信号）が出力される。

信号処理部１０１は、詳細は図示しないが、ＣＭＯＳ１０４から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＭＯＳインターフェース（以下、「ＣＭＯＳＩ／Ｆ」という。）と、メモリ１０８へのデータの書き出しと読み込みを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像情報に変換するＹＵＶ変換部と、表示や記録される画像情報のサイズに合わせて画像サイズを変更するリサイズ処理部と、画像情報の表示出力を制御する表示出力制御部と、画像情報をＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像情報をメモリカードへ書き込み又はメモリカードからの読み出しに用いられるメディアインターフェース（以下、「メディアＩ／Ｆ」という。）と、操作部１０６からの操作入力情報に基づき、図示しないＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）と、を備えている。

メモリ１０８には、ＣＭＯＳＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像情報）およびＹＵＶ合成部で合成処理されたＹＵＶデータ（詳細は後述する）が保存される。また、メモリ１０８には、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像情報等が保存される。なお、ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）データの差分（Ｕ）と、輝度データと赤色（Ｒ）の差分（Ｖ））の情報で色を表現する形式を指称するものである。

次に、本発明に係る撮像装置の実施例であるデジタルカメラ１において実行されるモニタリング動作の例と、撮像処理の一例である静止画撮影の例について説明する。デジタルカメラ１が静止画撮影モードで動作しているときは、以下に説明するモニタリング動作を実行しながら静止画撮影動作が行われる。

デジタルカメラ１を静止画撮影モードで動作させるときは、利用者が、電源ボタン３を操作して動作電源を投入した後に、切替ダイヤル４を操作して「撮影モード」を選択する操作を行えばよい。

撮影モードが選択されたデジタルカメラ１は、ＣＰＵ１０２からモータドライバ１０３に対して制御信号が出力される。制御信号を受け取ったモータドライバ１０３は、フォーカスレンズを含む撮像レンズ５を撮影可能位置に移動させる。また、ＣＰＵ１０２は、ＣＭＯＳ１０４と信号処理部１０１、および表示部１０９などを起動させる。

その後、撮像レンズ５を被写体に向けると、被写体の像光が撮像レンズ５を介してＣＭＯＳ１０４の受光面（受光素子）に結像される。ＣＭＯＳ１０４の受光素子から出力される被写体像に応じた画像電気信号は、ＣＤＳ/ＰＧＡ１１１を介してＡ／Ｄ変換部１１２に入力され、１２ビットのＲＡＷ−ＲＧＢデータに変換される。変換されたＲＡＷ−ＲＧＢデータは、信号処理部１０１のＣＭＯＳＩ／Ｆに取り込まれてメモリコントローラを介してメモリ１０８であるＳＤＲＡＭに保存される。

メモリ１０８に保存されたＲＡＷ−ＲＧＢデータは所定のタイミングで読み出されて、信号処理部１０１が有するＹＵＶ変換部によって、表示部１０９のＬＣＤモニタ９において表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換される。この変換されたＹＵＶデータも、メモリコントローラを介してメモリ１０８であるＳＤＲＡＭに保存される。

その後、所定のタイミングでメモリコントローラを介してメモリ１０８からＹＵＶデータが読み出されて、表示部１０９に出力され、液晶モニタ９に被写体像が表示される。この表示に係る一連の動作を「モニタリング動作」という。

上記のモニタリング動作の間は、ＣＭＯＳＩ／Ｆによる画素数の間引き処理によって１／３０秒間隔で１フレームのＹＵＶデータが読み出されてＬＣＤモニタ９に表示される。「モニタリング動作」は、レリーズボタン２に対する押圧（半押も含む）操作が検出されるまで継続し、モニタリング動作が継続している間は、電子ファインダとして機能するＬＣＤモニタ９に被写体の画像が表示されている。

ＬＣＤモニタ９に、ＹＵＶデータに係る画像が表示されることで、被写体画像を視認することができるようになる。なお、表示部１０９からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。ＬＣＤモニタ９に表示される画像を視認しながら、撮影者は合焦状態や画角の確認をすることになる。

上記のモニタリング動作の間に、信号処理部１０１は、ＣＭＯＳＩ／Ｆから取り込まれたＲＡＷ−ＲＧＢデータによって、ＡＦ（自動合焦）評価値と、ＡＥ（自動露出）評価値と、ＡＷＢ（オートホワイトバランス）評価値と、を含む撮像処理に用いるデータを算出する処理を行う。

ＡＦ評価値とは、例えば高周波成分抽出フィルタの出力を積分した値や、近接画素の輝度差を積分した値をいう。撮像レンズ５が被写体に合焦しているときは、被写体のエッジ部分がはっきりとしているため高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ５に含まれるフォーカスレンズを駆動して、各レンズ位置におけるＡＦ評価値を算出し、算出されたＡＦ評価値が最大になるレンズ位置を検出することで、合焦位置を特定することができる。この一連の動作をＡＦ動作という。

ＡＥ評価値およびＡＷＢ評価値とは、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出されるものであり、例えば、ＣＭＯＳ１０４の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリア毎に算出したＲＧＢの積算値をいう。

信号処理部１０１は、ＲＧＢ積算値を用いて被写体像を捉えている画面（ＣＭＯＳ１０４の受光面から出力される画像信号の全範囲）を等分割したエリア毎に輝度を算出し、この算出された輝度の分布に基づいて適正な露光量を決定して、この決定された露光量に基づいて、露光条件（電子シャッタ回数、絞りユニットの絞り値等）を設定する処理を行う。これら一連の処理をＡＥ処理という。

また、信号処理部１０１は、ＲＧＢ積算値の分布から被写体の光源の色に合わせた制御値を決定し、この決定された制御値に基づいてＹＵＶ変換部において、ＲＡＷ−ＲＧＢデータをＹＵＶデータに変換するときのホワイトバランスを合わせる処理を行う。これら一連の処理をＡＷＢ処理という。

上記にて説明をしたＡＥ処理とＡＷＢ処理は、モニタリング動作の間は連続的に行われている。このようなモニタリング動作の最中に、レリーズボタン２が押圧（半押しから全押し）操作されると、モニタリング動作から静止画撮影動作に移行する。

静止画撮影動作は、レリーズボタン２への押圧（半押しから全押し）操作が検出されたことをトリガーとして開始される。静止画撮影動作が実行されるとＣＰＵ１０２からモータドライバ１０３への駆動指令が出力され、この駆動指令により、モータドライバ１０３が撮影レンズ５に含まれるフォーカスレンズを所定の位置に移動させる。

ＡＦ処理の対象範囲が無限から至近まで（全領域）であった場合、撮影レンズ５に含まれるフォーカスレンズは、至近から無限へ、または、無限から至近へ移動することになる。この間の各フォーカス位置におけるＡＦ評価値が算出される。

その後、ＡＦ評価値が極大になるレンズ位置にフォーカスレンズを移動させて合焦させ、上記において説明したＡＥ処理が行われる。ＡＥ処理によって露光が完了した時点で、ＣＰＵ１０２からモータドライバ１０３への駆動指令によりユニット１８に含まれるメカシャッタが閉じられて、ＣＭＯＳ１０４から静止画用のアナログＲＧＢ画像信号が出力される。その後、モニタリング動作時と同様にＲＡＷ−ＲＧＢデータに変換される。

変換されたＲＡＷ−ＲＧＢデータは、信号処理部１０１のＣＭＯＳＩ／Ｆに取り込まれて、ＹＵＶ変換部によってＹＵＶデータに変換され、メモリコントローラを介してメモリ１０８に保存される。保存されたＹＵＶデータは所定のタイミングでメモリ１０８から読み出されて、信号処理部１０１に含まれるリサイズ処理部において記録画素数に対応するサイズに変換され、データ圧縮部においてＪＰＥＧ形式等の画像情報へと圧縮変換される。

圧縮された画像情報は、再度メモリ１０８に書き戻された後にメモリコントローラを介してメモリ１０８から読み出されて、メディアＩ／Ｆを介してメモリカード１４に記録される。

ここで、面間フリッカ（フレーム間フリッカ）と面内フリッカの発生原理について説明をする。商用電源の周波数は５０Ｈｚか６０Ｈｚであるから、蛍光灯の明滅に係る周波数は、電源周波数の２倍にあたる１００Ｈｚか１２０Ｈｚになる。本実施例においては、電源の周波数が５０Ｈｚの場合を例に説明をする。

図３は、面間フリッカ（フレーム間フリッカ）を説明するための図である。図３（ａ）は、蛍光灯の明滅の様子を示した波形図である。図３（ａ）に示すように、商用電源（５０Ｈｚ）の２倍の周期（１００Ｈｚ）で、蛍光灯は明滅を繰り返している。言い換えれば５０Ｈｚの周期で輝度が変化している。

図３（ｂ）および図３（ｃ）は、モニタリング動作時においてＬＣＤモニタ９に画像が表示されるためのフレームレートと、各フレームの露光時間の関係を示す図である。図３（ｂ）は、１／３０秒間隔のフレームレートにおいて、露光時間（露光秒時）が１／２００秒である場合を示している。

図３（ｂ）に示すように、露光秒時が１／２００秒であるときは、その間の蛍光灯の輝度の変化が、図３（ｃ）の符号３００と符号３０１のようになっている。輝度変化３００と輝度変化３０１では、蛍光灯の明度が異なるため、各露光処理によって得られたモニタリング画像の明るさは異なる。つまり、モニタリング画像の明るさが変化している。このように、モニタリング画像間で「明るさが変化」することで、画面全体に生じる「ちらつき」が面間フリッカである。

露光秒時が１／１００秒であるときは（図３（ｄ））、その間の蛍光灯の輝度の変化は図３（ｅ）の符号３０２と符号３０３のようになる。輝度変化３０２と輝度変化３０３では、蛍光灯の輝度が同じになるため、各露光処理によって得られたモニタリング画像の明るさは同じになる。このように、モニタリング動作時の露光処理（ＡＥ処理）において、露光秒時を変更することでフリッカの発生を低減させることができる。

次に、面内フリッカ（フレーム内フリッカ）について図４を用いて説明をする。図４（ａ）は、面間フリッカの説明に用いた図３（ａ）と同様であって、蛍光灯の明滅の様子を示す波形図である。

モニタリング動作時のフレームレートは１／３０秒であるから、１／３０秒内に一画面を構成する画像情報がＬＣＤモニタ９に転送される。面内フリッカは、ＬＣＤモニタ９に表示される１フレームの画像を構成する水平画素ラインごとに露光タイミングが異なるローリングシャッターを備えたカメラで生じる特有の現象である。

例えば、図４（ｂ）に示すように露光秒時が１／２００であるとき、各画素ラインの露光中において、蛍光灯の輝度の変化の度合いが異なる状態となる。その結果、各画素ラインの明るさが変化する。これによって、１フレームを構成する画像の垂直方向に、画像の明暗の差が生じ、縞模様のように表示される。この縞模様表示を面内フリッカという。

例えば、図４（ｃ）に示すように、露光秒時が１／１００秒であれば、蛍光灯の輝度の変化のサイクルと露光秒時が同期するので、各画素ラインの明るさに差は生じないため、面内フリッカは生じない。

以上のように、面間フリッカや面内フリッカが生じるか否かは、その撮影環境下の輝度の変化の周期と露光秒時の相関によって決定される。そこで、本発明に係る撮像装置は、補助光学系を用いてフリッカ低減処理を行う。以下、本発明に係る撮像装置において実行されるフリッカ低減処理の例について説明をする。

デジタルカメラ１が備える補助光学系１６は、主撮像光学系１７の撮像制御のために補助的に使用される撮像光学系である。例えば、被写体までの距離を測定する測距処理に用いることができる。また、補助光学系１６も撮像素子を備えていることから、主撮像光学系１７を用いたモニタリング動作と同程度の画素数で被写体像を取得することができる。

補助光学系１６は、主撮像光学系１７と同じように、撮像画像を例えば１６×１６の画素ブロックに分割し、それぞれの画素ブロックに対してＡＥ評価値の算出を行うこともできる。ここで、補助光学系１６を用いた撮像処理は、撮像間隔やＡＥ評価値の取得間隔は必ずしも主撮像光学系１７と同期する必要はない。

補助光学系１６はＣＰＵ１０２において制御されており、主撮像光学系１７とは独立した露出制御をすることが可能である。ＣＰＵ１０２が必要なときに補助光学系１６で得られた撮像画像およびＡＥ評価値を取得することができる。

なお、デジタルカメラ１のＬＣＤモニタ９において表示される画像は、主撮像光学系１７で撮像された画像であって、補助光学系１６で撮像された画像をＬＣＤモニタ９に表示することはできない。

次に、本発明に係る撮像装置において実行される面内フリッカ低減処理の例について図５のフローチャートを用いて説明する。図５において各処理ステップはＳ１１、Ｓ１２、Ｓ１３・・・のように表記する。

画角の変化の有無を判定するために、まず、主撮像光学系１７において取得された画像からＡＥ評価値を算出し、このＡＥ評価値から輝度ヒストグラムをフレーム毎に作成する（Ｓ１１）。

続いて、作成された輝度ヒストグラムの差をフレーム間で算出して、輝度ヒストグラムの変化量を算出する。この変化量が所定の値以上である場合には画角変化があったものと判定する（Ｓ１２のＹ）。

画角の変化がないと判定されたときは（Ｓ１２のＮ）、処理をＳ１１に戻す。

画角変化があったものと判定された場合（Ｓ１２のＹ）は、補助光学系１６の露光秒時を、フリッカが発生すると予想される値に設定して、設定された露光秒時に係る１フレームの垂直ラインの輝度データ列を取得する（Ｓ１３）。ここで設定される露光秒時は、例えば１／２００秒とする。また、Ｓ１３において取得される輝度データ列を、輝度データ１という。

続いて、補助光学系１６の露光秒時の設定を、フリッカが発生しない設定にし、設定された露光秒時に係る１フレームの垂直ラインの輝度データ列を取得する（Ｓ１４）。ここで設定される露光秒時は、例えば１／１００秒とする。また、Ｓ１４において取得される輝度データ列を、輝度データ２という。

輝度データ１と輝度データ２における撮像画像の明るさを同程度とするために、例えば、輝度データ１を取得する際には、輝度データ２を取得する際に比べて、ゲインを２倍かけて、輝度データを取得するものとする。

続いて、輝度データ１と輝度データ２を比較する輝度データ比較処理を行う（Ｓ１５）。輝度データ比較処理（Ｓ１５）は、輝度データ２と輝度データ１の差分を算出する処理である。輝度データ１および輝度データ２は、それぞれ１フレームを構成する垂直ラインの輝度データ列の集合であるから、輝度データ１を構成する輝度データ列と、輝度データ２を構成する輝度データ列のそれぞれ対応する輝度データの、差分を算出する。

続いて、算出された輝度データの差分が周期的に増減しているか否かを判定する処理を行う（Ｓ１６）。周期的に増減していれば面内フリッカが生じていると判定し（Ｓ１６のＹ）、フリッカ低減設定処理（Ｓ１７）を行う。

フリッカ低減設定処理（Ｓ１７）は、主撮像光学系１７の露光秒時を、１／１００秒の整数倍に制限して設定する処理である。たとえば、露光秒時を１／１００秒に設定する。

輝度データの差分が周期的に増減していなければ（Ｓ１６のＮ）、通常設定処理（Ｓ１８）を行う。通常設定処理（Ｓ１８）においては、主撮像光学系１７の露光時間（露光秒時）を、たとえば、１／２００秒に設定する。

以上のように、本実施例に係る撮像装置によれば、補助光学系１６を用いて取得した画像に基づいて、面内フリッカが発生する環境下にあるか否かを判定することができ、面内フリッカが発生する環境下であるときは、主撮像光学系１７の露光に係る設定をゆっくりした露光秒時として、モニタリング動作に係るＬＣＤモニタ９に表示される画像において、面内フリッカが発生しないようにすることができる。

また、本実施例に係る撮像装置によれば、面内フリッカが発生しない環境下であると判定されたときは、主撮像光学系の露光秒時を高速に設定することができる。

次に、本発明に係る撮像装置において実行される面内フリッカ低減処理の別の例について図６のフローチャートを用いて説明する。図６において各処理ステップはＳ２１、Ｓ２２、Ｓ２３・・・のように表記する。

本実施例におけるデジタルカメラ１は、補助光学系１６が、図示しない第１補助光学系１６１と第２補助光学系１６２の、複数の補助光学系を有してなるものとする。第１補助光学系１６１と第２補助光学系１６２は、ＣＰＵ１０２によって独立して露光制御されるように構成されており、それぞれ異なる露光秒時において、画像を取得することができる。また、第１補助光学系１６１と第２補助光学系１６２が取得した画像はいずれも、ＬＣＤモニタ９には出力されないものとする。

まず、画角の変化の有無を判定するために、主撮像光学系１７において取得された画像からＡＥ評価値を算出し、このＡＥ評価値から輝度ヒストグラムをフレーム毎に作成する（Ｓ２１）。

続いて、作成された輝度ヒストグラムの差をフレーム間で算出して、輝度ヒストグラムの変化量を算出する。この変化量が所定の値以上である場合には画角変化があったものと判定する（Ｓ２２のＹ）。

画角の変化がないと判定されたときは（Ｓ２２のＮ）、処理をＳ２１に戻す。

画角変化があったものと判定された場合（Ｓ２２のＹ）は、第１補助光学系１６１の露光秒時を、フリッカが発生すると予想される値に設定して、設定された露光秒時に係る１フレームの垂直ラインの輝度データ列（輝度データ１）を取得する（Ｓ２３）。ここで設定される露光秒時は、例えば１／２００秒とする。

続いて、第２補助光学系１６２の露光秒時の設定を、フリッカが発生しない設定にし、設定された露光秒時に係る１フレームの垂直ラインの輝度データ列（輝度データ２）を取得する（Ｓ２４）。ここで設定される露光秒時は、例えば１／１００秒とする。

続いて、輝度データ１と輝度データ２を比較する輝度データ比較処理を行う（Ｓ２５）。輝度データ比較処理（Ｓ２５）は、輝度データ２と輝度データ１の差分を算出する処理である。輝度データ１および輝度データ２は、それぞれ１フレームを構成する垂直ラインの輝度データ列の集合であるから、輝度データ１を構成する輝度データ列と、輝度データ２を構成する輝度データ列のそれぞれ対応する輝度データの、差分を算出する。

続いて、算出された輝度データの差分が周期的に増減しているか否かを判定する処理を行う（Ｓ２６）。周期的に増減していれば面内フリッカが生じていると判定し（Ｓ２６のＹ）、フリッカ低減設定処理（Ｓ２７）を行う。

フリッカ低減設定処理（Ｓ２７）は、主撮像光学系１７の露光秒時を、１／１００秒の整数倍に制限して設定する処理である。たとえば、露光秒時を１／１００秒に設定する。

輝度データの差分が周期的に増減していなければ（Ｓ２６のＮ）、通常設定処理（Ｓ１８）を行う。通常設定処理（Ｓ２８）においては、主撮像光学系１７の露光時間（露光秒時）を、たとえば、１／２００秒に設定する。

このように、本実施例に係る撮像装置によれば、第１補助光学系１６１と第２補助光学系１６２のそれぞれの露光秒時を、一方は、フリッカが発生する可能性がある設定とし、もう一方はフリッカが発生しにくい設定とすることで、面内フリッカが発生する環境下にあるか否かを的確かつ素早く判定することができ、面内フリッカが発生する環境下であるときは、主撮像光学系１７の露光に係る設定をゆっくりした露光秒時として、モニタリング動作に係るＬＣＤモニタ９に表示される画像において、面内フリッカが発生しないようにすることができる。

なお、実施例において処理Ｓ２３と処理Ｓ２４を並行して同時実行し、輝度データ１と輝度データ２を同時に取得してもよい。

次に、本発明に係る撮像装置において実行される面間フリッカ低減処理の例について図７のフローチャートを用いて説明する。図７において各処理ステップはＳ３１、Ｓ３２、Ｓ３３・・・のように表記する。

まず、画角の変化の有無を判定する。本実施例に係るデジタルカメラ１には、図示しない加速度センサが搭載されているものとし、画角検出処理（Ｓ３１）においては、所定の時間間隔をもってＣＰＵ１０２が加速度センサの出力情報を読み出す処理を行う。

読み出された加速度センサの出力情報によって画角の変化があったか否かを判定する（Ｓ３２）。画角の変化があったときは（Ｓ３２のＹ）、処理をＳ３３に移行し、画角の変化がなかったときは（Ｓ３２のＮ）、処理をＳ３１に移行する。

画角変化があったものと判定された場合（Ｓ３２のＹ）は、補助光学系１６の露光秒時を、フリッカが発生すると予想される値（例えば１／２００秒）に設定して、連続するｎフレーム分の輝度平均データ群を取得する（Ｓ３３）。ここでＳ３３において取得される輝度平均データ群を、輝度データ群１という。

続いて、補助光学系１６の露光秒時の設定を、フリッカが発生しない値（例えば１／１００秒）に設定して、連続するｎフレーム分の輝度平均データ群を取得する（Ｓ３４）。ここで取得される輝度平均データ群を、輝度データ群２という。

輝度群データ１と輝度データ群２における撮像画像の明るさを同程度とするために、例えば、輝度データ群１を取得する際には、輝度データ群２を取得する際に比べて、ゲインを２倍かけて、輝度データを取得するものとする。

続いて、輝度データ群１と輝度データ群２を比較する輝度データ群比較処理を行う（Ｓ３５）。輝度データ群比較処理（Ｓ３５）は、輝度データ群２と輝度データ群１のフレームごとの差分を算出する処理である。輝度データ群１および輝度データ群２は、それぞれのデータ群を構成する複数のフレームの集合であるから、輝度データ群１を構成する１のフレームの輝度データ、このフレームに対応する輝度データ群２のフレームの輝度データの差分を算出する。

続いて、算出されたフレームごとの輝度データの差分が周期的に増減しているか否かを判定する処理を行う（Ｓ３６）。周期的に増減していれば面間フリッカが生じていると判定し（Ｓ３６のＹ）、フリッカ低減設定処理（Ｓ３７）を行う。

フリッカ低減設定処理（Ｓ３７）は、主撮像光学系１７の露光秒時を、１／１００秒の整数倍に制限して設定する処理である。たとえば、露光秒時を１／１００秒に設定する。

輝度データの差分が周期的に増減していなければ（Ｓ３６のＮ）、通常設定処理（Ｓ３８）を行う。通常設定処理（Ｓ３８）においては、主撮像光学系１７の露光時間（露光秒時）を、たとえば、１／２００秒に設定する。

以上のように、本実施例に係る撮像装置によれば、補助光学系１６を用いて取得した画像に基づいて、面間フリッカが発生する環境下にあるか否かを判定することができ、面間フリッカが発生する環境下であるときは、主撮像光学系１７の露光に係る設定をゆっくりした露光秒時として、モニタリング動作に係るＬＣＤモニタ９に表示される画像において、面間フリッカが発生しないようにすることができる。

また、本実施例に係る撮像装置によれば、面間フリッカが発生しない環境下であると判定されたときは、主撮像光学系の露光秒時を高速に設定することができる。

次に、本発明に係る撮像装置において実行される面間フリッカ低減処理の別の例について図８のフローチャートを用いて説明する。図８において各処理ステップはＳ４１、Ｓ４２、Ｓ４３・・・のように表記する。

まず、画角の変化の有無を判定する。本実施例に係るデジタルカメラ１には、図示しない加速度センサが搭載されているものとし、画角検出処理（Ｓ４１）においては、所定の時間間隔をもってＣＰＵ１０２が加速度センサの出力情報を読み出す処理を行う。

読み出された加速度センサの出力情報によって画角の変化があったか否かを判定する（Ｓ４２）。画角の変化があったときは（Ｓ４２のＹ）、処理をＳ４３に移行し、画角の変化がなかったときは（Ｓ４２のＮ）、処理をＳ４１に移行する。

画角判定処理（Ｓ４２）に用いる加速度センサの出力情報の例について、図１０を用いて説明する。図１０は、横軸をモニタリング処理におけるＡＥ処理サイクル、縦軸を加速度センサの出力情報（値）とするグラフの例である。図１０に示すように、グラフＧ２において、所定の閾値Ｒ２を超えているａ２点、ｂ２点、ｃ２点において画角判定処理（Ｓ４２）が実行されると、画角に変化があったと判定される。

画角変化があったものと判定された場合（Ｓ４２のＹ）は、第１補助光学系１６１の露光秒時を、フリッカが発生すると予想される値（例えば１／２００秒）に設定して、連続するｎフレーム分の輝度平均データ群（輝度データ群１）を取得する（Ｓ４３）。

次に、第２補助光学系１６２の露光秒時の設定を、フリッカが発生しない値（例えば１／１００秒）に設定して、連続するｎフレーム分の輝度平均データ群（輝度データ群２）を取得する（Ｓ３４）。

次に、輝度データ群１と輝度データ群２を比較する輝度データ群比較処理を行う（Ｓ４５）。輝度データ群比較処理（Ｓ４５）は、輝度データ群２と輝度データ群１のフレームごとの差分を算出する処理である。輝度データ群１および輝度データ群２は、それぞれのデータ群を構成する複数のフレームの集合であるから、輝度データ群１を構成する１のフレームの輝度データと、このフレームに対応する輝輝度データ群２のフレームの輝度データの差分を算出する。

次に、算出されたフレームごとの輝度データの差分が周期的に増減しているか否かを判定する処理を行う（Ｓ４６）。周期的に増減していれば面間フリッカが生じていると判定し（Ｓ４６のＹ）、フリッカ低減設定処理（Ｓ４７）を行う。

フリッカ低減設定処理（Ｓ４７）は、主撮像光学系１７の露光秒時を、１／１００秒の整数倍に制限して設定する処理である。たとえば、露光秒時を１／１００秒に設定する。

輝度データの差分が周期的に増減していなければ（Ｓ４６のＮ）、通常設定処理（Ｓ４８）を行う。通常設定処理（Ｓ４８）においては、主撮像光学系１７の露光時間（露光秒時）を、たとえば、１／２００秒に設定する。

以上のように、本実施例に係る撮像装置によれば、第１補助光学系１６１と第２補助光学系１６２のそれぞれの露光秒時を、一方は、フリッカが発生する可能性がある設定とし、もう一方はフリッカが発生しにくい設定とすることで、面間フリッカが発生する環境下にあるか否かを的確かつ素早く判定することができ、面間フリッカが発生する環境下であるときは、主撮像光学系１７の露光に係る設定をゆっくりした露光秒時として、モニタリング動作に係るＬＣＤモニタ９に表示される画像において、面間フリッカが発生しないようにすることができる。

なお、実施例において処理４３と処理Ｓ４４を並行して同時実行し、輝度データ群１と輝度データ群２を同時に取得してもよい。

以上の実施例においては、補助光学系の露光設定を、フリッカが生じる可能性が高い設定（第１設定）において取得した第１補助画像情報と、フリッカが生じない可能性が高い設定（第２設定）において取得した第２補助画像情報と、を用いてフリッカの発生の有無を判定したが、本発明に係る撮像装置に係るフリッカの判定において、主撮像光学系が連続的に取得した主画像情報を用いてもよい。

この場合、連続して取得された主画像情報の輝度データを所定のタイミングで連続して算出し、複数の輝度データ間の変動幅を算出し、輝度データの変動幅が所定の閾値よりも高ければフリッカが生じると判定すればよい。

図９は、横軸をモニタリング処理におけるＡＥ処理サイクル、縦軸を前フレームのからの輝度データの変化量とするグラフの例である。図９に示すように、グラフＧ１において、所定の閾値Ｒ１を超えているａ１点、ｂ１点、ｃ１点においてフリッカ判定処理を実行すると、フリッカが生じていると判定される。

フリッカが生じていると判定された場合、それまで設定されていた露光秒時よりも遅い露光秒時を主撮像光学系に設定すればよい。

以上のように、本発明に係る撮像装置によれば、主撮像光学系と同じように被写体画像を取得することができる補助光学系を用いて、異なる露光秒時において画像を取得し、フリッカが生じる環境下にあるか否かを判定し、フリッカが生じる環境下にあれば、主撮像光学系の露光時間を遅くしてモニタリング動作に係る画像表示において、フリッカが生じないようにすることができる。また、フリッカが生じない環境にあれば主撮像光学系の露光時間を早くして、モニタリング動作に係る画像表示をよりなめらかなものにすることができる。

１デジタルカメラ
９ＬＣＤモニタ
１６補助光学系
１７主撮像光学系

特開２０１０−１７１８４８号公報特開２００４−２２２２２８号公報

Claims

撮像レンズを介して画像信号を出力する主撮像光学系と、
主撮像光学系を介して出力された画像信号から記録または表示に用いられる主画像情報を取得する主画像情報取得手段と、
上記主画像情報を表示する表示部と、を有する撮像装置であって、
上記主撮像光学系とは異なる少なくとも１つ以上の補助光学系と、
上記補助光学系に少なくとも２つの異なる露光秒時の設定をする補助露光秒時設定手段と、
上記補助露光秒時設定手段が設定した異なる露光秒時に基づいて、上記補助光学系を介して補助画像情報を取得する補助画像情報取得手段と、
上記補助画像情報取得手段に設定された１の露光秒時である第１露光秒時に基づいて取得された第１補助画像情報と、上記補助画像情報取得手段にフリッカが発生しない値に設定された他の露光秒時である第２露光秒時に基づいて取得された第２補助画像情報と、に含まれる任意の垂直ラインの輝度データを取得する輝度データ取得手段と、
上記第１補助画像情報に係る輝度データと、上記第２補助画像情報に係る輝度データと、を比較する輝度データ比較手段と、
上記輝度データ比較手段における比較の結果に基づいて面内フリッカが発生するか否かを判定する面内フリッカ判定手段と、
上記面内フリッカ判定手段において面内フリッカが発生すると判定されたときは、上記主撮像光学系の露光秒時を上記第２露光秒時の整数倍に設定し、上記面内フリッカ判定手段において面内フリッカが発生しないと判定されたときは、上記主撮像光学系の露光秒時を上記第１露光秒時に設定する、主露光秒時設定手段と、
を有することを特徴とする撮像装置。
上記補助光学系は１つであって、
上記補助画像情報取得手段は、上記補助露光秒時設定手段が設定した上記第１露光秒時に基づいて上記第１補助画像情報を取得し、その後、上記補助露光秒時設定手段が上記露光秒時を上記第１露光秒時から上記第２露光秒時へ変更して上記第２補助画像情報を取得する、
ことを特徴とする請求項１記載の撮像装置。
上記補助光学系は２つであって、
上記補助画像情報取得手段は、
上記補助露光秒時設定手段が１の上記補助光学系に設定した上記第１露光秒時に基づいて上記第１補助画像情報を取得し、
上記補助露光秒時設定手段が他の上記補助光学系に設定した上記第２露光秒時にもとづいて上記第２補助画像情報を取得する、
ことを特徴とする請求項１記載の撮像装置。
上記主露光秒時設定手段によって設定される異なる露光秒時に基づいて取得される上記主画像情報のうち、上記第１露光秒時が設定された上記主撮像光学系が取得する第１主画像情報の第1主輝度データと、上記第２露光秒時が設定された上記主撮像光学系が取得する第２主画像情報の第２主輝度データと、を比較する主輝度データ比較手段をさらに有し、
上記面内フリッカ判定手段は、上記主輝度データ比較手段における比較の結果に基づいて上記主画像情報を上記表示部に表示した場合に面内フリッカが発生するか否かを判定する、
ことを特徴とする請求項１記載の撮像装置。
撮像レンズを介して画像信号を出力する主撮像光学系と、
主撮像光学系を介して出力された画像信号から記録または表示に用いられる主画像情報を取得する主画像情報取得手段と、
上記主画像情報を表示する表示部と、を有する撮像装置であって、
上記主撮像光学系とは異なる少なくとも１つ以上の補助光学系と、
上記補助光学系に少なくとも２つの異なる露光秒時の設定をする補助露光秒時設定手段と、
上記補助露光秒時設定手段が設定した異なる露光秒時に基づいて、上記補助光学系を介して連続した補助画像情報を取得する連続補助画像情報取得手段と、
上記連続補助画像情報取得手段にフリッカが発生しない値に設定された１の露光秒時である第１露光秒時に基づいて取得された第１連続補助画像情報と、上記連続補助画像情報取得手段に設定された他の露光秒時である第２露光秒時に基づいて取得された第２連続補助画像情報の、各連続補助画像情報に含まれる任意のフレームの輝度データ群を取得する輝度データ群取得手段と、
上記第１連続補助画像情報に係る輝度データ群と、上記第２連続補助画像情報に係る輝度データ群と、を比較する輝度データ群比較手段と、
上記輝度データ群比較手段における比較の結果に基づいて面間フリッカが発生するか否かを判定する面間フリッカ判定手段と、
上記面間フリッカ判定手段において面間フリッカが発生すると判定されたときは、上記主撮像光学系の露光秒時を上記第２露光秒時の整数倍に設定し、上記面間フリッカ判定手段において面間フリッカが発生しないと判定されたときは、上記主撮像光学系の露光秒時を上記第１露光秒時に設定する、主露光秒時設定手段と、
を有することを特徴とする撮像装置。
上記補助光学系は１つであって、
上記連続補助画像情報取得手段が、上記補助露光秒時設定手段が設定した上記第１露光秒時に基づいて上記第１連続補助画像情報を取得した後に、
上記補助露光秒時設定手段が上記露光秒時を上記第１露光秒時から上記第２露光秒時へ変更した後に、上記連続補助画像情報取得手段が上記第２連続補助画像情報を取得する、
ことを特徴とする請求項５記載の撮像装置。
上記補助光学系は２つであって、
上記連続補助画像情報取得手段が、上記補助露光秒時設定手段が１の上記補助光学系に設定した上記第１露光秒時に基づいて上記第１連続補助画像情報を取得し、
上記連続補助画像情報取得手段が、上記補助露光秒時設定手段が他の上記補助光学系に設定した上記第２露光秒時にもとづいて上記第２連続補助画像情報を取得する、
ことを特徴とする請求項５記載の撮像装置。
上記主露光秒時設定手段によって上記第１露光秒時が設定された上記主撮像光学系が取得する第１主画像情報の第1主輝度データと、上記主露光秒時設定手段によって上記第２露光秒時が設定された上記主撮像光学系が取得する第２主画像情報の第２主輝度データと、を比較する主輝度データ比較手段をさらに有し、
上記面間フリッカ判定手段が、上記主輝度データ比較手段における比較の結果に基づいて上記主撮像光学系を介して取得した上記主画像情報を上記表示部に表示した場合に面内フリッカが発生するか否かを判定する、
ことを特徴とする請求項５記載の撮像装置。
上記主画像情報取得手段から上記主画像情報を連続的に取得して、各主画像情報に係る輝度データの変動が所定の閾値以上であるか否かに基づいて上記面内フリッカかまたは上記面間フリッカのいずれかが発生するか否かを判定する、
ことを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
上記撮像装置の動きが検出できる加速度センサをさらに有し、
上記加速度センサの出力結果から、上記撮像装置の動き量を算出し、上記動き量が所定の閾値以上であった場合に面内フリッカかまたは面間フリッカのいずれかの有無の判定を行う、
ことを特徴とする請求項１乃至８のいずれかに記載の撮像装置。