JP5341536B2

JP5341536B2 - 撮像装置

Info

Publication number: JP5341536B2
Application number: JP2009013391A
Authority: JP
Inventors: 和紀 ▲高▼山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-01-23
Filing date: 2009-01-23
Publication date: 2013-11-13
Anticipated expiration: 2029-01-23
Also published as: JP2010171811A

Description

本発明は、ビデオカメラなどの撮像装置に関するものである。

ＣＭＯＳイメージセンサーに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置においては、商用電源周波数とセンサーの蓄積時間のずれにより、垂直方向に明暗の縞が現れる、いわゆる蛍光灯フリッカが現れることが知られている。

蛍光灯フリッカは、センサーの蓄積時間を蛍光灯の明滅周期の整数倍に設定することで補正できることが知られているが、これではセンサーの蓄積時間が固定となってしまうという問題があった。

また、例えば商用電源周波数５０Ｈｚの地域において、センサーの蓄積時間１／６０ｓｅｃで撮影を行うと蛍光灯フリッカは３フレームで元の位相に戻る。これを利用して、３フレームの平均画像を生成し、また、現フレームと３フレーム間の平均画像とを除算することでフリッカの成分のみを抽出し、その逆数をフリッカ補正値として補正する技術が知られている。しかし、被写体の動きなどによってフリッカ成分のみを精度良く抽出することができなかった。

そこで、従来、通常の蓄積時間で撮影した画像（以下、本画像と呼ぶ）と、センサーの蓄積時間を蛍光灯の明滅周期の整数倍に設定して撮影したフリッカ成分のない画像（以下、補助画像と呼ぶ）とを除算することでフリッカ成分を精度良く抽出し、補正を行う技術がある（特許文献１参照）。
特開２００１−１６５０８号公報

しかしながら特許文献１に記載の技術では、露出制御について考慮されていないために、次のような問題があった。例えば、本画像側の蓄積時間を１／５００ｓｅｃで、補助画像側の蓄積時間を蛍光灯の明滅周期である１／１００ｓｅｃとし、また、露出制御を本画像側の露出状況に合わせて行っていたとする。この場合、補助画像側の方が蓄積時間が長いため、補助画像が飽和する可能性があり、精度良くフリッカ成分を抽出することができなくなる可能性があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、本画像と補助画像を用いてフリッカを補正する場合に、本画像、補助画像ともに飽和することなく、精度良くフリッカ成分を抽出し、補正できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、蛍光灯の明滅周期の整数倍の蓄積時間で前記撮像素子で撮像した補助画像と、前記蛍光灯の明滅周期に制限されない蓄積時間で前記撮像素子で撮像した本画像とを生成する撮像手段と、前記補助画像の蓄積時間と前記本画像の蓄積時間の大小関係に基づいて、前記撮像素子の露出制御を行う露出制御手段と、前記露出制御手段により制御された露出で撮像された前記補助画像と前記本画像を比較することにより、前記本画像に現れる前記蛍光灯によるフリッカの補正を行なうフリッカ補正手段と、を備えることを特徴とする。

本発明によれば、本画像と補助画像を用いてフリッカを補正する場合に、本画像、補助画像ともに飽和することなく、精度良くフリッカ成分を抽出し、補正することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。

図１において、１はレンズ、２はレンズ駆動部、３は絞り、４は絞り駆動部、５は被写体像を撮像する撮像素子、６は撮像素子駆動部である。７はＣＤＳ回路、ＡＧＣ回路、Ａ／Ｄ変換器を含むアナログフロントエンド部（ＡＦＥと図示する）、８はＡＦＥ駆動部、９および１０はフレームメモリ、１１はフレームメモリ９とフレームメモリ１０に保持されている画像信号を選択するセレクタである。１２はＡＥ評価値生成部、１３はフリッカ補正値算出部、１４はフリッカ補正値算出部１３からの補正値を用いてフリッカ補正を行うフリッカ補正部である。１５はフリッカ補正部１４からのフリッカ補正された画像（本画像）とフリッカ補正の必要のない画像（補助画像）を選択するセレクタ、１６は輝度レベル補償部、１７はカメラ信号処理部、１９は撮像装置から取り外し可能な記録媒体である。１８はフレーム間予測符号化処理された画像データを記録媒体１９に記録する記録処理部、２０は撮像装置全体を制御し、また外部からの信号を検出するシステム制御部である。

なお、上記の説明における本画像とは、蛍光灯の明滅周期に制限されない通常の蓄積時間で撮影した画像であり、補助画像とは、撮像素子の蓄積時間を蛍光灯の明滅周期の整数倍に設定して撮影したフリッカ成分のない画像である。

以下、上述のように構成された撮像装置の撮影動作について説明する。

まず、レンズ１はシステム制御部２０により制御されるレンズ駆動部２からの駆動パルスで駆動され、被写体像を撮像素子５上に結像させる。絞り３はシステム制御部２０により制御される絞り駆動部４からの駆動パルスで駆動され、撮像素子５上に結像される被写体像が適切な明るさになるように制御する。

撮像素子５は、システム制御部２０により制御される撮像素子駆動部６からの駆動パルスによって、フレームごとにセンサーの蓄積時間を異ならせた撮像を行う。ここで、異ならせる蓄積時間は、通常の蓄積時間（例えば１／６０ｓｅｃ）と蛍光灯フリッカが発生しない蓄積時間（商用電源周波数５０Ｈｚの場合は例えばｎ／１００ｓｅｃ：ｎは整数）とする。これにより、蛍光灯フリッカが発生している画像（本画像）と蛍光灯フリッカが発生していない画像（補助画像）を得る。

撮像素子５から出力されたアナログの画像信号は、システム制御部２０により制御されるＡＦＥ駆動部８からの駆動パルスにより、ＡＦＥ７内部のＣＤＳ回路でクロック同期性ノイズを除去される。そして、ＡＦＥ７内部のＡＧＣでゲイン調整が行われ、ＡＦＥ７内部のＡ／Ｄ変換器でデジタル画像信号に変換される。

ＡＦＥ７からのデジタル画像信号のうち、本画像は、例えばフレームメモリ９に一時的に記憶され、補助画像は、フレームメモリ１０に一時的に記憶される。

セレクタ１１は、システム制御部２０からの制御信号によって、フレームメモリ９とフレームメモリ１０に記憶されている画像信号を交互に選択して出力する。ＡＥ評価値生成部１２は、フレームメモリ９に一時的に記憶されている本画像から評価値を生成し、システム制御部２０へ出力する。フリッカ補正値算出部１３は、後述する演算を用いてフリッカ補正値を算出する。フリッカ補正部１４は、フリッカ補正値算出部１３からの補正値とセレクタ１１からの画像信号を乗算することでフリッカ補正を行う。セレクタ１５は、システム制御部２０からの制御信号によって、フリッカ補正部１４からのフリッカ補正された本画像信号とフリッカ補正の必要のない補助画像信号を交互に選択する。輝度レベル補償部１６は、蓄積時間の差によって、暗くなってしまう本画像の輝度レベルを補償するために、システム制御部２０からのゲイン値とフリッカ補正部１４からの画像信号を乗算する。輝度レベル補償部１６から出力された画像信号は、カメラ信号処理部１７により輝度色差の画像信号に変換される。記録処理部１８は画像信号を圧縮符号化し、記録媒体１９に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換して記録媒体１９に記録する。システム制御部２０は、レンズ駆動部２、絞り駆動部４、撮像素子駆動部６、セレクタ１１、セレクタ１５、輝度レベル補償部１６、カメラ信号処理部１７、記録処理部１８を制御する。

次に、図２にフリッカ補正値算出部１３の構成を示す。

１００はフリッカ成分を検出するフリッカ検出部である。１０１はフリッカ検出部１００で検出されたフリッカ成分から、フリッカ特性パラメータを算出するフリッカ特性パラメータ抽出部である。フリッカ特性パラメータとは、ある特定のフリッカ成分の特性を表すパラメータであり、ここでは、ある特定のフリッカ成分の位相、振幅、周波数を示す。１０２は、フリッカ特性パラメータ抽出部１０１からのフリッカ特性パラメータから、フリッカ補正値を算出するフリッカ補正値算出部である。

次に、図３にフリッカ補正値算出部１３の制御動作を示す。

まず、ステップＳ１００においては、例えば式（１）に示される演算を用いて蓄積時間の差による平均輝度レベルを補正するとともに、画素ごとにフリッカ成分を検出する。

…（１）
ここで、Ｆ（ｈ，ｖ）はフリッカ成分を表し、Ｓ（ｈ，ｖ）は本画像を表す。また、Ｓ’（ｈ，ｖ）は補助画像を表す。ｈおよびｖは、それぞれの画像のｘ座標、ｙ座標を表す。また、Ｔｖ１は本画像の蓄積時間を表し、Ｔｖ２は補助画像の蓄積時間を表す。

次に、ステップＳ１０１において、検出されたフリッカ成分に対し、例えば式（２）、式（３）、式（４）に示されるフーリエ変換によって、列ごとにフリッカ特性パラメータの抽出を行う。

…（２）

…（３）

…（４）
ここで、ｙ(ｖ)は水平方向にｈ画素目、垂直方向にｖ画素目のフリッカ成分の値を示す。また、ｆは周波数を表し、YRe(f)、YIm(f)は、それぞれフーリエ変換した時の実部と虚部を表す。Y(f)は振幅成分を表す。

次に、ステップＳ１０２では、式（４）にフリッカの周波数成分fを当てはめ、振幅成分Ａを算出する。

次にステップＳ１０３では、例えば式（５）に示す演算によって、フリッカ成分の位相を算出する。

…（５）
次に、ステップＳ１０４においてはフリッカ特性パラメータ抽出部１０１からのフリッカ特性パラメータから、例えば式（６）に示す演算によって、フリッカ補正値を算出する。

…（６）
ここで、Ａは振幅を表し、ｆはフリッカ成分の周波数を表す。また、Φkは位相を表す。

次に、本実施形態の特徴的な部分であるＡＥ制御について、図４のフローチャートおよび図５の説明図を参照しながら説明する。

図５において横軸は蓄積時間、縦軸はＡＥ目標値である。補助画像の蓄積時間Ｔｖ２を一定としたとき、本画像の蓄積時間Ｔｖ１が変化したときのＡＥ目標値の変化の様子をグラフで表している。なお、本実施形態では、補助画像と本画像を所定期間ごとに順次取得し、その順次取得した画像を既に説明した記憶部であるフレームメモリ９，１０に記憶するものとする。

図４のフローチャートにおいて、まず、ステップＳ２００においては本画像の蓄積時間Ｔｖ１と補助画像の蓄積時間Ｔｖ２の大小関係の比較を行う。ここで、Ｔｖ１がＴｖ２以上であれば、補助画像が飽和することはないのでステップＳ２０２へ進み、本画像が適正露光となるようにＡＥ目標値を設定する。これは図５における８０１のように、一定の値になるように設定すればよい。また、ステップＳ２００において、Ｔｖ１の方がＴｖ２よりも短ければ、補助画像が飽和する可能性があるのでステップＳ２０１に進み、本画像が暗くなるようにＡＥ目標値を設定する。このときは図５における８０２のように、Ｔｖ２とＴｖ１の差分に応じて、徐々にＡＥ目標値を下げていく（変更する）ように設定すればよい。ここで、ＡＥ目標値とは、あらかじめ適正露光となるように設定してあるＡＥ評価値の目標値で、取得するＡＥ評価値がＡＥ目標値に近づくように、絞り、またはＡＧＣの制御を行う（露出制御する）。

次に、ステップＳ２０３においては取得した本画像からＡＥ評価値を取得する枠を設定しステップＳ２０４へ進む。ステップＳ２０４においては、設定した評価値枠内の画素を積分しステップＳ２０５へ進む。ステップＳ２０５においては、ステップＳ２０１またはステップＳ２０２で設定したＡＥ目標値とステップＳ２０４で取得したＡＥ評価値の比較を行いステップＳ２０６へ進む。

ステップＳ２０６においては、ステップＳ２０５にて比較した結果が適正露光となっているかどうかの判定を行う。ここで、適正露光ではない場合はステップＳ２０７へ進み、ステップＳ２０５で比較した結果、ＡＥ目標値よりもＡＥ評価値の方が大きければ、画像信号が明るすぎるのでステップＳ２０８へ進む。ステップＳ２０８においては、画像信号が暗くなるように絞りを閉じる制御を行う。また、ステップＳ２０７において、ＡＥ目標値よりもＡＥ評価値の方が小さければ、画像信号が暗すぎるのでステップＳ２０９へ進み絞りが開放状態かどうか判定する。ステップＳ２０９において、絞りが開放状態であればＡＦＥ７内部にあるＡＧＣを制御することによって画像信号を明るくする。また、ステップＳ２０９において、絞りが開放状態でなければステップＳ２１１に進み、絞りを開く制御を行うことによって画像信号を明るくする。

以上説明したように、本実施形態では、本画像の蓄積時間と補助画像の蓄積時間を比較し、本画像の蓄積時間の方が補助画像の蓄積時間よりも短い場合は、ＡＥ目標値を下げ、本画像を暗くする。これにより補助画像が飽和することを防ぎ、精度良くフリッカ成分を抽出し、補正することができる。

（第２の実施形態）
次に第２の実施形態について説明する。図６は、第２の実施形態の撮像装置の構成を示す図である。

図６に示す第２の実施形態の撮像装置は、第１の実施形態と略同様であって、同一部材には同一番号を付し、その部分の説明は省略する。異なっているのは、撮像素子５がシステム制御部２０によって所定期間内で蓄積時間が独立して設定可能な（本画像と補助画像を同時に取得可能な）複数の画素群で構成されている点と、撮像素子５から読み出した複数の画素群を分離する画素分離部２１が追加されている点である。

図７に、本実施形態の列ごとに本画像用の蓄積時間と補助画像用の蓄積時間を設定できる画素群を持つ撮像素子５の構成を示す。本画像用の画素群と補助画像用の画素群の読み出しの時間をそろえることによって、２つの画素群をまとめて読み出し、画素分離部２１によって、２つの画素群を分離して出力する。

図７では、本画像用の画素群と補助画像用の画素群とを１列おきに全行配置するようにしているが、フリッカ成分が十分に検出可能であれば、さらに補助画像用の画素群を減らすなど別の配置にしてもよい。

画素群を分離することによって本画像の画素信号が欠落する場合には、欠落信号に対して近傍の本画像の画素信号または、対応する位置の補助画像の画素信号より補間してもよい。ただし、撮像素子の画素数が、本画像の生成に対して十分に多数の画素数であるならば、上記のような補間は必ずしも必須ではない。

次に、本実施形態のＡＥ制御について、図８のフローチャートを参照しながら説明する。

まず、ステップＳ２００においては本画像の蓄積時間Ｔｖ１と補助画像の蓄積時間Ｔｖ２の比較を行う。ここで、Ｔｖ１がＴｖ２以上であれば、補助画像が飽和することはないのでステップＳ３００へ進み、本画像からＡＥ評価値が取得できるように、本画像にＡＥ評価値枠を設定する。また、ステップＳ３００において、Ｔｖ１の方がＴｖ２よりも短ければ、補助画像が飽和する可能性があるのでステップＳ３０１に進み、補助画像からＡＥ評価値が取得できるように、補助画像にＡＥ評価値枠を設定する。

次に、ステップＳ２０４においては、設定した評価値枠内の画素を積分しステップＳ２０５へ進む。ステップＳ２０５においては、あらかじめ設定してあるＡＥ目標値とステップＳ２０４で取得したＡＥ評価値の比較を行いステップＳ２０６へ進む。

以上説明したように、本実施形態によれば、本画像の蓄積時間と補助画像の蓄積時間を比較し、本画像の蓄積時間の方が補助画像の蓄積時間よりも短い場合は、ＡＥ評価値を補助画像から取得する。これにより、補助画像が飽和することを防ぎ、精度良くフリッカ成分を抽出し、補正することができる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。第１の実施形態のフリッカ補正値算出部の構成を示すブロック図である。第１の実施形態のフリッカ補正値算出部の制御動作を示すフローチャートである。第１の実施形態のＡＥ制御の制御動作を示すフローチャートである。第１の実施形態のＡＥ制御の制御動作を示す説明図である。本発明の第２の実施形態に係わる撮像装置の構成を示すブロック図である。第２の実施形態の撮像素子の構成を示す図である。第２の実施形態のＡＥ制御の制御動作を示すフローチャートである。

１レンズ
２レンズ駆動部
３絞り
４絞り駆動部
５撮像素子
６撮像素子駆動部
７ＡＦＥ
８ＡＦＥ駆動部
９フレームメモリ
１０フレームメモリ
１１セレクタ
１２ＡＥ評価値生成部
１３フリッカ補正値算出部
１４フリッカ補正部
１５セレクタ
１６輝度レベル補償部
１７カメラ信号処理部
１８記録処理回路
１９記録媒体
２０システム制御部
２１画素分離部
１００フリッカ検出部
１０１フリッカ特性パラメータ抽出部
１０２フリッカ補正値算出部

Claims

被写体像を撮像する撮像素子と、
蛍光灯の明滅周期の整数倍の蓄積時間で前記撮像素子で撮像した補助画像と、前記蛍光灯の明滅周期に制限されない蓄積時間で前記撮像素子で撮像した本画像とを生成する撮像手段と、
前記補助画像の蓄積時間と前記本画像の蓄積時間の大小関係に基づいて、前記撮像素子の露出制御を行う露出制御手段と、
前記露出制御手段により制御された露出で撮像された前記補助画像と前記本画像を比較することにより、前記本画像に現れる前記蛍光灯によるフリッカの補正を行なうフリッカ補正手段と、を備え、
前記露出制御手段は、前記補助画像の蓄積時間と前記本画像の蓄積時間の大小関係に基づいて、前記露出制御のための評価値を取得する画像を切り替えることを特徴とする撮像装置。
被写体像を撮像する撮像素子と、
蛍光灯の明滅周期の整数倍の蓄積時間で前記撮像素子で撮像した補助画像と、前記蛍光灯の明滅周期に制限されない蓄積時間で前記撮像素子で撮像した本画像とを生成する撮像手段と、
前記補助画像の蓄積時間と前記本画像の蓄積時間の大小関係に基づいて、前記撮像素子の露出制御を行う露出制御手段と、
前記露出制御手段により制御された露出で撮像された前記補助画像と前記本画像を比較することにより、前記本画像に現れる前記蛍光灯によるフリッカの補正を行なうフリッカ補正手段と、を備え、
前記露出制御手段は、前記補助画像の蓄積時間と前記本画像の蓄積時間の差分に応じて、前記露出制御の目標値を変更することを特徴とする撮像装置。
前記露出制御手段は、前記補助画像の蓄積時間よりも前記本画像の蓄積時間が短くなり、且つ前記補助画像の蓄積時間と前記本画像の蓄積時間の差分が大きくなるにつれて、前記目標値を低く設定することを特徴とする請求項２に記載の撮像装置。
前記撮像素子は、蓄積時間が独立して設定可能な複数の画素群を有し、所定期間内で蓄積時間の異なる画像を同時に取得可能であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記撮像素子は、所定期間ごとに蓄積時間の異なる画像を順次取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
画像を記憶する記憶手段をさらに備え、前記所定期間ごとに蓄積時間の異なる画像を記憶することを特徴とする請求項５に記載の撮像装置。