JP6638652B2 - 撮像装置および撮像装置の制御方法 - Google Patents

撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP6638652B2
JP6638652B2 JP2016545035A JP2016545035A JP6638652B2 JP 6638652 B2 JP6638652 B2 JP 6638652B2 JP 2016545035 A JP2016545035 A JP 2016545035A JP 2016545035 A JP2016545035 A JP 2016545035A JP 6638652 B2 JP6638652 B2 JP 6638652B2
Authority
JP
Japan
Prior art keywords
component
unit
average value
image data
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016545035A
Other languages
English (en)
Other versions
JPWO2016031402A1 (ja
Inventor
隆一 唯野
隆一 唯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016031402A1 publication Critical patent/JPWO2016031402A1/ja
Application granted granted Critical
Publication of JP6638652B2 publication Critical patent/JP6638652B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本技術は、撮像装置および撮像装置の制御方法に関する。詳しくは、ローリングシャッタ方式の撮像装置および撮像装置の制御方法に関する。
従来より、室内などでは、明るさを確保するために、蛍光灯や水銀灯など、一定の電源周波数の2倍の周波数で明滅を繰り返す光源がよく用いられている。このような光源の下において、ライン毎の露光タイミングが異なるローリングシャッタ方式で撮像を行うと、ラインに垂直な方向に沿って一定の周波数で輝度が変化する成分が画像データ内に生じて、横縞に見えるという現象が生じる。この横縞は、光源の電源周波数とラインを走査する水平同期周波数との相違により生じたものであり、フリッカ成分と呼ばれる。また、画像データ内のフリッカ成分の位置、すなわち位相は、動画内において、フレーム(またはフィールド)ごとに変化することがある。位相が変化する際のフレームごとの位相の変化量は、光源の電源周波数と撮像素子の垂直同期周波数とから決定される。
例えば、電源周波数が50ヘルツ(Hz)で、垂直同期周波数が59.94ヘルツ(Hz)の場合、フレームごとの位相の変化量は、垂直同期信号の周期の約1/3である。このため、フリッカ成分の位相は、3フレームで一巡して、3フレーム前と略同一の位相に戻る。
フリッカ成分の有無を判定するため、時系列順に連続する3つのフレームのライン毎の平均値を求める撮像装置が提案されている(例えば、特許文献1参照。)。この撮像装置は、現在フレームの各ラインを、その現在フレームを含む連続する3つのフレームの対応するラインの平均値により除算した結果から、フリッカ成分の有無を判定している。そして、撮像装置は、フリッカ成分が存在すると判定した場合には、そのフリッカ成分を画像データから除去し、画像データの画質を向上させている。
特開2012−165118号公報
上述の従来技術では、フレームごとにフリッカ成分の位相が、ある程度変化することを前提としてフリッカ成分の有無を判定していたが、電源周波数と垂直同期周波数との組合せが特定の組合せである場合には位相がほとんど変化しなくなってしまう。ここで、フリッカ成分のフレームごとの位相の変化量は、電源周波数と垂直同期周波数とから、例えば、次の式により求められる。
Figure 0006638652
上式において、左辺は、フレームごとの位相の変化量を示す。また、fは電源周波数であり、fは垂直同期周波数である。これらの周波数の単位は、例えば、ヘルツ(Hz)である。また、「mod」は、その直前の数値を、その直後の数値で除算した余りを求める処理を示す。
例えば、電源周波数が60ヘルツ(Hz)で、垂直同期周波数が59.94ヘルツ(Hz)の場合は、式1よりフレームごとの位相の変化量は、垂直同期信号の周期の約1/500といった、非常に小さな値となる。また、電源周波数および垂直同期周波数がいずれも50ヘルツ(Hz)である場合には、式1より位相の変化量が「0」となる。このように、位相がほとんど変化しない場合に上述の撮像装置では、フリッカ成分の有無の判定が困難になる問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、フリッカ成分の有無を容易に判定することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、上記露光開始タイミングのそれぞれを一定時間ずらす制御を上記周期が経過するたびに行うタイミング制御部と、上記画像データにおいて上記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、上記成分が存在すると判定された場合には上記画像データにおいて上記成分を除去する除去部とを具備する撮像装置、および、その制御方法である。これにより、露光開始タイミングのそれぞれを一定時間ずらす制御が、周期が経過するたびに行われるという作用をもたらす。
また、この第1の側面において、上記所定の周波数は、異なる2つの周波数のいずれかであり、上記一定時間は、上記2つの周波数の一方の上記成分の位相の上記周期内の変化量と上記2つの周波数の他方の上記成分の位相の上記周期内の変化量とのうち大きい方に応じた値であってもよい。これにより、2つの周波数のそれぞれに対応する変化量のうち大きい方に応じた時間だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。
また、この第1の側面において、上記垂直同期信号は、NTSC(National Television System Committee)規格に準拠した信号であり、上記一定時間は、上記周期の1/3であってもよい。これにより、周期の1/3だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。
また、この第1の側面において、上記画像データは、複数のラインデータを含み、上記フリッカ成分判定部は、上記周期の3倍の期間における上記ラインデータの平均値を算出する平均値算出部と、上記ラインデータを上記平均値により除算して除算値を出力する除算部と、上記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、上記解析結果に基づいて上記成分の有無を判定して判定結果を生成する判定結果生成部とを備えてもよい。これにより、周期の3倍の期間におけるラインデータの平均値によりラインデータを除算した除算値の信号の周波数が解析されるという作用をもたらす。
また、この第1の側面において、上記垂直同期信号は、PAL(Phase Alternating Line)規格に準拠した信号であり、上記一定時間は、上記周期の1/5であってもよい。これにより、周期の1/5だけ露光開始タイミングをずらす制御が行われるという作用をもたらす。
また、この第1の側面において、上記フリッカ成分判定部は、上記周期の5倍の期間における上記ラインデータの平均値を算出する平均値算出部と、上記ラインデータを上記平均値により除算して除算値を出力する除算部と、上記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、上記解析結果に基づいて上記成分の有無を判定して判定結果を生成する判定結果生成部とを備えてもよい。これにより、周期の5倍の期間におけるラインデータの平均値によりラインデータを除算した除算値の信号の周波数が解析されるという作用をもたらす。
また、この第1の側面において、上記画像データを出力する出力タイミングを上記一定時間に応じた時間ずらす制御を上記周期が経過するたびに行って当該ずらした出力タイミングにより上記画像データを出力してもよい。これにより、一定時間に応じた時間ずらしたタイミングで画像データが出力されるという作用をもたらす。
また、この第1の側面において、上記除去部は、上記露光期間を一定値にして上記成分を除去してもよい。これにより、一定値の露光期間で画像データが生成されるという作用をもたらす。
また、この第1の側面において、上記画像データは、複数の画素データを含み、上記除去部は、上記複数の画素データのそれぞれの値を増減して上記成分を除去してもよい。これにより、複数の画素データのそれぞれの値が増減されるという作用をもたらす。
本技術によれば、フリッカ成分の有無を容易に判定することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施の形態における撮像装置の一構成例を示すブロック図である。 第1の実施の形態における撮像素子の一構成例を示すブロック図である。 第1の実施の形態におけるフリッカ成分判定部の一構成例を示すブロック図である。 第1の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第1の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 第1の実施の形態における電源周波数が60ヘルツに対応するフリッカ成分の一例を示す図である。 第1の実施の形態における電源周波数が50ヘルツに対応するフリッカ成分の一例を示す図である。 第1の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。 第2の実施の形態におけるフリッカ成分判定部の一構成例を示すブロック図である。 第2の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第2の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。 第2の実施の形態の第1の変形例における撮像装置の一構成例を示すブロック図である。 第2の実施の形態の第1の変形例におけるフリッカ成分判定部の一構成例を示すブロック図である。 第2の実施の形態の第2の変形例における撮像装置の一構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(垂直同期信号に同期して露光開始タイミングを一定時間ずらす例)
2.第2の実施の形態(50ヘルツの垂直同期信号に同期して露光開始タイミングを一定時間ずらす例)
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、第1の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、撮像素子200、画像処理部120、ビデオ信号生成部130、駆動タイミング制御部140、出力タイミング制御部150、フリッカ成分除去部160およびフリッカ成分判定部170を備える。
撮像レンズ110は、光を集光して被写体像を撮像素子200の面上に結像させるものである。
撮像素子200は、それぞれが複数の画素からなる複数のラインを互いに異なるタイミングで順に露光して画像データを生成するものである。この撮像素子200は、駆動タイミング制御部140から垂直同期信号VSYNCおよび露光開始タイミングTSを受け取る。また、フリッカ成分除去部160から露光期間ΔTを受け取る。ここで、垂直同期信号VSYNCは、画像データを生成するタイミングを示す信号である。例えば、NTSC(National Television System Committee)規格に準拠した、59.94ヘルツ(Hz)の信号が垂直同期信号として用いられる。露光開始タイミングTSには、基準のタイミングから特定のライン(例えば、最初に露光されるライン)の露光開始タイミングまでの時間を表す値が設定される。基準のタイミングは、例えば、垂直同期信号VSYNCの立上り、または、立下りのタイミングである。露光期間ΔTには、各ラインの露光期間が設定される。露光開始タイミングTSおよび露光期間ΔTの単位は、例えば、ミリ秒(ms)や、所定の周波数のパルス信号のパルス数である。
撮像素子200は、露光開始タイミングTSから最初のラインの露光を開始する。また、撮像素子200は、2番目以降のラインの露光を、その直前のラインの露光開始から1/f秒が経過したときに開始する。ここで、fは、ラインごとの露光開始タイミングを示す水平同期信号の水平同期周波数である。撮像素子200は、各ラインを露光期間ΔTに亘って露光してラインデータを順に生成し、画像処理部120に信号線209を介して供給する。このように、ラインごとに異なるタイミングで露光を行う方式は、一般に、ローリングシャッタ方式と呼ばれる。
このローリングシャッタ方式の撮像素子200により、蛍光灯など、一定の周波数で明滅する光源の下で撮像を行うと、前述したように横縞が生じるおそれがある。この横縞の成分は、蛍光灯などの光源のちらつきに起因して生じるため、フリッカ成分と呼ばれる。
また、撮像素子200は、垂直同期信号VSYNCの周期Pが経過するたびに、全てのラインを走査するプログレッシブ方式で画像データを生成するものとする。なお、撮像素子200は、その周期Pが経過するたびに、奇数ラインと偶数ラインとを交互に走査するインターレス方式で画像データを生成してもよい。プログレッシブ方式では、垂直同期信号VSYNCに同期して全ラインデータを含む画像データが生成され、その画像データはフレームと呼ばれる。一方、インターレス方式では、垂直同期信号VSYNCに同期して、奇数または偶数のラインデータを含む画像データが生成され、それらの画像データはフィールドと呼ばれる。
画像処理部120は、撮像素子200からの画像データ(フレーム)に対して、所定の画像処理を行うものである。例えば、デモザイク処理やYC変換処理が画像処理として実行される。デモザイク処理により、R(Red)、G(Green)およびB(Blue)信号のいずれかを含む画素データのそれぞれにおいて足りない色信号が補間される。また、YC変換処理により、R(Red)、G(Green)およびB(Blue)信号が、輝度信号および色差信号に変換される。画像処理部120は、画像処理後の画像データを信号線129を介してビデオ信号生成部130およびフリッカ成分判定部170へ供給する。なお、画像処理部120は、デモザイク処理およびYC変換処理の一方のみを行ってもよいし、ガンマ補正処理やホワイトバランス補正処理などの他の画像処理をさらに行ってもよい。
ビデオ信号生成部130は、画像データからビデオ信号を生成するものである。ビデオ信号生成部130は、輝度信号および色差信号に、垂直同期信号を加えた信号を生成し、ビデオ信号として出力タイミング制御部150に供給する。
駆動タイミング制御部140は、撮像素子200の駆動タイミングを制御するものである。この駆動タイミング制御部140は、垂直同期信号VSYNCおよび露光開始タイミングTSを生成して、信号線148および149を介して撮像素子200に供給する。また、駆動タイミング制御部140は、画像処理を行う画像処理タイミングを画像処理部120に信号線147を介して供給する。例えば、露光開始タイミングに同期したタイミングが、画像処理タイミングとして供給される。
また、駆動タイミング制御部140は、垂直同期信号VSYNCの周期が経過するたびに、各ラインの露光開始タイミングを一定時間(以下、「シフト量S」と称する。)ずらす制御を行う。
ここで、電源周波数fとして、一般に50ヘルツ(Hz)または60ヘルツ(Hz)が用いられる。また、垂直同期周波数fは、NTSC規格では、59.94ヘルツ(Hz)である。この垂直同期周波数fを固定値とすると、式1より、位相の変化量は、電源周波数fが50ヘルツ(Hz)および60ヘルツ(Hz)のいずれであるかにより決定される。
例えば、垂直同期周波数fが59.94ヘルツ(Hz)で、電源周波数fpが60ヘルツ(Hz)の場合を想定する。この場合には、式1に基づいて、次の式により、露光開始タイミングをシフトしない場合の位相の変化量が求められる。
Figure 0006638652
式2より、シフトしない際に、垂直同期信号VSYNCの周期Pが経過するたびに、その周期Pの約1/500ずつしか、フリッカ成分の位相が変化しない。このため、シフトしない際には、フリッカ成分の位相が一巡するまで約500フレームを要してしまう。しかし、駆動タイミング制御部140が露光開始タイミングをフレームごとにシフト量Sの分ずらすと、フリッカ成分の位相は、フレームごとにシフト量Sの分、変化する。例えば、シフト量SがP/10(36度)であり、全ライン数が525ラインであれば、フレームごとに約52.5ラインの分、位相が変化する。この結果、フリッカ成分の位相が一巡するまでの期間は、シフト量に応じた期間に短縮される。例えば、シフト量がP/10であれば、フリッカ成分の位相は、10フレームで一巡する。
ただし、電源周波数fpが50ヘルツ(Hz)である場合も想定される。この場合には、式1に基づいて、次の式により、露光開始タイミングをシフトしない場合の位相の変化量が求められる。
Figure 0006638652
式3より、シフトしない際は、垂直同期信号VSYNCの周期Pが経過するたびに、その周期Pの2/3(−120度)ずつ、位相が変化する。このため、シフトしない場合であっても、フリッカ成分の位相は3フレームで一巡する。このように、電源周波数が50ヘルツ(Hz)の場合と60ヘルツ(Hz)の場合とで、シフトしない場合における位相の変化量が異なる。この際には、どちらの電源周波数の場合でも、シフト後においてフレームごとの位相の変化量が同じ値となることが望ましい。電源周波数にかかわらず、シフト後の変化量を同じ値にするには、シフト量Sを、式2、3で得られた位相の変化量のうち、大きい方に比例した値にすればよい。したがって、シフト量SをP/3(120度)などに設定することが望ましい。
なお、垂直同期周波数fvは、59.94ヘルツ(Hz)以外の周波数であってもよい。例えば、垂直同期周波数fvは、60ヘルツ(Hz)または30ヘルツ(Hz)であってもよい。これらの周波数の場合も、位相の変化量は、式2および式3で得られる値と同程度になるため、シフト量SをP/3(120度)に設定することが望ましい。
なお、駆動タイミング制御部140は、特許請求の範囲に記載のタイミング制御部の一例である。
出力タイミング制御部150は、ビデオ信号において、画像データの出力タイミングをずらして外部の表示装置などへ出力するものである。ここで、出力タイミングをずらす量は、垂直同期信号VSYNCの周期Pとシフト量Sとの差分などである。これにより、画像データの出力タイミングが一定となる。
フリッカ成分除去部160は、フリッカ成分判定部170によりフリッカ成分があると判定された際に、そのフリッカ成分を画像データから除去するものである。このフリッカ成分除去部160は、フリッカ成分が無いと判定された場合には、ユーザの操作などに従って予め設定された露光期間ΔTを、信号線169を介して撮像素子200に供給する。一方、フリッカ成分が存在すると判定された場合には、フリッカ成分除去部160は、光源が明滅する周期の整数倍の時間(1/100秒など)に露光期間ΔTを設定し、撮像素子200に供給する。この露光期間ΔTの制御により、フリッカ成分が除去される。なお、フリッカ成分除去部160は、特許請求の範囲に記載の除去部の一例である。
フリッカ成分判定部170は、フリッカ成分の有無を判定するものである。このフリッカ成分判定部170は、例えば、画像データから直流成分を除去した後、周波数の解析を行う。直流成分については後述する。ここで、フリッカ成分の周波数は、電源周波数と水平同期信号HSYNCの周波数とから決定されるため、周波数の解析により、フリッカ成分判定部170はフリッカ成分の有無を判定することができる。フリッカ成分判定部170は、判定結果をフリッカ成分除去部160に信号線179を介して供給する。なお、フリッカ成分判定部170は、特許請求の範囲に記載の判定部の一例である。
[撮像素子の構成例]
図2は、第1の実施の形態における撮像素子200の一構成例を示すブロック図である。この撮像素子200は、行走査回路210、画素アレイ部220、タイミング制御回路250、AD(Analog to Digital)変換部260および列走査回路270を備える。画素アレイ部220には、2次元格子状に複数の画素230が設けられる。
タイミング制御回路250は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部220において、ある一方向に複数の画素230が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部220において行と直交する方向に複数の画素230が配列されたものである。
タイミング制御回路250は、垂直同期信号VSYNCに同期して、水平同期信号HSYNCを生成し、行走査回路210に供給する。また、タイミング制御回路250は、列を走査するタイミングを指示するタイミング信号を水平同期信号HSYNCに同期して生成し、列走査回路270に供給する。
行走査回路210は、水平同期信号HSYNCに同期して行(ライン)の各々を選択するものである。この行走査回路210は、行選択信号を行の各々へ信号線219を介して順に出力することにより行を選択する。
また、行走査回路210は、行のそれぞれを互いに異なるタイミングで露光させる。この行走査回路210は、露光開始タイミングTSにおいて1行目の長時間露光を開始する。2行目以降の長時間露光は、直前の行の露光開始から1/f秒が経過したときに開始される。そして、行走査回路210は、各行の露光開始から露光期間ΔTが経過したときに、その行の露光を終了する。
画素230は、露光期間に応じた電位の画素信号を生成するものである。画素230は、信号線239を介して、生成した画素信号をAD変換部260に供給する。
AD変換部260は、画素信号をAD変換して画素データを生成するものである。AD変換部260は、列ごとに設けられる。列走査回路270により選択された列のAD変換部260は、生成した画素データを画像処理部120へ供給する。なお、AD変換部260を撮像素子200に設ける構成としているが、このAD変換部260を撮像素子200の外部に設けてもよい。
列走査回路270は、タイミング制御回路250の制御に従って、列の各々を選択するものである。この列走査回路270は、列選択信号をAD変換部260のそれぞれに順に出力することにより列を選択する。
[フリッカ成分判定部の構成例]
図3は、第1の実施の形態におけるフリッカ成分判定部170の一構成例を示すブロック図である。このフリッカ成分判定部170は、ライン平均値算出部171と、ライン平均値記憶部172および173と、3フレーム平均値算出部174と、除算部175と、周波数解析部176と、判定結果生成部177とを備える。
ライン平均値算出部171は、画素データの平均値をラインごとに算出するものである。例えば、画像データ内のライン数が525である場合には、画像データごとに525個の平均値が算出される。このライン平均値算出部171は、算出した平均値をライン平均値Ysとしてライン平均値記憶部172および3フレーム平均値算出部174に供給する。
ライン平均値記憶部172は、1フレーム分のライン平均値Ysを記憶するものである。ライン平均値記憶部172に記憶されたライン平均値Ysは、現在のフレームより1フレーム前のライン平均値Ysとしてライン平均値記憶部173および3フレーム平均値算出部174へ供給される。
ライン平均値記憶部173は、1フレーム分のライン平均値Ysを記憶するものである。ライン平均値記憶部173に記憶されたライン平均値Ysは、現在のフレームより2フレーム前のライン平均値Ysとしてライン平均値記憶部173および3フレーム平均値算出部174へ供給される。
3フレーム平均値算出部174は、ライン平均値Ysの3フレーム分の平均値をラインごとに算出するものである。この3フレーム平均値算出部174は、算出した平均値を直流成分Isとして除算部175に供給する。ここで、直流成分は、フリッカ成分の影響が排除された、被写体本来の濃淡を示す成分である。なお、3フレーム平均値算出部174は、特許請求の範囲に記載の平均値算出部の一例である。
除算部175は、現在のフレームのライン平均値Ysを、対応するラインの直流成分Isにより除算するものである。除算部175は、除算値を周波数解析部176に供給する。
ここで、nフレームにおけるyラインのライン平均値Ys(y、n)は、例えば、次の式により表される。
Figure 0006638652
上式において、Is(y)は、yラインの直流成分を示す。Aは、フリッカ成分の大きさを示す。fは、水平同期信号HSYNCの水平同期周波数を示し、fは、垂直同期信号VSYNCの垂直同期周波数を示す。また、fは、電源周波数を示す。
式4の左辺は、ライン平均値算出部171により算出される。また、右辺の直流成分Is(y)は、3フレーム平均値算出部174により算出される。左辺を直流成分Is(y)により除算することにより、直流成分の影響を排除した信号が生成される。
周波数解析部176は、除算値の信号の周波数を解析するものである。周波数解析部176は、除算値の信号に対してフーリエ変換などを行って周波数を解析して、その信号内の周波数の異なる複数の成分のそれぞれの振幅を示す周波数分布を生成し、判定結果生成部177に供給する。
式4より、フリッカ成分の周波数は、2f/fに比例した値となる。水平同期周波数fは撮像中において固定値(15.75キロヘルツなど)であるため、フリッカ成分の周波数は、電源周波数50ヘルツ(Hz)に対応する周波数と、電源周波数60ヘルツ(Hz)に対応する周波数とのいずれかになる。
判定結果生成部177は、画像データ内のフリッカ成分の有無を判定して、判定結果を生成するものである。この判定結果生成部177は、周波数分布において支配的な成分(例えば、振幅が最も大きな成分)の周波数がフリッカ成分の周波数であるか否かにより、フリッカ成分の有無を判定する。判定結果生成部177は、生成した判定結果をフリッカ成分除去部160へ供給する。
[撮像装置の動作例]
図4は、第1の実施の形態における撮像装置の動作の一例を示すフローチャートである。この動作は、例えば、動画を撮像するための所定の操作(録画ボタンの押下など)が行われたときに開始する。
撮像装置100は、59.94Hzの垂直同期信号VSYNCに同期して画像データ(フレーム)を撮像する(ステップS901)。そして、撮像装置100は、露光開始タイミングTSを垂直同期信号VSYNCの周期Pの1/3(すなわち、120度)ずらす(ステップS902)。また、撮像装置100は、フリッカ成分が有るか否かを判定する(ステップS903)。フリッカ成分があると判定した場合には(ステップS903:Yes)、撮像装置100は、露光期間の制御などにより、フリッカ成分を除去する(ステップS904)。一方、フリッカ成分が無いと判定した場合(ステップS903:No)、または、ステップS904の後、撮像装置100は、ステップS901に戻る。
図5は、第1の実施の形態における撮像装置100の動作の一例を示すタイミングチャートである。同図におけるaは、撮像レンズ110が集光する光の光源の光強度の変動の一例を示す図である。同図のaにおける縦軸は、光強度であり、横軸は時間である。同図におけるaに例示するように、光源は、一定の周波数で明滅する。この周波数は、光源に電力を供給する電源の電源周波数の2倍に相当する。
図5におけるbは、垂直同期信号VSYNCの一例を示す図である。同図のaにおける縦軸は、垂直同期信号VSYNCの値であり、横軸は時間である。同図におけるaに例示するように、垂直同期信号VSYNCの垂直同期周波数は、電源周波数と同程度である。
図5におけるcは、撮像素子200の露光タイミングの一例を示す図である。同図における縦軸はラインの位置であり、横軸は時間である。また、同図のaにおける太線は、各ラインの露光開始タイミングを示し、一点鎖線は、各ラインの露光終了のタイミングを示す。前述したように撮像装置100は、フレームごとに、各ラインの露光開始タイミングを垂直同期信号VSYNCの周期Pの1/3(すなわち、120度)シフトさせる。例えば、あるフレームF1における最初の行の露光開始タイミングをTS1とすると、その次のフレームF2における最初のラインの露光開始タイミングTS2は、露光開始タイミングTS1に対して、P/3(120度)遅れたタイミングに制御される。また、フレームF2の次のフレームF3の最初のラインの露光開始タイミングTS3は、露光開始タイミングTS2に対してP/3(120度)遅れたタイミングに制御される。フレームF3の次のフレームF4の最初のラインの露光開始タイミングは、フレームF1と同じ露光開始タイミングTS1に制御される。
図5におけるdは、図5におけるcの露光期間の一部を拡大した図である。同図におけるdに示すように、露光開始タイミングから、露光期間ΔTが経過した露光終了タイミングTEで、ラインの露光が終了する。そして、そのラインのラインデータが読出し時間において読み出される。なお、同図におけるcでは、読出し時間は、省略されている。
図6は、第1の実施の形態における電源周波数が60ヘルツ(Hz)の際のフリッカ成分の一例を示す図である。同図におけるaは、露光開始タイミングをシフトしない場合の電源周波数が60ヘルツ(Hz)に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトせずにフレーム511、512、513、514、515および516が時系列順に撮像されたものとする。これらのフレームにおいて、光源のちらつきにより、ラインに垂直な方向に沿って濃淡、言い換えれば横縞が生じる。この横縞の成分が、除去すべきフリッカ成分に相当する。フリッカ成分が基準値(ピーク値など)になる位相は、フレームごとに変化する。この位相の変化量は非常に小さく、位相が一巡するのに約500フレームを要する。なお、画像データには、通常、フリッカ成分以外にも、被写体本来の濃淡成分が含まれるが、図6では、フリッカ成分以外の濃淡成分は省略されている。
図6におけるbは、露光開始タイミングをフレームごとにシフトした場合の電源周波数60ヘルツ(Hz)に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトしつつ、フレーム521、522、523、524、525および526が時系列順に撮像されたものとする。これらのフレームにおいて、フリッカ成分内の所定ライン(例えば、輝度が最も高いライン)のフレーム内の位置、すなわち位相は、フレームごとに、露光開始タイミングのシフト量Sの分、変化する。シフト量Sが、垂直同期信号VSYNCの周期Pの1/3(120度)に設定されると、画像データ内のフリッカ成分の位置、すなわち位相がフレームごとに変化し、3フレームで位相が一巡する。例えば、フレーム524におけるフリッカ成分の位相は、その3フレーム前のフレーム521と同様である。このように、露光開始タイミングをフレームごとに120度ずらすことによって、フリッカ成分の位相がフレームごとに変化し、3フレームで一巡する。このため、最短で3フレームという短い時間でフリッカ成分を検出することができる。
図7は、第1の実施の形態における電源周波数が50ヘルツ(Hz)の際のフリッカ成分の一例を示す図である。同図におけるaは、露光開始タイミングをシフトしない場合の電源周波数が50ヘルツ(Hz)に対応するフリッカ成分の一例を示す図である。露光開始タイミングをシフトせずにフレーム531、532、533、534、535および536が時系列順に撮像されたものとする。これらのフレームにおいて、フリッカ成分の位相は、フレームごとに、垂直同期信号VSYNCの周期Pの2/3だけ変化する。例えば、フレーム534において、フリッカ成分の位相は、その3フレーム前のフレーム531と同様である。
図7におけるbは、露光開始タイミングをフレームごとにシフトした場合の電源周波数50ヘルツ(Hz)に対応するフリッカ成分の一例を示す図である。露光開始タイミングをフレームごとにシフトしつつ、フレーム541、542、543、544、545および546が時系列順に撮像されたものとする。同図におけるaに例示したように、シフトしない状態で、フリッカ成分の位相は、フレームごとに、P/3(120度)変化していた。このため、露光開始タイミングをフレームごとに同じ量(P/3)シフトすれば、シフトしない場合と同じく、3フレームで位相が一巡する。なお、図7では、フリッカ成分以外の被写体の濃淡成分は省略されている。
図6および図7に例示したように、電源周波数50ヘルツ(Hz)に対応するフリッカ成分の位相の変化量に比例した量(120度など)にシフト量を設定すれば、電源周波数に関わらず、フリッカ成分の位相の変化量は同じ値になる。したがって、50ヘルツおよび60ヘルツのいずれの電源周波数であっても、撮像装置100は、同じアルゴリズムでフリッカ成分の有無を判定することができる。
図8は、第1の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。同図におけるaは、電源周波数が50ヘルツ(Hz)に対応するフリッカ成分の位相の変化量の一例を示す図である。同図においては、フレームF1のフリッカ成分の位相を基準タイミングとして、その基準タイミングに対する、フレームF1以外の位相の変化量を角度で表記している。露光開始タイミングをシフトしない場合には、フレームF1の次のフレームF2の位相は、例えば、基準タイミングから−120度変化する。そして、次のフレームF3の位相は、フレームF2からさらに−120度変化し、基準タイミングに対して+120度となる。その次のフレームF4の位相は、フレームF3からさらに−120度変化し、基準タイミングに戻る。フレームF5およびF6の位相は、フレームF2およびF3と同様である。
一方、露光開始タイミングを120度シフトした場合には、フレームF2の位相は、例えば、基準タイミングから+120度変化する。そして、次のフレームF3の位相は、フレームF2からさらに+120度変化し、基準タイミングに対して−120度となる。その次のフレームF4の位相は、フレームF3からさらに+120度変化し、基準タイミングに戻る。
図8におけるbは、電源周波数が60ヘルツ(Hz)に対応するフリッカ成分の位相の変化量の一例を示す図である。露光開始タイミングをシフトしない場合、フレームF2乃至F6の各フレームのフリッカ成分の所定ラインの位相は、基準タイミングに対して変化しない。
一方、露光開始タイミングを120度シフトした場合には、フレームF2の位相は、例えば、基準タイミングから−120度変化する。そして、次のフレームF3の位相は、フレームF2からさらに−120度変化し、基準タイミングに対して+120度となる。その次のフレームF4の位相は、フレームF3からさらに−120度変化し、基準タイミングに戻る。フレームF5およびF6の位相は、フレームF2およびF3と同様である。
図8に例示したように、シフト量を120度とすることにより、電源周波数が50ヘルツおよび60ヘルツのいずれの場合であっても、フレームごとのフリッカ成分の位相の変化量は、120度になる。
このように、本技術の第1の実施の形態によれば、撮像装置100は、垂直同期信号の周期が経過するたびに、各ラインの露光開始タイミングを一定時間ずらすため、フリッカ成分の位相は、フレームごとに一定時間変化する。これにより、撮像装置100は、フリッカ成分の有無を短い時間で容易に判定することができる。
<2.第2の実施の形態>
[撮像装置の構成例]
第1の実施の形態では、撮像装置100は、NTSC規格に準拠した59.94ヘルツ(Hz)の垂直同期信号VSYNCに同期して撮像していた。しかし、撮像装置100は、PAL(Phase Alternating Line)規格に準拠した50ヘルツ(Hz)の垂直同期信号VSYNCに同期して撮像する構成であってもよい。第2の実施の形態の撮像装置100は、PAL規格に準拠した垂直同期信号VSYNCに同期して撮像する点において第1の実施の形態と異なる。
垂直同期周波数fvが50ヘルツ(Hz)で、電源周波数fが50ヘルツ(Hz)の場合を想定する。この場合には、式1に基づいて、次の式によりシフトしない場合の位相の変化量が求められる。
Figure 0006638652
上式より、シフトしない際にはフリッカ成分の位相は変化しない。しかし、駆動タイミング制御部140が露光開始タイミングをフレームごとにシフト量Sの分ずらすことにより、フリッカ成分の位相は、フレームごとに、そのシフト量Sに対応するラインの分、変化する。
また、垂直同期周波数fvが50ヘルツ(Hz)で、電源周波数fpが60ヘルツ(Hz)の場合を想定する。この場合には、式1に基づいて、次の式によりシフトしない場合の位相の変化量が求められる。
Figure 0006638652
上式より、シフトしない際は、垂直同期信号VSYNCの周期Pが経過するたびに、その周期Pの2/5(すなわち、144度)ずつ、位相が変化する。このため、シフトしない場合であっても、フリッカ成分の位相は5フレームで一巡する。このように、電源周波数が50ヘルツ(Hz)の場合と60ヘルツ(Hz)の場合とで、シフトしない場合における位相の変化量が異なる。この際には、どちらの電源周波数の場合でも、シフト後においてフレームごとの位相の変化量が同じ値となることが望ましい。電源周波数にかかわらず、シフト後の変化量を同じ値にするには、シフト量Sを、式5、6で得られた位相の変化量のうち、大きい方に比例した値にすればよい。したがって、シフト量SをP/5(72度)などに設定することが望ましい。
第2の実施の形態の駆動タイミング制御部140は、50ヘルツ(Hz)の垂直同期信号VSYNCを撮像素子200に供給し、フレームごとに露光開始タイミングをP/5ずらす点において第1の実施の形態と異なる。また、第2の実施の形態の撮像装置100は、フリッカ成分判定部170の代わりにフリッカ成分判定部180を備える点において第1の実施の形態と異なる。
図9は、第2の実施の形態におけるフリッカ成分判定部180の一構成例を示すブロック図である。第2の実施の形態のフリッカ成分判定部180は、ライン平均値記憶部181および182をさらに備え、3フレーム平均値算出部174の代わりに5フレーム平均値算出部183を備える点において第1の実施の形態と異なる。
現在のフレームより2フレーム前のライン平均値Ysは、5フレーム平均値算出部183の他、ライン平均値記憶部173にも供給される。
ライン平均値記憶部181は、1フレーム分のライン平均値を記憶するものである。ライン平均値記憶部181に記憶されたライン平均値は、現在のフレームより3フレーム前のライン平均値Ysとしてライン平均値記憶部182および5フレーム平均値算出部183へ供給される。
ライン平均値記憶部182は、1フレーム分のライン平均値を記憶するものである。ライン平均値記憶部182に記憶されたライン平均値は、現在のフレームより4フレーム前のライン平均値として5フレーム平均値算出部183へ供給される。
5フレーム平均値算出部183は、5フレーム分のライン平均値の平均値Ysをラインごとに算出するものである。この5フレーム平均値算出部183は、算出した平均値を直流成分Isとして除算部175に供給する。なお、5フレーム平均値算出部183は、特許請求の範囲に記載の平均値算出部の一例である。
図10は、第2の実施の形態における撮像装置100の動作の一例を示すフローチャートである。第2の実施の形態における撮像装置100の動作は、ステップS901およびS902の代わりに、ステップS905およびS906を実行する点において第1の実施の形態と異なる。
撮像装置100は、50Hzの垂直同期信号VSYNCに同期して画像データ(フレーム)を撮像する(ステップS905)。そして、撮像装置100は、露光開始タイミングをP/5(すなわち、72度)ずらす(ステップS906)。
図11は、第2の実施の形態におけるフリッカ成分の位相の変化量の一例を示す図である。同図におけるaは、電源周波数50ヘルツ(Hz)に対応するフリッカ成分の位相の変化量の一例を示す図である。同図においては、フレームF1のフリッカ成分の位相を基準タイミングとして、その基準タイミングに対する、フレームF1以外の位相の変化量を角度で表記している。露光開始タイミングをシフトしない場合、フレームF2乃至F6の各フレームのフリッカ成分の位相は、基準タイミングに対して変化しない。
一方、露光開始タイミングを72度シフトした場合には、フレームF2の位相は、例えば、基準タイミングから−72度変化する。そして、次のフレームF3の位相は、フレームF2からさらに−72度変化し、基準タイミングに対して−144度となる。フレームF4およびF5の位相は、−216度および−288度となり、フレームF6において位相は基準タイミングに戻る。
図11におけるbは、同図におけるaは、電源周波数が60ヘルツ(Hz)に対応するフリッカ成分の位相の変化量の一例を示す図である。露光開始タイミングをシフトしない場合にフレームF2の位相は、例えば、基準タイミングから+144度変化する。そして、次のフレームF3の位相は、フレームF2からさらに+144度変化し、基準タイミングに対して+288度となる。フレームF4およびF5の位相は、+72度および+216度となり、フレームF6において位相は基準タイミングに戻る。
一方、露光開始タイミングを72度シフトした場合には、フレームF2の位相は、例えば、基準タイミングから+72度変化する。そして、次のフレームF3の位相は、フレームF2からさらに+72度変化し、基準タイミングに対して+144度となる。フレームF4およびF5の位相は、+216度および+288度となり、フレームF6において位相は基準タイミングに戻る。
図11に例示したように、シフト量を72度とすることにより、電源周波数が50ヘルツおよび60ヘルツのいずれの場合であっても、フレーム間のフリッカ成分の位相の変化量は72度になる。
このように、本技術の第2の実施の形態によれば、50ヘルツの垂直同期信号の周期が経過するたびに、各ラインの露光開始タイミングを一定時間ずらすため、垂直同期信号が50ヘルツの際に、フリッカ成分を短時間で検出することができる。
[第1の変形例]
第2の実施の形態では、撮像装置100は、50ヘルツ(Hz)の垂直同期信号に同期して撮像を行っていたが、ユーザの操作などに従って、その垂直同期周波数fを59.94ヘルツ(Hz)に切り替えてもよい。第2の実施の形態の第1の変形例における撮像装置100は、垂直同期周波数fを切り替える点において第1の実施の形態と異なる。
図12は、第2の実施の形態の第1の変形例における撮像装置100の一構成例を示すブロック図である。第1の変形例の撮像装置100は、駆動タイミング制御部140およびフリッカ成分判定部180の代わりに、駆動タイミング制御部141およびフリッカ成分判定部190を備える点において第2の実施の形態と異なる。
駆動タイミング制御部141は、垂直同期周波数fvの切り替えを指示する切替信号に従って、垂直同期周波数fを切り替える点において第1の実施の形態と異なる。切替信号は、例えば、ユーザの操作に従って生成され、その切替信号により、50ヘルツおよび59.94ヘルツのいずれかへの垂直同期周波数fvの切り替えが指示される。そして、駆動タイミング制御部141は、59.94ヘルツに切り替えた際には第1の実施の形態と同様にシフト量を120度にし、50ヘルツに切り替えた際にはシフト量を72度にする。
フリッカ成分判定部190は、切替信号に従って、アルゴリズムを変更してフリッカ成分の有無を判定する点において第1の実施の形態と異なる。
図13は、第2の実施の形態の第1の変形例におけるフリッカ成分判定部190の一構成例を示すブロック図である。第1の変形例のフリッカ成分判定部190は、スイッチ191および192をさらに備え、5フレーム平均値算出部183の代わりに3/5フレーム平均値算出部193を備える点において第2の実施の形態と異なる。
スイッチ191は、切替信号に従って、ライン平均値記憶部181と3/5フレーム平均値算出部193との間の経路を開閉するものである。例えば、50ヘルツの垂直同期周波数fに切り替える際には、スイッチ191は閉状態に移行し、59.94ヘルツの垂直同期周波数fに切り替える際には、スイッチ191は開状態に移行する。
スイッチ192は、切替信号に従って、ライン平均値記憶部182と3/5フレーム平均値算出部193との間の経路を開閉するものである。例えば、50ヘルツの垂直同期周波数fに切り替える際には、スイッチ192は閉状態に移行し、59.94ヘルツの垂直同期周波数fに切り替える際には、スイッチ192は開状態に移行する。
3/5フレーム平均値算出部193は、3フレーム分または5フレーム分のライン平均値の平均値をラインごとに算出するものである。
このように、第2の実施の形態の第1の変形例によれば、撮像装置100は、垂直同期周波数fを切り替えて撮像を行うため、垂直同期周波数fが変更された場合であっても、フリッカ成分の有無を判定することができる。
[第2の変形例]
第2の実施の形態では、撮像装置100は、露光期間を制御してフリッカ成分を除去していたが、画像データに対するゲインを制御してフリッカ成分を除去することもできる。この第2の実施の形態の第2の変形例の撮像装置100は、画像データに対するゲインを制御してフリッカ成分を除去する点において第2の実施の形態と異なる。
図14は、第2の実施の形態の第2の変形例における撮像装置100の一構成例を示すブロック図である。第2の変形例の撮像装置100は、フリッカ成分除去部160の代わりに、フリッカ成分除去部195を備える点において第2の実施の形態と異なる。なお、第1の実施の形態の撮像装置100にフリッカ成分除去部195を設けてもよい。
フリッカ成分除去部195は、撮像素子200からの画素データに対するゲインを制御してフリッカ成分を除去するものである。このフリッカ成分除去部195は、フリッカ成分が無い場合には、撮像素子200からの全ての画素データに同一の係数(例えば、1)を乗じて画像処理部120へ供給する。
一方、フリッカ成分が有ると判定された場合には、フリッカ成分除去部195は、yラインのラインデータ内の各画素データに対して、Is(y)/Ys(y、n)の係数を乗算して画像処理部120へ供給する。この係数の乗算、言い換えれば、ゲインによる増幅により、式4に基づいて、フリッカ成分が除去されて、直流成分のみとなる。
また、第2の変形例のフリッカ成分判定部180は、判定結果とともに、Is(y)およびYs(y、n)をフリッカ成分除去部195へさらに供給する。
このように、第2の実施の形態の第2の変形例によれば、撮像装置100は、ゲインを制御してフリッカ成分を除去するため、露光期間を変更せずにフリッカ成分を除去することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
(1)それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、
前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御部と、
前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、
前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去部と
を具備する撮像装置。
(2)前記所定の周波数は、異なる2つの周波数のいずれかであり、
前記一定時間は、前記2つの周波数の一方の前記成分の位相の前記周期内の変化量と前記2つの周波数の他方の前記成分の位相の前記周期内の変化量とのうち大きい方に応じた値である
前記(1)記載の撮像装置。
(3)前記垂直同期信号は、NTSC(National Television System Committee)規格に準拠した信号であり、
前記一定時間は、前記周期の1/3である
前記(1)または(2)記載の撮像装置。
(4)前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の3倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
前記(3)記載の撮像装置。
(5)前記垂直同期信号は、PAL(Phase Alternating Line)規格に準拠した信号であり、
前記一定時間は、前記周期の1/5である
前記(1)記載の撮像装置。
(6)前記画像データは、複数のラインデータを含み、
前記フリッカ成分判定部は、
前記周期の5倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
前記(5)記載の撮像装置。
(7)前記画像データを出力する出力タイミングを前記一定時間に応じた時間ずらす制御を前記周期が経過するたびに行って当該ずらした出力タイミングにより前記画像データを出力する
前記(1)から(6)のいずれかに記載の撮像装置。
(8)前記除去部は、前記露光期間を一定値にして前記成分を除去する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記画像データは、複数の画素データを含み、
前記除去部は、前記複数の画素データのそれぞれの値を増減して前記成分を除去する
前記(1)から(8)のいずれかに記載の撮像装置。
(10)撮像素子が、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像手順と、
タイミング制御部が、前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御手順と、
判定部が、前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定手順と、
除去部が、前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去手順と
を具備する撮像装置の制御方法。
100 撮像装置
110 撮像レンズ
120 画像処理部
130 ビデオ信号生成部
140、141 駆動タイミング制御部
150 出力タイミング制御部
160、195 フリッカ成分除去部
170、180、190 フリッカ成分判定部
171 ライン平均値算出部
172、173、181、182 ライン平均値記憶部
174 3フレーム平均値算出部
175 除算部
176 周波数解析部
177 判定結果生成部
183 5フレーム平均値算出部
191、192 スイッチ
193 3/5フレーム平均値算出部
200 撮像素子
210 行走査回路
220 画素アレイ部
230 画素
250 タイミング制御回路
260 AD変換部
270 列走査回路

Claims (9)

  1. それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像素子と、
    前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御部と、
    前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定部と、
    前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去部と
    を具備し、
    前記所定の周波数は、異なる2つの電源周波数のいずれかであり、
    前記一定時間は、前記2つの電源周波数の一方の前記成分の位相の前記周期内の変化量と前記2つの電源周波数の他方の前記成分の位相の前記周期内の変化量とのうち大きい方に応じた値である
    撮像装置。
  2. 前記垂直同期信号は、NTSC(National Television System Committee)規格に準拠した信号であり、
    前記一定時間は、前記周期の1/3である
    請求項1記載の撮像装置。
  3. 前記画像データは、複数のラインデータを含み、
    前記フリッカ成分判定部は、
    前記周期の3倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
    前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
    前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
    前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
    請求項記載の撮像装置。
  4. 前記垂直同期信号は、PAL(Phase Alternating Line)規格に準拠した信号であり、
    前記一定時間は、前記周期の1/5である
    請求項1記載の撮像装置。
  5. 前記画像データは、複数のラインデータを含み、
    前記フリッカ成分判定部は、
    前記周期の5倍の期間における前記ラインデータの平均値を算出する平均値算出部と、
    前記ラインデータを前記平均値により除算して除算値を出力する除算部と、
    前記除算値の信号の周波数を解析して解析結果を生成する周波数解析部と、
    前記解析結果に基づいて前記成分の有無を判定して判定結果を生成する判定結果生成部とを備える
    請求項記載の撮像装置。
  6. 前記画像データを出力する出力タイミングを前記一定時間に応じた時間ずらす制御を前記周期が経過するたびに行って当該ずらした出力タイミングにより前記画像データを出力する
    請求項1記載の撮像装置。
  7. 前記除去部は、前記露光期間を一定値にして前記成分を除去する
    請求項1記載の撮像装置。
  8. 前記画像データは、複数の画素データを含み、
    前記除去部は、前記複数の画素データのそれぞれの値を増減して前記成分を除去する
    請求項1記載の撮像装置。
  9. 撮像素子が、それぞれが複数の画素からなる複数のラインを互いに異なる露光開始タイミングから所定の露光期間に亘って順に露光して画像データを生成する処理を所定の垂直同期信号の周期が経過するたびに行う撮像手順と、
    タイミング制御部が、前記露光開始タイミングのそれぞれを一定時間ずらす制御を前記周期が経過するたびに行うタイミング制御手順と、
    判定部が、前記画像データにおいて前記複数のラインに垂直な方向に沿って所定の周波数で輝度が変化する成分の有無を判定する判定手順と、
    除去部が、前記成分が存在すると判定された場合には前記画像データにおいて前記成分を除去する除去手順と
    を具備する撮像装置の制御方法であって、
    前記所定の周波数は、異なる2つの電源周波数のいずれかであり、
    前記一定時間は、前記2つの電源周波数の一方の前記成分の位相の前記周期内の変化量と前記2つの電源周波数の他方の前記成分の位相の前記周期内の変化量とのうち大きい方に応じた値である
    制御方法。
JP2016545035A 2014-08-27 2015-07-09 撮像装置および撮像装置の制御方法 Expired - Fee Related JP6638652B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014172194 2014-08-27
JP2014172194 2014-08-27
PCT/JP2015/069727 WO2016031402A1 (ja) 2014-08-27 2015-07-09 撮像装置および撮像装置の制御方法

Publications (2)

Publication Number Publication Date
JPWO2016031402A1 JPWO2016031402A1 (ja) 2017-06-08
JP6638652B2 true JP6638652B2 (ja) 2020-01-29

Family

ID=55399305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016545035A Expired - Fee Related JP6638652B2 (ja) 2014-08-27 2015-07-09 撮像装置および撮像装置の制御方法

Country Status (3)

Country Link
US (1) US10244183B2 (ja)
JP (1) JP6638652B2 (ja)
WO (1) WO2016031402A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201418619D0 (en) * 2014-10-20 2014-12-03 Apical Ltd Method
US20190349502A1 (en) * 2016-11-29 2019-11-14 Sony Corporation Imaging device, imaging control method, and program
US11032486B2 (en) 2019-10-11 2021-06-08 Google Llc Reducing a flicker effect of multiple light sources in an image
EP3869781A1 (en) * 2020-02-20 2021-08-25 Koninklijke Philips N.V. Determining intensity distributions in imaging
CN114143470A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种调整摄像机曝光时间的方法、装置以及程序产品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4423889B2 (ja) 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
JP4378599B2 (ja) 2003-07-04 2009-12-09 ソニー株式会社 撮像装置及びその制御方法
JP5035025B2 (ja) 2008-03-03 2012-09-26 ソニー株式会社 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
JP2011193065A (ja) 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
JP5656613B2 (ja) * 2010-12-22 2015-01-21 キヤノン株式会社 撮像装置及びその制御方法
JP5296112B2 (ja) 2011-02-04 2013-09-25 パナソニック株式会社 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム

Also Published As

Publication number Publication date
WO2016031402A1 (ja) 2016-03-03
US20170280042A1 (en) 2017-09-28
US10244183B2 (en) 2019-03-26
JPWO2016031402A1 (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
JP6638652B2 (ja) 撮像装置および撮像装置の制御方法
JP4971956B2 (ja) フリッカ補正装置、フリッカ補正方法並びに撮像装置
US20080101721A1 (en) Device and method for image correction, and image shooting apparatus
JP2009152669A (ja) 撮像装置、撮像処理方法及び撮像制御プログラム
JP2013121099A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010114834A (ja) 撮像装置
JP2011188101A (ja) フレームレート変換処理装置
JP2009010823A (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2016082510A (ja) 画像処理装置及び画像処理方法
JP2012054661A (ja) 撮像装置、および信号処理方法、並びにプログラム
JP5440245B2 (ja) 撮像装置
US10348957B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP2010136253A (ja) 撮像装置およびその制御方法
JP4908939B2 (ja) 撮像装置
JP2015033020A (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5341536B2 (ja) 撮像装置
JP5402223B2 (ja) 撮像装置
JP5022802B2 (ja) 撮像装置及びその制御方法
JP4152377B2 (ja) 画質改善方法および画質改善装置
JP4292963B2 (ja) 撮像装置
JP6346529B2 (ja) 撮像装置、その制御方法、及びプログラム
JP2018050346A (ja) 撮像装置
JP2005159976A (ja) 撮像装置
WO2016113995A1 (ja) 撮像処理装置及び撮像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R151 Written notification of patent or utility model registration

Ref document number: 6638652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees