JP3808248B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3808248B2 JP3808248B2 JP23415499A JP23415499A JP3808248B2 JP 3808248 B2 JP3808248 B2 JP 3808248B2 JP 23415499 A JP23415499 A JP 23415499A JP 23415499 A JP23415499 A JP 23415499A JP 3808248 B2 JP3808248 B2 JP 3808248B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sshort
- slong
- correction gain
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、フリッカを抑え、ダイナミックレンジの拡大可能な映像信号を出力する撮像装置に関するものである。
【０００２】
【従来の技術】
従来の撮像装置として、特開平８−２９４０４５号公報に記載されたものが知られている。図１３は同公報に記載された従来の撮像装置の全体構成を示すブロック図である。この撮像装置は、光学系１３０１、撮像部（ＣＣＤ）１３０２、増幅器１３０３、光量検波部１３０４、制御部１３０５、シャッタスピード制御部１３０６、操作部１３０７を含んで構成される。
【０００３】
このような構成の撮像装置の動作について説明する。まず、光学系１３０１を介して撮像光が撮像部１３０２に入射される。この撮像部１３０２から撮像信号が与えられると、増幅器１３０３は可変利得で撮像信号を増幅して出力する。次に光量検波部１３０４は、増幅器１３０３により増幅された撮像信号を検波することにより、撮像部１３０２が受光した撮像光の光量情報を生成する。制御部１３０５はこの光量情報に基づいて、撮像信号の出力レベルの変化を補正するように増幅器１３０３の利得制御を行う。こうして撮像部１３０２が受光した撮像光の周期的な光量変化分を補正することにより、フリッカのない映像信号を出力する。
【０００４】
また別の従来の撮像装置として、特開平９−２４７５５０号公報に記載されたものが知られている。図１４はこの撮像装置、即ちテレビジョンカメラの構成を示すブロック図である。このテレビジョンカメラは、レンズ１４０１、撮像素子１４０２、ＣＤＳ回路１４０３、ＡＧＣ回路１４０４、Ａ／Ｄ変換器１４０５、デジタル信号処理回路１４０６、Ｄ／Ａ変換器１４０７、ＡＭＰ１４０８、マイコン１４０９、同期回路１４１０を含んで構成される。
【０００５】
このような構成のテレビジョンカメラの動作を説明する。まず、レンズ１４０１を介して撮像光が撮像素子１４０２に入射される。撮像素子１４０２から出力された撮像信号はＣＤＳ回路１４０３でサンプリングされ、ＡＧＣ回路１４０４で利得制御され、Ａ／Ｄ変換器１４０５に入力される。利得制御された撮像信号はＡ／Ｄ変換器１４０５でアナログ／デジタル変換され、デジタル信号処理回路１４０６に入力される。デジタル信号処理回路１４０６は撮像信号に対してデジタル信号処理を行い、Ｄ／Ａ変換器１４０７に出力する。Ｄ／Ａ変換器１４０７はデジタル信号処理された映像信号をデジタル／アナログ変換を行い、ＡＭＰ１４０８に与える。ＡＭＰ１４０８は映像信号を増幅して出力する。
【０００６】
一方、マイコン１４０９はフリッカを検出するために、デジタル信号処理回路１４０６から映像信号を入力し、垂直走査期間毎に画像の平均輝度レベルを３垂直走査期間連続して検出する。そして３垂直走査期間の輝度レベルが、５０Ｈｚ駆動の蛍光灯により発生したフリッカによる輝度レベルパターンと一致するか比較する。パターンが一致すれば、一致したフリッカパターン数をカウントする。そして所定時間のカウント数が設定値を越えた場合、マイコン１４０９が同期回路１４１０に対して制御信号を出力し、電子シャッタスピードを１／６０秒から１／１００秒に徐々に変化するように制御する。このようにフリッカの検出時には、１／１００秒の電子シャッタで被写体を撮像することによって、フリッカを低減するようにしている。
【０００７】
【発明が解決しようとする課題】
このような従来の撮像装置においては、一般的には５０Ｈｚ駆動の蛍光灯のもとで照明された被写体を撮像した際、映像信号に発生するフリッカを低減させることが要求されている。また、従来から、撮像装置において輝度のダイナミックレンジを拡大することが要望されている。
【０００８】
しかしながら、電子シャッタを１／１００秒にしてフリッカ補正を行う上記の撮像装置においては、１／１００秒以外の電子シャッタで被写体を撮像するとき、フリッカ補正ができなくなるという問題点がある。
【０００９】
また、上記の撮像装置においては、被写体の一部分がフリッカしている場合、利得制御でフリッカ補正を行うと、フリッカ部分が充分に補正が行えないという問題点と、フリッカが発生していない部分が過補正となり、逆フリッカが発生するという問題点もある。
【００１０】
また、高速電子シャッタで撮像したときのフリッカパターンやフリッカレベルが、１／６０秒で撮像した時に発生するフリッカパターンやフリッカレベルと異なり、高速電子シャッタで撮像した場合、フリッカを検出でなくなるという問題点もある。
【００１１】
また、上記の撮像装置は、一応フリッカを補正する構成にはなっているが、被写体の明るさに対するダイナミックレンジを拡大できる構成になってない問題点もある。
【００１２】
本発明は、このような従来の問題点に鑑みてなされたものであって、任意の高速電子シャッタスピードで被写体を撮像したとき、映像信号のフリッカを低減させると共に、高速電子シャッタと低速電子シャッタで被写体を撮像し、２つの電子シャッタスピードの映像信号を合成することによって、ダイナミックレンジを拡大した映像出力を得ることができる撮像装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
このような課題を解決するため、請求項１の発明は、電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、前記Σlongと前記Σshortのデータを用いて、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号とＳshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する乗算器と、前記Ｓlong信号と前記乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００１６】
このような構成によれば、Ｓlong信号に対しては、１／ｍ秒を例えば１／１００秒とし、この電子シャッタスピードで撮像することでフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong信号とＳshort'信号との信号レベルの比がｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００１７】
また請求項２の発明は、電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロックＢｉの前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、１垂直走査期間の画面領域の前記各ブロックＢｉの前記Ｓshort信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、各ブロックＢｉで前記Ｓshort信号をＳshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを前記ブロックＢｉ毎に演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記ブロックＢｉ毎に前記Ｓshort信号に対して前記制御手段が生成したＳshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力するブロック乗算器と、前記Ｓlong信号と前記ブロック乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００１８】
このような構成によれば、Ｓlong信号に対しては、１／ｍ秒を例えば１／１００秒とし、この電子シャッタスピードで撮像することでフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong信号とＳshort'信号との比がブロック毎にｎ：ｍになるようにＢｉshort 補正ゲインを演算し、Ｓshort 信号にＢｉshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正をブロック毎に行うことができる。従って、被写体の一部分がフリッカしている場合に、フリッカ部分だけを補正することができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００１９】
また請求項３の発明は、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、前記Σlongから周期的光量変化分を検出し、この周期的光量変化分による前記Ｓlong信号のレベル変化を補正するため、前記Ｓlong信号に乗算するlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、かつ前記Σlongと前記Σshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓlong信号に対して前記制御手段が生成したlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００２０】
このような構成によれば、Ｓlong信号に対しては、Σlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにlong補正ゲインを乗算することで、Ｓlong信号のフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong’信号とＳshort'信号ｓの比がｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００２１】
また請求項４の発明は、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロック毎の前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、１垂直走査期間の画面領域の前記各ブロックＢｉ毎の前記Ｓshort信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、前記ＢｉΣlongからブロックＢｉ毎の周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベル変化をブロックＢｉ毎に補正するように前記Ｓlong信号に乗算するＢｉlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がブロックＢｉ毎にｎ：ｍになるように前記Ｂｉshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓlong信号に対して前記制御手段が生成したＢｉlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、前記Ｓshort信号に対して前記制御手段が生成したＢｉshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００２２】
このような構成によれば、Ｓlong信号に対しては、ブロック毎にＢｉΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにＢｉlong補正ゲインを乗算することで、Ｓlong信号に対するブロック毎のフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong’信号とＳshort'信号ｓの比がブロック毎にｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にＢｉshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、被写体の一部分がフリッカしている場合、フリッカ部分だけを補正することができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００２４】
また請求項５の発明は、請求項１又は３の撮像装置において、前記Ｓlong信号が基準値を越えた場合は、前記第１の積分回路及び前記第２の積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とするものである。
【００２５】
更に請求項６の発明は、請求項２又は４の撮像装置において、前記Ｓlong信号が基準値を越えた場合は、前記第１のブロック分割積分回路及び前記第２のブロック分割積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とするものである。
【００２６】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１における撮像装置について、図１〜図６を参照しながら説明する。図１は実施の形態１による撮像装置の全体構成を示すブロック図である。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１１２、信号合成回路１０６を含んで構成される。
【００２７】
撮像手段１１１は、光学系１０１、撮像素子１０２、ＡＳＰ・Ａ／Ｄ変換器１０３、同時化回路１０４、撮像素子駆動回路１１０を含んで構成され、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号と、１／ｎ秒の電子シャッタスピードで撮像したＳshort 信号とを出力する機能を有している。
【００２８】
撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。撮像素子駆動回路１１０はマイコン１０９からの制御信号によって撮像素子１０２の駆動を行うものである。
【００２９】
信号合成回路１０６は、利得制御手段１１２でＳshort 信号が補正されたＳshort'信号と、同時化回路１０４から出力されたＳlong信号とを合成し、映像信号Ｓmix を出力するものである。破線部で示す利得制御手段１１２は、乗算器１０５、第１の積分回路１０７、第２の積分回路１０８、マイクロコンピュータ（マイコン）１０９を含んで構成され、ΣlongとΣshort のデータを用いて、Ｓshort 信号をshort 補正ゲインで補正した信号をＳshort'信号とするとき、Ｓlong信号とＳshort'信号との比がｎ：ｍになるようにＳshort 補正ゲインを演算し、所定時間遅延して前記Ｓshort 補正ゲインを出力する機能を有している。
【００３０】
同時化回路１０４から出力されたＳshort 信号は、乗算器１０５を介して信号合成回路１０６に与えられると共に、第２の積分回路１０８にも与えられる。また、同時化回路１０４から出力されたＳlong信号は第１の積分回路１０７に与えられると共に、信号合成回路１０６に与えられる。第１の積分回路１０７はＳlong信号を入力して１垂直走査期間の積分を行い、積分値ΣＳlongを出力する回路である。第２の積分回路１０８はＳshort 信号を入力して１垂直走査期間の積分を行い、積分値Σshort を出力する回路である。積分値ΣＳlongと積分値ΣＳshort は、制御手段としてのマイコン１０９に入力される。
【００３１】
マイコン１０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、第１の積分回路１０７及び第２の積分回路１０８から与えられたΣＳlongとΣＳshort から、Ｓlong信号と乗算器１０５から出力されるＳshort'信号との信号レベルの比がｎ：ｍになるようにshort 補正ゲインを計算し、タイミングを合わせてshort 補正ゲインを乗算器１０５に与える制御手段である。乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００３２】
ここで同時化回路１０４について詳細に説明する。同時化回路１０４は図２に示すように、セレクタ３０１、第１のメモリ３０２、第２のメモリ３０３から構成される。セレクタ３０１は図１のＡＳＰ・Ａ／Ｄ変換器１０３から信号が入力されると、Ｓlong信号とＳshort 信号とに分離する回路である。分離されたＳlong信号は第１のメモリ３０２に保持され、Ｓshort 信号は第２のメモリ３０３に保持される。
【００３３】
同時化回路１０４の動作原理を図３のタイミングチャートを用いて説明する。図３（ａ）に示す垂直同期信号ＶＤは、垂直走査期間の周期が１／６０秒の同期信号である。図３（ｂ）に示すように、撮像素子１０２における電荷の蓄積タイミングは垂直同期信号と同期している。Ｓlong信号の蓄積時間を１／ｍ秒とし、ここでは１／ｍ秒＝１／１００秒で信号電荷を蓄積する。またＳshort 信号の蓄積時間を１／ｎ秒とし、ここでは１／ｎ秒＝１／４００秒で信号電荷を蓄積する。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが発生する。図３（ｄ）に示すように、これらの読み出しパルスによって、Ｓlong信号とＳshort 信号が撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とを含む信号は図１のＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。同時化回路１０４では、入力信号からＳlong信号とＳshort 信号をセレクタ３０１で分離する。Ｓlong信号は図３（ｄ）に示すタイミングＡで撮像素子１０２から同時化回路１０４に入力され、図３（ｅ）に示すタイミングＣで同時化回路１０４から出力される。Ｓshort 信号は図３（ｄ）に示すタイミングＢで撮像素子１０２から同時化回路１０４に入力され、図３（ｆ）に示すタイミングＤで同時化回路１０４から出力される。このように同一のタイミングＣ，Ｄに合わせてＳlong信号とＳshort 信号とが出力され、利得制御手段１１２に与えられるようになっている。
【００３４】
図２の第１のメモリ３０２は、Ｓlong信号を図３に示したタイミングＡで書き込みを開始し、タイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３で示したタイミングＢで書き込みを開始し、タイミングＤで読み出しを開始する。こうして、Ｓlong信号とＳshort 信号のタイミングを合わせて出力するようになっている。
【００３５】
図４は信号合成回路１０６のブロック図である。信号合成回路１０６は加算器５０１を有し、Ｓlong' 信号とＳshort 信号又はＳshort'信号とを加算し、加算結果を映像信号Ｓmix として出力する回路である。
【００３６】
以上のように構成された実施の形態１における撮像装置の動作について説明する。図１において、光学系１０１により形成された被写体の光学像は撮像素子( ＣＣＤ) １０２に入射され、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／１００秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したとする。撮像素子１０２では、１垂直走査期間内に１／１００秒の電子シャッタスピードで蓄積したＳlong信号と１／４００秒の電子シャッタスピードで蓄積したＳshort 信号とが出力される。
【００３７】
撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に入力され、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力が同時化回路１０４の入力されると、Ｓlong信号とＳshort 信号とに分離され、タイミングを合わせて出力される。同時化回路１０４から出力されたＳshort 信号は乗算器１０５でshort 補正ゲインと乗算され、補正されたＳshort'信号が信号合成回路１０６に入力される。信号合成回路１０６は、Ｓshort'信号とＳlong信号とを加算し、輝度のダイナミックレンジが拡大された映像信号Ｓmix を出力する。
【００３８】
ここで図３と図２を用いて撮像素子１０２の駆動動作と、同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、前述したように垂直走査期間の周期、つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動される。Ｓlong信号の電荷は図３（ｂ）に示すように、垂直同期信号に同期して１／１００秒の期間蓄積される。また、Ｓshort 信号は同様に１／４００秒の期間蓄積される。次に図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に、読み出しパルスが出力される。図３（ｄ）に示すように、これらの読み出しパルスでＳlong信号とＳshort 信号とが撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とはＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。
【００３９】
図２のセレクタ３０１は、入力信号をＳlong信号とＳshort 信号とに分離する。分離されたＳlong信号は第１のメモリ３０２に保持され、Ｓshort 信号は第２のメモリ３０３に保持される。第１のメモリ３０２は、図３（ｄ）に示すタイミングＡでＳlong信号の書き込みを開始し、図３（ｅ）のタイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３（ｄ）のタイミングＢで書き込みを開始し、図３（ｆ）のタイミングＤで読み出しを開始する。こうすると、Ｓlong信号とＳshort 信号の出力タイミングが一致する。
【００４０】
次に図１〜図５を用いてフリッカ補正の動作について説明する。図５は本実施の形態による撮像装置において、商用周波数が５０ＨｚのＡＣ電源の蛍光灯によって被写体が照明された場合の、撮像素子１０２の蓄積電荷の変化を示した模式図である。５０Ｈｚ駆動の蛍光灯で照明された被写体を撮像して、１／１００秒の電子シャッタスピードで１垂直走査期間毎に信号電荷を蓄積すると、図５（ａ）に示すどの垂直走査期間も、図５（ｂ），（ｃ）の斜線部に示すようにほぼ同じ蓄積電荷になる。また、５０Ｈｚ駆動の蛍光灯で照明された被写体を撮像して、１／４００秒の電子シャッタスピードで１垂直走査期間毎に信号電荷を蓄積すると、図５（ｄ）に示すように垂直走査期間毎の蓄積タイミングが異なる。５０Ｈｚ駆動の蛍光灯の明滅周期は１／１００秒であり、撮像素子１０２の駆動周期は１／６０秒であるので、図５（ａ），（ｂ）に示すように垂直同期信号と蛍光灯の照度には一定周期のずれを生じる。１／１００秒と１／６０秒の最小公倍数は、１５／３００秒＝３／６０秒となる。このため、図５（ｅ）で示す斜線部のように、蓄積電荷量が３垂直走査期間の周期で変動する。
【００４１】
従って、５０Ｈｚ駆動の蛍光灯のもとで、１／１００秒の電子シャッタスピードで撮像した場合、垂直走査期間毎に１／１００秒間だけ電荷蓄積すると、図５（ｃ）に示すようにどの垂直走査期間も同じ蓄積電荷になるので、フリッカは発生しない。また、５０Ｈｚ駆動の蛍光灯のもとで、１／４００秒の電子シャッタスピードで撮像した場合、垂直走査期間毎に１／４００秒間だけ電荷蓄積すると、垂直走査期間毎の蓄積タイミングが異なるため、蓄積電荷量が３垂直走査期間の周期で変動し、フリッカが発生する。
【００４２】
同時化回路１０４から出力されたＳlong信号が第１の積分回路１０７に入力されると、第１の積分回路１０７はＳlong信号を１垂直走査期間に渡って積分し、積分値ΣＳlongを出力する。同様に、同時化回路１０４から出力されたＳshort 信号が第２の積分回路１０８に入力されると、第２の積分回路１０８はＳshort 信号を１垂直走査期間に渡って積分し、積分値ΣＳshort を出力する。これらの積分値ΣＳlong及びΣＳshort はマイコン１０９に入力される。
【００４３】
マイコン１０９はΣＳlongとΣＳshort から、Ｓlong信号と乗算器１０５の出力するＳshort'信号との比がｎ：ｍ、即ち４００：１００になるようにshort 補正ゲインを計算し、所定時間遅延させてshort 補正ゲインを乗算器１０５に出力する。このとき輝度フリッカは３垂直走査期間の周期で信号レベルが変動するので、ΣＳlongとΣＳshort を算出した垂直走査期間から３垂直走査期間遅延させた時間を上記の所定遅延時間とする。乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果としてＳshort'信号を出力する。
【００４４】
Ｓlong信号は元来１／１００秒の電子シャッタスピードで撮像された信号であるので、フリッカは発生しない。フリッカがないＳlong信号とＳshort'信号ｓの比が常に４００：１００になるように、Ｓshort 信号に対してＳshort 補正ゲインを乗算して補正するので、１／４００秒の電子シャッタスピードで撮像して補正したＳshort 信号’はフリッカがない映像信号となる。
【００４５】
次に図４及び図６を用いて信号合成回路１０６のダイナミックレンジを拡大する動作について説明する。図６は信号合成回路１０６において、Ｓlong信号とＳshort'信号と、これらが合成されたＳmix 信号の関係を示す特性図である。図６において、Ａは電子シャッタスピードが１／１００秒時のＳlong信号の入射光量の飽和点である。Ｂは実施の形態３及び４で説明するように、電子シャッタスピードが１／７０秒の時のＳlong信号の入射光量の飽和点である。そしてＶｓは飽和信号レベルである。
【００４６】
１／１００秒の電子シャッタスピードで被写体を撮像し、short補正ゲインの乗算によりフリッカが低減されたＳshort'信号と、フリッカ成分がないＳlong信号とを図４の加算器５０１で加算することにより、フリッカ成分がない映像信号Ｓmixを出力することができる。図６において、Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、図６のＡより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。また、Ｓshort信号は１／４００秒の電子シャッタスピードで撮像して信号であるので、Ｓlong信号に比べて４倍の高輝度部、即ち図６の０〜４Ａまで階調を再現することができる。よって、Ｓlong信号とＳshort信号を加算器５０１で加算することで、低輝度から高輝度までの階調を再現することができる。つまり、図６のＳmix信号の特性に示すように、輝度のダイナミックレンジを拡大した映像信号を得ることができる。
【００４７】
なお、Ｓlong信号が基準値を越えた場合、例えば図６の飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort 信号の信号レベルの比を正確に４００：１００にすることができない。従ってＳlong信号が基準値を越えた場合は、第１の積分回路１０７と第２の積分回路１０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：１００にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【００４８】
なお、以上の動作説明において、１／ｍ秒の電子シャッタスピードとして１／１００秒を設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒を設定したが、他の組合せでもよい。電子シャッタスピードの組合せを１／１００秒及び１／４００秒以外の値に変更したいときは、マイコン１０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動する。１／ｍ秒の電子シャッタスピードは１／１００秒に近い値である必要があるが、１／ｎ秒の電子シャッタスピードは１／４００秒以外の値でもよく、全く同様の動作でフリッカを低減することができる。
【００４９】
なお、図１の破線部で示す撮像部１１１において、１つの撮像素子１０２からＳlong信号とＳshort 信号を読み出し、これらの信号を同時化回路１０４に与え、Ｓlong信号とＳshort 信号をタイミングを合わせて出力するようにしたが、元来フリッカが生じないＳlong信号を出力するものであれば、他の撮像素子又はセンサを用いても同様の効果を得ることができる。
【００５０】
（実施の形態２）
次に本発明の実施の形態２における撮像装置について、図２〜図９を参照しながら説明する。図７は本実施の形態による撮像装置の全体構成を示すブロック図である。尚、実施の形態１と同一部分は同一の符号を付け、詳細な説明は省略する。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段７１２、信号合成回路１０６を含んで構成される。撮像手段１１１において、撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。
【００５１】
信号合成回路１０６は、利得制御手段７１２でＳshort信号が補正されたＳshort'信号と、同時化回路１０４から出力されたＳlong信号とを合成し、映像信号Ｓmixを出力するものである。利得制御手段７１２は、ブロック乗算器７０５、第１のブロック分割積分回路７０７、第２のブロック分割積分回路７０８、マイコン７０９から構成される。同時化回路１０４から出力されたＳlong信号は第１のブロック分割積分回路７０７と信号合成回路１０６とに与えられ、Ｓshort信号はブロック乗算器７０５と第２のブロック分割積分回路７０８とに与えられる。
【００５２】
第１のブロック分割積分回路７０７はＳlong信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ（ｉはブロック番号を示し、例えば０１，０２・・・４８の値をとる）毎に積分値ＢｉΣlongを算出する回路である。同様に、第２のブロック分割積分回路７０８はＳshort 信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ毎に積分値ＢｉΣshort を算出する回路である。第１のブロック分割積分回路７０７から出力されたＢｉΣlongと、第２のブロック分割積分回路７０８から出力されたＢｉΣshort は、制御手段としてのマイコン７０９に入力される。
【００５３】
マイコン７０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、ＢｉΣlongとＢｉΣshortとから、同時化回路１０４の出力であるＳlong信号と、ブロック乗算器７０５の出力であるＳshort'信号の比が、分割したブロックｉ毎にｎ：ｍになるようにＢｉshort補正ゲインを計算し、ブロック乗算器７０５へ出力する制御手段である。ブロック乗算器７０５はタイミングを合わせてブロック毎にＳshort信号に対してＢｉshort補正ゲインを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００５４】
図８は、本実施の形態において１垂直走査期間の画面領域のブロック分割の方法を示した説明図である。本図に示すように、１フレームの画面を水平方向に８分割、垂直方向に６分割し、全画面領域をＢ０１，Ｂ０２、・・Ｂｉ・・Ｂ４８のように４８のブロックに分割している。また、斜線で示した領域はフリッカが発生している領域（フリッカ領域）とする。
【００５５】
図９は図７のブロック乗算器７０５の構成をブロック乗算器９００として示したブロック図である。このブロック乗算器９００は、４８個のブロックゲインレジスタ９０１，９０２，・・・９０３、セレクタ９０４、乗算器９０５で構成される。ブロックゲインレジスタ９０１（Ｂ１ＧＲ）は、マイコン７０９で演算されたＢｉshort 補正ゲインのうち、Ｂ１short 補正ゲイン（Ｂ１Ｇ）が入力されたとき、Ｂ１short 補正ゲインを一時保持するものである。同様に、ブロックゲインレジスタ９０２（Ｂ２ＧＲ）は、マイコン７０９で演算されたＢｉshort 補正ゲインのうち、Ｂ２short 補正ゲインが入力されたとき、Ｂ２short 補正ゲイン（Ｂ２ＧＲ）を一時保持するものである。このようにして４８個の補正ゲインＢ１Ｇ、Ｂ２Ｇ、・・・Ｂ４８Ｇが各レジスタに設定される。設定されたＢｉshort 補正ゲインはセレクタ９０４よりＳshort 信号とタイミングをあわせて読み出され、乗算器９０５に与えられる。乗算器９０５は各ブロックＢｉ毎に、Ｓshort 信号とＢｉshort 補正ゲインとを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００５６】
以上のように構成された実施の形態２における撮像装置の動作について、前述した図２、図３、図５を用いて説明する。図７において、光学系１０１により形成された被写体の光学像が撮像素子（ＣＣＤ) １０２に入射されると、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／１００秒を設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒を設定した場合、撮像素子１０２は、１垂直走査期間内に１／１００秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号とを出力する。撮像素子１０２の出力がＡＳＰ・Ａ／Ｄ変換器１０３に入力されると、サンプリングされ、更に利得調整されてアナログ／デジタル変換される。同時化回路１０４は、ＡＳＰ・Ａ／Ｄ変換器１０３から出力された信号から、Ｓlong信号とＳshort 信号とを分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳshort 信号は、ブロック乗算器７０５を経て信号合成回路１０６に与えられる。信号合成回路１０６は、Ｓshort'信号とＳlong信号とを加算し、輝度のダイナミックレンジが拡大された映像信号Ｓmix を出力する。
【００５７】
図２及び図３を用いて撮像素子１０２の駆動動作と同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、１垂直走査期間の周期、つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動され、図３（ｂ）に示すように、Ｓlong信号の電荷の蓄積タイミングは垂直同期信号に同期し、信号電荷は１／１００秒の期間蓄積される。また、Ｓshort 信号は１／４００秒の期間蓄積される。また図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出すパルスが発生する。図３（ｄ）に示すように、これらの読み出しパルスでＳlong信号とＳshort 信号が撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とを含む画素信号はＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。
【００５８】
図２に示す同時化回路１０４では、セレクタ３０１よりＳlong信号とＳshort 信号とに分離される。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３へ入力される。第１のメモリ３０２は、Ｓlong信号を図３（ｄ）のタイミングＡで書き込みを開始し、図３（ｅ）のタイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３のタイミングＢで書き込みを開始し、タイミングＤで読み出しを開始する。こうして同時化回路１０４はＳlong信号とＳshort 信号とをタイミングを合わせて出力する。
【００５９】
次にフリッカ補正の動作について説明する。図５（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯のもとで、１／１００秒の電子シャッタスピードで被写体を撮像した場合を考える。垂直走査期間毎に１／１００秒間だけ電荷を蓄積すると、図５（ｃ）に示すようにどの垂直走査期間も同じ蓄積電荷が得られるので、フリッカは発生しない。また、図５（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯のもとで、１／４００秒の電子シャッタスピードで被写体を撮像した場合を考える。垂直走査期間毎に１／４００秒間だけ電荷を蓄積すると、垂直走査期間毎の蓄積タイミングが異なるため、図５（ｄ）、（ｅ）の斜線部で示すように、蓄積電荷量が３垂直走査期間の周期で変動する。この３垂直走査期間の周期の変動がフリッカになる。
【００６０】
図７の同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８に与えられる。第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８では、Ｓlong信号とＳshort 信号に対して夫々１垂直走査期間の画面領域を、図８に示すような複数のブロックに分割し、各ブロックでの積分を行う。
【００６１】
図７のマイコン７０９はＢｉΣlongとＢｉΣshort に基づいて、Ｓlong信号とＳshort'信号の分割ブロック毎の比が夫々ｎ：ｍ、即ち４００：１００になるようにＢｉshort 補正ゲインを計算し、計算結果を所定時間遅延してブロック乗算器７０５に出力する。この場合の輝度フリッカは、３垂直走査期間の周期で信号レベルが変動するので、ＢｉΣlongとＢｉΣshort を算出した垂直走査期間から３垂直走査期間遅延させた時間を所定時間として、Ｂｉshort 補正ゲインを所定時間遅延させてブロック乗算器７０５へ出力する。
【００６２】
図９に示すブロック乗算器９００では、入力されたＢｉshort 補正ゲインをブロック番号ｉ別にブロックゲインレジスタ（Ｂ１ＧＲ）９０１、ブロックゲインレジスタ（Ｂ２ＧＲ）９０２・・・ブロックゲインレジスタ（Ｂ４８ＧＲ）９０３に保持する。そしてセレクタ回路９０４はタイミングを合わせてＢｉshort 補正ゲインを読み出し、乗算器９０５に与える。乗算器９０５はブロックＢｉ毎にＳshort 信号に対してＢｉshort 補正ゲインを乗算する。乗算器９０５の乗算結果は、補正されたＳshort'信号として図７の信号合成回路１０６に与えられる。
【００６３】
信号合成回路１０６のダイナミックレンジを拡大する動作について説明する。図４に示す信号合成回路１０６では、１／１００秒の電子シャッタスピードで被写体を撮像し、short 補正ゲインを乗算することでフリッカが低減されたＳshort'信号と、フリッカ成分がないＳlong信号とを加算器５０１で加算することにより、フリッカ成分がない映像信号Ｓmix を出力する。図６において、Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、図６のＡより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。また、Ｓshort 信号は１／４００秒の電子シャッタスピードで撮像した信号であるので、Ｓlong信号に比べて４倍の高輝度部まで階調を再現することができる。よって、Ｓlong信号とＳshort 信号を加算器５０１で加算することで、低輝度から高輝度まで階調を再現することができる。つまり、図６のＳmix 信号の特性に示すように、ダイナミックレンジを拡大した映像信号を得ることができる。
【００６４】
Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、フリッカは発生しない。このようにフリッカがないＳlong信号との比が常に４００：１００になるように、ブロック毎のＳshort 信号に対してＢｉＳshort 補正ゲインを乗算するので、Ｓshort'信号にはフリッカが含まれなくなる。このとき図８の斜線部で示すように、被写体の一部にフリッカが発生している場合でも、ブロック毎にＳlong信号とＳshort'信号の比が４００：１００になるようにフリッカ補正を行うので、フリッカがない部分を過補正することなく、フリッカ部分だけを最適に補正することができる。
【００６５】
なお、Ｓlong信号が基準値を越えた場合、例えば図６の飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort'信号の信号レベルの比を正確に４００：１００にすることができない。従ってＳlong信号が基準値を越えた場合は、第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：１００にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【００６６】
なお以上の動作説明として、１／ｍ秒の電子シャッタスピードとして１／１００秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したが、電子シャッタスピードを１／１００又は１／４００秒以外の値に変更したいときは、図７のマイコン７０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送りることにより、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。１／ｍ秒の電子シャッタスピードは１／１００秒近くの設定である必要があるが、１／ｎ秒の電子シャッタスピードは、１／４００秒以外であっても全く同様の動作でフリッカを低減することができる。
【００６７】
なお、以上の動作説明では、１垂直走査期間の画面のブロック分割を水平８分割、垂直６分割としたが、部分フリッカ領域が分割ブロックに一致すれば、水平８分割、垂直６分割のブロック分割以外であっても、部分フリッカを低減することができる。
【００６８】
また、以上の動作説明では、１つの撮像素子１０２からＳlong信号とＳshort 信号とを読み出し、同時化回路１０４でＳlong信号とＳshort 信号をタイミングを合わせて出力するものとした。しかし、フリッカがないＳlong信号を出力するものであれば、他の撮像素子又はセンサを用いても同様の効果を得ることができる。
【００６９】
（実施の形態３）
本発明の実施の形態３における撮像装置について、図３〜図６、図１０、図１１を参照しながら説明する。図１０は実施の形態３による撮像装置の全体構成を示すブロック図である。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１０１２、信号合成回路１０６を含んで構成される。
【００７０】
撮像手段１１１は、光学系１０１、撮像素子１０２、ＡＳＰ・Ａ／Ｄ変換器１０３、同時化回路１０４、撮像素子駆動回路１１０から構成され、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号と、１／ｎ秒の電子シャッタスピードで撮像したＳshort 信号とを出力する機能を有している。
【００７１】
撮像素子（ＣＣＤ)１０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort信号として生成し、Ｓlong信号及びＳshort信号のタイミングを合わせて出力する回路である。撮像素子駆動回路１１０はマイコン１００９からの制御信号によって撮像素子１０２の駆動を行うものである。
【００７２】
信号合成回路１０６は、破線部で示す利得制御手段１０１２でＳshort 信号が補正されたＳshort'信号と、Ｓlong信号が補正されたＳlong’信号とを合成し、映像信号Ｓmix を出力するものである。利得制御手段１０１２は、第１の乗算器１００１、第２の乗算器１０５、第１の積分回路１０７、第２の積分回路１０８、マイクロコンピュータ（マイコン）１００９から構成される。
【００７３】
同時化回路１０４から出力されたＳshort 信号は、乗算器１０５を介して信号合成回路１０６に与えられると共に、第２の積分回路１０８にも与えられる。また、同時化回路１０４から出力されたＳlong信号は、乗算器１００１を介して信号合成回路１０６に与えられると共に、第１の積分回路１０７にも与えられる。第１の積分回路１０７はＳlong信号を入力して１垂直走査期間の積分を行い、積分値ΣＳlongを出力する回路である。第２の積分回路１０８はＳshort 信号を入力して１垂直走査期間の積分を行い、積分値Σshort を出力する回路である。積分値ΣＳlongと積分値ΣＳshort は、制御手段としてのマイコン１００９に入力される。
【００７４】
マイコン１００９は、まずΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するため、Ｓlong信号に乗算するためのlong補正ゲインを計算し、タイミングを合わせて第１の乗算器１００１へ出力すると共に、補正後のＳlong信号であるＳlong’信号と、補正後のＳshort 信号であるＳshort'信号との比がｎ：ｍになるようにshort 補正ゲインとを計算し、タイミングを合わせて第２の乗算器１０５に出力する制御手段である。第１の乗算器１００１はＳlong信号に対してlong補正ゲインを乗算するものである。第２の乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算するものである。
【００７５】
このように構成された実施の形態３における撮像装置の動作について説明する。図１１は本実施の形態の撮像装置において、５０Ｈｚ駆動の蛍光灯で被写体を照明したとき、撮像素子１０２の蓄積電荷の変化を示した模式図である。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／７０秒の電子シャッタスピードで撮像した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）に示すように斜線で示した蓄積電荷量が３垂直走査期間の周期で変動する。また、図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明したとき、１／４００秒の電子シャッタスピードで被写体を撮像した場合も、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示した蓄積電荷量が３垂直走査期間の周期で変動する。
【００７６】
図１０において、光学系１０１により形成された被写体の光学像は、撮像素子（ＣＣＤ) １０２に入射されると、光電変換される。例えば１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した場合を考える。撮像素子１０２では、垂直走査期間毎に１／７０秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号が出力される。
【００７７】
撮像素子１０２の出力信号はＡＳＰ・Ａ／Ｄ変換器１０３に入力され、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は、ＡＳＰ・Ａ／Ｄ変換器１０３の出力をＳlong信号とＳshort 信号とに分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳlong信号は第１の乗算器１００１を経て信号合成回路１０６に入力され、Ｓshort 信号は第２の乗算器１０５を経て信号合成回路１０６に入力される。信号合成回路１０６は、補正されたＳlong’信号とＳshort'信号を合成して映像信号Ｓmix を出力する。
【００７８】
図３と図２を用いて撮像素子１０２の駆動動作と同時化回路１０４の動作について具体的に説明する。図３（ａ）に示すように、垂直同期信号ＶＤは１垂直走査期間の周期つまり１／６０秒の周期の同期信号になっている。図１０の撮像素子１０２はこの垂直同期信号に同期して駆動され、Ｓlong信号の電荷は、図３（ｂ）に示すように垂直同期信号の周期で１／７０秒の期間蓄積される。また、Ｓshort 信号は１／４００秒の期間蓄積される。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが発生する。これらの読み出しパルスでＳlong信号とＳshort 信号とが撮像素子１０２から出力される。
【００７９】
撮像素子１０２から出力されたＳlong信号とＳshort 信号はＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。図２に示す同時化回路１０４では、入力信号をセレクタ３０１に与えてＳlong信号とＳshort 信号とを分離する。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３へ入力される。第１のメモリ３０２においては、Ｓlong信号を図３（ｄ）に示すタイミングＡで書き込みを開始し、図３（ｅ）に示すタイミングＣで読み出しを開始する。また第２のメモリ３０３においては、Ｓshort 信号を図３（ｄ）に示すタイミングＢで書き込みを開始し、図３（ｆ）に示すタイミングＤで読み出しを開始する。こうしてＳlong信号とＳshort 信号とをタイミングを合わせて出力する。
【００８０】
次に図１０と図１１を用いてフリッカ補正の動作について説明する。図１１（ａ）に示すように、撮像装置の垂直同期信号ＶＤの周期は公称１／６０秒に設定されている。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／７０秒の電子シャッタスピードで撮像し、信号電荷を蓄積した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。また図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／４００秒の電子シャッタスピードで撮像し、信号蓄積した場合も同様に、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。この３垂直走査期間の周期の変動がフリッカになる。
【００８１】
図１０において、同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１の積分回路１０７と第２の積分回路１０８に与えられる。第１の積分回路１０７はＳlong信号の１垂直走査期間の積分値Σlongを算出する。第２の積分回路１０８はＳshort 信号の１垂直走査期間の積分値Σshort を算出する。第１の積分回路１０７で算出された積分値Σlongと、第２の積分回路１０８で算出された積分値Σshort はマイコン１００９に入力される。
【００８２】
マイコン１００９は、まずΣlongを３垂直走査期間連続して検出し、３垂直走査期間の積分値Σlongが、５０Ｈｚの蛍光灯により発生したフリッカの輝度レベルのパターンと一致するかを比較する。そして一致したフリッカパターンの発生数をカウントし、所定時間のカウント数が設定値を越えた場合、フリッカ補正を行うため、連続した３垂直走査期間のΣlongの平均値になるようにlong補正ゲインを計算し、タイミングを合わせて第１の乗算器１００１へlong補正ゲインを出力する。例えば、連続した３垂直走査期間のΣlongを夫々Σlong１、Σlong２、Σlong３とすると、
long補正ゲイン＝（Σlong１＋Σlong２＋Σlong３）／（３×Σlong２）となる。
このlong補助ゲインは、Σlong２の値を平均レベルとした場合の例である。
【００８３】
次にマイコン１００９は、ΣlongとΣshort から、補正後のＳlong’信号と補正後のＳshort'信号の比が４００：７０になるようにshort 補正ゲインを計算し、タイミングを合わせて第２の乗算器１０５に出力する。第２の乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果とＳshort'信号を出力する。
【００８４】
このように制御することによって、Ｓlong信号にフリッカが検出された場合は、long補正ゲインによってフリッカが低減される。また、フリッカが低減されたＳlong’信号との比が常に４００：７０になるように、Ｓshort 信号にshort 補正ゲインを乗算することで、Ｓshort 信号に含まれるフリッカを低減することができる。
【００８５】
なお、図６のＳlong（１／７０）の特性に示すように、Ｓlong信号が基準値を越えた場合、例えば飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong’信号とＳshort'信号の信号レベルの比を正確に４００：７０にすることができなくなる。従ってＳlong信号が基準値を越えた場合は、第１の積分回路１０７と第２の積分回路１０８で基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにする。こうすると、４００：７０にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限るものでない。
【００８６】
次に、信号合成回路１０６のダイナミックレンジを拡大する動作について図４、図６を用いて説明する。図４において、long補正ゲインを乗算することでフリッカが低減されたＳlong’信号と、short 補正ゲインを乗算することでフリッカが低減されたＳshort'信号を加算器５０１に与え、加算によりダイナミックレンジが拡大された映像信号Ｓmix 出力する。図６において、Ｓlong信号（１／７０）は１／７０秒の電子シャッタスピードで撮像しているので、Ｂより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。
【００８７】
また、Ｓshort'信号は１／４００秒の電子シャッタスピードで撮像しているので、Ｓlong信号に比べて約５．７倍の高輝度部まで階調を再現することができる。よって、Ｓlong’信号とＳshort'信号を加算器５０１で加算することで、低輝度から高輝度まで階調を再現することができる。つまり、Ｓmix 信号でフリッカを低減し、且つダイナミックレンジを拡大した映像信号を得ることができる。
【００８８】
なお、以上の動作説明で、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した。しかし、電子シャッタスピードを１／７０秒及び１／４００秒以外の値に変更したい場合は、マイコン１００９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。電子シャッタスピードが１／７０秒及び１／４００秒以外でも、全く同様の動作でフリッカを低減することができる。
【００８９】
また以上の動作説明では、撮像手段１１１として、１つの撮像素子１０２からＳlong信号とＳshort信号を取り出し、同時化回路１０４でＳlong信号とＳshort 信号とをタイミングを合わせて出力するようにしたが、上記のＳlong信号に相当する信号を出力するものであれば、他の撮像素子等を用いても同様の効果を得ることができる。
【００９０】
（実施の形態４）
本発明の実施の形態４における撮像装置について、図３〜図６、図８、図９、図１１、図１２を参照しながら説明する。図１２は本実施の形態による撮像装置の全体構成を示すブロック図である。尚、実施の形態２と同一部分は同一の符号を付け、詳細な説明は省略する。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１２１２、信号合成回路１０６を含んで構成される。
【００９１】
撮像手段１１１において、撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。
【００９２】
信号合成回路１０６は、利得制御手段１２１２でＳshort信号が補正されたＳshort'と、Ｓlong信号が補正されたＳlong’信号とを合成し、映像信号Ｓmixを出力するものである。利得制御手段１２１２は、破線部で示すように第１のブロック乗算器１２０１、第２のブロック乗算器７０５、第１のブロック分割積分回路７０７、第２のブロック分割積分回路７０８、マイコン１２０９から構成される。同時化回路１０４から出力されたＳlong信号は第１のブロック乗算器１２０１と第１のブロック積分回路７０７とに与えられ、Ｓshort信号は第２のブロック乗算器７０５と第２のブロック分割積分回路７０８とに与えられる。
【００９３】
第１のブロック分割積分回路７０７はＳlong信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ（ｉはブロック番号を示し、例えば０１，０２・・・４８の値をとる）毎に積分値ＢｉΣlongを算出する回路である。同様に、第２のブロック分割積分回路７０８はＳshort 信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ毎に積分値ＢｉΣshort を算出する回路である。第１のブロック分割積分回路７０７から出力されたＢｉΣlongと、第２のブロック分割積分回路７０８から出力されたＢｉΣshort は、制御手段としてのマイコン１２０９に入力される。
【００９４】
マイコン１２０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、ＢｉΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するように、Ｓlong信号に乗算するＢｉlong補正ゲインを計算し、タイミングを合わせて第１のブロック乗算器１２０１へ出力する制御手段である。またマイコン１２０９は、ＢｉΣlongとＢｉΣshort から、Ｓlong’信号とＳshort'信号の比がブロック毎にｎ：ｍになるように、Ｂｉshort 補正ゲインを計算し、タイミングを合わせて第２のブロック乗算器７０５へ出力する機能を有する。
【００９５】
第１のブロック乗算器１２０１はブロック毎にＳlong信号に対してＢｉlong補正ゲインを乗算し、乗算結果としてＳlong’信号を出力する回路である。第２のブロック乗算器７０５はブロック毎にＳshort 信号に対してＢｉshort 補正ゲインを乗算し、乗算結果としてＳshort'信号を出力する回路である。
【００９６】
このように構成された実施の形態４における撮像装置の動作について説明する。図１２において、光学系１０１により形成された被写体の光学像は撮像素子( ＣＣＤ) １０２に入射され、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した場合を考える。撮像素子１０２では、垂直走査期間毎に１／７０秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号を出力する。
【００９７】
撮像素子１０２の出力信号はＡＳＰ・Ａ／Ｄ変換器１０３に与えられ、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力信号は同時化回路１０４に与えられる。同時化回路１０４は入力信号をＳlong信号とＳshort 信号とに分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳlong信号は第１のブロック乗算器１２０１を経て信号合成回路１０６に入力され、Ｓshort 信号は第２のブロック乗算器７０５を経て信号合成回路１０６に入力される。信号合成回路１０６では、Ｓlong’信号とＳshort'信号とを加算し、映像信号Ｓmix を出力する。
【００９８】
図２及び図３を用いて撮像素子１０２の駆動動作と、同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、１垂直走査期間の周期つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動される。図３（ｂ）に示すように、Ｓlong信号の電荷は垂直同期信号の周期で１／７０秒の期間蓄積され、Ｓshort 信号の電荷は１／４００秒の期間蓄積される。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが出力される。
【００９９】
これらの読み出しパルスでＳlong信号とＳshort 信号は撮像素子１０２から出力される。撮像素子１０２から出力されたＳlong信号とＳshort 信号とはＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。図２に示す同時化回路１０４では、入力信号がセレクタ３０１によりＳlong信号とＳshort 信号とに分離される。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３に入力される。第１のメモリ３０２においては、Ｓlong信号を図３（ｄ）に示すタイミングＡで書き込みを開始し、図３（ｅ）に示すタイミングＣで読み出しを開始する。また第２のメモリ３０３においては、Ｓshort 信号を図３（ｄ）に示すタイミングＢで書き込みを開始し、図３（ｆ）に示すタイミングＤで読み出しを開始する。こうすると、Ｓlong信号とＳshort 信号がタイミングが合わされて出力される。
【０１００】
次に、図８、図９、図１１、図１２を用いてフリッカ補正の動作について説明する。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明し、１／７０秒の電子シャッタスピードで撮像して信号電荷を蓄積した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。また図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明し、１／４００秒の電子シャッタスピードで撮像して信号電荷を蓄積した場合も、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。このような３垂直走査期間の周期の変動がフリッカになる。
【０１０１】
図１２において、同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８に与えられる。第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８は夫々Ｓlong信号とＳshort 信号とを、図８に示すように１垂直走査期間の画面領域を複数のブロックＢｉ（ｉ＝０１，０２，・・・４８）に分割し、ブロック毎の積分値ＢｉΣlongとＢｉΣshort とを算出する。第１のブロック分割積分回路７０７の出力するＢｉΣlongと、第２のブロック分割積分回路７０８の出力するＢｉΣshort は夫々マイコン１２０９に入力される。
【０１０２】
マイコン１２０９は、まずＢｉΣlongを３垂直走査期間連続して検出し、３垂直走査期間の積分値ＢｉΣlongが５０Ｈｚの蛍光灯により発生したフリッカの輝度レベルのパターンと一致するか比較し、一致したフリッカパターン数をカウントする。そして所定時間のカウント数が設定値を越えた場合、フリッカ補正を行うため、連続した３垂直走査期間のＢｉΣlongの平均値になるようにブロック毎にＢｉlong補正ゲインを計算し、第１のブロック乗算器１２０１に与える。
【０１０３】
図９に示す構成の第１のブロック乗算器１２０１では、マイコン１２０９から出力されたＢｉlong補正ゲインをブロックゲインレジスタ９０１、９０２、・・・９０３に設定する。Ｂｉlong補正ゲインは、連続した３垂直走査期間のＢｉΣlongを夫々ＢｉΣlong１、ＢｉΣlong２、ＢｉΣlong３とすると、例えば以下のように設定される。
Ｂｉlong補正ゲイン＝（ＢｉΣlong１＋ＢｉΣlong２＋ＢｉΣlong３）／（３×ＢｉΣlong２）
ブロックゲインレジスタ９０１〜９０３に設定されたＢｉlong補正ゲインは、セレクタ回路９０４に与えられる。セレクタ回路９０４では、ブロック分割されたＳlong信号とタイミングを合わせてＢｉlong補正ゲインが選択される。乗算器９０５はＳlong信号に対してＢｉlong補正ゲインを乗算し、補正されたＳlong’信号を出力する。
【０１０４】
次にＢｉΣlongとＢｉΣshort から、Ｓlong’信号とＳshort'信号との比がブロック毎に４００：７０になるようにＢｉshort 補正ゲインを計算し、タイミングを合わせてＢｉshort 補正ゲインを第２のブロック乗算器７０５に出力する。
【０１０５】
また図９に示す構成の第２のブロック乗算器７０５では、マイコン１２０９で算出されたＢｉshort 補正ゲインはブロックゲインレジスタ９０１、９０２、・・・９０３に設定される。ブロックゲインレジスタ９０１〜９０３に設定されたＢｉshort 補正ゲインはセレクタ回路９０４で選択される。このときブロック分割されたＳshort 信号とタイミングを合わせて選択される。次に、乗算器９０５はＳshort 信号に対してＢｉshort 補正ゲインを乗算し、補正されたＳshort'信号を出力する。
【０１０６】
このように制御することによって、Ｓlong信号にフリッカが検出された場合は、Ｂｉlong補正ゲインによってフリッカが低減される。また、フリッカが低減されたＳlong’信号とＳshort'信号との比が常に４００：７０になるように、ブロック毎にＳshort 信号にＢｉＳhort補正ゲインを乗算するので、図８に示したように被写体の一部分がフリッカしている場合においても、フリッカがない部分を過補正することなく、フリッカ部分だけを最適に補正することができる。
【０１０７】
なお、図６に示すようにＳlong信号が基準値を越えた場合、例えば飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort 信号の信号レベルの比を正確に４００：７０に制御できなくなる。従って、Ｓlong信号が基準値を越えた場合は、第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：７０にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【０１０８】
次に、信号合成回路１０６のダイナミックレンジを拡大する動作について、図４〜図６を用いて説明する。図４に示す信号合成回路１０６において、フリッカが低減されたＳlong’信号とＳshort'信号とを加算器５０１で加算し、映像信号Ｓmix を出力する。図６に示すように、Ｓlong信号は１／７０秒の電子シャッタスピードで撮像した信号であるので、図６のＢより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。
【０１０９】
また、Ｓshort 信号は１／４００秒の電子シャッタスピードで撮像した信号であるので、Ｓlong信号に比べて約５．７倍の高輝度部まで階調を再現することができる。よって、Ｓlong’信号とＳshort'信号を加算器５０１で加算することで、低輝度から高輝度までの階調を再現することができる。つまり、映像信号Ｓmix を使用することにより、フリッカを低減し、且つダイナミックレンジを拡大した映像を得ることができる。
【０１１０】
なお、以上の動作説明では、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したが、電子シャッタスピードを１／７０秒及び１／４００秒以外の値に変更したい場合は、マイコン１２０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。電子シャッタスピードが１／７０秒と１／４００秒以外の値でも、全く同様の動作でフリッカを低減することができる。
【０１１１】
なお、以上の動作説明では、１垂直走査期間の画面のブロック分割を水平８分割、垂直６分割したが、部分フリッカ領域が分割ブロックに一致すれば、水平８分割、垂直６分割のブロック分割でなくても、部分フリッカを低減することができる。
【０１１２】
なお、以上の動作説明では、１つの撮像素子１０２からＳlong信号とＳshort信号とを読み出し、同時化回路１０４でＳlong信号とＳshort信号をタイミングを合わせて出力するようにしたが、上記のＳlong信号に相当する信号を出力するものであれば、他の撮像素子等を用いても同様の効果を得ることができる。
【０１１４】
【発明の効果】
垂直同期信号の周波数と異なる周波数の照明装置で被写体が照明されているとき、撮像手段の出力する映像信号にフリッカが生じる。本願の請求項１記載の発明によれば、Ｓlong信号として１／ｍ秒の電子シャッタスピード、例えば１／１００秒の電子シャッタスピードで撮像することでフリッカを低減でき、フリッカが低減されたＳlong信号とＳlong’信号との信号レベルの比が、ｎ：ｍになるようにshort補正ゲインをＳshort 信号に対して乗算することにより、フリッカのないＳshort'信号を得ることができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。
【０１１５】
また本願の請求項２記載の発明によれば、Ｓlong信号として１／ｍ秒の電子シャッタスピード、例えば１／１００秒の電子シャッタスピードで撮像することでフリッカを低減でき、フリッカが低減されたＳlong信号とＳlong’信号との信号レベルの比が、ｎ：ｍになるようにＢｉshort補正ゲインを各ブロック毎に乗算することにより、フリッカのないＳshort'信号を得ることができる。特に被写体の一部分がフリッカしている場合に、フリッカ部分だけを補正することができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。
【０１１６】
また本願の請求項３記載の発明によれば、Ｓlong信号に対しては、Σlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにlong補正ゲインを乗算することで、Ｓlong信号のフリッカを意図的に低減できる。フリッカが低減されたＳlong’信号とＳshort'信号との比がｎ：ｍになるようにshort補正ゲインをＳshort信号に乗算することにより、フリッカのないＳshort'信号を得ることができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong’信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。この場合は、照明装置の点滅周期と同期した電子シャッタスピードで必ずしも撮像する必要はない。
【０１１７】
また本願の請求項４記載の発明によれば、請求項３記載の撮像装置と請求項４記載の撮像装置の両方の効果が得られる。
【０１１９】
また本願の請求項５及び６記載の撮像装置によれば、高輝度照明の場合も、補正ゲインは精度よく演算され、フリッカを抑止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における撮像装置の全体構成を示すブロック図である。
【図２】本発明の各実施の形態による撮像装置において、同時化回路の構成を示すブロック図である。
【図３】本発明の各実施の形態による撮像装置において、撮像素子と同時化回路の動作を示すタイミングチャートである。
【図４】本発明の各実施の形態による撮像装置において、信号合成回路の構成を示すブロック図である。
【図５】本発明の実施の形態１及び２による撮像装置において、５０Ｈｚ駆動の蛍光灯照明時の撮像素子の蓄積電荷の変化を示した模式図である。
【図６】本発明の各実施の形態による撮像装置において、Ｓlong信号とＳshort 信号と信号合成回路のＳmix 信号との関係を示す特性図である。
【図７】本発明の実施の形態２における撮像装置の全体構成を示すブロック図である。
【図８】本発明の実施の形態２及び４による撮像装置において、垂直走査期間の画面領域のブロック分割を示す模式図である。
【図９】本発明の実施の形態２及び４による撮像装置において、ブロック乗算器の構成を示すブロック図である。
【図１０】本発明の実施の形態３における撮像装置の全体構成を示すブロック図である。
【図１１】本発明の実施の形態３及び４による撮像装置において、５０Ｈｚ駆動の蛍光灯照明時の撮像素子の蓄積電荷の変化を示した模式図である。
【図１２】本発明の実施の形態４における撮像装置の全体構成を示すブロック図である。
【図１３】第１の従来例における撮像装置の全体構成図である。
【図１４】第２の従来例における撮像装置の全体構成図である。
【符号の説明】
１０１ 光学系
１０２ 撮像素子
１０３ ＡＳＰ・Ａ／Ｄ変換器
１０４ 同時化回路
１０５ 乗算器（第２の乗算器）
１０６ 信号合成回路
１０７ 第１の積分回路
１０８ 第２の積分回路
１０９，７０９，１００９，１２０９ マイコン
１１０ 撮像素子駆動回路
１１１ 撮像手段
１１２，７１２，１０１２，１２１２ 利得制御手段
３０１，９０４ セレクタ
３０２ 第１のメモリ
３０３ 第２のメモリ
５０１ 加算器
７０５，９００，１２０１ ブロック乗算器
７０７ 第１のブロック分割積分回路
７０８ 第２のブロック分割積分回路
９０５ 乗算器
９０１〜９０３ ブロックゲインレジスタ
１００１ 第１の乗算器
【発明の属する技術分野】
本発明は、フリッカを抑え、ダイナミックレンジの拡大可能な映像信号を出力する撮像装置に関するものである。
【０００２】
【従来の技術】
従来の撮像装置として、特開平８−２９４０４５号公報に記載されたものが知られている。図１３は同公報に記載された従来の撮像装置の全体構成を示すブロック図である。この撮像装置は、光学系１３０１、撮像部（ＣＣＤ）１３０２、増幅器１３０３、光量検波部１３０４、制御部１３０５、シャッタスピード制御部１３０６、操作部１３０７を含んで構成される。
【０００３】
このような構成の撮像装置の動作について説明する。まず、光学系１３０１を介して撮像光が撮像部１３０２に入射される。この撮像部１３０２から撮像信号が与えられると、増幅器１３０３は可変利得で撮像信号を増幅して出力する。次に光量検波部１３０４は、増幅器１３０３により増幅された撮像信号を検波することにより、撮像部１３０２が受光した撮像光の光量情報を生成する。制御部１３０５はこの光量情報に基づいて、撮像信号の出力レベルの変化を補正するように増幅器１３０３の利得制御を行う。こうして撮像部１３０２が受光した撮像光の周期的な光量変化分を補正することにより、フリッカのない映像信号を出力する。
【０００４】
また別の従来の撮像装置として、特開平９−２４７５５０号公報に記載されたものが知られている。図１４はこの撮像装置、即ちテレビジョンカメラの構成を示すブロック図である。このテレビジョンカメラは、レンズ１４０１、撮像素子１４０２、ＣＤＳ回路１４０３、ＡＧＣ回路１４０４、Ａ／Ｄ変換器１４０５、デジタル信号処理回路１４０６、Ｄ／Ａ変換器１４０７、ＡＭＰ１４０８、マイコン１４０９、同期回路１４１０を含んで構成される。
【０００５】
このような構成のテレビジョンカメラの動作を説明する。まず、レンズ１４０１を介して撮像光が撮像素子１４０２に入射される。撮像素子１４０２から出力された撮像信号はＣＤＳ回路１４０３でサンプリングされ、ＡＧＣ回路１４０４で利得制御され、Ａ／Ｄ変換器１４０５に入力される。利得制御された撮像信号はＡ／Ｄ変換器１４０５でアナログ／デジタル変換され、デジタル信号処理回路１４０６に入力される。デジタル信号処理回路１４０６は撮像信号に対してデジタル信号処理を行い、Ｄ／Ａ変換器１４０７に出力する。Ｄ／Ａ変換器１４０７はデジタル信号処理された映像信号をデジタル／アナログ変換を行い、ＡＭＰ１４０８に与える。ＡＭＰ１４０８は映像信号を増幅して出力する。
【０００６】
一方、マイコン１４０９はフリッカを検出するために、デジタル信号処理回路１４０６から映像信号を入力し、垂直走査期間毎に画像の平均輝度レベルを３垂直走査期間連続して検出する。そして３垂直走査期間の輝度レベルが、５０Ｈｚ駆動の蛍光灯により発生したフリッカによる輝度レベルパターンと一致するか比較する。パターンが一致すれば、一致したフリッカパターン数をカウントする。そして所定時間のカウント数が設定値を越えた場合、マイコン１４０９が同期回路１４１０に対して制御信号を出力し、電子シャッタスピードを１／６０秒から１／１００秒に徐々に変化するように制御する。このようにフリッカの検出時には、１／１００秒の電子シャッタで被写体を撮像することによって、フリッカを低減するようにしている。
【０００７】
【発明が解決しようとする課題】
このような従来の撮像装置においては、一般的には５０Ｈｚ駆動の蛍光灯のもとで照明された被写体を撮像した際、映像信号に発生するフリッカを低減させることが要求されている。また、従来から、撮像装置において輝度のダイナミックレンジを拡大することが要望されている。
【０００８】
しかしながら、電子シャッタを１／１００秒にしてフリッカ補正を行う上記の撮像装置においては、１／１００秒以外の電子シャッタで被写体を撮像するとき、フリッカ補正ができなくなるという問題点がある。
【０００９】
また、上記の撮像装置においては、被写体の一部分がフリッカしている場合、利得制御でフリッカ補正を行うと、フリッカ部分が充分に補正が行えないという問題点と、フリッカが発生していない部分が過補正となり、逆フリッカが発生するという問題点もある。
【００１０】
また、高速電子シャッタで撮像したときのフリッカパターンやフリッカレベルが、１／６０秒で撮像した時に発生するフリッカパターンやフリッカレベルと異なり、高速電子シャッタで撮像した場合、フリッカを検出でなくなるという問題点もある。
【００１１】
また、上記の撮像装置は、一応フリッカを補正する構成にはなっているが、被写体の明るさに対するダイナミックレンジを拡大できる構成になってない問題点もある。
【００１２】
本発明は、このような従来の問題点に鑑みてなされたものであって、任意の高速電子シャッタスピードで被写体を撮像したとき、映像信号のフリッカを低減させると共に、高速電子シャッタと低速電子シャッタで被写体を撮像し、２つの電子シャッタスピードの映像信号を合成することによって、ダイナミックレンジを拡大した映像出力を得ることができる撮像装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
このような課題を解決するため、請求項１の発明は、電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、前記Σlongと前記Σshortのデータを用いて、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号とＳshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する乗算器と、前記Ｓlong信号と前記乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００１６】
このような構成によれば、Ｓlong信号に対しては、１／ｍ秒を例えば１／１００秒とし、この電子シャッタスピードで撮像することでフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong信号とＳshort'信号との信号レベルの比がｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００１７】
また請求項２の発明は、電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロックＢｉの前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、１垂直走査期間の画面領域の前記各ブロックＢｉの前記Ｓshort信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、各ブロックＢｉで前記Ｓshort信号をＳshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを前記ブロックＢｉ毎に演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記ブロックＢｉ毎に前記Ｓshort信号に対して前記制御手段が生成したＳshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力するブロック乗算器と、前記Ｓlong信号と前記ブロック乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００１８】
このような構成によれば、Ｓlong信号に対しては、１／ｍ秒を例えば１／１００秒とし、この電子シャッタスピードで撮像することでフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong信号とＳshort'信号との比がブロック毎にｎ：ｍになるようにＢｉshort 補正ゲインを演算し、Ｓshort 信号にＢｉshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正をブロック毎に行うことができる。従って、被写体の一部分がフリッカしている場合に、フリッカ部分だけを補正することができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００１９】
また請求項３の発明は、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、前記Σlongから周期的光量変化分を検出し、この周期的光量変化分による前記Ｓlong信号のレベル変化を補正するため、前記Ｓlong信号に乗算するlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、かつ前記Σlongと前記Σshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓlong信号に対して前記制御手段が生成したlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００２０】
このような構成によれば、Ｓlong信号に対しては、Σlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにlong補正ゲインを乗算することで、Ｓlong信号のフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong’信号とＳshort'信号ｓの比がｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００２１】
また請求項４の発明は、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロック毎の前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、１垂直走査期間の画面領域の前記各ブロックＢｉ毎の前記Ｓshort信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、前記ＢｉΣlongからブロックＢｉ毎の周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベル変化をブロックＢｉ毎に補正するように前記Ｓlong信号に乗算するＢｉlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がブロックＢｉ毎にｎ：ｍになるように前記Ｂｉshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、前記Ｓlong信号に対して前記制御手段が生成したＢｉlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、前記Ｓshort信号に対して前記制御手段が生成したＢｉshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とするものである。
【００２２】
このような構成によれば、Ｓlong信号に対しては、ブロック毎にＢｉΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにＢｉlong補正ゲインを乗算することで、Ｓlong信号に対するブロック毎のフリッカを低減できる。Ｓshort 信号に対しては、フリッカが低減されたＳlong’信号とＳshort'信号ｓの比がブロック毎にｎ：ｍになるようにshort 補正ゲインを演算し、Ｓshort 信号にＢｉshort 補正ゲインを乗算することにより、Ｓshort 信号のフリッカ補正を行うことができる。また、被写体の一部分がフリッカしている場合、フリッカ部分だけを補正することができる。また、高輝度部を再現するＳshort 信号と、低輝度部を再現するＳlong信号とを信号合成回路で合成することにより、ダイナミックレンジを拡大した映像を得ることができる。
【００２４】
また請求項５の発明は、請求項１又は３の撮像装置において、前記Ｓlong信号が基準値を越えた場合は、前記第１の積分回路及び前記第２の積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とするものである。
【００２５】
更に請求項６の発明は、請求項２又は４の撮像装置において、前記Ｓlong信号が基準値を越えた場合は、前記第１のブロック分割積分回路及び前記第２のブロック分割積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とするものである。
【００２６】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１における撮像装置について、図１〜図６を参照しながら説明する。図１は実施の形態１による撮像装置の全体構成を示すブロック図である。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１１２、信号合成回路１０６を含んで構成される。
【００２７】
撮像手段１１１は、光学系１０１、撮像素子１０２、ＡＳＰ・Ａ／Ｄ変換器１０３、同時化回路１０４、撮像素子駆動回路１１０を含んで構成され、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号と、１／ｎ秒の電子シャッタスピードで撮像したＳshort 信号とを出力する機能を有している。
【００２８】
撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。撮像素子駆動回路１１０はマイコン１０９からの制御信号によって撮像素子１０２の駆動を行うものである。
【００２９】
信号合成回路１０６は、利得制御手段１１２でＳshort 信号が補正されたＳshort'信号と、同時化回路１０４から出力されたＳlong信号とを合成し、映像信号Ｓmix を出力するものである。破線部で示す利得制御手段１１２は、乗算器１０５、第１の積分回路１０７、第２の積分回路１０８、マイクロコンピュータ（マイコン）１０９を含んで構成され、ΣlongとΣshort のデータを用いて、Ｓshort 信号をshort 補正ゲインで補正した信号をＳshort'信号とするとき、Ｓlong信号とＳshort'信号との比がｎ：ｍになるようにＳshort 補正ゲインを演算し、所定時間遅延して前記Ｓshort 補正ゲインを出力する機能を有している。
【００３０】
同時化回路１０４から出力されたＳshort 信号は、乗算器１０５を介して信号合成回路１０６に与えられると共に、第２の積分回路１０８にも与えられる。また、同時化回路１０４から出力されたＳlong信号は第１の積分回路１０７に与えられると共に、信号合成回路１０６に与えられる。第１の積分回路１０７はＳlong信号を入力して１垂直走査期間の積分を行い、積分値ΣＳlongを出力する回路である。第２の積分回路１０８はＳshort 信号を入力して１垂直走査期間の積分を行い、積分値Σshort を出力する回路である。積分値ΣＳlongと積分値ΣＳshort は、制御手段としてのマイコン１０９に入力される。
【００３１】
マイコン１０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、第１の積分回路１０７及び第２の積分回路１０８から与えられたΣＳlongとΣＳshort から、Ｓlong信号と乗算器１０５から出力されるＳshort'信号との信号レベルの比がｎ：ｍになるようにshort 補正ゲインを計算し、タイミングを合わせてshort 補正ゲインを乗算器１０５に与える制御手段である。乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００３２】
ここで同時化回路１０４について詳細に説明する。同時化回路１０４は図２に示すように、セレクタ３０１、第１のメモリ３０２、第２のメモリ３０３から構成される。セレクタ３０１は図１のＡＳＰ・Ａ／Ｄ変換器１０３から信号が入力されると、Ｓlong信号とＳshort 信号とに分離する回路である。分離されたＳlong信号は第１のメモリ３０２に保持され、Ｓshort 信号は第２のメモリ３０３に保持される。
【００３３】
同時化回路１０４の動作原理を図３のタイミングチャートを用いて説明する。図３（ａ）に示す垂直同期信号ＶＤは、垂直走査期間の周期が１／６０秒の同期信号である。図３（ｂ）に示すように、撮像素子１０２における電荷の蓄積タイミングは垂直同期信号と同期している。Ｓlong信号の蓄積時間を１／ｍ秒とし、ここでは１／ｍ秒＝１／１００秒で信号電荷を蓄積する。またＳshort 信号の蓄積時間を１／ｎ秒とし、ここでは１／ｎ秒＝１／４００秒で信号電荷を蓄積する。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが発生する。図３（ｄ）に示すように、これらの読み出しパルスによって、Ｓlong信号とＳshort 信号が撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とを含む信号は図１のＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。同時化回路１０４では、入力信号からＳlong信号とＳshort 信号をセレクタ３０１で分離する。Ｓlong信号は図３（ｄ）に示すタイミングＡで撮像素子１０２から同時化回路１０４に入力され、図３（ｅ）に示すタイミングＣで同時化回路１０４から出力される。Ｓshort 信号は図３（ｄ）に示すタイミングＢで撮像素子１０２から同時化回路１０４に入力され、図３（ｆ）に示すタイミングＤで同時化回路１０４から出力される。このように同一のタイミングＣ，Ｄに合わせてＳlong信号とＳshort 信号とが出力され、利得制御手段１１２に与えられるようになっている。
【００３４】
図２の第１のメモリ３０２は、Ｓlong信号を図３に示したタイミングＡで書き込みを開始し、タイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３で示したタイミングＢで書き込みを開始し、タイミングＤで読み出しを開始する。こうして、Ｓlong信号とＳshort 信号のタイミングを合わせて出力するようになっている。
【００３５】
図４は信号合成回路１０６のブロック図である。信号合成回路１０６は加算器５０１を有し、Ｓlong' 信号とＳshort 信号又はＳshort'信号とを加算し、加算結果を映像信号Ｓmix として出力する回路である。
【００３６】
以上のように構成された実施の形態１における撮像装置の動作について説明する。図１において、光学系１０１により形成された被写体の光学像は撮像素子( ＣＣＤ) １０２に入射され、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／１００秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したとする。撮像素子１０２では、１垂直走査期間内に１／１００秒の電子シャッタスピードで蓄積したＳlong信号と１／４００秒の電子シャッタスピードで蓄積したＳshort 信号とが出力される。
【００３７】
撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に入力され、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力が同時化回路１０４の入力されると、Ｓlong信号とＳshort 信号とに分離され、タイミングを合わせて出力される。同時化回路１０４から出力されたＳshort 信号は乗算器１０５でshort 補正ゲインと乗算され、補正されたＳshort'信号が信号合成回路１０６に入力される。信号合成回路１０６は、Ｓshort'信号とＳlong信号とを加算し、輝度のダイナミックレンジが拡大された映像信号Ｓmix を出力する。
【００３８】
ここで図３と図２を用いて撮像素子１０２の駆動動作と、同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、前述したように垂直走査期間の周期、つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動される。Ｓlong信号の電荷は図３（ｂ）に示すように、垂直同期信号に同期して１／１００秒の期間蓄積される。また、Ｓshort 信号は同様に１／４００秒の期間蓄積される。次に図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に、読み出しパルスが出力される。図３（ｄ）に示すように、これらの読み出しパルスでＳlong信号とＳshort 信号とが撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とはＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。
【００３９】
図２のセレクタ３０１は、入力信号をＳlong信号とＳshort 信号とに分離する。分離されたＳlong信号は第１のメモリ３０２に保持され、Ｓshort 信号は第２のメモリ３０３に保持される。第１のメモリ３０２は、図３（ｄ）に示すタイミングＡでＳlong信号の書き込みを開始し、図３（ｅ）のタイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３（ｄ）のタイミングＢで書き込みを開始し、図３（ｆ）のタイミングＤで読み出しを開始する。こうすると、Ｓlong信号とＳshort 信号の出力タイミングが一致する。
【００４０】
次に図１〜図５を用いてフリッカ補正の動作について説明する。図５は本実施の形態による撮像装置において、商用周波数が５０ＨｚのＡＣ電源の蛍光灯によって被写体が照明された場合の、撮像素子１０２の蓄積電荷の変化を示した模式図である。５０Ｈｚ駆動の蛍光灯で照明された被写体を撮像して、１／１００秒の電子シャッタスピードで１垂直走査期間毎に信号電荷を蓄積すると、図５（ａ）に示すどの垂直走査期間も、図５（ｂ），（ｃ）の斜線部に示すようにほぼ同じ蓄積電荷になる。また、５０Ｈｚ駆動の蛍光灯で照明された被写体を撮像して、１／４００秒の電子シャッタスピードで１垂直走査期間毎に信号電荷を蓄積すると、図５（ｄ）に示すように垂直走査期間毎の蓄積タイミングが異なる。５０Ｈｚ駆動の蛍光灯の明滅周期は１／１００秒であり、撮像素子１０２の駆動周期は１／６０秒であるので、図５（ａ），（ｂ）に示すように垂直同期信号と蛍光灯の照度には一定周期のずれを生じる。１／１００秒と１／６０秒の最小公倍数は、１５／３００秒＝３／６０秒となる。このため、図５（ｅ）で示す斜線部のように、蓄積電荷量が３垂直走査期間の周期で変動する。
【００４１】
従って、５０Ｈｚ駆動の蛍光灯のもとで、１／１００秒の電子シャッタスピードで撮像した場合、垂直走査期間毎に１／１００秒間だけ電荷蓄積すると、図５（ｃ）に示すようにどの垂直走査期間も同じ蓄積電荷になるので、フリッカは発生しない。また、５０Ｈｚ駆動の蛍光灯のもとで、１／４００秒の電子シャッタスピードで撮像した場合、垂直走査期間毎に１／４００秒間だけ電荷蓄積すると、垂直走査期間毎の蓄積タイミングが異なるため、蓄積電荷量が３垂直走査期間の周期で変動し、フリッカが発生する。
【００４２】
同時化回路１０４から出力されたＳlong信号が第１の積分回路１０７に入力されると、第１の積分回路１０７はＳlong信号を１垂直走査期間に渡って積分し、積分値ΣＳlongを出力する。同様に、同時化回路１０４から出力されたＳshort 信号が第２の積分回路１０８に入力されると、第２の積分回路１０８はＳshort 信号を１垂直走査期間に渡って積分し、積分値ΣＳshort を出力する。これらの積分値ΣＳlong及びΣＳshort はマイコン１０９に入力される。
【００４３】
マイコン１０９はΣＳlongとΣＳshort から、Ｓlong信号と乗算器１０５の出力するＳshort'信号との比がｎ：ｍ、即ち４００：１００になるようにshort 補正ゲインを計算し、所定時間遅延させてshort 補正ゲインを乗算器１０５に出力する。このとき輝度フリッカは３垂直走査期間の周期で信号レベルが変動するので、ΣＳlongとΣＳshort を算出した垂直走査期間から３垂直走査期間遅延させた時間を上記の所定遅延時間とする。乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果としてＳshort'信号を出力する。
【００４４】
Ｓlong信号は元来１／１００秒の電子シャッタスピードで撮像された信号であるので、フリッカは発生しない。フリッカがないＳlong信号とＳshort'信号ｓの比が常に４００：１００になるように、Ｓshort 信号に対してＳshort 補正ゲインを乗算して補正するので、１／４００秒の電子シャッタスピードで撮像して補正したＳshort 信号’はフリッカがない映像信号となる。
【００４５】
次に図４及び図６を用いて信号合成回路１０６のダイナミックレンジを拡大する動作について説明する。図６は信号合成回路１０６において、Ｓlong信号とＳshort'信号と、これらが合成されたＳmix 信号の関係を示す特性図である。図６において、Ａは電子シャッタスピードが１／１００秒時のＳlong信号の入射光量の飽和点である。Ｂは実施の形態３及び４で説明するように、電子シャッタスピードが１／７０秒の時のＳlong信号の入射光量の飽和点である。そしてＶｓは飽和信号レベルである。
【００４６】
１／１００秒の電子シャッタスピードで被写体を撮像し、short補正ゲインの乗算によりフリッカが低減されたＳshort'信号と、フリッカ成分がないＳlong信号とを図４の加算器５０１で加算することにより、フリッカ成分がない映像信号Ｓmixを出力することができる。図６において、Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、図６のＡより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。また、Ｓshort信号は１／４００秒の電子シャッタスピードで撮像して信号であるので、Ｓlong信号に比べて４倍の高輝度部、即ち図６の０〜４Ａまで階調を再現することができる。よって、Ｓlong信号とＳshort信号を加算器５０１で加算することで、低輝度から高輝度までの階調を再現することができる。つまり、図６のＳmix信号の特性に示すように、輝度のダイナミックレンジを拡大した映像信号を得ることができる。
【００４７】
なお、Ｓlong信号が基準値を越えた場合、例えば図６の飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort 信号の信号レベルの比を正確に４００：１００にすることができない。従ってＳlong信号が基準値を越えた場合は、第１の積分回路１０７と第２の積分回路１０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：１００にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【００４８】
なお、以上の動作説明において、１／ｍ秒の電子シャッタスピードとして１／１００秒を設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒を設定したが、他の組合せでもよい。電子シャッタスピードの組合せを１／１００秒及び１／４００秒以外の値に変更したいときは、マイコン１０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動する。１／ｍ秒の電子シャッタスピードは１／１００秒に近い値である必要があるが、１／ｎ秒の電子シャッタスピードは１／４００秒以外の値でもよく、全く同様の動作でフリッカを低減することができる。
【００４９】
なお、図１の破線部で示す撮像部１１１において、１つの撮像素子１０２からＳlong信号とＳshort 信号を読み出し、これらの信号を同時化回路１０４に与え、Ｓlong信号とＳshort 信号をタイミングを合わせて出力するようにしたが、元来フリッカが生じないＳlong信号を出力するものであれば、他の撮像素子又はセンサを用いても同様の効果を得ることができる。
【００５０】
（実施の形態２）
次に本発明の実施の形態２における撮像装置について、図２〜図９を参照しながら説明する。図７は本実施の形態による撮像装置の全体構成を示すブロック図である。尚、実施の形態１と同一部分は同一の符号を付け、詳細な説明は省略する。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段７１２、信号合成回路１０６を含んで構成される。撮像手段１１１において、撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。
【００５１】
信号合成回路１０６は、利得制御手段７１２でＳshort信号が補正されたＳshort'信号と、同時化回路１０４から出力されたＳlong信号とを合成し、映像信号Ｓmixを出力するものである。利得制御手段７１２は、ブロック乗算器７０５、第１のブロック分割積分回路７０７、第２のブロック分割積分回路７０８、マイコン７０９から構成される。同時化回路１０４から出力されたＳlong信号は第１のブロック分割積分回路７０７と信号合成回路１０６とに与えられ、Ｓshort信号はブロック乗算器７０５と第２のブロック分割積分回路７０８とに与えられる。
【００５２】
第１のブロック分割積分回路７０７はＳlong信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ（ｉはブロック番号を示し、例えば０１，０２・・・４８の値をとる）毎に積分値ＢｉΣlongを算出する回路である。同様に、第２のブロック分割積分回路７０８はＳshort 信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ毎に積分値ＢｉΣshort を算出する回路である。第１のブロック分割積分回路７０７から出力されたＢｉΣlongと、第２のブロック分割積分回路７０８から出力されたＢｉΣshort は、制御手段としてのマイコン７０９に入力される。
【００５３】
マイコン７０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、ＢｉΣlongとＢｉΣshortとから、同時化回路１０４の出力であるＳlong信号と、ブロック乗算器７０５の出力であるＳshort'信号の比が、分割したブロックｉ毎にｎ：ｍになるようにＢｉshort補正ゲインを計算し、ブロック乗算器７０５へ出力する制御手段である。ブロック乗算器７０５はタイミングを合わせてブロック毎にＳshort信号に対してＢｉshort補正ゲインを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００５４】
図８は、本実施の形態において１垂直走査期間の画面領域のブロック分割の方法を示した説明図である。本図に示すように、１フレームの画面を水平方向に８分割、垂直方向に６分割し、全画面領域をＢ０１，Ｂ０２、・・Ｂｉ・・Ｂ４８のように４８のブロックに分割している。また、斜線で示した領域はフリッカが発生している領域（フリッカ領域）とする。
【００５５】
図９は図７のブロック乗算器７０５の構成をブロック乗算器９００として示したブロック図である。このブロック乗算器９００は、４８個のブロックゲインレジスタ９０１，９０２，・・・９０３、セレクタ９０４、乗算器９０５で構成される。ブロックゲインレジスタ９０１（Ｂ１ＧＲ）は、マイコン７０９で演算されたＢｉshort 補正ゲインのうち、Ｂ１short 補正ゲイン（Ｂ１Ｇ）が入力されたとき、Ｂ１short 補正ゲインを一時保持するものである。同様に、ブロックゲインレジスタ９０２（Ｂ２ＧＲ）は、マイコン７０９で演算されたＢｉshort 補正ゲインのうち、Ｂ２short 補正ゲインが入力されたとき、Ｂ２short 補正ゲイン（Ｂ２ＧＲ）を一時保持するものである。このようにして４８個の補正ゲインＢ１Ｇ、Ｂ２Ｇ、・・・Ｂ４８Ｇが各レジスタに設定される。設定されたＢｉshort 補正ゲインはセレクタ９０４よりＳshort 信号とタイミングをあわせて読み出され、乗算器９０５に与えられる。乗算器９０５は各ブロックＢｉ毎に、Ｓshort 信号とＢｉshort 補正ゲインとを乗算し、乗算結果をＳshort'信号として出力する回路である。
【００５６】
以上のように構成された実施の形態２における撮像装置の動作について、前述した図２、図３、図５を用いて説明する。図７において、光学系１０１により形成された被写体の光学像が撮像素子（ＣＣＤ) １０２に入射されると、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／１００秒を設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒を設定した場合、撮像素子１０２は、１垂直走査期間内に１／１００秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号とを出力する。撮像素子１０２の出力がＡＳＰ・Ａ／Ｄ変換器１０３に入力されると、サンプリングされ、更に利得調整されてアナログ／デジタル変換される。同時化回路１０４は、ＡＳＰ・Ａ／Ｄ変換器１０３から出力された信号から、Ｓlong信号とＳshort 信号とを分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳshort 信号は、ブロック乗算器７０５を経て信号合成回路１０６に与えられる。信号合成回路１０６は、Ｓshort'信号とＳlong信号とを加算し、輝度のダイナミックレンジが拡大された映像信号Ｓmix を出力する。
【００５７】
図２及び図３を用いて撮像素子１０２の駆動動作と同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、１垂直走査期間の周期、つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動され、図３（ｂ）に示すように、Ｓlong信号の電荷の蓄積タイミングは垂直同期信号に同期し、信号電荷は１／１００秒の期間蓄積される。また、Ｓshort 信号は１／４００秒の期間蓄積される。また図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出すパルスが発生する。図３（ｄ）に示すように、これらの読み出しパルスでＳlong信号とＳshort 信号が撮像素子１０２から出力される。これらのＳlong信号とＳshort 信号とを含む画素信号はＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。
【００５８】
図２に示す同時化回路１０４では、セレクタ３０１よりＳlong信号とＳshort 信号とに分離される。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３へ入力される。第１のメモリ３０２は、Ｓlong信号を図３（ｄ）のタイミングＡで書き込みを開始し、図３（ｅ）のタイミングＣで読み出しを開始する。また第２のメモリ３０３は、Ｓshort 信号を図３のタイミングＢで書き込みを開始し、タイミングＤで読み出しを開始する。こうして同時化回路１０４はＳlong信号とＳshort 信号とをタイミングを合わせて出力する。
【００５９】
次にフリッカ補正の動作について説明する。図５（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯のもとで、１／１００秒の電子シャッタスピードで被写体を撮像した場合を考える。垂直走査期間毎に１／１００秒間だけ電荷を蓄積すると、図５（ｃ）に示すようにどの垂直走査期間も同じ蓄積電荷が得られるので、フリッカは発生しない。また、図５（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯のもとで、１／４００秒の電子シャッタスピードで被写体を撮像した場合を考える。垂直走査期間毎に１／４００秒間だけ電荷を蓄積すると、垂直走査期間毎の蓄積タイミングが異なるため、図５（ｄ）、（ｅ）の斜線部で示すように、蓄積電荷量が３垂直走査期間の周期で変動する。この３垂直走査期間の周期の変動がフリッカになる。
【００６０】
図７の同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８に与えられる。第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８では、Ｓlong信号とＳshort 信号に対して夫々１垂直走査期間の画面領域を、図８に示すような複数のブロックに分割し、各ブロックでの積分を行う。
【００６１】
図７のマイコン７０９はＢｉΣlongとＢｉΣshort に基づいて、Ｓlong信号とＳshort'信号の分割ブロック毎の比が夫々ｎ：ｍ、即ち４００：１００になるようにＢｉshort 補正ゲインを計算し、計算結果を所定時間遅延してブロック乗算器７０５に出力する。この場合の輝度フリッカは、３垂直走査期間の周期で信号レベルが変動するので、ＢｉΣlongとＢｉΣshort を算出した垂直走査期間から３垂直走査期間遅延させた時間を所定時間として、Ｂｉshort 補正ゲインを所定時間遅延させてブロック乗算器７０５へ出力する。
【００６２】
図９に示すブロック乗算器９００では、入力されたＢｉshort 補正ゲインをブロック番号ｉ別にブロックゲインレジスタ（Ｂ１ＧＲ）９０１、ブロックゲインレジスタ（Ｂ２ＧＲ）９０２・・・ブロックゲインレジスタ（Ｂ４８ＧＲ）９０３に保持する。そしてセレクタ回路９０４はタイミングを合わせてＢｉshort 補正ゲインを読み出し、乗算器９０５に与える。乗算器９０５はブロックＢｉ毎にＳshort 信号に対してＢｉshort 補正ゲインを乗算する。乗算器９０５の乗算結果は、補正されたＳshort'信号として図７の信号合成回路１０６に与えられる。
【００６３】
信号合成回路１０６のダイナミックレンジを拡大する動作について説明する。図４に示す信号合成回路１０６では、１／１００秒の電子シャッタスピードで被写体を撮像し、short 補正ゲインを乗算することでフリッカが低減されたＳshort'信号と、フリッカ成分がないＳlong信号とを加算器５０１で加算することにより、フリッカ成分がない映像信号Ｓmix を出力する。図６において、Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、図６のＡより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。また、Ｓshort 信号は１／４００秒の電子シャッタスピードで撮像した信号であるので、Ｓlong信号に比べて４倍の高輝度部まで階調を再現することができる。よって、Ｓlong信号とＳshort 信号を加算器５０１で加算することで、低輝度から高輝度まで階調を再現することができる。つまり、図６のＳmix 信号の特性に示すように、ダイナミックレンジを拡大した映像信号を得ることができる。
【００６４】
Ｓlong信号は１／１００秒の電子シャッタスピードで撮像した信号であるので、フリッカは発生しない。このようにフリッカがないＳlong信号との比が常に４００：１００になるように、ブロック毎のＳshort 信号に対してＢｉＳshort 補正ゲインを乗算するので、Ｓshort'信号にはフリッカが含まれなくなる。このとき図８の斜線部で示すように、被写体の一部にフリッカが発生している場合でも、ブロック毎にＳlong信号とＳshort'信号の比が４００：１００になるようにフリッカ補正を行うので、フリッカがない部分を過補正することなく、フリッカ部分だけを最適に補正することができる。
【００６５】
なお、Ｓlong信号が基準値を越えた場合、例えば図６の飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort'信号の信号レベルの比を正確に４００：１００にすることができない。従ってＳlong信号が基準値を越えた場合は、第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：１００にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【００６６】
なお以上の動作説明として、１／ｍ秒の電子シャッタスピードとして１／１００秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したが、電子シャッタスピードを１／１００又は１／４００秒以外の値に変更したいときは、図７のマイコン７０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送りることにより、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。１／ｍ秒の電子シャッタスピードは１／１００秒近くの設定である必要があるが、１／ｎ秒の電子シャッタスピードは、１／４００秒以外であっても全く同様の動作でフリッカを低減することができる。
【００６７】
なお、以上の動作説明では、１垂直走査期間の画面のブロック分割を水平８分割、垂直６分割としたが、部分フリッカ領域が分割ブロックに一致すれば、水平８分割、垂直６分割のブロック分割以外であっても、部分フリッカを低減することができる。
【００６８】
また、以上の動作説明では、１つの撮像素子１０２からＳlong信号とＳshort 信号とを読み出し、同時化回路１０４でＳlong信号とＳshort 信号をタイミングを合わせて出力するものとした。しかし、フリッカがないＳlong信号を出力するものであれば、他の撮像素子又はセンサを用いても同様の効果を得ることができる。
【００６９】
（実施の形態３）
本発明の実施の形態３における撮像装置について、図３〜図６、図１０、図１１を参照しながら説明する。図１０は実施の形態３による撮像装置の全体構成を示すブロック図である。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１０１２、信号合成回路１０６を含んで構成される。
【００７０】
撮像手段１１１は、光学系１０１、撮像素子１０２、ＡＳＰ・Ａ／Ｄ変換器１０３、同時化回路１０４、撮像素子駆動回路１１０から構成され、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号と、１／ｎ秒の電子シャッタスピードで撮像したＳshort 信号とを出力する機能を有している。
【００７１】
撮像素子（ＣＣＤ)１０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort信号として生成し、Ｓlong信号及びＳshort信号のタイミングを合わせて出力する回路である。撮像素子駆動回路１１０はマイコン１００９からの制御信号によって撮像素子１０２の駆動を行うものである。
【００７２】
信号合成回路１０６は、破線部で示す利得制御手段１０１２でＳshort 信号が補正されたＳshort'信号と、Ｓlong信号が補正されたＳlong’信号とを合成し、映像信号Ｓmix を出力するものである。利得制御手段１０１２は、第１の乗算器１００１、第２の乗算器１０５、第１の積分回路１０７、第２の積分回路１０８、マイクロコンピュータ（マイコン）１００９から構成される。
【００７３】
同時化回路１０４から出力されたＳshort 信号は、乗算器１０５を介して信号合成回路１０６に与えられると共に、第２の積分回路１０８にも与えられる。また、同時化回路１０４から出力されたＳlong信号は、乗算器１００１を介して信号合成回路１０６に与えられると共に、第１の積分回路１０７にも与えられる。第１の積分回路１０７はＳlong信号を入力して１垂直走査期間の積分を行い、積分値ΣＳlongを出力する回路である。第２の積分回路１０８はＳshort 信号を入力して１垂直走査期間の積分を行い、積分値Σshort を出力する回路である。積分値ΣＳlongと積分値ΣＳshort は、制御手段としてのマイコン１００９に入力される。
【００７４】
マイコン１００９は、まずΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するため、Ｓlong信号に乗算するためのlong補正ゲインを計算し、タイミングを合わせて第１の乗算器１００１へ出力すると共に、補正後のＳlong信号であるＳlong’信号と、補正後のＳshort 信号であるＳshort'信号との比がｎ：ｍになるようにshort 補正ゲインとを計算し、タイミングを合わせて第２の乗算器１０５に出力する制御手段である。第１の乗算器１００１はＳlong信号に対してlong補正ゲインを乗算するものである。第２の乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算するものである。
【００７５】
このように構成された実施の形態３における撮像装置の動作について説明する。図１１は本実施の形態の撮像装置において、５０Ｈｚ駆動の蛍光灯で被写体を照明したとき、撮像素子１０２の蓄積電荷の変化を示した模式図である。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／７０秒の電子シャッタスピードで撮像した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）に示すように斜線で示した蓄積電荷量が３垂直走査期間の周期で変動する。また、図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明したとき、１／４００秒の電子シャッタスピードで被写体を撮像した場合も、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示した蓄積電荷量が３垂直走査期間の周期で変動する。
【００７６】
図１０において、光学系１０１により形成された被写体の光学像は、撮像素子（ＣＣＤ) １０２に入射されると、光電変換される。例えば１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した場合を考える。撮像素子１０２では、垂直走査期間毎に１／７０秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号が出力される。
【００７７】
撮像素子１０２の出力信号はＡＳＰ・Ａ／Ｄ変換器１０３に入力され、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は、ＡＳＰ・Ａ／Ｄ変換器１０３の出力をＳlong信号とＳshort 信号とに分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳlong信号は第１の乗算器１００１を経て信号合成回路１０６に入力され、Ｓshort 信号は第２の乗算器１０５を経て信号合成回路１０６に入力される。信号合成回路１０６は、補正されたＳlong’信号とＳshort'信号を合成して映像信号Ｓmix を出力する。
【００７８】
図３と図２を用いて撮像素子１０２の駆動動作と同時化回路１０４の動作について具体的に説明する。図３（ａ）に示すように、垂直同期信号ＶＤは１垂直走査期間の周期つまり１／６０秒の周期の同期信号になっている。図１０の撮像素子１０２はこの垂直同期信号に同期して駆動され、Ｓlong信号の電荷は、図３（ｂ）に示すように垂直同期信号の周期で１／７０秒の期間蓄積される。また、Ｓshort 信号は１／４００秒の期間蓄積される。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが発生する。これらの読み出しパルスでＳlong信号とＳshort 信号とが撮像素子１０２から出力される。
【００７９】
撮像素子１０２から出力されたＳlong信号とＳshort 信号はＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。図２に示す同時化回路１０４では、入力信号をセレクタ３０１に与えてＳlong信号とＳshort 信号とを分離する。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３へ入力される。第１のメモリ３０２においては、Ｓlong信号を図３（ｄ）に示すタイミングＡで書き込みを開始し、図３（ｅ）に示すタイミングＣで読み出しを開始する。また第２のメモリ３０３においては、Ｓshort 信号を図３（ｄ）に示すタイミングＢで書き込みを開始し、図３（ｆ）に示すタイミングＤで読み出しを開始する。こうしてＳlong信号とＳshort 信号とをタイミングを合わせて出力する。
【００８０】
次に図１０と図１１を用いてフリッカ補正の動作について説明する。図１１（ａ）に示すように、撮像装置の垂直同期信号ＶＤの周期は公称１／６０秒に設定されている。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／７０秒の電子シャッタスピードで撮像し、信号電荷を蓄積した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。また図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で照明された被写体を１／４００秒の電子シャッタスピードで撮像し、信号蓄積した場合も同様に、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。この３垂直走査期間の周期の変動がフリッカになる。
【００８１】
図１０において、同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１の積分回路１０７と第２の積分回路１０８に与えられる。第１の積分回路１０７はＳlong信号の１垂直走査期間の積分値Σlongを算出する。第２の積分回路１０８はＳshort 信号の１垂直走査期間の積分値Σshort を算出する。第１の積分回路１０７で算出された積分値Σlongと、第２の積分回路１０８で算出された積分値Σshort はマイコン１００９に入力される。
【００８２】
マイコン１００９は、まずΣlongを３垂直走査期間連続して検出し、３垂直走査期間の積分値Σlongが、５０Ｈｚの蛍光灯により発生したフリッカの輝度レベルのパターンと一致するかを比較する。そして一致したフリッカパターンの発生数をカウントし、所定時間のカウント数が設定値を越えた場合、フリッカ補正を行うため、連続した３垂直走査期間のΣlongの平均値になるようにlong補正ゲインを計算し、タイミングを合わせて第１の乗算器１００１へlong補正ゲインを出力する。例えば、連続した３垂直走査期間のΣlongを夫々Σlong１、Σlong２、Σlong３とすると、
long補正ゲイン＝（Σlong１＋Σlong２＋Σlong３）／（３×Σlong２）となる。
このlong補助ゲインは、Σlong２の値を平均レベルとした場合の例である。
【００８３】
次にマイコン１００９は、ΣlongとΣshort から、補正後のＳlong’信号と補正後のＳshort'信号の比が４００：７０になるようにshort 補正ゲインを計算し、タイミングを合わせて第２の乗算器１０５に出力する。第２の乗算器１０５はＳshort 信号に対してshort 補正ゲインを乗算し、乗算結果とＳshort'信号を出力する。
【００８４】
このように制御することによって、Ｓlong信号にフリッカが検出された場合は、long補正ゲインによってフリッカが低減される。また、フリッカが低減されたＳlong’信号との比が常に４００：７０になるように、Ｓshort 信号にshort 補正ゲインを乗算することで、Ｓshort 信号に含まれるフリッカを低減することができる。
【００８５】
なお、図６のＳlong（１／７０）の特性に示すように、Ｓlong信号が基準値を越えた場合、例えば飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong’信号とＳshort'信号の信号レベルの比を正確に４００：７０にすることができなくなる。従ってＳlong信号が基準値を越えた場合は、第１の積分回路１０７と第２の積分回路１０８で基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにする。こうすると、４００：７０にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限るものでない。
【００８６】
次に、信号合成回路１０６のダイナミックレンジを拡大する動作について図４、図６を用いて説明する。図４において、long補正ゲインを乗算することでフリッカが低減されたＳlong’信号と、short 補正ゲインを乗算することでフリッカが低減されたＳshort'信号を加算器５０１に与え、加算によりダイナミックレンジが拡大された映像信号Ｓmix 出力する。図６において、Ｓlong信号（１／７０）は１／７０秒の電子シャッタスピードで撮像しているので、Ｂより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。
【００８７】
また、Ｓshort'信号は１／４００秒の電子シャッタスピードで撮像しているので、Ｓlong信号に比べて約５．７倍の高輝度部まで階調を再現することができる。よって、Ｓlong’信号とＳshort'信号を加算器５０１で加算することで、低輝度から高輝度まで階調を再現することができる。つまり、Ｓmix 信号でフリッカを低減し、且つダイナミックレンジを拡大した映像信号を得ることができる。
【００８８】
なお、以上の動作説明で、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した。しかし、電子シャッタスピードを１／７０秒及び１／４００秒以外の値に変更したい場合は、マイコン１００９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。電子シャッタスピードが１／７０秒及び１／４００秒以外でも、全く同様の動作でフリッカを低減することができる。
【００８９】
また以上の動作説明では、撮像手段１１１として、１つの撮像素子１０２からＳlong信号とＳshort信号を取り出し、同時化回路１０４でＳlong信号とＳshort 信号とをタイミングを合わせて出力するようにしたが、上記のＳlong信号に相当する信号を出力するものであれば、他の撮像素子等を用いても同様の効果を得ることができる。
【００９０】
（実施の形態４）
本発明の実施の形態４における撮像装置について、図３〜図６、図８、図９、図１１、図１２を参照しながら説明する。図１２は本実施の形態による撮像装置の全体構成を示すブロック図である。尚、実施の形態２と同一部分は同一の符号を付け、詳細な説明は省略する。この撮像装置は、左側破線部で示す撮像手段１１１、右側破線部で示す利得制御手段１２１２、信号合成回路１０６を含んで構成される。
【００９１】
撮像手段１１１において、撮像素子（ＣＣＤ) １０２は、光学系１０１により形成された被写体の光学像が入射されると、光電変換して画素信号を出力するものである。撮像素子１０２の出力はＡＳＰ・Ａ／Ｄ変換器１０３に与えられる。ＡＳＰ・Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号をサンプリングし、利得調整した後、アナログ／デジタル変換して出力するものである。ＡＳＰ・Ａ／Ｄ変換器１０３の出力は同時化回路１０４に与えられる。同時化回路１０４は蓄積タイミングと蓄積時間の異なる画素信号をＳlong信号及びＳshort 信号として生成し、Ｓlong信号及びＳshort 信号のタイミングを合わせて出力する回路である。
【００９２】
信号合成回路１０６は、利得制御手段１２１２でＳshort信号が補正されたＳshort'と、Ｓlong信号が補正されたＳlong’信号とを合成し、映像信号Ｓmixを出力するものである。利得制御手段１２１２は、破線部で示すように第１のブロック乗算器１２０１、第２のブロック乗算器７０５、第１のブロック分割積分回路７０７、第２のブロック分割積分回路７０８、マイコン１２０９から構成される。同時化回路１０４から出力されたＳlong信号は第１のブロック乗算器１２０１と第１のブロック積分回路７０７とに与えられ、Ｓshort信号は第２のブロック乗算器７０５と第２のブロック分割積分回路７０８とに与えられる。
【００９３】
第１のブロック分割積分回路７０７はＳlong信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ（ｉはブロック番号を示し、例えば０１，０２・・・４８の値をとる）毎に積分値ＢｉΣlongを算出する回路である。同様に、第２のブロック分割積分回路７０８はＳshort 信号を入力し、１垂直走査期間の画面領域を複数のブロックに分割し、ブロックｉ毎に積分値ＢｉΣshort を算出する回路である。第１のブロック分割積分回路７０７から出力されたＢｉΣlongと、第２のブロック分割積分回路７０８から出力されたＢｉΣshort は、制御手段としてのマイコン１２０９に入力される。
【００９４】
マイコン１２０９は、撮像素子駆動回路１１０に対して制御信号を出力すると共に、ＢｉΣlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するように、Ｓlong信号に乗算するＢｉlong補正ゲインを計算し、タイミングを合わせて第１のブロック乗算器１２０１へ出力する制御手段である。またマイコン１２０９は、ＢｉΣlongとＢｉΣshort から、Ｓlong’信号とＳshort'信号の比がブロック毎にｎ：ｍになるように、Ｂｉshort 補正ゲインを計算し、タイミングを合わせて第２のブロック乗算器７０５へ出力する機能を有する。
【００９５】
第１のブロック乗算器１２０１はブロック毎にＳlong信号に対してＢｉlong補正ゲインを乗算し、乗算結果としてＳlong’信号を出力する回路である。第２のブロック乗算器７０５はブロック毎にＳshort 信号に対してＢｉshort 補正ゲインを乗算し、乗算結果としてＳshort'信号を出力する回路である。
【００９６】
このように構成された実施の形態４における撮像装置の動作について説明する。図１２において、光学系１０１により形成された被写体の光学像は撮像素子( ＣＣＤ) １０２に入射され、光電変換される。例えば、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定した場合を考える。撮像素子１０２では、垂直走査期間毎に１／７０秒の電子シャッタスピードで蓄積したＳlong信号と、１／４００秒の電子シャッタスピードで蓄積したＳshort 信号を出力する。
【００９７】
撮像素子１０２の出力信号はＡＳＰ・Ａ／Ｄ変換器１０３に与えられ、サンプリング及び利得調整された後、アナログ／デジタル変換される。ＡＳＰ・Ａ／Ｄ変換器１０３の出力信号は同時化回路１０４に与えられる。同時化回路１０４は入力信号をＳlong信号とＳshort 信号とに分離し、タイミングを合わせて出力する。同時化回路１０４から出力されたＳlong信号は第１のブロック乗算器１２０１を経て信号合成回路１０６に入力され、Ｓshort 信号は第２のブロック乗算器７０５を経て信号合成回路１０６に入力される。信号合成回路１０６では、Ｓlong’信号とＳshort'信号とを加算し、映像信号Ｓmix を出力する。
【００９８】
図２及び図３を用いて撮像素子１０２の駆動動作と、同時化回路１０４の動作について具体的に説明する。図３（ａ）に示す垂直同期信号ＶＤは、１垂直走査期間の周期つまり１／６０秒の周期の同期信号になっている。撮像素子１０２はこの垂直同期信号に同期して駆動される。図３（ｂ）に示すように、Ｓlong信号の電荷は垂直同期信号の周期で１／７０秒の期間蓄積され、Ｓshort 信号の電荷は１／４００秒の期間蓄積される。図３（ｃ）に示すように、Ｓlong信号とＳshort 信号の蓄積終了時に読み出しパルスが出力される。
【００９９】
これらの読み出しパルスでＳlong信号とＳshort 信号は撮像素子１０２から出力される。撮像素子１０２から出力されたＳlong信号とＳshort 信号とはＡＳＰ・Ａ／Ｄ変換器１０３を経て同時化回路１０４に入力される。図２に示す同時化回路１０４では、入力信号がセレクタ３０１によりＳlong信号とＳshort 信号とに分離される。分離されたＳlong信号とＳshort 信号は夫々第１のメモリ３０２と第２のメモリ３０３に入力される。第１のメモリ３０２においては、Ｓlong信号を図３（ｄ）に示すタイミングＡで書き込みを開始し、図３（ｅ）に示すタイミングＣで読み出しを開始する。また第２のメモリ３０３においては、Ｓshort 信号を図３（ｄ）に示すタイミングＢで書き込みを開始し、図３（ｆ）に示すタイミングＤで読み出しを開始する。こうすると、Ｓlong信号とＳshort 信号がタイミングが合わされて出力される。
【０１００】
次に、図８、図９、図１１、図１２を用いてフリッカ補正の動作について説明する。図１１（ｂ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明し、１／７０秒の電子シャッタスピードで撮像して信号電荷を蓄積した場合、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｃ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。また図１１（ｄ）に示すように、５０Ｈｚ駆動の蛍光灯で被写体を照明し、１／４００秒の電子シャッタスピードで撮像して信号電荷を蓄積した場合も、垂直走査期間毎の蓄積タイミングが異なるため、図１１（ｅ）の斜線部で示すように、蓄積電荷が３垂直走査期間の周期で変動する。このような３垂直走査期間の周期の変動がフリッカになる。
【０１０１】
図１２において、同時化回路１０４から出力されたＳlong信号とＳshort 信号は、夫々第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８に与えられる。第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８は夫々Ｓlong信号とＳshort 信号とを、図８に示すように１垂直走査期間の画面領域を複数のブロックＢｉ（ｉ＝０１，０２，・・・４８）に分割し、ブロック毎の積分値ＢｉΣlongとＢｉΣshort とを算出する。第１のブロック分割積分回路７０７の出力するＢｉΣlongと、第２のブロック分割積分回路７０８の出力するＢｉΣshort は夫々マイコン１２０９に入力される。
【０１０２】
マイコン１２０９は、まずＢｉΣlongを３垂直走査期間連続して検出し、３垂直走査期間の積分値ＢｉΣlongが５０Ｈｚの蛍光灯により発生したフリッカの輝度レベルのパターンと一致するか比較し、一致したフリッカパターン数をカウントする。そして所定時間のカウント数が設定値を越えた場合、フリッカ補正を行うため、連続した３垂直走査期間のＢｉΣlongの平均値になるようにブロック毎にＢｉlong補正ゲインを計算し、第１のブロック乗算器１２０１に与える。
【０１０３】
図９に示す構成の第１のブロック乗算器１２０１では、マイコン１２０９から出力されたＢｉlong補正ゲインをブロックゲインレジスタ９０１、９０２、・・・９０３に設定する。Ｂｉlong補正ゲインは、連続した３垂直走査期間のＢｉΣlongを夫々ＢｉΣlong１、ＢｉΣlong２、ＢｉΣlong３とすると、例えば以下のように設定される。
Ｂｉlong補正ゲイン＝（ＢｉΣlong１＋ＢｉΣlong２＋ＢｉΣlong３）／（３×ＢｉΣlong２）
ブロックゲインレジスタ９０１〜９０３に設定されたＢｉlong補正ゲインは、セレクタ回路９０４に与えられる。セレクタ回路９０４では、ブロック分割されたＳlong信号とタイミングを合わせてＢｉlong補正ゲインが選択される。乗算器９０５はＳlong信号に対してＢｉlong補正ゲインを乗算し、補正されたＳlong’信号を出力する。
【０１０４】
次にＢｉΣlongとＢｉΣshort から、Ｓlong’信号とＳshort'信号との比がブロック毎に４００：７０になるようにＢｉshort 補正ゲインを計算し、タイミングを合わせてＢｉshort 補正ゲインを第２のブロック乗算器７０５に出力する。
【０１０５】
また図９に示す構成の第２のブロック乗算器７０５では、マイコン１２０９で算出されたＢｉshort 補正ゲインはブロックゲインレジスタ９０１、９０２、・・・９０３に設定される。ブロックゲインレジスタ９０１〜９０３に設定されたＢｉshort 補正ゲインはセレクタ回路９０４で選択される。このときブロック分割されたＳshort 信号とタイミングを合わせて選択される。次に、乗算器９０５はＳshort 信号に対してＢｉshort 補正ゲインを乗算し、補正されたＳshort'信号を出力する。
【０１０６】
このように制御することによって、Ｓlong信号にフリッカが検出された場合は、Ｂｉlong補正ゲインによってフリッカが低減される。また、フリッカが低減されたＳlong’信号とＳshort'信号との比が常に４００：７０になるように、ブロック毎にＳshort 信号にＢｉＳhort補正ゲインを乗算するので、図８に示したように被写体の一部分がフリッカしている場合においても、フリッカがない部分を過補正することなく、フリッカ部分だけを最適に補正することができる。
【０１０７】
なお、図６に示すようにＳlong信号が基準値を越えた場合、例えば飽和信号レベルＶｓを越えた場合は、Ｓlong信号の積分値が小さくなってしまい、Ｓlong信号とＳshort 信号の信号レベルの比を正確に４００：７０に制御できなくなる。従って、Ｓlong信号が基準値を越えた場合は、第１のブロック分割積分回路７０７と第２のブロック分割積分回路７０８で、基準値を越えた部分のＳlong信号と同じ部分のＳshort 信号とを共に積分しないようにすることにより、４００：７０にする補正ゲインを正確に求めることができる。また、積分回路で正確な積分値を求めることができれば、基準値は飽和信号レベルＶｓに限定する必要はない。
【０１０８】
次に、信号合成回路１０６のダイナミックレンジを拡大する動作について、図４〜図６を用いて説明する。図４に示す信号合成回路１０６において、フリッカが低減されたＳlong’信号とＳshort'信号とを加算器５０１で加算し、映像信号Ｓmix を出力する。図６に示すように、Ｓlong信号は１／７０秒の電子シャッタスピードで撮像した信号であるので、図６のＢより大きい入射光量があると、高輝度部で飽和することもあるが、低輝度部は階調を再現することができる。
【０１０９】
また、Ｓshort 信号は１／４００秒の電子シャッタスピードで撮像した信号であるので、Ｓlong信号に比べて約５．７倍の高輝度部まで階調を再現することができる。よって、Ｓlong’信号とＳshort'信号を加算器５０１で加算することで、低輝度から高輝度までの階調を再現することができる。つまり、映像信号Ｓmix を使用することにより、フリッカを低減し、且つダイナミックレンジを拡大した映像を得ることができる。
【０１１０】
なお、以上の動作説明では、１／ｍ秒の電子シャッタスピードとして１／７０秒に設定し、１／ｎ秒の電子シャッタスピードとして１／４００秒に設定したが、電子シャッタスピードを１／７０秒及び１／４００秒以外の値に変更したい場合は、マイコン１２０９が撮像素子駆動回路１１０に電子シャッタスピードを変更する制御信号を送り、指示された電子シャッタスピードに従って撮像素子１０２を駆動することができる。電子シャッタスピードが１／７０秒と１／４００秒以外の値でも、全く同様の動作でフリッカを低減することができる。
【０１１１】
なお、以上の動作説明では、１垂直走査期間の画面のブロック分割を水平８分割、垂直６分割したが、部分フリッカ領域が分割ブロックに一致すれば、水平８分割、垂直６分割のブロック分割でなくても、部分フリッカを低減することができる。
【０１１２】
なお、以上の動作説明では、１つの撮像素子１０２からＳlong信号とＳshort信号とを読み出し、同時化回路１０４でＳlong信号とＳshort信号をタイミングを合わせて出力するようにしたが、上記のＳlong信号に相当する信号を出力するものであれば、他の撮像素子等を用いても同様の効果を得ることができる。
【０１１４】
【発明の効果】
垂直同期信号の周波数と異なる周波数の照明装置で被写体が照明されているとき、撮像手段の出力する映像信号にフリッカが生じる。本願の請求項１記載の発明によれば、Ｓlong信号として１／ｍ秒の電子シャッタスピード、例えば１／１００秒の電子シャッタスピードで撮像することでフリッカを低減でき、フリッカが低減されたＳlong信号とＳlong’信号との信号レベルの比が、ｎ：ｍになるようにshort補正ゲインをＳshort 信号に対して乗算することにより、フリッカのないＳshort'信号を得ることができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。
【０１１５】
また本願の請求項２記載の発明によれば、Ｓlong信号として１／ｍ秒の電子シャッタスピード、例えば１／１００秒の電子シャッタスピードで撮像することでフリッカを低減でき、フリッカが低減されたＳlong信号とＳlong’信号との信号レベルの比が、ｎ：ｍになるようにＢｉshort補正ゲインを各ブロック毎に乗算することにより、フリッカのないＳshort'信号を得ることができる。特に被写体の一部分がフリッカしている場合に、フリッカ部分だけを補正することができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。
【０１１６】
また本願の請求項３記載の発明によれば、Ｓlong信号に対しては、Σlongから周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベルの変化を補正するようにlong補正ゲインを乗算することで、Ｓlong信号のフリッカを意図的に低減できる。フリッカが低減されたＳlong’信号とＳshort'信号との比がｎ：ｍになるようにshort補正ゲインをＳshort信号に乗算することにより、フリッカのないＳshort'信号を得ることができる。また、フリッカが低減されたＳshort'信号で高輝度部を再現し、Ｓlong’信号で低輝度部を再現することにより、ダイナミックレンジを拡大した映像を出力することができる。この場合は、照明装置の点滅周期と同期した電子シャッタスピードで必ずしも撮像する必要はない。
【０１１７】
また本願の請求項４記載の発明によれば、請求項３記載の撮像装置と請求項４記載の撮像装置の両方の効果が得られる。
【０１１９】
また本願の請求項５及び６記載の撮像装置によれば、高輝度照明の場合も、補正ゲインは精度よく演算され、フリッカを抑止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における撮像装置の全体構成を示すブロック図である。
【図２】本発明の各実施の形態による撮像装置において、同時化回路の構成を示すブロック図である。
【図３】本発明の各実施の形態による撮像装置において、撮像素子と同時化回路の動作を示すタイミングチャートである。
【図４】本発明の各実施の形態による撮像装置において、信号合成回路の構成を示すブロック図である。
【図５】本発明の実施の形態１及び２による撮像装置において、５０Ｈｚ駆動の蛍光灯照明時の撮像素子の蓄積電荷の変化を示した模式図である。
【図６】本発明の各実施の形態による撮像装置において、Ｓlong信号とＳshort 信号と信号合成回路のＳmix 信号との関係を示す特性図である。
【図７】本発明の実施の形態２における撮像装置の全体構成を示すブロック図である。
【図８】本発明の実施の形態２及び４による撮像装置において、垂直走査期間の画面領域のブロック分割を示す模式図である。
【図９】本発明の実施の形態２及び４による撮像装置において、ブロック乗算器の構成を示すブロック図である。
【図１０】本発明の実施の形態３における撮像装置の全体構成を示すブロック図である。
【図１１】本発明の実施の形態３及び４による撮像装置において、５０Ｈｚ駆動の蛍光灯照明時の撮像素子の蓄積電荷の変化を示した模式図である。
【図１２】本発明の実施の形態４における撮像装置の全体構成を示すブロック図である。
【図１３】第１の従来例における撮像装置の全体構成図である。
【図１４】第２の従来例における撮像装置の全体構成図である。
【符号の説明】
１０１ 光学系
１０２ 撮像素子
１０３ ＡＳＰ・Ａ／Ｄ変換器
１０４ 同時化回路
１０５ 乗算器（第２の乗算器）
１０６ 信号合成回路
１０７ 第１の積分回路
１０８ 第２の積分回路
１０９，７０９，１００９，１２０９ マイコン
１１０ 撮像素子駆動回路
１１１ 撮像手段
１１２，７１２，１０１２，１２１２ 利得制御手段
３０１，９０４ セレクタ
３０２ 第１のメモリ
３０３ 第２のメモリ
５０１ 加算器
７０５，９００，１２０１ ブロック乗算器
７０７ 第１のブロック分割積分回路
７０８ 第２のブロック分割積分回路
９０５ 乗算器
９０１〜９０３ ブロックゲインレジスタ
１００１ 第１の乗算器
Claims (6)
- 電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、
前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、
前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、
前記Σlongと前記Σshortのデータを用いて、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号とＳshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、
前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する乗算器と、
前記Ｓlong信号と前記乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とする撮像装置。 - 電子シャッタスピード１／ｍ秒を被写体を照明する照明装置の明滅周期に等しく設定し、１垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、
１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロックＢｉの前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、
１垂直走査期間の画面領域の前記各ブロックＢｉの前記Ｓshort 信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、
前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、各ブロックＢｉで前記Ｓshort信号をＳshort補正ゲインで補正した信号をＳshort'信号とするとき、前記Ｓlong信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを前記ブロックＢｉ毎に演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、
前記ブロックＢｉ毎に前記Ｓshort信号に対して前記制御手段が生成したＳshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号と
して出力するブロック乗算器と、
前記Ｓlong信号と前記ブロック乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とする撮像装置。 - １垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、
前記Ｓlong信号の１垂直走査期間の積分値Σlongを算出する第１の積分回路と、
前記Ｓshort信号の１垂直走査期間の積分値Σshortを算出する第２の積分回路と、
前記Σlongから周期的光量変化分を検出し、この周期的光量変化分による前記Ｓlong信号のレベル変化を補正するため、前記Ｓlong信号に乗算するlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、かつ前記Σlongと前記Σshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がｎ：ｍになるように前記Ｓshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、
前記Ｓlong信号に対して前記制御手段が生成したlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、
前記Ｓshort信号に対して前記制御手段が生成したshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、
前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とする撮像装置。 - １垂直走査期間内に１／ｍ秒の電子シャッタスピードで撮像したＳlong信号、及び１／ｎ秒の電子シャッタスピードで撮像したＳshort信号を出力する撮像手段と、
１垂直走査期間の画面領域を複数のブロックＢｉ（ｉはブロック番号）に分割し、各ブロック毎の前記Ｓlong信号を積分し、積分値ＢｉΣlongを算出する第１のブロック分割積分回路と、
１垂直走査期間の画面領域の前記各ブロックＢｉ毎の前記Ｓshort信号を積分し、積分値ＢｉΣshortを算出する第２のブロック分割積分回路と、
前記ＢｉΣlongからブロックＢｉ毎の周期的光量変化分を検出し、この周期的光量変化分によるＳlong信号のレベル変化をブロックＢｉ毎に補正するように前記Ｓlong信号に乗算するＢｉlong補正ゲインを演算し、前記Ｓlong信号をlong補正ゲインで補正した信号をＳlong’信号とし、前記Ｓshort信号をshort補正ゲインで補正した信号をＳshort'信号とするとき、前記ＢｉΣlongと前記ＢｉΣshortのデータを用いて、前記Ｓlong’信号と前記Ｓshort'信号との比がブロックＢｉ毎にｎ：ｍになるように前記Ｂｉshort補正ゲインを演算し、所定時間遅延して前記Ｓshort補正ゲインを出力する制御手段と、
前記Ｓlong信号に対して前記制御手段が生成したＢｉlong補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓlong’信号として出力する第１の乗算器と、
前記Ｓshort信号に対して前記制御手段が生成したＢｉshort補正ゲインを乗算し、乗算結果をフリッカが抑止された前記Ｓshort'信号として出力する第２の乗算器と、
前記第１の乗算器から出力された前記Ｓlong’信号と前記第２の乗算器から出力されたＳshort'信号とを合成することにより、ダイナミックレンジが拡大された映像信号を出力する信号合成回路と、を具備することを特徴とする撮像装置。 - 前記Ｓlong信号が基準値を越えた場合は、前記第１の積分回路及び前記第２の積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とする請求項１又は３記載の撮像装置。
- 前記Ｓlong信号が基準値を越えた場合は、前記第１のブロック分割積分回路及び前記第２のブロック分割積分回路は、前記基準値を越えた部分の前記Ｓlong信号及びこれと同じ部分の前記Ｓshort信号を積分しないようにしたことを特徴とする請求項２又は４記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23415499A JP3808248B2 (ja) | 1999-08-20 | 1999-08-20 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23415499A JP3808248B2 (ja) | 1999-08-20 | 1999-08-20 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001061105A JP2001061105A (ja) | 2001-03-06 |
| JP3808248B2 true JP3808248B2 (ja) | 2006-08-09 |
Family
ID=16966506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23415499A Expired - Fee Related JP3808248B2 (ja) | 1999-08-20 | 1999-08-20 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3808248B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7920175B2 (en) | 2005-01-13 | 2011-04-05 | Canon Kabushiki Kaisha | Electronic still camera performing composition of images and image capturing method therefor |
| JP2006222935A (ja) * | 2005-01-13 | 2006-08-24 | Canon Inc | 電子スチルカメラ及び撮像方法及びプログラム及び記憶媒体 |
| JP4353223B2 (ja) | 2006-09-07 | 2009-10-28 | ソニー株式会社 | 画像データ処理装置、画像データ処理方法および撮像システム |
| JP2009017214A (ja) * | 2007-07-04 | 2009-01-22 | Canon Inc | フリッカ検出装置及びフリッカ検出方法 |
| JP2009253808A (ja) * | 2008-04-09 | 2009-10-29 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| US9100580B2 (en) | 2009-08-25 | 2015-08-04 | Robert Bosch Gmbh | Digital camera system and method |
| JP5896788B2 (ja) * | 2012-03-07 | 2016-03-30 | キヤノン株式会社 | 画像合成装置及び画像合成方法 |
| JP6045894B2 (ja) * | 2012-11-30 | 2016-12-14 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 画像処理装置および画像処理方法 |
| JP6045896B2 (ja) * | 2012-12-04 | 2016-12-14 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 評価値算出装置および評価値算出方法 |
| JP6116299B2 (ja) * | 2013-03-15 | 2017-04-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| EP3079353B1 (en) * | 2013-12-04 | 2021-03-03 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, electronic apparatus, and program |
| JP2015142201A (ja) * | 2014-01-28 | 2015-08-03 | 株式会社富士通ゼネラル | 撮像装置 |
| JP6338062B2 (ja) * | 2015-01-29 | 2018-06-06 | 株式会社富士通ゼネラル | 画像処理装置および撮像装置並びに画像処理方法 |
| JP2016146592A (ja) * | 2015-02-09 | 2016-08-12 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに電子機器 |
| CN111064897B (zh) * | 2018-10-17 | 2021-02-19 | 北京图森智途科技有限公司 | 一种曝光评估值的统计方法及成像设备 |
-
1999
- 1999-08-20 JP JP23415499A patent/JP3808248B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001061105A (ja) | 2001-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3808248B2 (ja) | 撮像装置 | |
| US7034870B2 (en) | Image pickup apparatus with reduced flicker and automatic level adjusting method of the same | |
| JP4154157B2 (ja) | 撮像装置 | |
| JP3082971B2 (ja) | ビデオ・カメラ，それを用いた撮影方法およびその動作方法，ならびに画像処理装置および方法 | |
| JP3004382B2 (ja) | 可変シャッタ付テレビカメラ装置 | |
| JP2009152669A (ja) | 撮像装置、撮像処理方法及び撮像制御プログラム | |
| JP2002314873A (ja) | 撮像装置用回路及び撮像用信号処理方法 | |
| KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
| JP2003319250A (ja) | 撮像装置および撮像方法 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| US7283171B2 (en) | Image pickup apparatus with external device | |
| JPH06268898A (ja) | 固体撮像素子を用いた撮像装置 | |
| JPH07298130A (ja) | 撮像装置 | |
| JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
| JP2002314885A (ja) | 撮像装置 | |
| JP2000350102A (ja) | 撮像装置のフリッカ補正回路および撮像素子 | |
| JP5022802B2 (ja) | 撮像装置及びその制御方法 | |
| JP3672463B2 (ja) | 撮像装置 | |
| JP2883254B2 (ja) | ビデオ・カメラおよびその制御方法 | |
| JPH1023324A (ja) | 撮像装置 | |
| JP2001186407A (ja) | 撮像装置 | |
| JP3864408B2 (ja) | 撮像装置、撮像装置の制御方法 | |
| JPH10174000A (ja) | 撮像装置 | |
| JPH09181979A (ja) | 固体撮像装置 | |
| JP3058994B2 (ja) | ビデオ・カメラおよびその測光方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |