JP6494301B2 - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP6494301B2 JP6494301B2 JP2015010677A JP2015010677A JP6494301B2 JP 6494301 B2 JP6494301 B2 JP 6494301B2 JP 2015010677 A JP2015010677 A JP 2015010677A JP 2015010677 A JP2015010677 A JP 2015010677A JP 6494301 B2 JP6494301 B2 JP 6494301B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- analog
- filtering process
- detection value
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
図1は、本発明の第1の実施形態における撮像装置で用いられる撮像素子1の構成を示すブロック図であり、撮像素子1と、撮像素子1により得られた画像データの出力先である画像処理部2とを示している。第1の実施形態における撮像素子1は、並列型AD変換器を実装したCMOSイメージセンサである。画像処理部2は、撮像素子1が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、最終的に記録媒体に記録する。また、画像処理部2はCPUを内蔵しており、このCPUにより、撮像装置の動作モードに応じて撮像素子1と通信(例えばシリアル通信)し、制御を行う。
α=(V2L−V1L)/(V2H−V1H) …(1)
β=(V2L−V1L)/(V2−V1)×Vs
−α(V2H―V1H)/(V2−V1)×Vs …(2)
上記補正値α、βの算出は、撮像素子1の内部で行っても良いし、画像処理部2で行っても良い。なお、V1L、V1H、V2L、V2Hは、ダミー画素領域からダミー画素の画素信号を読み出す際にそれぞれ複数得られるため、式(1)及び式(2)により傾きの比αとオフセット量βを求める際には、それぞれの平均値を用いる。
V1Hf(n)=V1H(n)×p+V1Hf(n−1)×(1−p)
(0≦p≦1) …(3)
式(3)において、V1Hf(n)は、nフレーム目におけるフィルタリング処理後の検出値である。また、nフレーム目に取得したダミー画素の読み出し期間中に取得された、新たな検出値をV1H(n)、n−1フレーム目におけるフィルタリング処理後の検出値をV1Hf(n−1)、巡回係数をp(0≦p≦1)と定義している。nの取り得る範囲は、n≧0であり、かつ、n=0の場合、前のフレームの検出値V1Hf(−1)が存在しないため、p=1.0に設定した状態で、かつ、V1Hf(n−1)=0となるように設定する。
S’D(n)=SD(n)×α+β …(4)
前述したように、列アンプ群130に供給している電源のノイズ、配線ノイズ、外乱ノイズにより検出値が変動した場合、巡回係数を小さくしてフィルタリング処理を行うことで、検出値の安定化を実現することができる。しかし、巡回係数pの値を小さくし過ぎると、次のような問題が生じる。すなわち、急激な温度変化や、撮像素子の駆動方法の切替えにより、理想値(検出値として取得される理想的な値)が急激に変化した場合、フィルタリング処理後の検出値V1Hf(n)の値が理想値付近まで収束するのに時間を要してしまう。また、巡回係数を大きくすると、フィルタリング処理による検出値の変動の低減効果が薄れてしまい、信号レベルの段差が見えるフレームが存在してしまう。
電源起動時は、映像信号の出力が安定していないことや、起動時における各種処理を行うために撮像素子1の駆動方法の切替えが発生することがあるため、理想値が大きく変化する可能性がある。また、電源起動後においても撮像素子の駆動方法が切替えられた場合、切替え直後に理想値が瞬間的に大きく変わる。上記要因により、フィルタリング処理後の検出値V1Hf(n)と理想値との差が瞬間的に大きくなってしまう。
検出値の理想的な値が変化する要因の一つとして、撮像素子1の温度変化がある。特に、電源起動後に撮像素子1が駆動し始めた際に、電力が撮像素子1内で消費し始めることにより急激に温度が上昇したり、この温度上昇を抑えるために、ファンやペルチェ素子などの冷却装置を用いて冷却が行われることで急激に温度が降下することがある。このような急激な温度変化により、フィルタリング処理後の検出値の理想値が急激に変化する可能性がある。
検出値V1H(n)が変動した場合に画像上に信号レベルの段差が見えるが、被写体のコントラストと明るさによって、目立ち易さが変わる。図11は、1フレーム分の画像の輝度分布を表すヒストグラムを示しており、横軸は信号レベル、縦軸は1フレームの画面内において発生した輝度の頻度(画素数)を示している。また、判定レベルVsとは、前述したとおり、第一のランプ信号VRAMP(大)と第二のランプ信号VRAMP(小)の切替えが行われる信号レベルを表している。
前述したように、理想値は、温度変化に応じて変化する。その理想値に対してフィルタリング処理後の検出値V1Hf(n)を追従させるためには、検出値V1H(n)を頻繁に取得し、更新していく必要がある。
フレームレートに応じて巡回係数を変更する場合について前述したが、撮像素子1の処理によっては、撮像素子1から画像を読み出すが、実際に出力画像としては用いない場合がある。例えば、120fpsで撮像素子1から画像を読み出し、30fpsで映像出力されるとする。この場合、4フレーム分の画像のうち、1枚の画像しか実際の画像としては使用されない。
電源ノイズ等による検出値V1H(n)の変動に起因して発生するレベル段差の見え方は、被写体によって目立ち方が変わる。特に、動画の場合は、被写体に動きが無い状態だと見え易いが、被写体に動きがあると、各画素の信号レベルが常に変化していることが多いため、目立ち難くなる。
前述したように、撮像素子で用いられるカラーフィルタは、R、G、Bの3色の原色カラーフィルタを用いたベイヤー配列の周期構造をとっているのが一般的である。上述したR、G、Bの3色のカラーフィルタを備えた各々の画素から出力される画素信号のうち、人間の視覚特性として、G画素に対して非常に敏感であるのに対し、RB画素に対してはG画素ほどは敏感で無いという特徴がある。つまり、信号レベルの段差がG画素に対しては目立って見えるのに対し、RB画素は、G画素ほどは目立ち難い。例として、G画素は信号レベルの段差が±10LSBを超えたときに目立ち始めるが、RB画素については、±20LSBまでは目立たないといった、視覚的なレベル段差の見え方(限界値)の違いが生じる。
低照度時において、画像信号のS/N比を改善するために、撮像素子1の列アンプ群130のゲインを切替えることがある。列アンプ群130のゲインを切替えることで、列アンプ群130以降の回路にて発生するノイズ成分を、画素信号に対して相対的に小さくすることが可能となり、S/N比を改善することができる。
Vf(n)=V(n)×p+Vf(n−1)×(1−p)
(0≦p≦1) …(5)
式(5)において、Vf(n)は、nフレーム目におけるフィルタリング処理後の検出値、V(n)はnフレーム目に取得したダミー画素の読み出し期間中に取得された新たな検出値である。また、Vf(n−1)はn−1フレーム目におけるフィルタリング処理後の検出値であり、巡回係数をp(0≦p≦1)としている。
以下、本発明の第2の実施形態について説明する。第2の実施形態において用いられる撮像装置は、第1の実施形態で図1を参照して説明した撮像装置と同様の構成を有するため、説明は省略し、差異についてのみ説明する。
Claims (21)
- 複数の画素が2次元に配置された画素部と
互いに異なる傾きを有する複数の参照信号を用いてアナログ信号をデジタル信号に変換するアナログデジタル変換手段と、
予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、
前記電圧供給手段により供給される前記複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段により前記複数の参照信号を用いてそれぞれ変換することで検出値を取得し、取得した前記検出値に対するフィルタリング処理を行い、該フィルタリング処理後の検出値に基づいて、前記複数の参照信号を用いて前記画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正値をフレーム毎に算出する算出手段と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であり、
前記算出手段は、前記フィルタリング処理前の検出値と、前記前のフレームにおける前記フィルタリング処理後の検出値との差分が閾値よりも大きい場合に、前記巡回係数を0に設定することを特徴とする撮像装置。 - 複数の画素が2次元に配置された画素部と、
互いに異なる傾きを有する複数の参照信号を用いてアナログ信号をデジタル信号に変換するアナログデジタル変換手段と、
予め決められた複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段に供給する電圧供給手段と、
前記電圧供給手段により供給される前記複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段により前記複数の参照信号を用いてそれぞれ変換することで検出値を取得し、取得した前記検出値に対するフィルタリング処理を行い、該フィルタリング処理後の検出値に基づいて、前記複数の参照信号を用いて前記画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正値をフレーム毎に算出する算出手段と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であり、
前記フィルタリング処理前の検出値は、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号を用いて前記補正値を求めるための演算の途中に得られる複数の中間値の各々に対応することを特徴とする撮像装置。 - 前記算出手段は、前記フィルタリング処理前の検出値をV(n)、前記フィルタリング処理後の検出値をVf(n)、前記前のフレームにおける前記フィルタリング処理後の検出値をVf(n−1)、前記巡回係数をpとした場合に、
Vf(n)=V(n)×p+Vf(n−1)×(1−p),(0≦p≦1)
により前記フィルタリング処理を行うことを特徴とする請求項1または2に記載の撮像装置。 - 前記フィルタリング処理前の検出値は、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号の各々に対応することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記フィルタリング処理前の検出値と、前記前のフレームにおける前記フィルタリング処理後の検出値との差分の絶対値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
- 温度を測定する温度検出手段を更に有し、
前記温度検出手段により測定された温度の変化率の絶対値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。 - 前記画素部から出力された1フレーム分の画像のコントラストが低い程、より小さい値を前記巡回係数に設定することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。
- 前記画素部を読み出す際のフレームレートが予め決められた範囲内にある場合に、該範囲より高い場合よりも、大きい値を前記巡回係数に設定することを特徴とする請求項2乃至7のいずれか1項に記載の撮像装置。
- 前記画素部を読み出して得られた画像を、映像出力として用いるフレームと用いないフレームとを含み、
前記映像出力として用いるフレームで算出された前記フィルタリング処理後の検出値と、前記映像出力として用いないフレームを含めて算出された前記フィルタリング処理後の検出値との差分の絶対値が予め決められた範囲内にある場合に、該範囲より大きい場合よりも、より大きい値を前記巡回係数に乗ずることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。 - 被写体の動き量を検出する動き量の検出手段を更に有し、
前記動き量の検出手段により検出された動き量が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。 - 前記画素部は、ベイヤー配列の原色カラーフィルタにより覆われ、
赤または青のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正値は、緑のフィルタにより覆われた画素に対応するデジタル信号を補正するための補正値よりも大きい値を前記巡回係数に乗じて算出することを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。 - 前記アナログデジタル変換手段は、前記画素部を構成する各画素から出力されるアナログ信号の出力レベルが予め決められた判定レベルより小さい場合に、第一の参照信号を用いて変換したデジタル信号を出力し、前記判定レベル以上の場合に、前記第一の参照信号よりも傾きの大きい第二の参照信号を用いて変換したデジタル信号を出力することを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
- 前記画素部を構成する各画素から出力されるアナログ信号を、前記アナログデジタル変換手段により変換する前に増幅する増幅手段を更に有し、
前記増幅手段による増幅率が変化した場合に、前記判定レベルを前記増幅率の変化に対応するように変更した値が予め決められた範囲内にある場合に、該範囲より小さい場合よりも、大きい値を前記巡回係数に乗ずることを特徴とする請求項12に記載の撮像装置。 - 前記算出手段により算出された前記補正値を用いて、前記画素部から出力されたアナログ信号をアナログデジタル変換して得られた前記デジタル信号を補正する補正手段を更に有することを特徴とする請求項1乃至13のいずれか1項に記載の撮像装置。
- 前記画素部は、光電変換素子を含まないダミー画素を有し、前記電圧供給手段は、前記ダミー画素の読み出し期間に、前記予め決められた複数の異なる出力レベルのアナログ信号を供給することを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
- 前記画素部は複数の領域に分割され、前記算出手段は、前記分割した複数の領域それぞれについて前記補正値を算出することを特徴とする請求項1乃至15のいずれか1項に記載の撮像装置。
- 前記アナログデジタル変換手段が、前記画素部の各列にそれぞれ配置されていることを特徴とする請求項1乃至16のいずれか1項に記載の撮像装置。
- 複数の画素が2次元に配置された画素部を有する撮像装置の制御方法であって、
電圧供給手段が、予め決められた複数の異なる出力レベルのアナログ信号をアナログデジタル変換手段に供給する電圧供給工程と、
前記アナログデジタル変換手段が、前記複数の異なる出力レベルのアナログ信号を、互いに異なる傾きを有する複数の参照信号を用いて複数のデジタル信号に変換するアナログデジタル変換工程と、
算出手段が、前記電圧供給手段により供給される前記複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段により前記複数の参照信号を用いてそれぞれ変換することで検出値を取得し、取得した前記検出値に対してフィルタリング処理を行うフィルタリング工程と、
前記算出手段が、前記フィルタリング処理後の前記検出値に基づいて、前記複数の参照信号を用いて前記画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正値をフレーム毎に算出する算出工程と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であり、
前記フィルタリング処理前の検出値と、前記前のフレームにおける前記フィルタリング処理後の検出値との差分が閾値よりも大きい場合に、前記巡回係数を0に設定することを特徴とする撮像装置の制御方法。 - 複数の画素が2次元に配置された画素部を有する撮像装置の制御方法であって、
電圧供給手段が、予め決められた複数の異なる出力レベルのアナログ信号をアナログデジタル変換手段に供給する電圧供給工程と、
前記アナログデジタル変換手段が、前記複数の異なる出力レベルのアナログ信号を、互いに異なる傾きを有する複数の参照信号を用いて複数のデジタル信号に変換するアナログデジタル変換工程と、
算出手段が、前記電圧供給手段により供給される前記複数の異なる出力レベルのアナログ信号を前記アナログデジタル変換手段により前記複数の参照信号を用いてそれぞれ変換することで検出値を取得し、取得した前記検出値に対してフィルタリング処理を行うフィルタリング工程と、
前記算出手段が、前記フィルタリング処理後の前記検出値に基づいて、前記複数の参照信号を用いて前記画素部から出力されるアナログ信号を前記アナログデジタル変換手段により変換して得られるデジタル信号を補正するための補正値をフレーム毎に算出する算出工程と、を有し、
前記フィルタリング処理は、前記フィルタリング処理前の検出値と、前のフレームにおける前記フィルタリング処理後の検出値を、巡回係数により重み付け加算する処理であり、
前記フィルタリング処理前の検出値は、前記複数の異なる出力レベルのアナログ信号を前記複数の参照信号によりそれぞれ変換して得られた複数のデジタル信号を用いて前記補正値を求めるための演算の途中に得られる複数の中間値の各々に対応することを特徴とする撮像装置の制御方法。 - 前記画素部は複数の領域に分割され、前記算出工程では、前記分割した複数の領域それぞれについて前記補正値を算出することを特徴とする請求項18または19に記載の撮像装置の制御方法。
- 前記算出工程で算出された前記補正値を用いて、前記画素部から出力されたアナログ信号をアナログデジタル変換して得られた前記デジタル信号を補正する補正工程を更に有することを特徴とする請求項18乃至20のいずれか1項に記載の撮像装置の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015010677A JP6494301B2 (ja) | 2015-01-22 | 2015-01-22 | 撮像装置及びその制御方法 |
US15/001,944 US9736406B2 (en) | 2015-01-22 | 2016-01-20 | Image capturing apparatus and control method thereof |
CN201610044460.3A CN105828003B (zh) | 2015-01-22 | 2016-01-22 | 摄像设备和摄像设备的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015010677A JP6494301B2 (ja) | 2015-01-22 | 2015-01-22 | 撮像装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016134909A JP2016134909A (ja) | 2016-07-25 |
JP2016134909A5 JP2016134909A5 (ja) | 2018-03-01 |
JP6494301B2 true JP6494301B2 (ja) | 2019-04-03 |
Family
ID=56434738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015010677A Active JP6494301B2 (ja) | 2015-01-22 | 2015-01-22 | 撮像装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6494301B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6921587B2 (ja) * | 2017-03-31 | 2021-08-18 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
JP6856449B2 (ja) * | 2017-05-26 | 2021-04-07 | 日本アビオニクス株式会社 | 赤外線撮影装置 |
WO2020184149A1 (ja) * | 2019-03-11 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および撮像装置 |
KR102413629B1 (ko) * | 2021-03-09 | 2022-06-28 | 성균관대학교산학협력단 | 이미지 센서 및 이를 포함하는 이미지 처리 장치 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4328115B2 (ja) * | 2003-03-24 | 2009-09-09 | パナソニック株式会社 | 固体撮像装置 |
JP2007208832A (ja) * | 2006-02-03 | 2007-08-16 | Fujifilm Corp | デジタルカメラ |
JP5792990B2 (ja) * | 2011-04-28 | 2015-10-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6017279B2 (ja) * | 2012-11-22 | 2016-10-26 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2014212450A (ja) * | 2013-04-18 | 2014-11-13 | キヤノン株式会社 | 撮像装置 |
JP6226551B2 (ja) * | 2013-05-08 | 2017-11-08 | キヤノン株式会社 | 撮像装置 |
-
2015
- 2015-01-22 JP JP2015010677A patent/JP6494301B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016134909A (ja) | 2016-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9736406B2 (en) | Image capturing apparatus and control method thereof | |
US10785439B2 (en) | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels | |
JP4364903B2 (ja) | 自動利得制御回路 | |
JP5350466B2 (ja) | カラム固定パターンノイズ補正方法 | |
US20120273655A1 (en) | Image sensing apparatus and control method thereof | |
CN107154803B (zh) | 信号处理设备、信号处理方法和摄像设备 | |
US11184565B2 (en) | Image pickup apparatus and its control method | |
CN107154801B (zh) | 信号处理设备和方法、摄像设备以及控制设备和方法 | |
KR20050054843A (ko) | 고체 촬상 장치와 촬상 방법 | |
JP6494301B2 (ja) | 撮像装置及びその制御方法 | |
US20080170086A1 (en) | Front end signal processing method and front end signal processor | |
JP6525602B2 (ja) | 撮像装置及びその制御方法 | |
US10313617B2 (en) | Image capturing apparatus, control method for the same, and storage medium | |
JP5921092B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2011151549A (ja) | 信号処理装置、撮像装置、及び信号処理方法 | |
JPWO2008129885A1 (ja) | 出力制御回路、および撮像装置 | |
JP6433276B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11284017B2 (en) | Image pickup device and storage medium | |
KR100589572B1 (ko) | 디지털 클램프 회로 | |
JP2017152838A (ja) | 撮像装置及び撮像装置の制御方法 | |
KR100858073B1 (ko) | 자동 이득 제어 회로 | |
JP2021153291A (ja) | 撮像装置、コンピュータプログラム及び記憶媒体 | |
JP2010141392A (ja) | 固体撮像装置 | |
JP2016015611A (ja) | 撮像装置及びその駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6494301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |