JP4880777B2 - 画像処理方法および撮像装置モジュール - Google Patents

画像処理方法および撮像装置モジュール Download PDF

Info

Publication number
JP4880777B2
JP4880777B2 JP2010519020A JP2010519020A JP4880777B2 JP 4880777 B2 JP4880777 B2 JP 4880777B2 JP 2010519020 A JP2010519020 A JP 2010519020A JP 2010519020 A JP2010519020 A JP 2010519020A JP 4880777 B2 JP4880777 B2 JP 4880777B2
Authority
JP
Japan
Prior art keywords
pixel value
value
histogram
pixel
upper limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010519020A
Other languages
English (en)
Other versions
JPWO2010001801A1 (ja
Inventor
真介 立花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2010519020A priority Critical patent/JP4880777B2/ja
Publication of JPWO2010001801A1 publication Critical patent/JPWO2010001801A1/ja
Application granted granted Critical
Publication of JP4880777B2 publication Critical patent/JP4880777B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、黒レベルの補正を行なう画像処理方法および撮像装置モジュールに関する。
金属酸化膜半導体(Metal Oxide Semiconductor;MOS)型の撮像装置等のように、画素(受光素子部)が2次元的に配列された撮像装置の撮像面には、一般に被写体光を受光するための受光領域と、それに隣接して設けられている遮光されたオプティカルブラック(Optical Black;OB)領域とが存在する。オプティカルブラック領域には画素は存在するが、その画素は遮光されている。
オプティカルブラック領域は、受光されない状態の画素の画素値を検知するために設けられる。ここで、画素値とは、画素が受光した被写体光からの受光量を光電変換し、その値をデジタル値に変換したものである。
撮像面にオプティカルブラック領域を設けることによって、被写体光が受光されない状態の黒レベルを正確に検出することができる。従って、検出した黒レベルを、出力信号から差し引く補正を行なうことによって、正しい画素値を有する画像を出力することができる。
オプティカルブラック領域の画素値は複数生成され、それらを統計的に処理した画素値ヒストグラムは、左右対称の正規分布を示す。ここで、左右対称の正規分布の画素値ヒストグラムにおける画素値の平均値は、最大の度数を有する階級における画素値で示される。つまり、画素値ヒストグラムにおける画素値の平均値は、左右対称の正規分布の画素値ヒストグラムの中央の階級の画素値である。
また、画素値ヒストグラムにおける画素値の平均値が、非受光状態の画素の画素値を示す黒レベルを示している。
また、黒レベルは、撮像装置の温度に依存して変動する。温度が高い場合、撮像面自体の画素の画素値が高くなる結果、黒レベルも高くなる。撮像装置においては、この黒レベルの変動を考慮した補正が行なわれている。
例えば、特許文献1には、固体撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを作成する工程と、作成された画素値ヒストグラムのうち負の画素値を画素値ゼロにクリップする工程と、クリップされた画素値ヒストグラムの中央値を黒レベルとする工程と、黒レベルを基準として、画素で生成される出力信号の黒レベル補正を行なう工程とを含む画像処理方法が記載されている。
ここで、クリップとは、画素値の度数が飽和する現象をいう。以下に、具体的な説明をする。
フォトダイオードが被写体光を光電変換したことによる電圧値を画素値に変換する際の画素値に変換可能な電圧値は、要求される感度や画質によって予め範囲が決定されている。また、画素値に変換可能な電圧値の範囲内の最大の電圧値が画素値に変換された際の画素値を上限値と定義する。
ここで、光電変換された電圧値が画素値に変換された結果、その画素値が前述した上限値を超えた場合には、上限値を超えた画素値が有していた度数は、上限値の画素値に集合し、飽和状態となる。この現象がクリップである。
また、クリップは、電圧値から光電変換された画素値が、画素値ゼロを下回った場合にも生じる。具体的には、画素値ゼロを下回った画素値が有していた度数が、画素値ゼロの画素値に集合し、飽和状態となる現象である。
図3(a)および(b)は、特許文献1に記載された画像処理方法を説明するものである。特許文献1には以下のように記載されている。
図3(a)は負の画素値が画素値ゼロにクリップされる前のヒストグラムを示し、図3(b)は負の画素値が画素値ゼロにクリップされた後のヒストグラムを示す。信号処理部の黒レベル算出の特徴は、クリップされた画素値ヒストグラムのうち、所定の閾値以上の度数を有する正の画素値のみの画素値ヒストグラムにおける画素値の平均値を黒レベルとすることである。
負の画素値が画素値ゼロにクリップされる前のオプティカルブラック領域の画素値ヒストグラムが図3(a)に示すものであると仮定すると、画素値ヒストグラムにおける画素値の平均値は2であり、この値を黒レベルとみなすことが妥当である。
以下に、クリップ後のオプティカルブラック領域の画素値ヒストグラムを示す図3(b)において、前述した度数の所定の閾値を4とした場合の黒レベルの算出方法を示す。
まず、度数の所定の閾値を4としているので、4以上の度数を有しており、かつゼロ画素値以外である画素値を選択する。ここで、図3(b)によれば、画素値1,2および3の3つの画素値が、前述した条件を満たす画素値に該当する。
次に、これら3つの画素値を対象として、画素値ヒストグラムにおける画素値の平均値を求める。ここで、クリップ後の画素値ヒストグラムにおける画素値の平均値は、クリップ前の画素値ヒストグラムにおける画素値の平均値と同様に、画素値ヒストグラムの中央の階級の画素値である。よって、図3(b)によれば、クリップ後の画素値ヒストグラムにおける画素値の平均値は、当然に2となる。この値は、負の画素値が画素値ゼロにクリップされる前の画素値ヒストグラムにおける画素値の平均値と等しい値となるので、妥当である。結果として、この2という画素値が、非受光状態の黒レベルに該当する。
なお、度数の所定の閾値は自由に設定してよい。また、閾値を、最大の度数としてもよい。この場合、最大の度数を有する画素の画素値がそのまま黒レベルとなる。これは、図3(b)に示す例では、最大度数5を有する画素値2をそのまま黒レベルとして採用することに相当する。
特開2007−295260号公報
しかしながら、特許文献1に記載された従来の画像処理方法においては、オプティカルブラック領域の画素値ヒストグラムのうち負の画素値が画素値ゼロにクリップされた際の黒レベルを算出する方法については記載されているが、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が、画素値の上限値にクリップされた場合のことについては何ら考慮されていない。
近年、車載用カメラモジュール等の撮像装置モジュールは、85℃〜105℃程度の高温の環境下で使用される場合がある。その場合、前述したように、撮像装置モジュールの温度が高くなるのに伴って、撮像面自体の画素の画素値が高くなる。従って、オプティカルブラック領域の画素値ヒストグラム全体が、正の最大値側の画素値の方へ移動する。つまり、図3(a)および(b)においてみれば、画素値ヒストグラム全体が、図3(a)および(b)における右方向(高画素値の方向)へ移動してしまう。
従って、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされやすくなる。実際、オプティカルブラック領域の画素値ヒストグラムの正の最大値側の画素値は、85℃〜105℃程度の高温の環境下では、画素値の上限値を超える場合があることを、本発明者は実験的に確認している。
また、この場合、左右対称の正規分布の画素値ヒストグラムにおける、中央の階級の画素値が消失しやすくなる。従って、画素値ヒストグラムにおける画素値の平均値を求めることが難しくなる。その結果として、黒レベルを求めるのが困難になる。
本発明は上記従来の問題点に鑑みて完成されたものであり、その目的は、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされた場合、即ちオプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値を超えた場合に、黒レベルを適切に算出することができる画像処理方法および撮像装置モジュールを提供することである。
本発明の画像処理方法は、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する工程と、該画素値ヒストグラムのピーク値が画素値の上限値以上となった際に前記ピーク値が前記上限値未満となるように前記画素値ヒストグラムを画素値ゼロ側へ移動させる工程と、前記上限値未満となった前記ピーク値に基づいて黒レベルを算出する工程とを具備するものである。
また、本発明の画像処理方法は好ましくは、前記画素値ヒストグラムを画素値ゼロ側へ移動させた際に、前記画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合に該ゼロクリップ成分を除外して前記画素値ヒストグラムを再形成する工程をさらに有する。
本発明の撮像装置モジュールは、撮像装置と、該撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する手段と、前記画素値ヒストグラムのピーク値が画素値の上限値以上となった際に前記ピーク値が前記上限値未満となるように前記画素値ヒストグラムを画素値ゼロ側へ移動させる手段と、前記上限値未満となった前記ピーク値に基づいて黒レベルを算出する手段とを具備しているものである。
また、本発明の撮像装置モジュールは好ましくは、前記画素値ヒストグラムを画素値ゼロ側へ移動させた際に、前記画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合に該ゼロクリップ成分を除外して前記画素値ヒストグラムを再形成する手段をさらに有する。
本発明の画像処理方法は、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する工程と、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる工程と、上限値未満となったピーク値に基づいて黒レベルを算出する工程とを具備することから、従来、撮像装置モジュールが85℃〜105℃程度の高温の環境下で使用された場合に、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされ、さらに画素値ヒストグラムのピーク値が画素値の上限値以上となった際には黒レベルを正しく算出することができなかったことを解決することができる。
即ち、本発明の画像処理方法は、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラム全体を画素値ゼロ側へ移動させることによって、ピーク値が画素値の上限値にクリップされてピーク値が実質的に消失してしまうことを防ぐことができる。その結果、画素値ヒストグラムのピーク値に基づいて黒レベルを算出することが可能になる。
また、本発明の画像処理方法は好ましくは、画素値ヒストグラムを画素値ゼロ側へ移動させた際に、画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合にゼロクリップ成分を除外して画素値ヒストグラムを再形成する工程をさらに有することから、ゼロクリップ成分がピーク値より大きくてもゼロクリップ成分を除外することによって、度数の最大値を検出すればピーク値を容易に検出できる。また、ゼロクリップ成分が発生しても、ピーク値が画素値ゼロにクリップされることは殆どないため、画素値ヒストグラムの移動量の微調整を要することなしに正しい黒レベルを容易に算出することができる。
本発明の撮像装置モジュールは、撮像装置と、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する手段と、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる手段と、上限値未満となったピーク値に基づいて黒レベルを算出する手段とを具備していることから、従来、撮像装置モジュールが85℃〜105℃程度の高温の環境下で使用された場合に、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされ、さらに画素値ヒストグラムのピーク値が画素値の上限値以上となった際には黒レベルを正しく算出することができなかったことを解決することが可能な撮像装置モジュールとなる。
即ち、本発明の撮像装置モジュールは、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラム全体を画素値ゼロ側へ移動させることによって、ピーク値が画素値の上限値にクリップされてピーク値が実質的に消失してしまうことを防ぐことができる。その結果、画素値ヒストグラムのピーク値に基づいて黒レベルを算出することが可能な撮像装置モジュールを得ることができる。
また、本発明の撮像装置モジュールは好ましくは、画素値ヒストグラムを画素値ゼロ側へ移動させた際に、画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合にゼロクリップ成分を除外して画素値ヒストグラムを再形成する手段をさらに有することから、ゼロクリップ成分がピーク値より大きくてもゼロクリップ成分を除外することによって、度数の最大値を検出すればピーク値を容易に検出できる。また、ゼロクリップ成分が発生しても、ピーク値が画素値ゼロにクリップされることは殆どないため、画素値ヒストグラムの移動量の微調整を要することなしに正しい黒レベルを容易に算出することができる撮像装置モジュールが得られる。
本発明の画像処理方法および撮像装置モジュールの実施の形態の例について以下に詳細に説明する。
以下の説明において、ピーク値とは、オプティカルブラック領域の画素値ヒストグラムにおいて、最大の度数を有する画素値のことを示すものとする。つまり、左右対称の正規分布を示す、オプティカルブラック領域の画素値ヒストグラムにおいては、ピーク値とは、画素値ヒストグラムにおける画素値の平均値と同じものとなる。
本実施の形態の画像処理方法は、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する工程と、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる工程と、上限値未満となったピーク値に基づいて黒レベルを算出する工程とを具備する。
上記の構成により、従来、撮像装置モジュールが85℃〜105℃程度の高温の環境下で使用された場合に、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされるとともに、さらに画素値ヒストグラムのピーク値が画素値の上限値以上となった際には黒レベルを正しく算出することができなかったことを解決することができる。
即ち、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラム全体を画素値ゼロ側へ移動させることによって、ピーク値が画素値の上限値にクリップされてピーク値が実質的に消失してしまうことを防ぐことができる。その結果、画素値ヒストグラムのピーク値に基づいて黒レベルを算出することが可能になる。
図1は、本発明の画像処理方法の実施の形態の例を具体的に示すオプティカルブラック領域の画素値ヒストグラムである。図1(a)はオプティカルブラック領域の画素値ヒストグラムのピーク値が画素値の上限値以上となった際の画素値ヒストグラムの全体を示すヒストグラムである。この場合は、実際には図1(a1)のように、画素値ヒストグラムのピーク値は画素値の上限値にクリップされて、最大の度数および最大の度数を有する階級が実際の分布から大きく崩れてしまい、最大の度数を有する階級の画素値としてのピーク値が実質的に消失してしまう。即ち、ピーク値が判別できなくなってしまう。
そこで、本例においては、図1(b)および図1(b1)のヒストグラムで示すように処理を行なう。図1(b)に示すように、オプティカルブラック領域の画素値ヒストグラムのピーク値が画素値の上限値以上となった際に、ピーク値が上限値未満となるように画素値ヒストグラムの全体を画素値ゼロ側へ移動させる。そうすると、図1(b1)に示すように、画素値ヒストグラムのピーク値は上限値にクリップされることなく、最大の度数を有する階級の画素値としてピーク値を判別することができる。従って、このピーク値を黒レベルとすることができる。これは、オプティカルブラック領域の画素値ヒストグラムは、左右対称の正規分布を示し、その中央のピーク値を平均値(黒レベル)とすることができるからである。
あるいは、上限値にクリップされずに度数を判別できるピーク値の左右の画素値を含めて平均値を算出し、その平均値を求めることによって、その画素値の平均値を黒レベルとすることもできる。
また、図1(b1)に示すように、画素値ヒストグラムのピーク値が上限値にクリップされた画素値の成分(上限値クリップ成分)に隣接する場合は、画素値ヒストグラムのピーク値が正しいものであるか判別が難しい場合がある。この場合には、上限値にクリップされた階級の度数(度数GK:図1(b1)に示す例では右端の階級の度数である6)と、上限値にクリップされた階級の度数(度数GK=6)に隣接するピーク値と思われる画素値の階級(右から2番目の階級)よりも小さい画素値の階級(右から3番目、4番目および5番目(左端)の階級)の全体の度数(度数GS:3+2+1=6)とを比較し、度数GKと度数GSが等しい場合(図1(b1)に示す例ではGK=GS=6)に、上限値クリップ成分に隣接するピーク値と思われる画素値(図1(b1)に示す例では右から2番目の階級の画素値)を正しいピーク値として求めることができる。
また、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる工程において、上限値にクリップされた画素値の階級の合計度数GKと上限値にクリップされない画素値の階級の合計度数GK1とを比較しながら画素値ヒストグラムを画素値ゼロ側へ移動させて、GK1がGKよりも大きくなった際の上限値にクリップされた画素値の階級に隣接する階級の画素値をピーク値とすることが好ましい。この場合には、画素値ヒストグラムのピーク値を確実に検出することができる。
また、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる工程において、上限値となる画素値の階級をn番目として、n−2番目の画素値の階級の度数からn−1番目の画素値の階級の度数を差し引いた値が最初に正の値になった際の、n−2番目の階級の画素値をピーク値とすることが好ましい。この場合にも、画素値ヒストグラムのピーク値を確実に検出することができる。
なお、オプティカルブラック領域の画素値ヒストグラムにおいて、画素値が8ビットのデジタル信号である場合は、横軸の画素値の上限値は256であり、画素値が10ビットのデジタル信号である場合は、横軸の画素値の上限値は1024である。
図2は、本発明の画像処理方法の実施の形態の例を説明するフローチャートである。まず、黒レベルの算出を開始するに際して、オプティカルブラック領域の画素値ヒストグラムを作成する。
次に、撮像装置モジュールの温度環境等の原因によって、オプティカルブラック領域の画素値ヒストグラムのピーク値が画素値の上限値以上であるか否か判断する。もし、上限値以上である場合は、本例の画像処理方法を用いて、画素値ヒストグラムの全体を画素値ゼロ側へ移動させる。この処理を1回以上行なうことによって、画素値ヒストグラムのピーク値を上限値未満にする。
次に、画素値ヒストグラムのピーク値が上限値未満になったら、画素値ヒストグラムにマイナス成分(ゼロクリップ成分)が存在するか否か判断する。ゼロクリップ成分がない場合は、画素値ヒストグラムのピーク値に基づいて黒ベレルを算出する。ゼロクリップ成分がある場合は、ゼロクリップ成分を除外して画素値ヒストグラムを再形成する。画素値ヒストグラムを再形成することによって、ゼロクリップ成分がピーク値より大きくても、ゼロクリップ成分を除外することによって度数の最大値を検出すれば、ピーク値を容易に検出できる。また、ゼロクリップ成分が発生しても、ピーク値が画素値ゼロにクリップされることは殆どないため、画素値ヒストグラムの移動量の微調整を要することなしに正しい黒レベルを容易に算出することができる。
本発明の撮像装置モジュールは、撮像装置と、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する手段と、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる手段と、上限値未満となったピーク値に基づいて黒レベルを算出する手段とを具備している。
上記の構成により、従来、撮像装置モジュールが85℃〜105℃程度の高温の環境下で使用された場合に、オプティカルブラック領域の画素値ヒストグラムのうち正の最大値側の画素値が画素値の上限値にクリップされ、さらに画素値ヒストグラムのピーク値が画素値の上限値以上となった際には黒レベルを正しく算出することができなかったことを解決することが可能な撮像装置モジュールとなる。
即ち、本発明の撮像装置モジュールは、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラム全体を画素値ゼロ側へ移動させることによって、ピーク値が画素値の上限値にクリップされてピーク値が実質的に消失してしまうことを防ぐことができる。その結果、画素値ヒストグラムのピーク値に基づいて黒レベルを算出することが可能な撮像装置モジュールを得ることができる。
また、本発明の撮像装置モジュールは好ましくは、画素値ヒストグラムを画素値ゼロ側へ移動させた際に、画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合にゼロクリップ成分を除外して画素値ヒストグラムを再形成する手段をさらに有することから、ゼロクリップ成分がピーク値より大きくてもゼロクリップ成分を除外することによって、度数の最大値を検出すればピーク値を容易に検出できる。また、ゼロクリップ成分が発生しても、ピーク値が画素値ゼロにクリップされることは殆どないため、画素値ヒストグラムの移動量の微調整を要することなしに正しい黒レベルを容易に算出することができる撮像装置モジュールが得られる。
本発明の撮像装置モジュールは、その実施の形態の例として、具体的には以下の各装置から成る。撮像装置モジュールは、金属酸化膜半導体(Metal Oxide Semiconductor;MOS)型の撮像装置等である撮像装置を有する。この撮像装置の撮像面は、画素(受光素子部)が2次元的に配列されて構成されており、被写体光を受光するための受光領域と、それに隣接して設けられて遮光されたオプティカルブラック(Optical Black;OB)領域とを有する。オプティカルブラック領域には画素は存在するが、その画素は遮光されている。
また、受光のための光学装置としてレンズユニットを有する。さらに、通常のカメラに備えられている公知の絞り、シャッタ等を有し、自動焦点駆動機能を有する。自動焦点駆動機能は、露出制御、ピント調整等を実行するものである。なお、固定焦点のレンズユニットであっても構わない。被写体光がレンズユニットを通り撮像装置で受光され、さらに光電変換されて画像信号が得られる。この画像信号は、撮像装置に接続された第1の画像信号処理部へ出力される。第1の画像信号処理部は、画像信号について相関二重サンプリング(Correlated Double Sampling:CDS)、自動利得制御(Automatic Gain Control:AGC)アナログ−デジタル変換(Analog-to-Digital Conversion:A−D変換)等の処理を施す。
また、撮像装置モジュールはバッファ記憶装置を有していてもよい。バッファ記憶装置は、第1の画像信号処理部でデジタル化された画像信号を保持する記憶装置であり、一時的に保存した画像信号を第2の画像信号処理部に出力する。
第2の画像信号処理部は、撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する手段(手段aとする)と、画素値ヒストグラムのピーク値が画素値の上限値以上となった際にピーク値が上限値未満となるように画素値ヒストグラムを画素値ゼロ側へ移動させる手段(手段bとする)と、上限値未満となったピーク値に基づいて黒レベルを算出する手段(手段cとする)とを含む。
これら手段a〜cは、第2の画像信号処理部に含まれ、演算ソフトあるいは信号処理ソフトが組み込まれたICあるいはLSI等の集積回路電子装置等から成るマイクロコンピュータ等から成る。
また、第2の画像信号処理部は、オプティカルブラック領域の信号を含む画像信号をオフセット分だけ高画素値にして撮像する手段、あるいは算出された黒レベルを画像信号から差し引く黒レベル補正を行なう手段、ホワイトバランス補正を行なう手段、ガンマ補正を行なう手段等を含んでいてもよい。
本発明の撮像装置モジュールはさらに以下の各装置を備えていてもよい。
液晶表示装置,EL(ElectroLuminescence)装置,有機EL装置,またはプラズマ表示装置等から成るモニタ装置を有していてもよい。モニタ装置は第2の画像信号処理部から出力された画像を表示する。
また、第2の画像信号処理部で画像処理が施された画像信号を保存しておく記憶装置を有していてもよい。
また、デジタル信号の発生部およびデジタル信号のタイミング制御部であるタイミング信号発生装置、そして撮像装置モジュールの全体の駆動を制御するプロセッサを含む制御装置を有していてもよい。
また、撮像装置モジュールの絞り,シャッタ,モニタ装置に表示された画像のさらなる調整等を制御する操作装置を有していてもよい。この操作装置は、操作ボタンが設けられた車載用ナビゲーション装置、あるいは操作ボタンとしてのキーによって操作を行なうパーソナルコンピュータ等から成る。
本発明の撮像装置モジュールは、車載用の撮像装置モジュールを始めとして、パーソナルコンピュータ等に設置される通信用の撮像装置モジュール、あるいは携帯電話等の携帯通信機器に設置される通信用の撮像装置モジュールなどに適用できる。特に、屋外の天日に晒されることが多いために、使用温度環境が85℃〜105℃程度の高温の環境下となることが多い車載用の撮像装置モジュールとして好適に使用できる。
本発明の画像処理方法の実施の形態の例におけるオプティカルブラック領域の画素値ヒストグラムであり、(a)はピーク値が画素値の上限値以上となった際の全体の画素値ヒストグラム、(a1)はピーク値が画素値の上限値にクリップされた状態を示す画素値ヒストグラム、(b)はピーク値が画素値の上限値未満となるように全体を画素値ゼロ側へ移動させた画素値ヒストグラム、(b1)はピーク値が上限値にクリップされずにピーク値の度数を判別することができる状態の画素値ヒストグラムである。 本発明の画像処理方法の実施の形態の例を説明するフローチャートである。 (a)はオプティカルブラック領域の画素値ヒストグラムの負の画素値が画素値ゼロにクリップされる前の画素値ヒストグラム、(b)は負の画素値が画素値ゼロにクリップされた後の画素値ヒストグラムである。

Claims (4)

  1. 撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する工程と、該画素値ヒストグラムのピーク値が画素値の上限値以上となった際に前記ピーク値が前記上限値未満となるように前記画素値ヒストグラムを画素値ゼロ側へ移動させる工程と、前記上限値未満となった前記ピーク値に基づいて黒レベルを算出する工程とを具備する画像処理方法。
  2. 前記画素値ヒストグラムを画素値ゼロ側へ移動させた際に、前記画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合に該ゼロクリップ成分を除外して前記画素値ヒストグラムを再形成する工程をさらに有する請求項1に記載の画像処理方法。
  3. 撮像装置と、該撮像装置の撮像面のうちオプティカルブラック領域の画素の画素値ヒストグラムを形成する手段と、前記画素値ヒストグラムのピーク値が画素値の上限値以上となった際に前記ピーク値が前記上限値未満となるように前記画素値ヒストグラムを画素値ゼロ側へ移動させる手段と、前記上限値未満となった前記ピーク値に基づいて黒レベルを算出する手段とを具備している撮像装置モジュール。
  4. 前記画素値ヒストグラムを画素値ゼロ側へ移動させた際に、前記画素値ヒストグラムのうち画素値ゼロにクリップされたゼロクリップ成分が生じた場合に該ゼロクリップ成分を除外して前記画素値ヒストグラムを再形成する手段をさらに有する請求項3に記載の撮像装置モジュール。
JP2010519020A 2008-06-30 2009-06-25 画像処理方法および撮像装置モジュール Expired - Fee Related JP4880777B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010519020A JP4880777B2 (ja) 2008-06-30 2009-06-25 画像処理方法および撮像装置モジュール

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008170209 2008-06-30
JP2008170209 2008-06-30
JP2010519020A JP4880777B2 (ja) 2008-06-30 2009-06-25 画像処理方法および撮像装置モジュール
PCT/JP2009/061580 WO2010001801A1 (ja) 2008-06-30 2009-06-25 画像処理方法および撮像装置モジュール

Publications (2)

Publication Number Publication Date
JPWO2010001801A1 JPWO2010001801A1 (ja) 2011-12-22
JP4880777B2 true JP4880777B2 (ja) 2012-02-22

Family

ID=41465898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010519020A Expired - Fee Related JP4880777B2 (ja) 2008-06-30 2009-06-25 画像処理方法および撮像装置モジュール

Country Status (4)

Country Link
US (1) US8805071B2 (ja)
EP (1) EP2312831A4 (ja)
JP (1) JP4880777B2 (ja)
WO (1) WO2010001801A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233389A (ja) * 1996-02-23 1997-09-05 Mitsubishi Electric Corp 赤外線撮像装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2008022486A (ja) * 2006-07-14 2008-01-31 Canon Inc 撮像装置及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4392157A (en) * 1980-10-31 1983-07-05 Eastman Kodak Company Pattern noise reduction method and apparatus for solid state image sensors
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US6486915B2 (en) * 1999-04-20 2002-11-26 Intel Corporation Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
JPWO2005004467A1 (ja) * 2003-07-01 2006-08-17 株式会社ニコン 電子カメラの映像信号補正装置
US7586653B2 (en) * 2005-04-22 2009-09-08 Lexmark International, Inc. Method and system for enhancing an image using luminance scaling
JP2007295260A (ja) * 2006-04-25 2007-11-08 Fujifilm Corp 画像処理方法およびデジタルカメラ
CN100562063C (zh) * 2007-05-22 2009-11-18 鸿富锦精密工业(深圳)有限公司 图像信号校正方法
US8218868B2 (en) * 2007-06-13 2012-07-10 Sensors Unlimited, Inc. Method and apparatus for enhancing images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233389A (ja) * 1996-02-23 1997-09-05 Mitsubishi Electric Corp 赤外線撮像装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2008022486A (ja) * 2006-07-14 2008-01-31 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
EP2312831A4 (en) 2011-12-14
EP2312831A1 (en) 2011-04-20
JPWO2010001801A1 (ja) 2011-12-22
WO2010001801A1 (ja) 2010-01-07
US8805071B2 (en) 2014-08-12
US20110103687A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
JP4742652B2 (ja) 撮像装置
JP5162730B2 (ja) 撮像装置及びその暗電流補正方法
JP4958666B2 (ja) 撮像装置及びその制御方法
JP2007189544A (ja) 撮像装置
US20150109515A1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP5954623B2 (ja) 撮像装置および画像処理方法
US9407842B2 (en) Image pickup apparatus and image pickup method for preventing degradation of image quality
JP2008109264A5 (ja)
JP2008109264A (ja) 固体撮像装置及び撮像装置
JP4916271B2 (ja) 固体撮像装置および電子情報機器
JP5332540B2 (ja) 撮像装置及び画像補正プログラム
JP4880777B2 (ja) 画像処理方法および撮像装置モジュール
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2011250249A (ja) 映像信号処理装置および映像信号処理方法
JP2012029194A (ja) 電子カメラおよび露出制御プログラム
US9794502B2 (en) Image capturing apparatus
JP4872502B2 (ja) 撮像装置、及びそのクランプ方法
JP2007281759A (ja) 撮像素子および撮像装置
JP2007243558A (ja) 固体撮像装置
JP2007295260A (ja) 画像処理方法およびデジタルカメラ
JP5737924B2 (ja) 撮像装置
JP2008252714A (ja) 画像処理プログラムおよび電子カメラ
JP2005033687A (ja) 欠陥検出装置および方法、記録媒体、並びにプログラム
JP2006157341A (ja) 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置
JP2005303592A (ja) 固体撮像装置及びその信号処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111201

R150 Certificate of patent or registration of utility model

Ref document number: 4880777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees