JP7208379B2

JP7208379B2 - キャリブレーション方法

Info

Publication number: JP7208379B2
Application number: JP2021522302A
Authority: JP
Inventors: 朋和石原
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-05-28
Filing date: 2020-05-22
Publication date: 2023-01-18
Anticipated expiration: 2040-05-22
Also published as: EP3979637A4; JPWO2020241471A1; EP3979637A1; WO2020241471A1

Description

本発明は、キャリブレーション方法に関する。

本技術分野の特許文献１がある。この公報には、「遮光された複数の固体撮像素子が配列された遮光領域と、露出した複数の固体撮像素子が配列された非遮光領域とからなる撮像領域を有する撮像装置から、前記非遮光領域の固体撮像素子である有効画素の出力を取得する有効画素取得手段と、前記有効画素取得手段により取得した出力のうち、隣接する前記有効画素間で予め設定されたエッジ閾値以上の差を有するエッジ箇所を抽出するエッジ抽出手段と、を備え、前記エッジ抽出手段により抽出したエッジ箇所に基づいて対象物を認識する画像処理装置において、前記遮光領域の固体撮像素子である遮光画素の出力を取得する遮光画素取得手段と、前記遮光画素取得手段により取得した出力に基づいて、前記有効画素の出力に含まれているノイズレベルのばらつき度であるノイズばらつき度を推定するノイズ推定手段と、前記ノイズ推定手段により推定したノイズばらつき度に基づいて、当該エッジ閾値を超える前記ノイズレベルが予め設定された発生確率を下回る範囲内に、前記エッジ閾値を設定する閾値設定手段と、を備えることを特徴とする画像処理装置。」と記載されている。

特開２０１０－９３６２３号公報

撮像画像中の対象物を認識する画像処理においては、隣接する前記有効画素間で予め設定されたエッジ閾値以上の差を有するエッジ箇所を抽出する手段として、ノイズ閾値（特許文献１ではエッジ閾値と表現されている）を用いることがある。イメージセンサの型番や個体により固有のノイズレベルよりもノイズ閾値を高く設定すると認識できる物体が減る（これを未認識という）。

逆に、ノイズ閾値を低く設定すると、ノイズ成分の影響で、物体でないものを誤って物体として認識する（これを誤認識という）。そのため、認識処理の性能を引き出すには、ノイズ閾値は実際に画像に含まれるノイズレベルに基づいて設定される必要がある。

ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｄｅ）などのイメージセンサの出力画像には、信号成分の他に、原理的にさまざまなノイズ成分が含まれる。ノイズ成分の主要なものとして、遮光時に観測される画素値のばらつきであるダークノイズ、受光するフォトン数の増加に従って増加する光ショットノイズなどがある。

特許文献１の手法によればダークノイズに基づいてノイズ閾値（特許文献１ではエッジ閾値と表現されている）を設定することができるが、光ショットノイズなど、他のノイズ成分に基づく閾値の設定方法については記載が無く、画面内の画素値が低い箇所（暗部）から高い箇所（明部）の全域に対して有効なノイズ閾値を設定する手段が示されていない。その結果として、実際のイメージセンサのノイズ量とノイズ閾値のずれにより前述の未認識・誤認識が発生する、という課題があった。

本発明の目的は、ダークノイズと光ショットノイズに応じたノイズ閾値を計算することができるキャリブレーション方法を提供することにある。

上記目的を達成するために、本発明は、遮光された状態で撮像された画像を示す遮光画像及び均一光が照射された状態で撮像された画像を示す光源画像を得るステップと、前記遮光画像における画素値の平均値及び前記画素値の標準偏差の組を示す遮光点と、前記光源画像における画素値の平均値及び前記画素値の標準偏差の組を示す光源点から、前記画素値の平均値と前記画素値の標準偏差との対応関係を示す方程式を同定するステップと、同定された前記方程式により前記画素値の平均値に対応する前記画素値の標準偏差をノイズ閾値として計算するステップと、を含むキャリブレーション方法であって、前記方程式において、前記画素値の平均値は、前記画素値の標準偏差を変数とする２次式であり、前記光源点の前記画素値の標準偏差の２乗と前記遮光点の前記画素値の標準偏差の２乗との差を、前記光源点の前記画素値の平均値と前記遮光点の前記画素値の平均値との差で割った値であるシステムゲインＫに対して、前記方程式の２次の項の係数ａは１／Ｋであり、前記方程式の１次の項の係数ｂは０であり、前記方程式の定数項ｃは、（－１／Ｋ）と前記遮光点の前記画素値の標準偏差の２乗との積と、前記遮光点の前記画素値の平均値との和であり、前記方程式は、１つの前記遮光点と１つの前記光源点から同定され、カメラに用いられる前記ノイズ閾値は、前記カメラの前記画素値の平均値が前記遮光点の前記画素値の平均値以下の場合、前記遮光点の前記画素値の標準偏差であり、前記カメラの前記画素値の平均値が前記遮光点の前記画素値の平均値より大きい場合、前記カメラの前記画素値の平均値と前記方程式の定数項ｃとの差の平方根を前記方程式の２次の項の係数ａの平方根で割った値である。

本発明によれば、ダークノイズと光ショットノイズに応じたノイズ閾値を計算することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の、キャリブレーション環境の構成を示す図である。実施例１の、ノイズ閾値計算における測定点と近似曲線を示す図である。実施例２の、ノイズ閾値計算における測定点と近似曲線を示す図である。実施例２の、2次近似曲線の解析解の計算手順を示す図である。実施例３の、ノイズ閾値計算における測定点と近似折れ線を示す図である。実施例４の、キャリブレーション環境の構成を示す図である。実施例４の、デジタル補正後のノイズ閾値計算における測定点と近似曲線を示す図である。

以下、図面を用いて各実施例を説明する。各実施例は、イメージセンサを備える車載カメラからの入力信号に基づいて、信号レベルの変化点を抽出することにより、撮像画像上の対象物を認識する画像処理方法に関する。

（実施例１）
本実施例のノイズ閾値のキャリブレーション方法について説明する。

図１に本実施例のキャリブレーション環境１００の構成図の例を示す。

キャリブレーション環境１００は、カメラ１１０、キャリブレーション装置１２０より構成される。

カメラ１１０は、レンズ１１１、イメージセンサ１１２、認識処理１１３、ＦｌａｓｈＲＯＭ１１４より構成される。

カメラ１１０は、物体を認識するカメラである。カメラ１１０は、例えば車両の自動運転システムや先進運転支援（ＡＤＡＳ，ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ）に用いる、車両周辺の状況を認識するための車載カメラなどである。カメラ１１０は、使用時には、車両の自動運転システムや先進運転支援システムなどの外部システムに接続される。

レンズ１１１は、レンズの画角内にある光を、イメージセンサ１１２の受光面に結像する。イメージセンサ１１２は、受光面に結像した像を撮像し、デジタル画像に変換して出力する。認識処理１１３は、イメージセンサの出力するデジタル画像から車両周囲の歩行者・車両・障害物・信号などの認識対象物を認識し、認識結果を外部システムに出力する。なお、認識処理１１３は、ＦＰＧＡ（Field-Programmable Gate Array）等の論理回路で実現してもよいし、ＣＰＵ（Central Processing Unit）等のプロセッサで実現してもよい。

イメージセンサ１１２の出力するデジタル信号には、ノイズが含まれるので、認識処理１１３では、認識対象物か否かを判断する際に、ＦｌａｓｈＲＯＭ１１４に保持された、ノイズ閾値を参照する。ノイズ閾値は、カメラ１１０内部の光学系の特性に合わせた最適な値である必要があり、例えば、カメラ１１０を外部システムに接続して使用する前に、個体ごとあるいは型番ごとに実施されるキャリブレーションという作業で数値が決定される。キャリブレーションは、図１に示すように、カメラ１１０とキャリブレーション装置１２０とを組み合わせて実施される。

キャリブレーション装置１２０は、遮光ボックス１２１、ライトボックス１２２、遮光シャッタ１２３、遮光画像１２４、光源画像１２５、統計処理１２６、ノイズ閾値計算１２７、ノイズ閾値（キャリブレーション値）１２８より構成される。なお、統計処理１２６、ノイズ閾値計算１２７は、例えば、プロセッサで実現される。

キャリブレーション装置１２０は、カメラ１１０のイメージセンサ１１２から出力されたデジタル画像に基づいて、カメラ１１０のＦｌａｓｈＲＯＭ１１４に記録するノイズ閾値を決定する装置である。

遮光ボックス１２１は、外光を遮断して測定精度を高める。ライトボックス１２２は、ハロゲンランプやＬＥＤ光などを用いた均一光源を搭載した光源装置である。ライトボックス１２２は、カメラ１１０のレンズ１１１の前方に設置して、カメラ画角全体に均一光が照射されるように設置される。遮光シャッタ１２３は、ライトボックス１２２とカメラ１１０の間に、可動式の物理シャッタ機構を設けて、カメラ１１０が、ライトボックス１２２からの光が遮光された環境と、ライトボックス１２２の均一光源が照射された環境とを切り替えられる仕組みを供する。

イメージセンサ１１２のノイズを測定するために、カメラ１１０で撮像する。遮光された環境で撮像された画像を遮光画像１２４、均一光源が照射された環境で撮像された画像を光源画像１２５としてメモリ（バッファ）等に保持する。遮光画像１２４及び光源画像１２５は、測定精度を高めるために、複数のフレームに渡って撮像をする。また、露光時間・レンズ１１１のＦ値等を変化させて、複数条件で撮像する。

統計処理１２６は、遮光画像１２４、光源画像１２５に基づいて、デジタル画像の、所定の測定領域について、画素値の平均値と標準偏差値とを算出して出力する。例えば、測定領域を、デジタル画像の画像中央付近の水平１００ｐｉｘｅｌ × 垂直１００ｐｉｘｅｌとして、連続１６フレーム分の画像に対して統計処理を実施する。この場合、１００×１００×１６＝１６０，０００ｐｉｘｅｌを母数とした画素平均値と画素標準偏差値とを計算する。

例えばＲＧＢベイヤ画像などのカラー画像への対応としては、Ｇｒｅｅｎ画素のみを母数とする方法、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅの3色に対してデモザイキングによりモノクロの輝度値を算出してから母数とする方法、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ画素ごとに個別に画素平均値・画素標準偏差値を個別に算出・出力する方法、などがあり、カメラ１１０の認識処理１１３の内容に応じて手法を決めておくこととする。

ノイズ閾値計算１２７では、画素平均値・画素標準偏差値に基づいて、ノイズ閾値（キャリブレーション値）１２８を計算して、カメラ１１０のＦｌａｓｈＲＯＭ１１４に書き込む。計算方法については次に説明する。

＜ノイズ閾値の計算＞
本実施例における、ノイズ閾値計算１２７の計算内容について、図２を用いて説明する。図２は、ノイズ閾値計算における測定点と近似曲線を示す図である。図２のグラフの横軸は、図１の統計処理１２６の出力である画素平均値μ ２０１である。縦軸は、図１の統計処理１２６の出力である画素標準偏差値σ ２０２である。

統計処理１２６の出力は、画素平均値μ ２０１と画素標準偏差値σ ２０２のペアで構成された測定点（μ，σ）として、図２のように2次元でプロットされる。

以下の説明では、図１の遮光画像１２４に基づく測定点を「遮光点」、図１の光源画像１２５に基づく測定点を「光源点」と呼ぶことにする。図２では、遮光点２０３の1点と、光源点１２０６、光源点２２０７、・・・、光源点ｎ２０８のｎ点（ｎ≧１）を撮像・計算した例を示している。光源点１，２、・・・ｎについては、イメージセンサ１１２の露光時間を変化させたｎ個の条件で測定している。遮光点１点と光源点ｎ点の合計（ｎ＋１）点の測定点の（μ，σ）に基づいて、最小２乗法により近似曲線２１０を算出する。

近似曲線２１０は、縦軸σを変数の軸、横軸μを値の軸として以下に示す式（１－１）の2次式にフィッティングするように、最小二乗法でａ，ｂ，ｃを決定して計算される。すなわち、近似曲線２１０（方程式）は、最小二乗法により同定される。

式（１－１）の逆関数により、μの値ごとのσ値を導出する。

縦軸σを変数の軸としているのは、イメージセンサ１１２の主要なノイズ成分の一つである光ショットノイズが、おおよそμの平方根に比例するため、横軸μを変数とするよりも、2次式以上でのフィッティングの誤差が少なくなるためである。

近似曲線２１０は単調増加関数のため、式（１－２）は式（１－１）から解析的に解いても良いし、式（１－１）のμ値を増加させながら数値的に解いても良い。

出力となるノイズ閾値はμからσへの写像テーブルとして定義される。例えばイメージセンサ１１２が０～４０９５［ｄｉｇｉｔ］の１２ｂｉｔ出力とすると、写像テーブルのサイズは１２ｂｉｔ×４０９６［ｗｏｒｄ］となる。

本実施例のキャリブレーション方法は、少なくとも次の第１ステップから第３ステップを含み、キャリブレーション装置１２０によって実行される。

第１ステップ：遮光された状態で撮像された画像を示す遮光画像１２４及び均一光が照射された状態で撮像された画像を示す光源画像１２５を得る。

第２ステップ：遮光画像１２４における画素値の平均値（画素平均値μ ２０１）及び画素値の標準偏差（画素標準偏差値σ ２０２）の組を示す遮光点２０３と、光源画像１２５における画素値の平均値（画素平均値μ ２０１）及び画素値の標準偏差（画素標準偏差値σ ２０２）の組を示す光源点１～ｎから、画素値の平均値（画素平均値μ ２０１）と前記画素値の標準偏差（画素標準偏差値σ ２０２）との対応関係を示す方程式（近似曲線）を同定する。

第３ステップ：同定された方程式（近似曲線）により画素値の平均値（画素平均値μ ２０１）に対応する画素値の標準偏差（画素標準偏差値σ ２０２）をノイズ閾値（キャリブレーション値）１２８として計算する。

これにより、ダークノイズと光ショットノイズに応じたノイズ閾値（キャリブレーション値）１２８を計算することができる。

本実施例では、方程式（近似曲線）は、１つの遮光点と１つ以上の光源点から同定される。カメラ１１０は、少なくとも、ノイズ閾値（キャリブレーション値）１２８を記憶するメモリ（ＦｌａｓｈＲＯＭ１１４）と、隣接する画素の画素値の差がノイズ閾値を超える場合、エッジであると判定する判定部（認識処理１１３）と、を備える。

光源点の測定に際して、本実施例では露光時間を変動させている。別の手段として、ライトボックスの光量を変動させる方法や、グレースケールチャートのように、光量が異なるチャートを用いる方法を取っても良い。これは、イメージセンサ１１２の出力画素値μが像面照度と露光時間を掛け合わせた露光量[ｌｘ・ｓｅｃ]に比例しているためである。このように複数の光源点の測定に関しては、いくつかの手段がある。本実施例で用いた露光時間を変動させる手段を含めて、いくつか手段は“ＥｕｒｏｐｉａｎＭａｃｈｉｎｅＶｉｓｉｏｎＡｓｓｏｓｉｃａｔｉｏｎ”（ＥＭＶＡ）編纂の、カメラ特性評価方法に関する標準規格書である“ＥＭＶＡＳｔａｎｄａｒｄ１２８８”に記載がある。

本実施例は、近似曲線を導出するにあたって、遮光点と光源点の両方を活用することに特徴がある。

特許文献１のように遮光点のみを使用する構成では、ダークノイズ成分を抽出することができるが、光ショットノイズ成分を抽出できない。

光源点のみを使用する構成では、近似曲線２１０を、明部に関してはある程度近似することができるが、暗部では曲線が急峻となるので、暗部の測定点をいくつも取らなければ正しい曲線を得ることができない。さらに、暗部の測定点を得ようにも、イメージセンサ１１２の最短露光時間が決まっていることや、ライトボックス１２２やグレースケールチャートの光量を絞ることが難しいことも、光源点のみでの高精度な測定を難しくしている要因となっている。

そこで、本実施例では、完全に遮光された環境と光源を照射された環境という、別の条件で測定された測定点を、図２の1つのグラフ上にプロットして同列に扱って曲線を導出することで、精度の高いノイズ閾値を得ている。

精度の高いノイズ閾値を得ることで、キャリブレーション後の実走行時において、暗部においても未認識や誤認識の少ない物体認識処理ができるという効果がある。

＜変形例＞
本実施例の変形例として、図２の近似曲線２１０を、2次近似曲線ではなく、3次近似曲線としてもよい。その場合は、近似曲線２１０の回帰式は下式のようになる。すなわち、近似曲線２１０（方程式）において、画素値の平均値（画素平均値μ ２０１）は、画素値の標準偏差（画素標準偏差値σ ２０２）に関する３次式である。

2次近似は、ダークノイズと光ショットノイズ成分の2つのノイズ成分が支配的なイメージセンサ１１２に対して、高精度・短時間・かつ安定した近似が可能である。3次近似であれば、ダークノイズと光ショットノイズ成分に加えて画素感度ばらつきという別のノイズ成分が含まれるイメージセンサ１１２に対して、高精度に近似が可能である。

また、変形例として、3次より高次の近似を用いても良い。

また、変形例として横軸μを変数、縦軸σを値の軸としても良い。例えば、カメラ１１０内部で、カメラ１１０のダイナミックレンジを拡張するための非線形の信号処理が適用されている場合には、画素平均値２０１ごとにノイズ閾値の特性が変化するので、横軸μを変数、縦軸σとした方が精度よくフィッティングできる場合がある。

また、変形例として最小二乗法以外の回帰手法を使っても良い。例えば、重み付きの最小二乗法を使うことで階調ごとのフィッティングの優先度を微調整することができる。すなわち、次近似曲線２１０（方程式）は、重み付きの最小二乗法により同定される。

（実施例２）
本実施例のキャリブレーション環境の構成図は、実施例１の図１と同じである。

本実施例の図３は、ノイズ閾値計算における測定点と2次近似曲線を示す図である。図３は、実施例１の図２では複数図示されていた光源点を、光源点３０６の1点のみに絞った特殊な例である。本実施例の図３では、遮光点３０３と光源点３０６の2点のみを測定している。また、図２で図示されていた近似曲線２１０は、実施例１では2次、３次、ｎ次と任意の次数で良いとしていたが、本実施例の図３では2次近似曲線３０８に限定される。

すなわち、2次近似曲線３０８（方程式）において、画素値の平均値（画素平均値μ ３０１）は、画素値の標準偏差（画素標準偏差値σ ３０２）に関する２次式である。2次近似曲線３０８（方程式）は、１つの遮光点３０３と１つの光源点３０６から同定される。

本実施例では、イメージセンサ１１２の信号成分・ノイズ成分を、下式（２－１）、（２―２）に示す式でモデル化する。信号モデルを下式に示す。

ノイズモデルを下式に示す。

記号の定義は下記（２－３）である。

つまり、上式（２－１）、（２－２）のモデルでは、ノイズをダークノイズと光ショットノイズに限定している。主要なノイズ成分のみに対象を絞った、単純化されたモデルによって、２点の測定点のみで、２次近似曲線３０８の全体を解析的に導出することができる。

＜ノイズ閾値の計算＞
本実施例における、ノイズ閾値の計算手順を図４に示す。ステップ４０１及びステップ４０２にて、入力として、遮光点1点の測定値（μ_dark，σ_dark）と、光源点1点の測定値（μ_light，σ_light）を用いている。ステップ４０４，４０５，４０６の計算は、式（２－１）、（２－２）の解析解によるものであるため、2点の測定点から一意にノイズ閾値が決まる。２次式であるにもかかわらず測定点が３点ではなく２点のみで十分である理由は、ステップ４０５に示すように、b=0となっているためである。ステップ４０７にて、ノイズ閾値を図１のカメラ１１０のＦｌａｓｈＲＯＭ１１４に出力している。

本実施例の手法によれば、高精度なノイズ閾値を、最小の測定点数で得ることができるため、キャリブレーションに必要な測定時間を最小化することができるという効果がある。

また、光源点の測定に際しては、画素値が高い点から低い点までを精度よく測定するには、光源の光量のメンテナンスの正確性や、露光時間の正確性などが課題となり、測定精度を高めるのが難しい場合が多い。本実施例の手法によれば、光源点に関しては、画素値の高い1点のみを正確に取得できればよいので、キャリブレーション装置の製作や維持にかかるコストを抑えることができる、という効果がある。

（実施例３）
本実施例のキャリブレーション環境の構成図は、実施例１の図１と同じである。

本実施例の図５は、ノイズ閾値計算における測定点と近似折れ線を示す図である。すなわち、同定された近似折れ線５１０（方程式）を満たす画素値の平均値（画素平均値μ ５０１）及び画素値の標準偏差（画素標準偏差値σ ５０２）の組の軌跡は、折れ線である。

本実施例の図５では、遮光点５０３を１点と、光源点１５０６、光源点２５０７、光源点ｎ５１１の、合計（ｎ＋１）点を測定する（ただしｎ≧１）。実施例１の図２とは異なり、本実施例の図５では、測定点と測定点の間を直線で接続し、全体として近似折れ線５１０を構成する。光源点ｎ５０８より画素値が高い箇所に関しては、外挿により測定点（外挿光源点５１１）を追加して、画素飽和レベル５０９までの範囲を定義する。

本実施例では、実施例１、２と同様、遮光点と光源点の両方の測定点を用いるため、ノイズ閾値について、暗部から明部にかけての全領域について精度よく計算することができる、という効果がある。

また、本実施例は、実施例１，２のように回帰式を規定する必要がないので、図１のイメージセンサ１１２のノイズ特性がどのような形であっても近似することができるという効果がある。

（実施例４）
本実施例のキャリブレーション環境の構成図を図６に示す。

図６のキャリブレーション環境７００、カメラ７１０、レンズ７１１、イメージセンサ７１２、認識処理７１３、ＦｌａｓｈＲＯＭ７１４、キャリブレーション装置７２０、遮光ボックス７２１、ライトボックス７２２、遮光シャッタ７２３、遮光画像７２４、光源画像７２５、統計処理７２６、ノイズ閾値計算７２７、ノイズ閾値（キャリブレーション値）７２８は、図１の同名の構成要素と同じものである。

図６は、図１からの違いとして前処理７３０が追加になっている。前処理７３０は、イメージセンサ７１２の直後で、デジタル画像に対して、黒レベルの調整、感度調整を行うために、デジタルゲイン補正処理（乗算）・デジタルのオフセット補正（加算）を適用してデジタル画像を出力する。また、デジタルゲイン補正処理やオフセット補正処理の補正設定値は、ＦｌａｓｈＲＯＭ７１４に格納された値を用いる。なお、前処理７３０は、論理回路で実現してもよいし、プロセッサで実現してもよい。

レンズ７１１のＦ値や、イメージセンサ７１２の感度・黒レベルが異なるため、黒レベルや感度は、カメラ個体ごとにばらつきを持つ。認識処理７１３の処理内容を、カメラ毎に調整しなくても性能を引き出せるように、全ての個体のカメラが、所定の感度・所定の黒レベルに補正されるために、デジタルゲイン補正や黒レベル補正が実施される。

前処理部７３０が適用されると、ノイズ閾値が変わるので、補正後のノイズ閾値を得る必要がある。前処理部７３０の補正設定値をキャリブレーションする場合には、統計処理７２６と同じ処理を実施して、測定点を得て、補正前の感度・黒レベルを測定することになる。そのため、前処理部７３０のキャリブレーションで測定される測定点を活用して、ノイズ閾値のキャリブレーションも同時に行うことで、トータルの測定点数を削減して、キャリブレーションにかかる時間を短縮することができる。本実施例は、測定点数を削減することによる時間短縮を目的として、前処理部８３０の処理を適用していない測定点から、前処理部７３０の処理を適用した後のノイズ閾値を推定して出力する。

本実施例の図７は、ノイズ閾値計算における測定点と近似曲線を示す図である。図７の画素平均値６０１、画素標準偏差値６０２、遮光点６０３、黒レベル６０４、ダークノイズレベル６０５、光源点１６０６、光源点２６０７、光源点ｎ６０８、画素飽和レベル６０９、近似曲線６１０は、図２における同名の構成要素と同じものである。

図７では、図２と異なり、補正後遮光点６１１、補正後黒レベル６１２、補正後ダークノイズレベル６１３、補正後光源点１６１４、補正後光源点２６１５、補正後光源点ｎ６１６、補正後近似曲線６１７が追加となっている。これらは、「補正後」とつかない同名の構成要素に対して、図６の前処理７３０を適用した後に、測定値が変化しているということを示す。

例えば、前処理７３０にてデジタルゲイン補正をｇ倍適用した場合には、画素平均値がｇ倍、画素標準偏差値がｇ倍となる。また、黒レベル補正を適用した場合には、そのオフセット値の分、補正後の画素平均値がシフトする。

前処理部７３０の演算内容、すなわち乗算と加算とその補正設定値が分かっているので、補正前の測定点から、補正後測定点を計算により算出する。補正後測定点から、実施例１の手段で、近似曲線を算出する。

すなわち、補正後近似曲線６１７（方程式）は、ゲイン／オフセット補正がなされた遮光点（補正後遮光点６１１）及び光源点（補正後光源点１～ｎ）から同定される。

また、別の手段として、補正前の近似曲線６１０に対して、前処理部７３０の演算内容を適用することで、補正後近似曲線６１７を計算により算出することもできる。すなわち、補正前の近似曲線６１０（方程式）は、ゲイン／オフセット補正されて、補正後近似曲線６１７となる。

図６のノイズ閾値計算７２７は、補正後近似曲線６１７をノイズ閾値（キャリブレーション値）７２８として出力する。

本実施例の方法によれば、感度や黒レベルのキャリブレーションで測定する、補正前の測定点を用いて、補正後のノイズ閾値を推定することができるので、キャリブレーション時間の短縮ができるという効果がある。

また本実施例では、実施例１をベースとした場合の補正後ノイズ閾値の計算方法を説明したが、実施例２や実施例３をベースとしても良い。

なお、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、本発明はカメラ部が一つからなる単眼カメラに適用する内容であるが、ステレオカメラの画像認識に適用してもよい。すなわち、カメラはステレオカメラであり、少なくとも、上記実施形態によるノイズ閾値を記憶するメモリと、隣接する画素の画素値の差がノイズ閾値を超える場合、エッジであると判定する判定部と、を備える。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）．撮像装置から遮光画像及び光源画像を得るステップと、前記遮光画像から得た遮光点と前記光源画像から得た光源点に基づく統計処理(平均と標準偏差を算出)を行うステップと、前記統計処理部で得た前記統計処理の結果から、ノイズとエッジを区別するためのノイズ閾値を計算するステップと、を備えるキャリブレーション方法。

（２）．（１）に記載のキャリブレーション方法であって、遮光点は1点あり、光源点はｎ点（ｎ≧1）あることを特徴とする。

（３）．（２）に記載のキャリブレーション方法であって、近似式は、2次式であることを特徴とする。

（４）．（３）に記載のキャリブレーション方法であって、遮光点は1点であり、光源点は1点であり、2次式を解析解により導出することを特徴とする。

（５）．（２）に記載のキャリブレーション方法であって、近似式は、3次式であることを特徴とする。

（６）．（１）に記載のキャリブレーション方法であって、近似の方法は、最小二乗法または、重み付きの最小二乗法であることを特徴とする。

（７）．（１）に記載のキャリブレーション方法であって、近似式は、折れ線であることを特徴とする。

（８）．（１）に記載のキャリブレーション方法であって、デジタルゲインによる感度補正を実施する場合に、測定点に対して、平均値にデジタルゲインの倍率をかけたものを、デジタルゲイン温特適用の平均値とし、測定点に対して、標準偏差値にデジタルゲインの倍率をかけたものを、デジタルゲイン温特適用の標準偏差値、とすることを特徴とする。

（９）．（１）に記載のキャリブレーション方法であって、デジタルゲインによる感度補正を実施する場合に、ノイズ閾値カーブに対して、平均値にデジタルゲインの倍率をかけたものを、デジタルゲイン温特適用の平均値とし、ノイズ閾値カーブに対して、標準偏差値にデジタルゲインの倍率をかけたものを、デジタルゲイン温特適用の標準偏差値、とすることを特徴とする。

（１０）．（１）のキャリブレーション方法を使ったカメラ。

（１１）．（１）のキャリブレーション方法を使ったステレオカメラ。

上記（１）－（１１）によれば、イメージセンサの正確なノイズレベルを、暗部から明部の全領域にかけて導出することができる。そのため、ノイズ閾値に基づく認識処理の結果、未認識や誤認識の発生を低く抑えることができる、という効果がある。

１００キャリブレーション環境
１１０カメラ
１１１レンズ
１１２イメージセンサ
１１３認識処理
１１４ＦｌａｓｈＲＯＭ
１２０キャリブレーション装置
１２１遮光ボックス
１２２ライトボックス
１２３遮光シャッタ
１２４遮光画像
１２５光源画像
１２６統計処理
１２７ノイズ閾値計算
１２８ノイズ閾値（キャリブレーション値）
２０１画素平均値
２０２画素標準偏差値
２０３遮光点
２０４黒レベル
２０５ダークノイズレベル
２０６光源点１
２０７光源点２
２０８光源点ｎ
２０９画素飽和レベル
２１０近似曲線
３０１画素平均値
３０２画素標準偏差値
３０３遮光点
３０４黒レベル
３０５ダークノイズレベル
３０６光源点
３０７画素飽和レベル
３０８２次近似曲線
４０１開始ステップ
４０２遮光点を測定するステップ
４０３光源点を測定するステップ
４０４途中式Ｋを計算するステップ
４０５ 2次式の係数を計算するステップ
４０６ノイズ閾値（キャリブレーション値）を計算するステップ
４０７ノイズ閾値（キャリブレーション値）をＦｌａｓｈＲＯＭに書き込むステップ
４０８終了ステップ
５０１画素平均値
５０２画素標準偏差値
５０３遮光点
５０４黒レベル
５０５ダークノイズレベル
５０６光源点１
５０７光源点２
５０８光源点ｎ
５０９画素飽和レベル
５１０近似曲線
５１１外挿光源点
６０１画素平均値
６０２画素標準偏差値
６０３遮光点
６０４黒レベル
６０５ダークノイズレベル
６０６光源点１
６０７光源点２
６０８光源点ｎ
６０９画素飽和レベル
６１０近似曲線
６１１温特適用遮光点
６１２温特適用黒レベル
６１３温特適用ダークノイズレベル
６１４温特適用光源点１
６１５温特適用光源点２
６１６温特適用光源点ｎ
６１７温特適用近似曲線
７００キャリブレーション環境
７１０カメラ
７１１レンズ
７１２イメージセンサ
７１３認識処理
７１４ＦｌａｓｈＲＯＭ
７２０キャリブレーション装置
７２１遮光ボックス
７２２ライトボックス
７２３遮光シャッタ
７２４遮光画像
７２５光源画像
７２６統計処理
７２７ノイズ閾値計算
７２８ノイズ閾値（キャリブレーション値）

Claims

遮光された状態で撮像された画像を示す遮光画像及び均一光が照射された状態で撮像された画像を示す光源画像を得るステップと、
前記遮光画像における画素値の平均値及び前記画素値の標準偏差の組を示す遮光点と、前記光源画像における画素値の平均値及び前記画素値の標準偏差の組を示す光源点から、前記画素値の平均値と前記画素値の標準偏差との対応関係を示す方程式を同定するステップと、
同定された前記方程式により前記画素値の平均値に対応する前記画素値の標準偏差をノイズ閾値として計算するステップと、を含むキャリブレーション方法であって、
前記方程式において、前記画素値の平均値は、前記画素値の標準偏差を変数とする２次式であり、
前記光源点の前記画素値の標準偏差の２乗と前記遮光点の前記画素値の標準偏差の２乗との差を、前記光源点の前記画素値の平均値と前記遮光点の前記画素値の平均値との差で割った値であるシステムゲインＫに対して、
前記方程式の２次の項の係数ａは１／Ｋであり、
前記方程式の１次の項の係数ｂは０であり、
前記方程式の定数項ｃは、（－１／Ｋ）と前記遮光点の前記画素値の標準偏差の２乗との積と、前記遮光点の前記画素値の平均値との和であり、
前記方程式は、１つの前記遮光点と１つの前記光源点から同定され、
カメラに用いられる前記ノイズ閾値は、
前記カメラの前記画素値の平均値が前記遮光点の前記画素値の平均値以下の場合、前記遮光点の前記画素値の標準偏差であり、
前記カメラの前記画素値の平均値が前記遮光点の前記画素値の平均値より大きい場合、前記カメラの前記画素値の平均値と前記方程式の定数項ｃとの差の平方根を前記方程式の２次の項の係数ａの平方根で割った値である
ことを特徴とするキャリブレーション方法。
請求項１に記載のキャリブレーション方法であって、
前記方程式は、
ゲイン／オフセット補正がなされた前記遮光点及び前記光源点から同定される
ことを特徴とするキャリブレーション方法。
請求項１に記載のキャリブレーション方法であって、
前記方程式は、
ゲイン／オフセット補正される
ことを特徴とするキャリブレーション方法。
請求項１に記載のキャリブレーション方法で計算された前記ノイズ閾値を使用するカメラであって、
前記カメラは、
前記ノイズ閾値を記憶するメモリと、
隣接する画素の画素値の差が前記ノイズ閾値を超える場合、エッジであると判定する判定部と、
を備えることを特徴とするカメラ。
請求項４に記載のカメラであって、
ステレオカメラである
ことを特徴とするカメラ。