JP5521778B2 - 計測装置及び制御装置 - Google Patents

Description

本発明は撮像素子のノイズ強度を計測する計測装置、及びこの計測装置によって計測したノイズ強度を使用し、撮像画像から取得する特定の認識結果の出力制御を行う制御装置に関する。

今日、防犯等、多くの目的でカメラの撮像画像が使用されている。例えば、コンビニエンスストアや街角にカメラを設置し、撮像画像をモニタすることによって防犯に役立てている。また、自動車のバックモニタにカメラを使用し、見え難い車両の後方確認を補助している。このような目的に使用されるカメラには、例えばＣＣＤ(Charge Coupled Device)センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子が使用され、撮像画像をモニタに表示している。

また近年、撮像画像に対して画像処理を行い、撮像画像から得られる認識結果をモニタに表示することも行なわれている。例えば、自動車等の車両に設置されたカメラの場合、カメラの撮像画像に対して画像処理を行い、自車に近づく車両等の移動体を撮像画像上から認識し、この移動体を枠等で覆ってモニタに表示する技術がある。

さて、撮像画像にはノイズが表れる場合がある。カメラが有する複数の撮像素子は、個別に電気的出力がゆらぐ性質がある。ノイズの発生は、各撮像素子による出力がゆらいだ結果、撮像素子が受信した光の信号強度とは異なる値を出力することに起因する。各撮像素子は、個別に出力がゆらぐため、どの素子でいつ出力がゆらぐか、即ち、どの撮像素子の出力でいつノイズが発生するかは、ランダムに発生する事象である。

カメラの撮像画像にノイズが多く表れている場合、上記の移動体の認識処理において、移動体を誤認識する場合がある。例えば、暗所で撮像した被写体を含む画像を、画面上でより明るく映し出すため、撮像画像の平均輝度が所定値を下回る場合、信号強度を増幅するＡＧＣ（Auto Gain Control）処理を行なう場合がある。ＡＧＣ処理を行うと、信号に含まれるノイズ成分も増幅されてしまうため、撮像画像上に粒状のノイズが発生する。この粒状のノイズが撮像画像上に点在し、かつ粒状のノイズの発生位置が時間に伴って変化すると、上記の移動体の認識処理において、粒状のノイズの発生位置の変化を上記移動体の移動と誤認識する可能性もある。

一方、カメラのノイズ強度を計測する技術として、例えばオプティカルブラックの手法を用いた計測方法がある。この方法はカメラの有効画素領域外に遮光された領域を設け、この領域の輝度値を計測し、通常の黒レベルと比較することによってノイズ強度を計測する方法である。

尚、上記オプティカルブラックの手法を用いてカメラ内部においてノイズ強度を計測し、カメラ外部の認識装置において、同ノイズ強度に従って撮像画像の認識処理を実行するか否かの判断を行う技術が特許文献１に開示されている。

特開２００９−２９６１４７号公報

しかしながら、上記オプティカルブラックのノイズ強度計測方法では、カメラ内部に、撮像素子のオプティカルブラック領域に基づいてノイズレベルを判定する処理部を設けなければならず、カメラ装置のコストアップの原因となる。また、オプティカルブラック領域とノイズレベルを判定する処理部とが搭載されているカメラであっても、外部の認識装置のために設計されたものでないため、ノイズレベルを認識装置に出力するためのインタフェースを設けなければならず、カメラ装置のコストアップの原因となる。

一方、オプティカルブラック領域を利用せずに、有効画素領域のみを使用して撮像データからノイズ強度を計測することも考えられる。しかし、有効画素領域の撮像画像では、光の射し込みや陰影、カメラの移動による背景変化等により、実際の画像であるテクスチャが変化する。そのため、テクスチャとノイズとを切り分けることが困難である。このため、撮像素子の有効画素領域のみを使用したノイズ強度の計測は極めて困難であった。

そこで、有効画素領域からの撮像データのみを使用し、撮像画像に変化が生じる状況においても、高精度であり、かつ低コストでノイズ強度を計測するノイズ強度計測装置を提供する。

計測装置は、撮像素子を有するカメラにより広角レンズを使用して撮像された画像データの中の四隅の領域である監視領域につき、上記監視領域を構成する画素の画素値に基づいて、ノイズ強度を算出する複数の算出部であって、該複数の算出部のそれぞれは、上記画像データの中で互いに異なる上記監視領域について上記ノイズ強度を算出する複数の算出部と、この複数の算出部によって算出された複数のノイズ強度のなかのいずれかのノイズ強度を選択する選択部と、この選択部によって選択されたノイズ強度の情報を出力する出力部と有し、このノイズ強度の情報を必要とする装置に出力する。

開示の計測装置は、有効画素領域を使ってノイズ強度を計測できる。そのため、有効画素領域の撮像データを認識装置に送信する標準的な映像インターフェース以外のインタフェースをカメラに設けずに、ノイズ強度を計測できる。

本実施形態の計測装置を含む制御装置のブロックを示す図である。 計測部の動作を説明する図である。 画像データの一例を示す図である。 本実施形態の処理動作を説明するフローチャートである。 算出部の動作を説明する図である。 トレンド算出処理、及び減算処理を説明する図である。 選択部の動作を説明する図である。 時系列処理部の動作を説明する図である。 記憶テーブルに記憶される認識対象の座標データの例を示す図である。 低ノイズの場合のモニタ画面を説明する図である。 高ノイズの場合のモニタ画面を説明する図である。 情報処理装置のシステム図である。 プログラム及びデータの提供方法を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の計測装置を含む制御装置のブロック図である。また、図２は計測部の動作を説明する図である。

図１において、制御装置１は、カメラ部２、認識部３、映像合成部４、及びモニタ部５を有している。認識部３は、映像Ｉ／Ｆ６、計測部７、認識部８、判定部９、及び出力制御部１０を有している。以下の記載において、インタフェースをＩ/Ｆと記載する場合がある。

カメラ部２は撮像素子２ａと映像Ｉ／Ｆ２ｂを有する。撮像素子２ａは不図示のレンズを通して入射する光の光電変換を行う。撮像素子２ａによって取得した撮像データは映像Ｉ／Ｆ２ｂに出力される。撮像素子２ａは、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を有し、例えば本例では自動車の前方の状況を確認するため、自動車の前部に取り付けられたカメラ部２内に設けられている。撮像素子２ａは有効画素部のみを有していてもよい。

尚、図１には示さないが、カメラ部２はＡＧＣ回路を有し、撮像素子２ａによって取得された撮像データが集まって１つのフレームとして形成された画像データの平均輝度が所定値を下回る場合、平均輝度が所定値を上回るよう画像データの輝度をAGC回路によって増幅してもよい。

映像Ｉ／Ｆ２ｂは、ＮＴＳＣ(National Television Standards Commit)等の標準的な映像インターフェースであり、例えば画像データをアナログデータに変換し、認識部３に送信する。したがって、本実施形態のカメラ部２は、１つの映像Ｉ／Ｆ２ｂを有すればよい。尚、カメラ部２から出力される画像データは映像合成部４にも送信される。

アナログデータに変換された画像データは認識部３の映像Ｉ／Ｆ６に入力され、映像Ｉ／Ｆ６よって再度デジタルデータに変換される。
映像Ｉ／Ｆ６から得られたデータはバッファ６ａに一時的に蓄積される。例えばバッファ６ａは２フレーム分（２画面分）の画像データを保持することが可能な記憶領域を有し、映像Ｉ／Ｆ６から入力される画像データの１フレーム分を保持すると共に、既に保持する撮像データの１フレーム分を計測部７及び認識部８に出力する。

計測部７は、後述する監視領域に含まれる画像データのノイズ強度を計測し、計測結果を判定部９に出力する。尚、ノイズ強度とは、ノイズ量の多さを示す度合いである。例えば、画像データ１フレーム分を構成する画素のうち、ノイズもしくはノイズと推測される画素値を出力している画素の画素数や、そのような画素の割合として示すことができる。

図２は、計測部７の動作を説明する図である。計測部７は４つの算出部７ａ〜７ｄ、選択部１５、及び時系列処理部１６を有する。計測部７は画像データから例えば最小のノイズ強度を計測し、計測結果を時系列処理部１６に設けられた出力部１８が判定部９に出力する。なお、図２の例では、計測部７が算出部を４つ有した例を示しているが、算出部の数は２個以上であればよい。

算出部７ａ〜７ｄは、後述する設定処理によって設定された監視領域のノイズ強度を算出する。図２に示す例では、画面データである撮像画面１２の四隅に位置する１２ａ〜１２ｄを監視領域に設定し、この監視領域１２ａ〜１２ｄのノイズ強度を、各監視領域に夫々対応する算出部が算出している。算出部７ａ〜７ｄは、それぞれの回路で算出したノイズ強度の情報を夫々が有する記憶テーブル１７ａ〜１７ｄに記憶する。

図３は画像データの一例を示す図であり、例えば自動車の前部に取り付けられたカメラ部２の撮像素子２ａによって撮影された画像データの一例である。この例では、監視領域１２ａ〜１２ｄは、撮像画面１２の四隅に四角の枠で囲われた領域である。本実施形態で使用するカメラ２は自動車の前方の広い範囲をカバーするため、広角レンズを使用している。一方、撮像素子２ａは縦横に例えば、４８０×７２０素子のマトリックス状に配設された多数の光電変換素子であるので、撮像画面１２は四角形状となる。したがって、監視領域１２ａ〜１２ｄは、円形の凸レンズを使用する広角レンズからの画像の写り込みが極めて少ない領域である。

選択部１５は算出部７ａ〜７ｄによって算出されたノイズ強度の中で、例えば最も低いノイズ強度を選択し、記憶テーブル１９に記憶する。時系列処理部１６は記憶テーブル１９に記憶されたデータを読み出し、ノイズ強度の平均化処理を行い、ノイズ強度の情報を取得して判定部９に出力する。

判定部９は計測部７の出力部１８から出力されるノイズ強度が予め設定された閾値より小さい場合、オン信号を出力制御部１０に出力する。そして、オン信号を受け、出力制御部１０は、認識部８によって認識した認識結果を映像合成部４に出力する。一方、上記ノイズ強度が予め設定された閾値以上である場合、判定部９はオフ信号を出力制御部１０に出力する。そして、オフ信号を受け、出力制御部１０は、認識部８によって認識した認識結果を映像合成部４に出力させない。なお、判定部９がノイズ強度を判断するための閾値は、予め設定され、不図示の記憶領域に記憶されているものとする。

認識部８は映像Ｉ／Ｆ６を通して入力する画像データに基づいて認識処理を行なう。認識処理の例として、特徴ある動きをする被写体を検出し、該被写体の座標データを認識結果として記憶テーブル８ａに記憶する。特徴ある動きとして例えば、画面の中央に向かって移動する被写体を検出し、この被写体の座標データを認識結果として記憶テーブル８ａに記憶する。

以上の構成において、以下に本例の処理動作を説明する。
図４は本例の処理動作を説明するフローチャートである。先ず、計測装置１のプロセッサは、監視領域の設定処理を行う（ステップ（以下、Ｓで示す）１）。この処理は、前述の複数の監視領域を設定する処理であり、撮像画像の変化の少ない領域が監視領域として設定されることが望ましい。本例では、前述のように広角レンズの特性によって画像の映り込みが極めて少ない撮像画面１２の四隅の領域が監視領域１２ａ〜１２ｄとして設定される。

尚、図３に示すように、カメラの位置移動に伴うテクスチャ変化の少ない領域として、車体の一部が移り込む領域１３ａ、１３ｂを監視領域に設定してもよい。また、撮像素子２ａに遮光シールを貼り、該遮光シールを貼った撮像素子２ａに対応する画像データ１２上の領域１４ａ、１４ｂを監視領域に設定してもよい。このように監視領域を設定することにより、広角レンズを使用しないカメラにおいても、陰影やレンズ内反射による映り込みが少ない領域を監視領域として設定することができる。

なお、Ｓ１の処理は、Ｓ２以降の処理とは時間的に連続しないタイミングで予め行われても構わない。また、Ｓ１の処理を計測装置１のプロセッサが行うのではなく、本装置の利用者による監視領域を特定する指示入力操作として行われても構わない。その場合には、利用者は、画像データ１２における監視領域の位置を、画像データ１２上の座標情報によって入力することができる。

次に、算出部７ａ〜７ｄによって各監視領域の局所ノイズ強度を算出する（Ｓ２）。ここで、算出部７ａ〜７ｄに入力する画像データは、対応する監視領域１２ａ〜１２ｄが完全な遮光領域ではないため、陰影やレンズ内反射による映り込みを含む可能性がある画像データである。陰影やレンズ内反射がノイズ強度を算出することに及ぼす影響を低減させるため、算出部７ａ〜７ｄのそれぞれは、図５に示す動作を行なう。具体的には、トレンド算出処理２０、減算処理２１、及び分散計算処理２２を順次行う。

尚、算出部７ａには監視領域１２ａの画像データが入力され、算出部７ｂには監視領域１２ｂの画像データが入力され、算出部７ｃには監視領域１２ｃの画像データが入力され、算出部７ｄには監視領域１２ｄの画像データが入力される。

まず、算出部７ａ〜７ｄは、トレンド算出処理２０で、各算出部に対応する上記監視領域１２ａ〜１２ｄの画素の輝度値（I(x)）に対するトレンド（T(x)）を、以下の計算式に従って計算する。
Ｔ(x)＝−Σ_iｗ(ｉ)Ｉ(ｘ−ｉ)／σ

尚、i=(p,q)は2次元平面上の座標xの周辺の局所領域を表現するための変数であって、例えば、-5 <= p <= 5、-5 <= q <= 5、と定義することができる。また、上記ｗは重み係数を示し、σは正規化定数を示す。

次に、算出部７ａ〜７ｄは、減算処理２１で、以下の計算式に従って輝度値（I(x)）から上記計算結果であるトレンド（T(x)）を減算処理２１し、減算結果I’(x)を得る。
Ｉ’(ｘ)＝Ｉ(ｘ)−Ｔ(ｘ)

図６は、上記トレンド算出処理２０及び減算処理２１を説明する図である。一つの監視領域内の横１ラインのｘ座標を横軸として輝度値（I(x)）とトレンド（T(x)）の変化を例示している。図６に示す曲線ａは、監視領域（例えば、１２ａ）内の横１ラインのｘ座標に対応する輝度値（I(x)）を示し、図６に示す曲線ｂは、監視領域（例えば、１２ａ）のｘ座標に対応するトレンド（T(x)）の変化を示す。

具体的には、上記トレンド（T(x)）は、輝度値の移動平均であり、画素ｘの周辺画素の輝度の平均として算出される。図６に示す例は、対応する監視領域（例えば、１２ａ）において、ｘ座標の値が大きくなるに従って、輝度値がテクスチャや陰影やレンズ内反射による映り込みの影響により徐々に大きくなり、トレンド（T(x)）が右上がりの曲線になることを示す。尚、図示しないが、図６に示す例とは逆に、監視領域（例えば、１２ａ）におけるテクスチャや陰影やレンズ内反射による映り込みの影響が、ｘ座標の値が大きくなるに従って徐々に小さくなる場合には、トレンド（T(x)）は右下がりの曲線となる。

したがって、本実施形態では、輝度値に含まれるノイズ強度をより正確に計算するため、減算処理２１によって輝度値（I(x)）からトレンド（T(x)）を減算する計算を行い、輝度値（I’(x)）を取得する。

次に、算出部７ａ〜７ｄは、分散計算処理２２を行い、上記輝度値（I’(x)）の分散Vを、以下の計算式に従って計算し、計算結果を対応する記憶テーブル１７ａ〜１７ｄに記憶する。

上記処理によって、例えば記憶テーブル１７ａには監視領域１２ａの画像データに基づく分散値V_１が記憶され、記憶テーブル１７ｂには監視領域１２ｂの画像データに基づく分散値V_２が記憶され、記憶テーブル１７ｃには監視領域１２ｃの画像データに基づく分散値V_３が記憶され、記憶テーブル１７ｄには監視領域１２ｄの画像データに基づく分散値V_４が記憶される。

尚、トレンド算出処理、減算処理、分散計算処理の代わりに、監視領域１２ａ〜１２ｄ全体の輝度平均と、監視領域１２ａ〜１２ｄ内の各画素の輝度ちとの差分の合計を算出する処理を行い、その結果を監視領域１２ａ〜１２に対応する輝度分散として記憶テーブル１７ａ〜１７ｄに記憶しても良い。

ここで、上記分散値Vは、輝度値（I’(x)）のバラツキを示す。そして、輝度値（I’(x)）のバラツキが小さいほど、テクスチャや陰影やレンズ内反射による映り込みによる影響、すなわちによるノイズ以外に起因する輝度値変化が少ないことを示している。

一般に、ノイズは画像フレーム内の位置に関らず一様に発生する可能性がある。従って、監視領域が画像データ内のどの位置に設定されたとしても、ノイズに起因する分散値はほぼ一定であると考えられる。これに対して、撮像したデータそのもの、即ち画像データ上のテクスチャや、レンズ内反射による映り込みなどは、画像データのどの位置にどのような被写体が写っているか、また、画像データのどの位置に外光の陰影やレンズ内反射による映り込みが発生するかに応じて変化する。別の言い方をすれば、全ての監視領域１２ａ〜１２ｄにおいて、同時に同様のテクスチャや陰影やレンズ内反射による映り込みが発生する確率は極めて低い。従って、監視領域が画像データ内のどの位置に設定されたかによって、テクスチャやレンズ内反射等に起因する分散値は変化する。

また、一般に、ノイズによる輝度値の分散値よりも、テクスチャやレンズ内反射等による輝度値の分散値の方がはるかに大きい。従って、テクスチャやレンズ内反射等による輝度値の分散値が大きい場合には、画像データから得られる分散値も大きくなる。監視領域の分散値として表れる値は、テクスチャやレンズ内反射等ノイズ以外に起因する分散値とノイズに起因する分散値との合算値である。従って、ノイズ以外に起因する輝度値の分散値が大きい場合には、画像データから得られる分散値は、ノイズによる輝度値の分散値に比してノイズ以外に起因する輝度値の分散値の方が支配的となる。

反対に、ノイズ以外に起因する輝度値の分散値が小さい場合には、画像データから得られる分散値は小さくなる。そして、ノイズ以外に起因する輝度値の分散値が小さい場合には、画像データから得られる分散値に、ノイズによる輝度値の分散値が表れ易くなる。言い換えれば、画像データから得られる分散値が、ノイズに起因する輝度値の分散値に近い値になる。

従って、記憶テーブル１７ａ〜１７ｄに記憶された分散値V(I’(x))、すなわち輝度値（I’(x)）のバラツキが小さいほど、ノイズによる輝度値の分散を良く表しているといえる。すなわち、上記分散Vが小さい値になるほど、より正確なノイズ強度を示すといえる。

次に、算出部７ａ〜７ｄによって算出されたノイズ強度、すなわち分散Vの中で、例えば最小のノイズ強度を選択する処理を行う（Ｓ３）。Ｓ３は選択部１５によって実行される。図７はこの処理を説明する図である。選択部１５が実行する最小値選択処理として、上記記憶テーブル１７ａ〜１７ｄに記憶された分散Vから最小の分散値が選択され、分散値Vminとして記憶テーブル１９に記憶される。例えば、時間ｔには分散値Vmin(t)として記憶テーブル１７ｃに記憶された分散V_３のデータが読み出され、記憶エリア（＃ｔ）に記憶される。また、例えば時間ｔ-ｉには記憶テーブル１７ａに記憶された分散V_１のデータが読み出され、記憶エリア（＃ｔ-ｉ）に記憶される。また、時間ｔ-ａには記憶テーブル１７ｂに記憶された分散V_２のデータが読み出され、記憶エリア（＃ｔ-ａ）に記憶される。

すなわち、上記処理はテクスチャや陰影やレンズ内反射による映り込みの影響が最も少ない監視領域１２ａ〜１２ｄの分散を選択する処理に相当する。これは、全ての監視領域１２ａ〜１２ｄにおいて、同時に陰影やレンズ内反射による映り込みが発生する確率が極めて低いことを利用するものである。

尚、選択部１５は、最小のノイズ強度のかわりに、複数の監視領域に対応するノイズ強度のうち、ノイズ強度が小さい方から所定数のノイズ強度の平均値や、ノイズ強度の小さい方から所定数番目のノイズ強度を選択してもよい。所定数は、例えば監視領域の半分以下の値が考えられる。

選択部１５が最小のノイズ強度を選択した場合、テクスチャ等の影響を最も受けていない分散値、すなわちノイズ強度を選択できる。また、選択部１５がノイズ強度の小さい方から所定数のノイズ強度の平均値や、ノイズ強度の小さい方から所定数番目のノイズ強度を選択した場合には、例えば監視領域として設定された領域の中のある１領域に対する画像データ上の画素値が、何らかの不具合により異常な値になっていたとしても、ノイズ強度の算出に該異常な値の影響を少なくできる。

次に、時系列処理を行う（Ｓ４）。Ｓ４は、時系列処理部１６によって実行される。Ｓ４は、テクスチャや陰影やレンズ内反射による映り込みの影響を更に低減するための処理である。すなわち、時系列処理部１６は、記憶テーブル１９に記憶された分散値Vminのデータを順次読み出し、ノイズ強度（Ｎ）を算出する。具体的には、以下の計算式に従って時系列に連続する分散値Vminの平均処理を行なう。
Ｎ＝Σ_iＶmin(ｔ−ｉ)／ａ (ｉ＝１．．．ａ)

すなわち、図８に示すように、時系列的に連続する分散値Vminのデータを記憶テーブル１９から順次読み出し、所定の局所窓ａによって平均処理を行うことによって、ノイズ強度を計算する。この処理は、監視領域１２ａ〜１２ｄにおいて、テクスチャや陰影やレンズ内反射による映り込みが、同時かつ長時間に渡って発生する確率が極めて低いことを利用するものである。

このように、時系列処理部１６は分散値Vminの平均処理を行なってノイズ強度を取得し、取得したノイズ強度を判定部９に出力する。
判定部９は、認識部８による認識結果の出力を制御する信号を生成する。例えば、計測部７から出力されるノイズ強度が予め設定された閾値より小さいとき、オン信号を出力制御部１０に出力する。一方、上記ノイズ強度が予め設定された閾値以上の場合、オフ信号を出力制御部１０に出力する。

前述のように認識部８にはバッファ６ａを通して画像データが入力されている。認識部８は入力された画像データに対して認識処理を行い、例えば、特徴ある動きをする被写体を抽出する。例えば、画面の中央に向かって移動する移動体を抽出する。自動車の前方にカメラが設置され、該自動車が前進している場合、画面の中央に向かって移動する移動体は、自車に接近する他の車両や人や、自車の進路を妨害する可能性のある移動体に相当する。認識部８は、このような被写体を認識対象として記憶テーブル８ａに記憶する。

図９は記憶テーブル８ａに記憶された認識対象の座標データの例である。例えば、認識された対象である移動体の識別子と座標(x座標、ｙ座標、ｘ座標からの幅ｗ、ｙ座標からの高さｈ)とのセットとして、Ａ１（x1,y1,w1,h1)、Ａ２（x2,y21,w2,h2)、・・・Ａｋ(xｋ,yｋ,wｋ,hｋ)のデータが記憶される。そして、時系列処理部１６の出力部１８から出力されるノイズ強度が予め設定された閾値より小さいとき、記憶テーブル８ａに記憶されたデータが、出力制御部１０を通して映像合成部４に出力される。映像合成部４には撮像素子２ａによって撮像された画像データも入力しており、映像合成部４によって上記認識結果と画像データとが合成され、モニタ部５に出力される。

図１０及び図１１は、モニタ部５の表示例を示す図である。先ず、図１０はノイズ強度が予め設定された閾値より小さい場合、即ちノイズが少ない場合の表示例である。ノイズが少ない状態を低ノイズと表現する場合もある。この場合、モニタ部５には、認識結果である被写体を囲う枠２６が表示される。この枠２６の画像データは、認識部８によって認識された被写体の座標データに基づく表示であり、例えば図９で前述の認識対象Ａ１の座標データである(x1,y1,w1,h1)の座標データに基づく表示である。このような表示を行えば、車両のドライバはモニタ部５に表示される枠２６を視認することによって、枠２６で囲われた被写体が自車に接近中であることを認識することができる。

また、図１０に示す作動中表示２５は認識部８が作動中であることを示す表示である。このような表示を行えば、車両のドライバはモニタ部５に表示される作動中表示２５を視認することによって、認識部８が作動中であることを知ることができる。

一方、図１１はノイズ強度が予め設定された閾値以上の場合、すなわちノイズが多い場合の表示例である。ノイズが多い状態を高ノイズと表現する場合もある。ノイズの量が多い場合は、例えば、時間経過に伴って発生位置が変化する粒状のノイズが多く発生している状態である。この粒状のノイズの位置変化は認識部８により被写体の移動と誤認識される場合がある。この場合、判断部９がオフ信号を出力制御部１０に出力するので、認識結果を示す枠２６はモニタ部５に表示されない。したがって、認識部８において粒状のノイズの位置変化を誤って被写体の移動と誤認識したとしても、該誤認識した結果をモニタ部５に表示することはない。従って、誤認識した結果である枠２６をモニタ部５に表示することにより、車両のドライバを惑わすことを抑止できる。さらに、この時モニタ部５には認識部８が作動中ではないことを示す作動中止表示２７を行ってもよい。このような表示を行えば、車両のドライバは、認識部が作動していないことを明に認識することができる。

また、例えば画像データの平均輝度が所定値を下回る場合、ＡＧＣ回路が働き平均輝度が所定値を上回るよう画像データの輝度を増幅する。増幅された画像データに含まれるノイズ強度が本実施形態で説明した閾値以上の場合、判定部９によりオフ信号が出力制御部１０に出力される。従って、認識部８からの認識結果として枠２６が合成された画像データが、モニタ部５に表示されることはない。

尚、本実施形態の説明では、監視領域を上記１２ａ〜１２ｄの４箇所、又は１３ａ、１３ｂ又は１４ａ、１４ｂの２箇所としたが、上記数に限定されるものではない。監視は、３箇所設定してもよく、また５箇所設定してもよく、更に多くの箇所を監視領域に設定してもよい。また、監視領域の数に応じて、動作させる算出部の数を増減しても構わない。

また、画像フレーム１２を一様な大きさに分割したブロックのうちの複数ブロックを監視領域に設定してもよい。このようにすることにより、前述と同様、広角レンズを使用しないカメラにおいても、陰影やレンズ内反射による映り込みの影響の少ない監視領域の設定が可能となる。尚、上記複数の監視領域１３ａ、１３ｂ、又は１４ａ、１４ｂ、又はブロック領域は、前述の画像データ内の領域で、かつ、画像データ内で離れた領域に設定することが好ましいが、必ずしも離れた領域に設定する必要はない。

また、前述の反射の影響の少ない車体の一部１３ａ、１３ｂを監視領域に設定し、又は撮像素子２ａにシールを貼り、対応する撮像画面の領域１４ａ、１４ｂを監視領域に設定した場合、監視領域は１３ａ、１３ｂ、又は１４ａ、１４ｂの２箇所であり、このため算出部としては、例えば７ａ、７ｂの２つの算出部を使用することになる。この場合、選択部１５によって最小の分散値Vminを選択する処理は、算出部７ａと７ｂの出力から選択することになる。

また、撮像素子２ａのレンズに遮光シールを貼着する場合、例えば監視領域が２０×２０画素程度に設定されるように、また、図３のように被写体の妨げにならない位置として、カメラ視野の上隅の方に、遮光シールを貼着することが考えられる。また、遮光シールに代えて黒色のペイントを塗布してもよい。

さらに、本実施形態では、カメラを自動車の前部に設置するので、例えば街角の死角領域をカバーするカメラ装置として使用することができる。この場合、ノイズ強度が閾値より小さければ、映像合成部４において画像データと認識部８によって認識した座標データの画像を合成し、例えば死角である街角から飛び出す車両等に枠を付した表示をして、ドライバに注意を喚起することができる。

また、本実施形態の計測装置及び制御装置を車両のバックモニタとして使用することもできる。バックモニタとして使用すれば、車両後方の安全確保をより確実に行なうことができる。

本実施形態では撮像素子２ａからの撮像データを処理する１つの標準的な映像Ｉ／Ｆ２ｂのみをカメラ部２に設ければよい。また、撮像素子２ａにオプティカルブラック領域を設ける必要がない。例えば、カメラ内にオプティカルブラック領域を設ける従来技術によれば、カメラ部から認識部へ画像信号を出力する線以外に、認識部において認識処理を行うべきか否かに関する情報を通知するための専用線が必要である。しかし本実施形態であれば、画像信号を出力する線以外は不要であるので、回路を簡素化することがでる。ひいては装置のコストダウンを図ることもできる。

本実施形態の説明では、車載用のカメラ装置に使用された計測装置及び制御装置について説明したが、コンビニエンスストアや街角に設置されたカメラ装置に使用してもよく、更に道路等に設置される道路監視モニタ等の各種監視モニタに使用してもよい。

図１に示す計測装置は、例えば図１２に示す情報処理装置（コンピュータ）３０を使用して実現することができる。図１２に示す情報処理装置３０は、ＣＰＵ３１、メモリ３２、入力装置３３、出力装置３４、外部記憶装置３５、映像Ｉ／Ｆ３６、及びネットワーク接続装置３７を備える。また、それらはバス３８により互いに接続されている。

メモリ３２は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含み、処理に用いられるプログラム及びデータを記憶する。メモリ３２に記憶されるプログラムには、前述の図４に示すノイズ強度の計測処理を実行するプログラムが含まれる。ＣＰＵ３１は、メモリ３２のプログラムを実行することでノイズ強度の計測処理を行う。

入力装置３３は、例えばキーボードやマウス等のポインティングデバイスであり、利用者の指示や情報の入力に用いられる。また、出力装置３４は、例えばディスプレイやプリンタ等であり、前述のモニタ画像の表示等に使用する。

外部記憶装置３５は、例えば磁気ディスク装置、光ディスク装置、磁気テープ装置等である。この外部記憶装置３５には、上記プログラムやデータが記憶され、必要に応じてメモリ３２にロードして使用する。

映像Ｉ／Ｆ３６は、カメラ部２から入力する撮像画像の入力制御を行う。ネットワークＩ／Ｆ３７は、ＬＡＮ（Local Area Network）等の有線または無線の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置３０は、必要に応じて、プログラムやデータを外部の装置からネットワークＩ／Ｆ３７を通して受け取り、メモリ３２にロードして使用する。

図１３は、上記図１２の情報処理装置３０にプログラムやデータを提供する方法を示す。例えば、外部記憶装置３５に記憶したプログラムやデータは、情報処理装置３０のメモリ３２にロードされる。また、ネットワークＩ／Ｆ３７を介して接続可能な外部の装置４１は、プログラムやデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置３０に送信する。ＣＰＵ３１は、上記各方法によって取得したプログラムを実行し、上記ノイズ強度の計測処理を行う。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像素子を有するカメラにより撮像された画像データの中の監視領域につき、前記監視領域を構成する画素の画素値に基づいて、ノイズ強度を算出する複数の算出部であって、該複数の算出部のそれぞれは、前記画像データの中で互いに異なる前記監視領域について前記ノイズ強度を算出する複数の算出部と、
該複数の算出部によってそれぞれ算出されたノイズ強度のうち、いずれかのノイズ強度を選択する選択部と、
該選択部によって選択されたノイズ強度に基づく情報を出力する手段と、
を有することを特徴とする計測装置。
（付記２）
前記監視領域を構成する画素の画素値は、前記画素に対応する撮像素子によって検出された輝度値から前記画像データの輝度値の移動平均値を差し引いた値であることを特徴とする付記１に記載の計測装置。
（付記３）
前記計測装置はさらに、前記選択部によって選択されたノイズ強度の情報を時系列で取得し、所定の時間窓で平均化し、該平均化されたノイズ強度に関する情報を前記出力する手段に出力する時系列処理部を有することを特徴とする付記１、又は２に記載の計測装置。
（付記４）
前記撮像素子が広角レンズを通して入射する光の撮像を行う場合、複数の前記監視領域は前記画像データの四隅の領域であることを特徴とする付記１、２、又は３に記載の計測装置。
（付記５）
前記選択部は、前記算出部によって算出されたノイズ強度の中で最小のノイズ強度を選択することを特徴とする請求項１、２、３、又は４に記載の計測装置。
（付記６）
複数の前記監視領域は、前記カメラが車両に設置された場合、前記車両の一部が撮像される前記撮像画面の領域に設定されることを特徴とする請求項１、２、又は３に記載の計測装置。
（付記７）
複数の前記監視領域は、前記画像データを一様に分割し、ブロック化した複数のブロック領域であることを特徴とする請求項１、２、又は３に記載の計測装置。
（付記８）
撮像素子を有するカメラにより撮像された画像データの中の監視領域につき、前記監視領域を構成する画素の画素値に基づいて、ノイズ強度を算出する複数の算出部であって、該複数の算出部のそれぞれは、前記画像データの中で互いに異なる前記監視領域について前記ノイズ強度を算出する複数の算出部と、
該複数の算出部によってそれぞれ算出されたノイズ強度のうち、いずれかのノイズ強度を選択する選択部と、
該選択部によって選択されたノイズ強度に基づく情報に従って、前記画像データに対して、該画像データから得られる認識情報に基づいた画像合成を行うか否か判定する判定部と、
該判定部の判定結果に従って、前記画像データ、又は前記画像データに前記認識情報に基づいた情報を合成した合成画像の何れか一方の画像を表示する表示部と、
を有することを特徴とする制御装置。
（付記９）
前記判定部は、前記ノイズ強度が所定の閾値より小さい場合、前記画像データに前記認識情報について画像合成を行うと判定し、
前記表示部は、前記画像データに前記認識情報に基づいた情報を合成した合成画像を表示することを特徴とする付記８に記載の制御装置。
（付記１０）
前記認識情報は、前記画像データの中央に向かって移動する移動体の座標データであることを特徴とする付記８、又は９に記載の制御装置。
（付記１１）
コンピュータを計測装置として動作させるプログラムであって、
撮像素子を有するカメラにより撮像された画像データの中の複数の監視領域それぞれにつき、前記複数の監視領域それぞれを構成する画素の画素値に基づいて、ノイズ強度を算出する算出処理と、
該算出処理によって算出された複数のノイズ強度のうち、いずれかのノイズ強度を選択する選択処理と、
該選択処理によって選択されたノイズ強度に基づく情報を出力する処理と、
をコンピュータに実行させることを特徴とする計測プログラム。
（付記１２）
コンピュータを制御装置として動作させるプログラムであって、
撮像素子を有するカメラにより撮像された画像データの中の複数の監視領域それぞれにつき、前記複数の監視領域それぞれを構成する画素の画素値に基づいて、ノイズ強度を算出する算出処理と、
該算出処理によって算出された複数のノイズ強度のうち、いずれかのノイズ強度を選択する選択処理と、
該選択処理によって選択されたノイズ強度に基づく情報に従って、前記画像データに対して、該画像データから得られる認識情報に基づいた画像合成を行うか否か判定する判定処理と、
該判定処理の判定結果に従って、前記画像データ、又は前記画像データに前記認識情報に基づいた情報を合成した合成画像の何れか一方の画像を表示する表示処理と、
をコンピュータに実行させることを特徴とする制御プログラム。

１ 制御装置
２ カメラ
２ａ 撮像素子
２ｂ 映像Ｉ／Ｆ
３ 認識部
４ 映像合成部
５ モニタ部
６ 映像Ｉ／Ｆ
６ａ バッファ
７ 計測部（計測装置）
７ａ〜７ｄ 算出部
８ 認識部
８ａ 記憶テーブル
９ 判断部
１０ 出力制御部
１２ 撮像画面
１２ａ〜１２ｄ 監視領域
１３ａ、１３ｂ、１４ａ、１４ｂ 領域
１５ 選択部
１６ 時系列処理部
１７ａ、１７ｂ、１７ｃ、１７ｄ 記憶テーブル
１８ 出力部
１９ 記憶テーブル
２０ トレンド算出処理
２１ 減算処理
２２ 分散計算処理
２５ 作動中表示
２６ 枠
２７ 作動中止表示
３０ 情報処理装置
３１ ＣＰＵ
３２ メモリ
３３ 入力装置
３４ 出力装置
３５ 外部記憶装置
３６ 映像Ｉ／Ｆ
３７ ネットワークＩ／Ｆ
３８ バス
４１ 外部装置

Claims (6)

1. 撮像素子を有するカメラにより広角レンズを使用して撮像された画像データの中の四隅の領域である監視領域につき、前記監視領域を構成する画素の画素値に基づいて、ノイズ強度を算出する複数の算出部であって、該複数の算出部のそれぞれは、前記画像データの中で互いに異なる前記監視領域について前記ノイズ強度を算出する複数の算出部と、
   該複数の算出部によってそれぞれ算出されたノイズ強度のうち、いずれかのノイズ強度を選択する選択部と、
   該選択部によって選択されたノイズ強度に基づく情報を出力する手段と、
   を有することを特徴とする計測装置。
2. 前記画素値は、前記画素に対応する前記撮像素子によって検出された信号の輝度値から、前記画像データの輝度値の移動平均値を差し引いた値であることを特徴とする請求項１に記載の計測装置。
3. 前記計測装置はさらに、前記選択部によって選択されたノイズ強度の情報を時系列で取得し、所定の時間窓で平均化し、該平均化されたノイズ強度に関する情報を前記出力する手段に出力する時系列処理部を有することを特徴とする請求項１、又は２に記載の計測装置。
4. 撮像素子を有するカメラにより広角レンズを使用して撮像された画像データの中の四隅の領域である監視領域につき、前記監視領域を構成する画素の画素値に基づいて、ノイズ強度を算出する複数の算出部であって、該複数の算出部のそれぞれは、前記画像データの中で互いに異なる前記監視領域について前記ノイズ強度を算出する複数の算出部と、
   該複数の算出部によってそれぞれ算出されたノイズ強度のうち、いずれかのノイズ強度を選択する選択部と、
   該選択部によって選択されたノイズ強度に基づく情報に従って、前記画像データに対して、該画像データから得られる認識情報に基づいた画像合成を行うか否か判定する判定部と、
   該判定部の判定結果に従って、前記画像データ、又は前記画像データに前記認識情報に基づいた情報を合成した合成画像の何れか一方の画像を表示する表示部と、
   を有することを特徴とする制御装置。
5. コンピュータをノイズ強度計測装置として動作させるプログラムであって、
   撮像素子を有するカメラにより広角レンズを使用して撮像された画像データの中の四隅の領域それぞれにつき、前記四隅の領域それぞれを構成する画素の画素値に基づいて、ノイズ強度を算出する算出処理と、
   該算出処理によって算出された複数のノイズ強度のなかで最小のノイズ強度を選択する選択処理と、
   該選択処理によって選択された最小のノイズ強度の情報を出力する出力処理と、
   をコンピュータに実行させることを特徴とするノイズ強度計測プログラム。
6. コンピュータを認識出力制御装置として動作させるプログラムであって、
   撮像素子を有するカメラにより広角レンズを使用して撮像された画像データの中の四隅の領域それぞれにつき、前記四隅の領域それぞれを構成する画素の画素値に基づいて、ノイズ強度を算出する算出処理と、
   該算出処理によって算出された複数のノイズ強度のなかで最小のノイズ強度を選択する選択処理と、
   該選択処理によって選択された最小のノイズ強度の情報に従って、前記画像データに対して、該画像データから得られる認識情報について画像合成を行うか否か判定する判定処理と、
   該判定処理の判定結果に従って、前記画像データ、又は前記画像データに前記認識情報を合成した合成画像の何れか一方の画像を表示する表示処理と、
   をコンピュータに実行させることを特徴とする認識出力制御プログラム。