JP4878644B2 - 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム - Google Patents

Description

本発明は、移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラムに係り、特に、手前に移動物体がある場合に撮像された画像フレームから撮像対象に対するノイズである手前の移動対象を除去する移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラムに関する。

撮像カメラによって撮像された画像フレームには、撮像対象に関するデータの他に様々なノイズが含まれている。したがって、撮像対象に関する必要なデータのみを抽出し、あるいは不要なノイズを除去するために、画像フレームを加工する画像処理が行われる。特に移動物体が撮像されるときに、移動物体が撮像対象である場合と、移動物体がノイズである場合がある。前者の場合は、移動検出手段によって撮像対象を抽出できるが、後者の場合は、移動物体がノイズであり、移動物体のデータを除去することになる。移動物体が撮像対象の背後にあるときは、移動物体によって撮像対象が乱されることがないので移動物体はノイズとならない。したがって、移動物体がノイズとなるのは、撮像対象の手前に移動物体がある場合である。このようなとき、移動物体によるノイズを除去し、移動物体の背後にある背景を撮像対象として抽出することが必要となる。

例えば、特許文献１には、画像処理装置及び距離測定装置において、時系列に取得されたｎ個の画像を記憶し、これらの画像を累積平均して平均背景を求めることが開示されている。ここでは、例えば、移動物体の移動速度が速く、ｎ個の画像のうち１個の画像にのみその移動物体があるときは、ｎ個の画像の平均によって１個の画像にのみ現れる移動物体の濃度の寄与が小さく、閾値以下となり、累積画像上で消失することが述べられている。

また、特許文献２には、画像処理方法として、流し撮りにおいてブレを形成する際に、画像データにおいて所定の強度以上のエッジを検出し、これに基づいて移動体の移動方向、移動量等を求め、背景を抽出することが開示されている。ここでは、検出されたエッジによってエッジプロファイルを作成し、８方向についてのエッジのブレのヒストグラムからブレ方向、すなわち移動体の移動方向を求め、ブレ方向に対するブレ幅、すなわちエッジ幅から移動体の移動量を求める。そして、エッジ幅が所定の閾値より大きいエッジを検出して、そのエッジを含まない領域を背景領域とすることが述べられている。

また、非特許文献１には、時間メディアンフィルタによる降雪ノイズ除去方法が開示されている。ここで時間メディアンフィルタとは、固定監視カメラから得られた映像の複数フレームの各画素について、画素値を輝度値の高い順に並べ、ｋ番目の輝度値を現時刻の出力輝度とするものである。これを全部の画素について実行して、現時刻の出力輝度で画像を作成するもので、例えば雪が２つのフレームにしか撮像されていないとすると、ｋ＝３とすれば、現時刻の画像から雪を除去できるフィルタとなることが述べられている。
特開平６−３３７９３８号公報 特開２００６−５００７０号公報 三宅他，「時間メディアンフィルタによる降雪ノイズ除去」，画像電子学会誌，第３０巻，第３号，２００１年，ｐ２５１−２５９

このように、移動物体をノイズとして除去する必要がある場合の例の１つは、戸外の状況を監視カメラで撮像するときに、雨や雪等が降っているときである。例えば、降雪が激しいと、人物がおり、あるいは車両が走行していても、その手前の移動物体である雪にかき消されて、撮像された画像フレームからは人物や車両が十分に監視できない。監視を強化するために照明を強くすると、かえって降雪が強く撮像され、肝心の人物や車両等がかき消されることが多くなる。

同様の例は、夜間走行中の車両においても生じる。夜間走行中の車両で、前方の障害物を赤外線カメラあるいは超音波カメラ等で検出することが行われるが、雨や雪が降っているときには、赤外線や超音波はこれらを検出し、前方に歩行者や障害物があっても撮像された画像フレームからはこれらを十分に検出できない。赤外線や超音波の出力を強くしても、かえって降雪等が強く撮像されるだけである。

特許文献1の方法は、画像の累積平均を行うもので、メモリ容量が大きくなり、また処理に時間がかかる。特許文献２の方法は、８方向についてのエッジブレのヒストグラムの処理を要し、やはりメモリ容量が大きくなり、また処理に時間がかかる。また、非特許文献1においては、降雪ノイズ除去が行われているが、映像の複数のフレームのデータから各画素の輝度値のメディアンを求めるもので、複雑な演算を要する。

このように、従来技術によれば、移動物体のノイズ除去に高度な画像処理を要し、そのために大きなメモリ容量を要し、処理に時間がかかる。

本発明の目的は、比較的簡単な方法で効果的に移動物体ノイズを除去することを可能とする移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラムを提供することである。

本発明に係る移動物体ノイズ除去処理装置は、手前に移動物体がある撮像対象を画像フレームとして撮像する固定撮像装置と、撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリと、撮像された画像フレームを加工する加工手段と、を備え、加工手段は、メモリから現在より前の時刻に撮像された画像フレームを読み出す手段と、読み出された画像フレームを構成する各画素と、現在に撮像された画像フレームを構成する各画素とについて、両画像フレームの対応する画素の輝度値を比較する手段と、各画素について、輝度値の高い方をノイズとして除去し、輝度値の低い方を残してその画素の輝度値を更新するノイズ除去手段と、所定の更新基準に基づいて各画素について輝度値が更新された画像フレームを撮像対象の画像フレームとして出力する手段と、を含むことを特徴とする。

また、本発明に係る移動物体ノイズ除去処理装置は、手前に移動物体がある撮像対象を画像フレームとして撮像する固定撮像装置と、撮像された複数の画像フレームを撮像の時系列に関連付けて記憶するメモリと、撮像された画像フレームを加工する加工手段と、を備え、加工手段は、メモリから複数の画像フレームを読み出す手段と、読み出された複数の画像フレームにおける各画素の輝度値に基づいて、画像フレームを構成する各画素ごとに輝度値の頻度分布を生成する手段と、各画素について、輝度値の頻度分布の最も頻度の高い輝度値を残し、それ以外の輝度値をノイズとして除去するノイズ除去手段と、最も頻度の高い輝度値を有する各画素で構成された画像を撮像対象の画像フレームとして出力する手段と、を含むことを特徴とする。

また、本発明に係る移動物体ノイズ除去処理装置は、手前に移動物体がある撮像対象を画像フレームとして撮像する２台の固定撮像装置であって、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される２台の固定撮像装置と、各固定撮像装置によって撮像された２つの画像フレームをそれぞれ記憶するメモリと、撮像された画像フレームを加工する加工手段と、を備え、加工手段は、メモリから２つの画像フレームを読み出す手段と、２つの画像フレームを構成する各画素について、両画像フレームの対応する画素の輝度値を比較する手段と、各画素について、輝度値の高い方をノイズとして除去し、輝度値の低い方を残してその画素の輝度値を更新するノイズ除去手段と、所定の更新基準に基づいて各画素について輝度値が更新された画像フレームを撮像対象の画像フレームとして出力する手段と、を含むことを特徴とする。

また、本発明に係る移動物体ノイズ除去処理装置において、画像フレームを構成する画素の輝度値のデータの総数と、ノイズとして除去された輝度値のデータの数との比較に基づいて、撮像対象の手前の移動物体の存在頻度を推定して、移動物体頻度として出力する手段を含むことが好ましい。

また、本発明に係る移動物体ノイズ除去処理装置において、移動物体は、降雪であってもよい。

また、本発明に係る移動物体ノイズ除去処理装置において、固定撮像装置側から撮像対象側に照明する照明装置を備えていてもよい。

また、本発明に係る移動物体ノイズ除去処理プログラムは、手前に移動物体がある撮像対象を固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行うプログラムであって、コンピュータ上で、固定撮像装置によって撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリから、現在より前の時刻に撮像された画像フレームを読み出す処理手順と、読み出された画像フレームを構成する各画素と、現在に撮像された画像フレームを構成する各画素とについて、両画像フレームの対応する画素の輝度値を比較する処理手順と、各画素について、輝度値の高い方をノイズとして除去し、輝度値の低い方を残してその画素の輝度値を更新するノイズ除去処理手順と、所定の更新基準に基づいて各画素について輝度値が更新された画像フレームを撮像対象の画像フレームとして出力する処理手順と、が実行されることを特徴とする。

また、本発明に係る移動物体ノイズ除去処理プログラムは、手前に移動物体がある撮像対象を固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行うプログラムであって、コンピュータ上で、固定撮像装置によって撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリから、複数の画像フレームを読み出す処理手順と、読み出された複数の画像フレームにおける各画素の輝度値に基づいて、画像フレームを構成する各画素ごとに輝度値の頻度分布を生成する処理手順と、各画素について、輝度値の頻度分布の最も頻度の高い輝度値を残し、それ以外の輝度値をノイズとして除去するノイズ除去処理手順と、最も頻度の高い輝度値を有する各画素で構成された画像を撮像対象の画像フレームとして出力する処理手順と、が実行されることを特徴とする。

また、本発明に係る移動物体ノイズ除去処理プログラムは、手前に移動物体がある撮像対象を画像フレームとして撮像する２台の固定撮像装置であって、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される２台の固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行うプログラムであって、コンピュータ上で、各固定撮像装置によって撮像された２つの画像フレームをそれぞれ記憶するメモリから、２つの画像フレームを読み出す処理手順と、２つの画像フレームを構成する各画素について、両画像フレームの対応する画素の輝度値を比較する処理手順と、各画素について、輝度値の高い方をノイズとして除去し、輝度値の低い方を残してその画素の輝度値を更新するノイズ除去処理手順と、所定の更新基準に基づいて各画素について輝度値が更新された画像フレームを撮像対象の画像フレームとして出力する処理手順と、が実行されることを特徴とする。

上記構成の少なくとも１つにより、移動物体ノイズ除去処理のために、固定撮像装置とメモリと、撮像された画像フレームを加工する加工手段が用いられる。加工手段はコンピュータである。そして、現在より前の時刻に撮像された画像フレームと、現在に撮像された画像フレームについて、対応する画素の輝度値を比較し、各画素について輝度値の高い方をノイズとして除去する。撮像装置に対し手前にある物体は一般的に明るく撮像されるので、手前にある移動物体は背後にある撮像対象よりも輝度値が高い。したがって上記構成により、２つの画像から移動物体ノイズを除去でき、しかも現在に撮像された画像フレームを取得すれば、時刻的にその前に既に撮像された画像フレームとの間の単純な輝度値比較によってほぼリアルタイム的に移動物体ノイズを除去できる。したがって、比較的簡単な方法で効果的に移動物体ノイズを除去することができる。

また、上記構成の少なくとも１つにより、移動物体ノイズ除去処理のために、固定撮像装置とメモリと、撮像された画像フレームを加工する加工手段が用いられる。加工手段はコンピュータである。そして、撮像時刻が異なる複数の画像フレームの間で、対応する画素の輝度値の頻度分布を生成し、各画素について最も頻度の高いデータを残して他をノイズとして除去する。移動物体は時間的に移動するので、各画素に止まっていず、特定の画素における移動物体の輝度値は時刻によって変化する。これに対し、移動物体の背後の撮像対象が固定位置にいるときまたはほぼ静止状態にあるときは、各画素においてほぼ固定的な輝度値を有する。したがって、撮像対象が固定位置にいるときまたはほぼ静止状態にあるときは、複数の画像から移動物体ノイズを除去できる。また、例えば、輝度値の頻度分布の生成を撮像の度に逐次更新するものとすれば、現在に撮像された画像フレームの取得に合わせてほぼリアルタイム的に移動物体ノイズを除去できる。したがって、比較的簡単な方法で効果的に移動物体ノイズを除去することができる。

また、上記構成の少なくとも１つにより、移動物体ノイズ除去処理のために、２台の固定撮像装置とメモリと、撮像された画像フレームを加工する加工手段が用いられる。加工手段はコンピュータである。ここで、２台の固定撮像装置は、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される。そして、２台の固定撮像装置によって同時刻に撮像された２つの画像フレームについて、対応する画素の輝度値を比較し、各画素について輝度値の高い方をノイズとして除去する。上記のように２台の固定撮像装置が配置されるとき、撮像対象が移動しても、２台の固定撮像装置によって撮像された２つの画像フレーム上で、撮像対象の位置は予め定められた任意の画素以内の範囲で一致している。これに対し、撮像対象より手前にある移動物体については、２台の固定撮像装置によって撮像された２つの画像フレーム上で、移動物体の位置は一致しない。そして撮像装置に対し手前にある物体は一般的に明るく撮像されるので、手前にある移動物体は背後にある撮像対象よりも輝度値が高い。したがって上記構成により、２つの画像から移動物体ノイズを除去でき、しかも２台の固定撮像装置による２つの画像フレームを取得すれば、その両画像フレームとの間の単純な輝度値比較によってほぼリアルタイム的に移動物体ノイズを除去できる。したがって、比較的簡単な方法で効果的に移動物体ノイズを除去することができる。

また、上記構成により、画像フレームを構成する画素の輝度値のデータの総数と、ノイズとして除去された輝度値のデータの数との比較に基づいて、撮像対象の手前の移動物体の存在頻度を推定して、移動物体頻度として出力する。したがって、ノイズ除去のみならず、撮像対象の手前の移動物体の存在頻度に関する情報を得ることができる。例えば、移動物体が降雪のときは、単位時間あたりの降雪量等の情報を得ることができる。あるいは、移動物体が道路を走行する車両であるであるときは、単位時間当たりの通過車両数等の情報を得ることができる。

また、固定撮像装置側から撮像対象側に照明する照明装置を設けてもよい。従来技術では、照明装置を設けて照明を強くしても、却って撮像対象の手前の移動物体のノイズが増加するばかりであるが、上記各構成によれば、照明の有無に関らず移動物体のノイズを除去できる。

本発明に係る実施の形態において、移動物体ノイズ除去処理装置の構成を説明する図である。 本発明に係る実施の形態において、移動物体ノイズ除去の手順を示すフローチャートである。 本発明に係る実施の形態において、ある時刻において撮像された画像フレームの例を示す図である。 本発明に係る実施の形態において、図３とは別の時刻において撮像された画像フレームの例を示す図である。 本発明に係る実施の形態において、図３と図４のデータに基づいて降雪によるノイズが除去される様子を示す図である。 本発明に係る実施の形態において、移動物体頻度を算出し、その時間的推移の例を示す図である。 別の実施例において、画素の輝度値の頻度分布に基づいて移動物体ノイズを除去する手順を示すフローチャートである。 別の実施例において、対応する画素のそれぞれについて輝度値の分布を求める様子を示す図である。 他の実施例において、撮像対象が移動する場合に、２台のカメラを用いて撮像対象の手前にある移動物体によるノイズを除去する原理を説明する図である。 別の実施例において、２台のカメラを用いて移動物体ノイズを除去する手順を示すフローチャートである。

符号の説明

４ 移動物体、６ 撮像対象、８ 戸外状況、１０ 移動物体ノイズ除去処理装置、１２，５０，５２ カメラ、１４ 照明装置、２０ コンピュータ、２４ 入力部、２６ 出力部、２８ 撮像装置インタフェース、３０ 記憶装置、３２ 記憶・読出モジュール、３４ 輝度値処理モジュール、３６ ノイズ除去モジュール、３８ 画像出力モジュール、４０ 移動物体頻度出力モジュール、４２，６０，６２ 画像フレーム、４４ 輝度値の頻度分布。

以下に図面を用いて本発明に係る実施の形態につき詳細に説明する。以下では、移動物体のノイズ除去の対象として、戸外の状況を監視するシステムにおいて、戸外に降雪があって照明を用いる状況の下で、降雪を移動物体として、これをノイズとして除去する場合について説明するが、これは説明のための一例である。戸外でなく、建物内等の構築物内の監視であってもよい。また、移動物体は降雪以外のもの、例えば降雨であってもよい。あるいは、歩行者、通過車両のように、監視対象の手前を横切る物体であってもよい。

また、固定撮像装置というのは、観察者に対し固定の意味であって、大地等に対し固定の意味ではない。したがって、観察者が乗車している車両に搭載された撮像装置は、ここでは固定撮像装置に当る。例えば、車両に固定された撮像装置を用い、車両を走行させ、ヘッドライト等の照明を用いて、車両の前方の障害物の状況を撮像して監視する場合に、本発明を適用することができる。なお、観察者とは、実際の人間でなくてもよい。その場合には、監視装置に固定された撮像装置がここでいう固定撮像装置に当る。

また、移動物体頻度出力については、移動物体を降雪として説明するが、上記のように移動物体は降雪以外の降雨、歩行者、走行車両等であってもよく、これらの場合に、移動物体頻度は、単位時間当たり降雨量等に関する情報、単位時間当たり通過歩行者数等に関する情報、単位時間当たり通過車両数等に関する情報等になる。これら以外の移動物体についても同様である。

［実施例１］
図１は、移動物体ノイズ除去処理装置１０の構成を説明する図である。ここで示される移動物体ノイズ除去処理装置１０は、戸外の状況を監視するシステムに搭載されるものである。戸外状況監視システムは、固定撮像装置であるカメラ１２と、カメラ１２によって撮像されたデータを加工し、監視画像フレームとして出力するコンピュータ２０とから構成される。移動物体ノイズ除去処理装置１０は、戸外状況監視システムの一部で、ハードウェア的には戸外状況監視システムと同じようにカメラ１２とコンピュータ２０を含んで構成され、ソフトウェア的には、コンピュータ２０によって実行される監視プログラムに含まれる移動物体除去処理プログラムの実行によって実現される。図１は、戸外状況監視システムの中で、移動物体ノイズ除去処理装置１０の構成を抜き出して示すものである。

なお、図１には、移動物体ノイズ除去処理装置１０の構成要素ではないが、監視対象の戸外状況８が図示されている。ここでは、戸外状況８は、降雪がある戸外に人物がいる状況として示されている。監視対象は、通常は人物もいない戸外風景であり、ここに不審な人物等が現れると、その人物等を撮像して、監視機関等に通報することになるが、図１の場合、人物が現れてこれを撮像しても、その手前に降雪があるため、人物の一部分が降雪によってかき消され、撮像された画像フレームにおいて人物データが不完全なものとなる。すなわち、図１は、降雪が撮像対象の手前の移動物体としてノイズとなっている場合が示されている。

カメラ１２は、上記のように、戸外状況監視システムにおいて固定位置として設定される撮像装置で、コンピュータ２０の制御の下で、戸外状況８を所定のサンプリング間隔で撮像し、各サンプリングタイムにおける撮像データをそれぞれ１つの画像フレームの電子データとして出力する機能を有する。出力された電子データは、信号線によってコンピュータ２０に伝送される。カメラ１２には、夜間等の環境に応じて、戸外状況８に対し適当な照明を行うことができる照明装置１４を設けることができる。かかるカメラ１２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）方式のディジタル電子カメラ等を用いることができる。

コンピュータ２０は、カメラ１２によって撮像され伝送された画像フレームのデータを加工することで、ここでは、戸外状況８における降雪等の移動物体ノイズを除去する機能等を有する。

コンピュータ２０は、ＣＰＵ２２と、キーボード等の入力部２４と、ディスプレイあるいはプリンタ等の出力部２６と、カメラ１２との間のインタフェース回路である撮像装置Ｉ／Ｆ２８と、プログラムを記憶しまたカメラ１２から伝送された画像フレームデータ等を記憶する記憶装置３０とを含んで構成される。これらの要素は内部バスによって相互に接続される。かかるコンピュータ２０は、例えば画像処理に適した専用のコンピュータで構成することができ、場合によっては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成することもできる。

ＣＰＵ２２は、記憶・読出モジュール３２と、輝度値処理モジュール３４と、ノイズ除去モジュール３６と、画像出力モジュール３８と、移動物体頻度出力モジュール４０とを含む。これらの機能は、画像フレームのデータ加工に関するものである。したがって、ＣＰＵ２２は、撮像された画像フレームを加工する手段としての機能を有する。ここで、記憶・読出モジュール３２は、カメラ１２から伝送されてきた画像フレームデータを各サンプリングタイムに関連付け、すなわち撮像の時系列に関連付けて記憶装置３０に記憶し、また必要に応じ記憶装置３０から画像フレームデータを読み出す機能を有する。また、輝度値処理モジュール３４は、複数の画像フレームについて、対応する画素ごとに輝度値を比較する機能を有する。またノイズ除去モジュール３６は、予め定めた基準によって、比較された輝度値のうち、１つの輝度値を残し、他の輝度値をノイズとして除去する機能を有する。また、画像出力モジュール３８は、各画素について残された輝度値に基づいて撮像対象の画像フレームを合成して出力する機能を有し、移動物体頻度出力モジュール４０は、除去された輝度値のデータ数と残された輝度値のデータ数の割合に基づいて移動物体の存在頻度を推定してこれを移動物体頻度として出力する機能を有する。これらの機能はソフトウェアによって実現でき、具体的には、上記のように、コンピュータ２０によって実行される監視プログラムに含まれる移動物体除去処理プログラムの実行によって実現される。

上記構成の移動物体ノイズ除去処理装置１０の作用を図２のフローチャートと、図３から図５に示す画像フレームを用いて説明する。なお、以下では、図1の符号を用いて説明する。図２のフローチャートは、移動物体ノイズ除去の手順を示すフローチャートで、以下の各手順は、移動物体ノイズ除去処理プログラムの各処理手順に対応する。

戸外状況８を監視するために、カメラ１２は、所定のサンプリング間隔Δｔごとに撮像する（Ｓ１０）。この工程は、ＣＰＵ２２がカメラ１２に対し、Δｔごとに撮像し、撮像したデータを画像フレームデータとして伝送するように指令を行い、カメラ１２がその指令に従って撮像を行うことで実現される。撮像されたデータは、信号線によって撮像装置Ｉ／Ｆ２８を介し、ＣＰＵ２２に伝送される。

伝送された画像フレームデータは、撮像の時系列に関連付けて、すなわち撮像時刻に関連付けて記憶装置３０に記憶される（Ｓ１２）。この工程は、ＣＰＵ２２の記憶・読出モジュール３２の機能によって実行される。

Ｓ１２とＳ１４は、各サンプリングタイムごとに実行が繰り返される。したがって、記憶装置３０には、撮像の時系列に関連付けて、撮像された画像フレームデータが順次記憶されることになるが、実際には、以下に述べるようにノイズ除去がほぼリアルタイム的に実行されるので、ノイズ除去された画像フレームが順次記憶されることになる。

Ｓ１４以下は、移動物体ノイズ除去及び移動物体頻度に関する手順で、画像データの加工に関する手順である。

まず、現在に撮像された画像フレームが記憶される（Ｓ１４）。この工程はＳ１２と同じとしてもよく、あるいはＳ１２に代えて一時的メモリに記憶するものとしてもよい。勿論、カメラ１２によって撮像された生データを記憶し、これと並列に撮像された画像フレームを加工するものとして、Ｓ１２と並列に一時的記憶メモリに記憶するものとしてもよい。

そして、現在より前の時刻における画像フレームが記憶装置３０から読み出される（Ｓ１６）。現在より前の時刻は、現在の撮像のサンプリングタイムの１つ前のサンプリングタイムでもよく、あるいは、もっと以前のサンプリングタイムであってもよい。読み出された画像フレームデータは、Ｓ１４において画像フレームデータが記憶されたメモリと別の一時的メモリに記憶される。Ｓ１４、Ｓ１６の工程は、ＣＰＵ２２の記憶・読出モジュール３２の機能によって実行される。

次に、両画像フレームのデータについて、対応する各画素の輝度値を比較する（Ｓ１８）。この工程は、ＣＰＵ２２の輝度値処理モジュール３４の機能によって実行される。対応する画素とは、例えば、１つの画像フレームが、水平方向をＸ方向として４００画素、垂直方向をＹ方向として５００画素のマトリクスで構成されている場合、全部で４００×５００＝２００，０００画素があることになるが、両画像フレームにおいて、Ｘ方向の位置座標、Ｙ方向の位置座標が同じ画素が、対応する画素である。輝度値とは、例えば２５６階調で各画素の輝度値が規定される場合には、０から２５５までの数値が輝度値となる。

Ｓ１８においては、両画像フレームの対応する各画素について、それぞれ２つの輝度値が比較されることになるが、つぎに、比較された２つの輝度値の中で、輝度値の高い方をノイズとして除去し、輝度値の低い方を残す（Ｓ２０）。撮像装置に対し手前にある物体は一般的に明るく撮像されるので、手前にある移動物体は背後にある撮像対象よりも輝度値が高い。したがって、同じ画素において輝度値の高い方が移動物体の輝度値で、輝度値の低い方が移動物体の背後にある撮像対象の輝度値である。そこで、前者をノイズとして除去し、後者を撮像対象の輝度値として残すことができる。この工程は、ＣＰＵ２２のノイズ除去モジュール３６の機能によって実行される。

そして、各画素において残された輝度値で、画像フレームの各画素の輝度値を更新する（Ｓ２２）。更新の対象となる画像フレームは、Ｓ１４で記憶された画像フレームと、Ｓ１６で読み出された画像フレームの双方であることが好ましい。具体的には、以下のようにして両画像フレームの輝度値の更新を行うことができる。例えば、Ｓ１６で読み出された画像フレームを出発点の画像フレームとして、この画像フレームの各画素の１つの画素の輝度値Ｋ１６と、Ｓ１４で記憶された画像フレームの対応する１つの画素の輝度値Ｋ１４とを比較し、Ｋ１６がＫ１４より低い場合には、Ｋ１４をＫ１６に更新し、Ｋ１４がＫ１６より低い場合には、Ｋ１６をＫ１４に更新する。すなわち、両画像フレームについて、いずれも低い輝度値に更新する。これを全部の画素について順次行うことで、両画像フレームの各画素の輝度値が、低い輝度値の方に統一されて更新される。

一例を上げると、ある画素について、Ｋ１４＝２５、Ｋ１６＝１２６であったとすると、この画素については、Ｓ１６で読み出された画像フレームの輝度値が更新され、両画像フレームの輝度値がＫ１４＝Ｋ１６＝２５に統一される。また別の画素について、Ｋ１４＝１８０、Ｋ１６＝２７であったとすると、この画素については、Ｓ１４で記憶された画像フレームの輝度値が更新され、両画像フレームの輝度値がＫ１４＝Ｋ１６＝２７に統一される。このように、上記の例では、２００，０００個の画素のそれぞれについて輝度値の更新が行われる。

画像フレームを構成する全部の画素について輝度値が更新されると、更新された輝度値の画素で構成される画像フレームが、現在に撮像された画像フレームとして、改めて記憶装置３０に記憶される。図２のフローチャートにおいては、Ｓ２２の後でＳ１２に戻り、時系列に記憶される。記憶される時刻は、Ｓ１４において「現在」とされた時刻である。これにより、Ｓ１４において、現在に撮像された画像フレームとして一時記憶装置に記憶されたデータが更新されて、記憶装置３０に記憶される。

また、更新された輝度値の画素で構成される画像フレームが、撮像対象の画像フレームとして出力される（Ｓ２４）。この出力された画像フレームは、現在に撮像された画像フレームにおいてノイズ除去が行われたものに対応する。この工程は、ＣＰＵ２２の画像出力モジュール３８の機能によって実行される。

その様子を図３から図４に示す。図３は、現在からΔｔ前に撮像された画像フレームの様子を示す図であり、図２におけるＳ１６の工程で読み出された画像フレームに対応する。ここでは、暗い背景の手前に建物の柱と人物が照明を受けて明るく検出されている。ここでは、背景、建物の柱、人物が戸外状況８における撮像対象に相当するが、降雪があるので、撮像対象の手前、すなわちカメラ１２に近い方の降雪によって、撮像対象の一部のデータが欠けている。特に照明があるので、撮像対象の手前の降雪は一段と明るく輝度値が高くなり、撮像対象の一部のデータがより明確に欠けている。

図４は、現在に撮像された画像フレームの様子を示す図である。つまり、図３からΔｔ経過して撮像された画像フレームが示されており、図２のＳ１４工程において記憶された画像フレームに相当する。カメラ１２は固定位置にあるので、図３の画像フレームと図４の画像フレームは、人物がほぼ静止している場合には同じ画像となってよいが、降雪は移動物体であるので、図３と図４とでは、降雪に関する部分が異なっている。

図５は、図３の画像フレームと図４の画像フレームにおいて、対応する画素についてそれぞれの輝度値を比較し、輝度値の高い方を除去し、低い方を残し、各画素について輝度値の低い方の輝度値を用いて構成された画像フレームである。図５に示されるように、降雪のノイズはほとんど除去され、撮像対象である暗い背景、建物の柱、人物がきれいに検出されていることが分かる。

再び図２に戻り、Ｓ１４で現在とされた時刻からさらにΔｔ経過すると、そのときが次の現在とされる時刻となり、上記のＳ１４で現在とされた時刻は過去のものとなる。このとき、Ｓ１４では、現在とされた新しい時刻で撮像された画像フレームが記憶される。そして、Ｓ１６で読み出されるのは、上記で更新された画像フレームデータとなる。そして、この両画像フレームについて、Ｓ１８からＳ２２の工程が実行され、各画素について輝度値の低い方の輝度値に基づいて、画像フレームが再び更新され、更新された画像フレームが、新しく現在における撮像対象の画像フレームとして出力される。このようにして、各サンプリングタイムにおいて、ほぼリアルタイム的に、撮像対象の画像フレームが更新されつつ出力される。

このように更新を繰り返すことで、移動物体ノイズである降雪ノイズは次第に除去されてくる。しかし、戸外状況８は、時々刻々変化するので、輝度値を常に低い輝度値で更新し続けると、戸外状況８が変化して、撮像対象の輝度値が変化することを検出できない。そこで、更新については、所定の更新基準を設けることが好ましい。すなわち、更新基準として、更新回数は、降雪ノイズ等の物体ノイズがほぼ除去できる程度の回数に止め、その回数に達すれば、図２のＳ１０から処理を開始することとすることが望ましい。

例えば、２枚から１０枚程度の画像フレームを一組として更新処理を行うものとすることができる。一例として現在の画像フレームをｉとして、ｉ−３，ｉ−２，ｉ−１，ｉ，ｉ＋１，ｉ＋２，ｉ＋３の時系列で画像フレームが記憶されるものとする。ここで、３枚の画像フレームを一組として更新処理を順次行うものとする。この場合には、まずｉ−３とｉ−２とを組み合わせて処理した結果を（ｉ−２）^Pとしてメモリに一旦残し、その次は、この（ｉ−２）^Pとｉ−１とで処理を行い、処理で残されたものを（ｉ−１）^Pとし、これを３枚一組で更新したものとして出力する。同様にして、次は、ｉ−２，ｉ−１，ｉの３枚の画像フレームを一組として更新処理を行い、これを（ｉ）^Pとして出力する。もちろん、これ以外の更新基準に基づくものとしてもよい。

実験によれば、かなり激しい降雪であっても、３回から５回の更新でほぼ降雪ノイズが除去できる。したがって、監視のサンプリング間隔の１／５から１／１０程度に撮像のサンプリング間隔を設定することで、降雪ノイズを効果的に除去しながら監視を行うことができる。例えば、監視のサンプリング間隔を約０．５秒とすれば、撮像のサンプリング間隔を約０．０５秒から０．１秒に設定することができる。

次に、降雪頻度、すなわち移動物体頻度の算出とその出力について説明する。図２のＳ２０において、両画像フレームの各画素において、輝度値の高い方のデータはノイズとして除去される。輝度値の高い方のデータは、降雪によるものであるので、降雪が激しいほど、輝度値の高いデータを有する画素数が多くなる。そこで、画像フレームを構成する画素の輝度値のデータの総数と、ノイズとして除去された輝度値のデータの数との比率割合から、降雪の激しさを推定し、これを移動物体頻度として算出する（Ｓ２６）。

上記の例で、画像フレームを構成する全画素数は、２００，０００個である。そして、Ｓ２０において、輝度値が高い方として除去された画素数Ｎを求め、ある時刻でＮ＝５０で、別の時刻でＮ＝１，０００であるとすると、Ｎ＝１，０００の時刻の方が単位時間当たりの降雪量が多いことが推定できる。したがって、上記の例で、Ｎ／２００，０００を移動体頻度とし、例えば、降雪の場合には、これを単位時間当たり降雪量に関する情報として出力する（Ｓ２８）。

図６は、横軸に時間をとり、縦軸に移動物体頻度をとって、移動物体頻度の時間的推移の例を示したものである。移動物体が降雪の場合は、図６を、単位時間当たりの降雪量の時間的推移に関する情報として利用できる。

［実施例２］
上記においては、２つの画像フレームにおいて対応する各画素の輝度値の比較によって移動物体ノイズを除去したが、これに代えて、複数の画像フレームにおいて対応する各画素の輝度値の分布を求め、求められた輝度値の頻度分布に基づいて移動物体ノイズを除去することもできる。

この場合には、図１におけるコンピュータ２０のＣＰＵ２２において、輝度値処理モジュール３４の内容が異なるものとなるが、それ以外の構成要素は、図１に関連して説明したものと同様である。したがって、ここでは、図７のフローチャートと、図８を用いて、画素の輝度値の頻度分布に基づいて移動物体ノイズを除去する方法について説明する。この方法は、図１のコンピュータ２０によって実行されるソフトウェアによって実現される。

図７は、画素の輝度値の頻度分布に基づいて移動物体ノイズを除去する手順を示すフローチャートで、以下の各手順は、対応する移動物体ノイズ除去処理プログラムの各処理手順に対応する。

戸外状況８を監視するために、カメラ１２は、所定のサンプリング間隔Δｔごとに撮像する（Ｓ３０）。撮像されたデータは、信号線によって撮像装置Ｉ／Ｆ２８を介し、ＣＰＵ２２に伝送される。伝送された画像フレームデータは、撮像の時系列に関連付けて、すなわち撮像時刻に関連付けて記憶装置３０に記憶される（Ｓ３２）。Ｓ３０，Ｓ３２の工程の内容は、それぞれ、図２において説明したＳ１０，Ｓ１２の内容と同じであるので、詳細な説明を省略する。

Ｓ３０とＳ３２は、各サンプリングタイムごとに実行が繰り返される。したがって、記憶装置３０には、撮像の時系列に関連付けて、撮像された画像フレームデータが順次記憶されることになる。

Ｓ３４以下は、移動物体ノイズ除去及び移動物体頻度に関する手順で、画像データの加工に関する手順である。

まず、複数の画像フレームが記憶装置３０から読み出される（Ｓ３４）。複数の画像フレームは、好ましくは、現在に撮像された画像フレームを含んで、サンプリングタイムを過去に連続してさかのぼった複数の画像フレームが望ましい。このように最新の複数の画像フレームを用いることで、画像データの信頼性が向上し、また、リアルタイム的処理が可能となる。複数の画像フレームの数ｎは、たとえば、ｎ＝５０からｎ＝１００程度とすることができる。勿論、これ以外の数をｎとしてもよい。

そして、読み出された複数の画像フレームについて、対応する画素のそれぞれについて、輝度値の分布を求める(Ｓ３６)。対応する画素の意義、輝度値の意義は、図２のＳ１８に関連して説明した内容と同じである。輝度値の分布を求める処理は、図１におけるＣＰＵ２２の輝度値処理モジュール３４の機能により実行されるが、図２で説明したＳ１８の内容とＳ３６の内容とは異なっている。

図８に、対応する画素のそれぞれについて輝度値の分布を求める様子を示す。図８（ａ）は、複数の画像フレーム４２のそれぞれについて、対応する画素がＡで示されている。上記の例では、複数の画像フレームの数ｎは、５０から１００の間である。図８（ｂ）には、このｎ個の画像フレームについて、各画素の輝度値の頻度分布４４の様子が示されている。輝度値の頻度分布は、横軸に輝度値がとられ、縦軸に頻度数がとられている。輝度値は、上記の例で、０から２５５である。頻度数の合計は、上記の例でｎとなる。一番手前には、画素Ａについての輝度値の分布の様子が示されており、ここでは、輝度値４０において最も頻度が高く、次に輝度値１５０の近辺にやや高い頻度分布が見られ、その他の輝度値の頻度はほぼ一様である。このような輝度値の分布が各画素について求められる。上記の例では、２００，０００個の画素について輝度値の分布が求められる。

ここで、図８（ｂ）の画素Ａの頻度分布について述べると、降雪等のノイズは、輝度値が高いが、輝度分布としてはばらつくものと考えられる。一方、監視対象となる戸外状況８は、上記の例で、暗い背景、建物の柱、人物で、これらがほぼ静止の状態のときは、輝度値はほぼ一定であり、画像フレームの間で相違が少なく、したがって輝度値のばらつきは少なく、鋭いピークの頻度となると考えられる。また、暗い背景、建物の柱、人物等の輝度値は、その手前にある移動物体ノイズより輝度値が低い。これらのことから、図８(ａ）の例では、最も頻度が高く、また輝度値が比較的低い４０のデータは、監視対象となる戸外状況８である暗い背景、建物の柱、人物によるもので、ばらつきがあるが次に頻度の高く、輝度値が比較的高い１５０近辺のデータは、降雪ノイズによるものと考えることができる。

このように、Ｓ３６においては、複数の画像フレームについて、対応する画素のそれぞれについて、輝度値の分布を求める。その目的は、各画素において、最大頻度の輝度値を求めることである。したがって、複数の画像フレームの数ｎは、最大頻度と次の頻度との間に有意差が見出される程度の数でよい。例えば、最大頻度と次の頻度との比が数倍となるｎとすることができる。上記の例でｎ＝５０から１００というのは、降雪が激しいときで、降雪が少ないときはｎを数個としても十分に最大頻度の輝度値を抽出することができる。降雪の程度によって、輝度値の頻度分布を求めるための画像フレームの数ｎを選択できるものとしてもよい。例えば、ｎ＝１０，５０，１００のように、三段階で画像フレームの数ｎを選択できるようにしてもよい。

再び図７に戻り、Ｓ３６において各画素について輝度値の頻度分布が求められると、次に、各画素について最大頻度の輝度値を残し、他の輝度値のデータを除去する（Ｓ３８）。この工程は、図１におけるＣＰＵ２２のノイズ除去モジュール３６の機能によって実行される。この場合も、輝度値の頻度分布に用いられた全部の画像フレームについて、輝度値を更新することが好ましい。例えば、上記の例で、画像フレーム数がｎ＝５０であるとすると、各画素のそれぞれについて、全ての画像フレームを最大頻度の輝度値に更新する。

一例を上げると、図８の画素Ａについて、最大頻度の輝度値がＫ＝４０として、その頻度が１５／５０とする。この場合、１５枚の画像フレームの画素ＡはＫ＝４０のままであるが、残りの３５枚の画像フレームについては、画素Ａの輝度がＫ＝４０に更新される。これを全画素について行うことで、５０枚の画像フレームのそれぞれは、移動物体ノイズが除去された撮像対象の画像フレームとなる。

そこで、移動物体ノイズが除去された画像フレームを出力する（Ｓ４０）。そして、除去された輝度値のデータに基づいて、移動物体頻度が算出され（Ｓ４２）、移動物体頻度として出力される（Ｓ４４）。

移動物体頻度の算出は次のようにして行うことができる。上記の例で、ｎ＝５０の画像フレームの画素Ａにおいて、最大頻度の輝度値Ｋ＝４０を有する画像フレームの数はｎ＝１５であり、ｎ＝３５の画像フレームは、検出された輝度値が除去されてＫ＝４０に更新された。したがって、この画素Ａにおいて、輝度値のデータの総数は５０で、除去された輝度値のデータ数は３５である。これを全画素について計算し、輝度値のデータの総数と、除去された輝度値のデータ数との比に基づいて、移動物体頻度を推定することができる。

［実施例３］
上記の実施例１、実施例２は、戸外状況８において撮像対象が固定状態、ほぼ静止状態或いは移動物体（雪粒）より十分大きい状態である場合に適用できる。ほぼ静止状態とは、移動物体の画面内の移動速度に比較して撮像対象の画面内の移動速度が十分低速であることを指すが、「低速」というのはその物体がある画素を通過する時間が長い状態である。降雪の場合、その落下速度が桁違いに変動することがなく、例えば、非特許文献１においては、戸外における降雪速度が４００ｍｍ／ｓｅｃから１０００ｍｍ／ｓｅｃとされている。したがって、戸外における速度の比がそのまま画面内に反映される例では、戸外において、移動物体の移動速度がこの降雪速度の１／２から１／１０の速度であれば、移動物体に対し、画像処理上はほぼ静止状態である、とすることができる。

移動物体の移動速度に対し、無視できない速度で撮像対象が移動する場合には、上記実施例１、実施例２の方法では、ノイズ除去及び移動物体頻度算出に誤差が生じる。このような場合、カメラを２台用いて同時に戸外状況を撮像し、その２つの画像フレームから撮像対象の手前の移動物体ノイズを除去することができる。以下では、２台カメラを用いて移動物体ノイズを除去する方法について、図９、図１０を用いて説明する。なお、以下では、図１から図８の符号を用いて説明する。

図９は、２台のカメラ５０，５２を用いて、移動する撮像対象６を同時に撮像し、撮像対象６の手前にある移動物体４によるノイズを除去する原理を説明する図である。図９（ａ）は、２台のカメラ５０，５２と撮像対象６と移動物体４の位置関係を示し、図９（ｂ），（ｃ）は、それぞれ、２台のカメラ５０，５２によって撮像された画像フレームの様子を示す図である。２台のカメラ５０，５２は、図１で説明したカメラ１２と同じものを２台用いるものとでき、照明装置を備えるものとすることもできる。

２台のカメラ５０，５２の配置は、次のような条件の下で設定が行われる。すなわち、手前に移動物体４がある撮像対象６を画像フレームとして撮像するときに、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、両画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される。ここで、予め任意に定められた画素以下のずれとなる離間距離としては、例えば、画像フレームの中央付近に位置する撮像対象６が、１画素以下のずれとなる距離とすることができる。なお、画像フレームの中央付近以外の位置では数画素以内のずれが起こり得ることは許容される。具体的には、２台のカメラ５０，５２の光軸の方向を相互に零度から数度傾ける。図９（ａ）では，その傾きを、２つのカメラ５０，５２の光軸の間の角度θで示してある。角度θは、２台のカメラ５０，５２と撮像対象との間の距離、レンズの焦点距離、及び画像フレームの画素解像度によって異なる。例えば、２台のカメラ５０，５２と撮像対象６との距離が十分離れているときは、小さい角度θでよく、場合によっては、２つの光軸をほぼ平行、即ち角度θをほぼ零度とすることもできる。また、画像フレームの画素解像度が高い場合にも、小さい角度でよい。一例を上げると、画像フレームが数１０万画素以上で構成されており、撮像対象６までの距離が５ｍ以上あるときは、角度θは、約５度以下とすることができ、好ましくは、約１度から約２度とすることがよい。

このように２台のカメラ５０，５２の配置関係を設定することで、２台のカメラ５０，５２で同時に撮像対象６を撮像したとき、それぞれのカメラ５０，５２によって撮像された２つの画像フレーム上において、撮像対象６は同じ位置にあり、その手前の移動物体４は異なる位置にあるものとなる。その様子が図９（ｂ），（ｃ）に示される。図９（ｂ）は、カメラ５０によって撮像された画像フレーム６０を、（ｃ）は、カメラ５２によって撮像された画像フレーム６２を示す。これらの画像フレーム６０，６２上において、撮像対象である人物は同じ位置にあり、一方、移動物体４である降雪は、異なる位置にある。なお、２つの画像フレーム６０，６２は同時に撮像されているので、降雪は、実は同じものが撮像されており、降雪自体が移動しているわけではない。

このように、所定の配置関係に設定された２台のカメラ５０，５２によって同時撮影することで、両画像フレーム上において、移動する撮像対象６を同じ位置として、撮像対象６の手前の移動物体４を異なる位置として撮像できる。つまり、同時撮影した２枚の画像フレーム上において、撮像対象６は静止しているように、移動物体４は位置を変えているようにできる。これは、静止している撮像対象６と移動物体４とを時系列的に撮像した２枚の画像フレームと同じ関係になる。したがって、所定の配置関係に設定された２台のカメラ５０，５２によって同時撮影された両画像フレームを、図２で説明した両画像フレームと同じように扱って、移動物体ノイズを除去できることになる。これが、２台のカメラを用いて、移動する撮像対象について移動物体ノイズを除去する原理である。

図１０は、２台のカメラを用いて移動物体のノイズを除去する手順を示すフローチャートである。以下の各手順は、移動物体ノイズ除去処理プログラムの各処理手順に対応する。なお、以下では、図１から図９の符号を用いて説明する。

最初に、２台のカメラ５０，５２を上記の所定配置条件の下で設定する（Ｓ５０）。そして、戸外状況８を監視するために、カメラ５０，５２によって、所定のサンプリング間隔Δｔごとに同時撮像する（Ｓ５２）。撮像されたデータは、２つの画像フレームデータとして区別されてそれぞれ、信号線によって撮像装置Ｉ／Ｆ２８を介し、ＣＰＵ２２に伝送される。伝送された画像フレームデータは、撮像の時系列に関連付けて、すなわち撮像時刻に関連付けて記憶装置３０に記憶される（Ｓ５４）。Ｓ５２，Ｓ５４の工程は、２つ台のカメラ５０，５２であること、２つの画像フレームであることを除けば、図２で説明したＳ１０，Ｓ１２の内容と同じであるので、詳細な説明を省略する。

Ｓ５６以下は、２台のカメラ５０，５２によって同時撮影された２つの画像フレームに基づいて移動物体ノイズ除去を実行し、移動物体頻度を算出することに関する手順で、画像データの加工に関する手順である。

まず、現在に撮像された２つの画像フレームが読み出される（Ｓ５６）。ここで読み出される２つの画像フレームは、上記のように、撮像対象６については同じ位置に、移動物体４については異なる位置にあるので、あたかも、図２におけるＳ１４とＳ１６における両画像フレームと同じ関係にあるように見える。したがって、以後の工程は、図２におけるＳ１８以後の工程と内容が同じとして処理を実行することができる。

すなわち、両画像フレームのデータについて、対応する各画素の輝度値を比較する（Ｓ５８）。この工程は、ＣＰＵ２２の輝度値処理モジュール３４の機能によって実行され、その内容は、図２で説明したＳ１８と同様で、対応する画素の意義、輝度値の意義も、Ｓ１８で説明した内容と同じである。

つぎに、比較された２つの輝度値の中で、輝度値の高い方をノイズとして除去し、輝度値の低い方を残す（Ｓ６０）。この工程は、ＣＰＵ２２のノイズ除去モジュール３６の機能によって実行され、図２で説明したＳ２０の内容と同じである。

そして、各画素において残された輝度値で、画像フレームの各画素の輝度値を更新する（Ｓ６２）。更新の方法も、図２のＳ２２で説明した内容と同じである。そして、画像フレームを構成する全部の画素について輝度値が更新されると、更新された輝度値の画素で構成される画像フレームが、現在に撮像された画像フレームとして、改めて記憶装置３０に記憶され、Ｓ５４に戻り、時系列に記憶される。また、更新された輝度値の画素で構成される画像フレームが、撮像対象の画像フレームとして出力される（Ｓ６４）。これらの処理の内容も、図２においてＳ２２，Ｓ２４で説明したものと同じである。移動物体頻度算出（Ｓ６６）、移動物体頻度出力（Ｓ６８）の内容も、図２におけるＳ２６，Ｓ２８の内容と同様である。

このようにして、所定の配置関係に設定された２台のカメラによって、監視対象である戸外状況を同時撮影し、得られた２つの画像フレームを加工することで、移動物体ノイズを除去し、また移動物体頻度を算出することができる。

移動物体ノイズ除去処理装置１０等は、降雪、降雨、歩行者及び通過車両など監視対象の手前に存在する移動物体をノイズとして除去する必要がある用途、具体的には、戸外などに設置される各種監視カメラや車両に搭載される撮像装置などに好適である。

Claims (10)

1. 手前に移動物体がある撮像対象を画像フレームとして撮像する固定撮像装置と、
   撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリと、
   撮像された画像フレームを加工する加工手段と、
   所定の更新基準に基づいて加工された画像フレームを出力する出力手段と、
   を備え、
   加工手段は、
   メモリから現在より前の時刻に撮像された画像フレームを読み出す手段と、
   読み出された１つの画像フレーム及び現在に撮像された１つの画像フレームについて、２つの画像フレームの対応する各画素の輝度値を比較する手段と、
   輝度値を比較した２つの画像フレームにおける各画素について、輝度値の高い方の画素データをノイズとして除去し、画素データが除去された画素は、輝度値の低い方の画素データを使用して補完するノイズ除去補完手段と、
   を含むことを特徴とする移動物体ノイズ除去処理装置。
2. 手前に移動物体がある撮像対象を画像フレームとして撮像する固定撮像装置と、
   撮像された複数の画像フレームを撮像の時系列に関連付けて記憶するメモリと、
   撮像された画像フレームを加工する加工手段と、
   所定の更新基準に基づいて加工された画像フレームを出力する出力手段と、
   を備え、
   加工手段は、
   メモリから複数の画像フレームを読み出す手段と、
   読み出された複数の画像フレームについて、対応する画素ごとに輝度値の頻度分布を生成する手段と、
   輝度値の頻度分布を生成した各画素について、該頻度分布における最大頻度の輝度値以外の輝度値である画素データをノイズとして除去し、画素データが除去された画素は、最大頻度の輝度値である画素データを使用して補完するノイズ除去補完手段と、
   を含むことを特徴とする移動物体ノイズ除去処理装置。
3. 手前に移動物体がある撮像対象を画像フレームとして撮像する２台の固定撮像装置であって、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される２台の固定撮像装置と、
   各固定撮像装置によって撮像された２つの画像フレームをそれぞれ記憶するメモリと、
   撮像された画像フレームを加工する加工手段と、
   所定の更新基準に基づいて加工された画像フレームを出力する出力手段と、
   を備え、
   加工手段は、
   メモリから各固定撮像装置によって同時刻に撮像された２つの画像フレームを読み出す手段と、
   読み出された２つの画像フレームについて、２つの画像フレームの対応する各画素の輝度値を比較する手段と、
   輝度値を比較した２つの画像フレームにおける各画素について、輝度値の高い方の画素データをノイズとして除去し、画素データが除去された画素は、輝度値の低い方の画素データを使用して補完するノイズ除去補完手段と、
   を含むことを特徴とする移動物体ノイズ除去処理装置。
4. 請求項１から請求項３のいずれか１に記載の移動物体ノイズ除去処理装置において、
   画像フレームを構成する画素の輝度値のデータの総数と、ノイズとして除去された輝度値のデータの数との比較に基づいて、撮像対象の手前の移動物体の存在頻度を推定して、移動物体頻度として出力する手段を含むことを特徴とする移動物体ノイズ除去処理装置。
5. 請求項１から請求項４のいずれか１に記載の移動物体ノイズ除去処理装置において、
   移動物体は、降雪であることを特徴とする移動物体ノイズ除去処理装置。
6. 請求項１から請求項５のいずれか１に記載の移動物体ノイズ除去処理装置において、
   固定撮像装置側から撮像対象側に照明する照明装置を備えることを特徴とする移動物体ノイズ除去処理装置。
7. 手前に移動物体がある撮像対象を固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行った後、所定の更新基準に基づいて加工された画像フレームを出力するプログラムであって、
   コンピュータ上で、
   固定撮像装置によって撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリから、現在より前の時刻に撮像された画像フレームを読み出す処理手順と、
   読み出された１つの画像フレーム及び現在に撮像された１つの画像フレームについて、２つの画像フレームの対応する各画素の輝度値を比較する処理手順と、
   輝度値を比較した２つの画像フレームにおける各画素について、輝度値の高い方の画素データをノイズとして除去し、画素データが除去された画素は、輝度値の低い方の画素データを使用して補完するノイズ除去補完処理手順と、
   が実行されることを特徴とする移動物体ノイズ除去処理プログラム。
8. 手前に移動物体がある撮像対象を固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行った後、所定の更新基準に基づいて加工された画像フレームを出力するプログラムであって、
   コンピュータ上で、
   固定撮像装置によって撮像された画像フレームを撮像の時系列に関連付けて記憶するメモリから、複数の画像フレームを読み出す処理手順と、
   読み出された複数の画像フレームについて、対応する画素ごとに輝度値の頻度分布を生成する処理手順と、
   輝度値の頻度分布を生成した各画素について、該頻度分布における最大頻度の輝度値以外の輝度値である画素データをノイズとして除去し、画素データが除去された画素は、最大頻度の輝度値である画素データを使用して補完するノイズ除去補完処理手順と、
   が実行されることを特徴とする移動物体ノイズ除去処理プログラム。
9. 手前に移動物体がある撮像対象を画像フレームとして撮像する２台の固定撮像装置であって、それぞれによって撮像された各画像フレームにおける撮像対象の位置が、画像フレーム上で予め任意に定められた画素以下のずれとなる離間距離で互いに配置される２台の固定撮像装置によって画像フレームとして撮像し、撮像された画像フレームをコンピュータ上で加工して移動物体ノイズ除去処理を行った後、所定の更新基準に基づいて加工された画像フレームを出力するプログラム であって、
   コンピュータ上で、
   各固定撮像装置によって撮像された２つの画像フレームをそれぞれ記憶するメモリから、各固定撮像装置によって同時刻に撮像された２つの画像フレームを読み出す処理手順と、
   読み出された２つの画像フレームについて、２つの画像フレームの対応する各画素の輝度値を比較する処理手順と、
   輝度値を比較した２つの画像フレームにおける各画素について、輝度値の高い方の画素データをノイズとして除去し、画素データが除去された画素は、輝度値の低い方の画素データを使用して補完するノイズ除去補完処理手順と、
   が実行されることを特徴とする移動物体ノイズ除去処理プログラム。
10. 請求項１から請求項３のいずれか１に記載の移動物体ノイズ除去処理装置において、
    移動物体は、降雪であって、
    画像フレームを構成する画素の輝度値のデータの総数と、ノイズとして除去された輝度値のデータの数との比較に基づいて、撮像対象の手前の降雪の存在頻度を算出する手段と、
    時間軸に対して降雪の存在頻度をプロットして、単位時間当たりの降雪量の時間的推移を出力する手段と、
    を含むことを特徴とする移動物体ノイズ除去処理装置。

Images