JP5858831B2 - 検知システムおよびその信号処理方法、プログラム - Google Patents

Description

本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。

たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。

ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。

そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。

しかしながら、上記検知システムでは、光源または光源に照射された被写体の検知において、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができない場合がある。

そこで、特許文献２に記載された技術の応用として、２乗和の演算結果（Ａ^２＋Ｂ^２）の閾値判定から通過物による遮光を判定する検知システムが提案されている（特許文献３参照）。

特許第３０１９３０９号公報 特開２００８−１４１２５１号公報 特開２０１２−１５７８０号公報

しかしながら、上記検知システムでは、上記演算結果（Ａ^２＋Ｂ^２）は通過物による遮光以外の要因によっても低下することがある。
たとえば、レンズフレアやレンズゴースト、スミアが発生し撮像された映像中の光源と重なった場合、輝度変化の下限のレベルが上がることで変化の幅が狭くなるために、演算結果（Ａ^２＋Ｂ^２）が低下する現象が起こる。
このとき従来の閾値判定では、演算結果（Ａ^２＋Ｂ^２）が閾値よりも低下した場合に通過物による遮光が発生したと判定されてしまい、誤判定となることがある。

本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、通過物による遮光を正確に判定することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。

本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、上記信号処理部は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、上記信号抽出部で抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算部と、上記演算部の取得情報である演算結果を記憶する記憶部と、上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、上記演算部において取得される現在の演算結果と上記記憶部に前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出部と、上記光源抽出判定部の判定結果および上記変化量抽出部で抽出された変化量により、通過物による遮光の有無を判定する遮光判定部と、を含み、上記演算部は、上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、上記遮光判定部は、上記光源抽出判定部により光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、上記光源抽出判定部により光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う。

本発明の第２の観点の検知システムの信号処理方法は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、上記信号処理ステップは、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、上記信号抽出ステップで抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算ステップと、上記演算ステップの取得情報である演算結果を記憶する記憶ステップと、上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、上記演算ステップにおいて取得される現在の演算結果と上記記憶ステップで前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出ステップと、上記光源抽出判定ステップの判定結果および上記変化量抽出ステップで抽出された変化量により、通過物による遮光の有無を判定する遮光判定ステップと、を含み、上記演算ステップにおいては、上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、上記遮光判定ステップにおいては、上記光源抽出判定ステップにより光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、上記光源抽出判定ステップにより光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う。

本発明の第３の観点は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、上記信号処理は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、上記信号抽出処理で抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算処理と、上記演算処理の取得情報である演算結果を記憶する記憶処理と、上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、上記演算処理において取得される現在の演算結果と上記記憶処理で前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出処理と、上記光源抽出判定処理の判定結果および上記変化量抽出処理で抽出された変化量により、通過物による遮光の有無を判定する遮光判定処理と、を含み、上記演算処理においては、上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、上記遮光判定処理においては、上記光源抽出判定処理により光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、上記光源抽出判定処理により光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う検知システムの信号処理をコンピュータに実行させるプログラムである。

本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、通過物による遮光を正確に判定することができる。

本発明の実施形態に係る検知システムの構成例を示す図である。 レンズフレアが光源と重なる等によって発生する様子を示す図である。 演算結果Ｓの時間による推移の一例を示す図である。 図３の演算結果Ｓの時間による推移に対する変化量ΔＳをグラフ化して示す図である。 本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。 図５のＣＣＤの時系列を説明するための図である。 単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。 奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。 本実施形態に係る第１の演算部および第２の演算部における輝度信号の信号処理法を説明するためのタイミングチャートである。 光源に含まれる周波数成分についての波形Ｗ６を示す図である。 デューティー比Ｄと２乗和Ｓとの関係の一例を示す図である。 本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。

以下、本発明の実施形態を図面に関連づけて説明する。

［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。

本検知システム１０は、光源１１、撮像装置１２、信号処理部１３、および出力部１４を有する。
本実施形態において、撮像装置１２は、撮像装置の走査面周期の所定倍で変化する光源またはその光源によって照射された被写体（以下光源を含む）を撮像する。
信号処理部１３は、後述する２乗和の演算結果Ｓ＝（Ａ^２＋Ｂ^２）を記憶する記憶部を含み、演算結果の時間による変化量を算出する機能を備え、光源（被写体）１１と撮像装置との間に通過物が発生したかを正確に判定する機能を有する。このとき光源１１は複数個あってもよい。
信号処理部１３は、撮像装置１２から取得した出力信号を処理し、光源１１を安定して検知している状況において検知が行えなかった時に、光源１１と撮像装置１２の間の領域に移動物体が侵入したことを検知する機能を持つこともできる。このときも光源１１は複数個あってもよい。

光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。

本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１または光源１１によって照明された被写体を撮像し、撮像して得られた撮像信号を信号処理部１３の輝度信号抽出部に出力する。
なお、ここではＣＣＤイメージセンサを例示しているがＣＭＯＳイメージセンサも適用可能である。

信号処理部１３は、輝度信号抽出部１３１、第１の演算部（Ａ）１３２、第２の演算部（Ｂ）１３３、演算処理部（時間平均２乗和演算処理部）１３４、および光源抽出判定部１３５を含む。
さらに、信号処理部１３は、演算結果記憶部１３６、変化量抽出部１３７、および遮光判定部１３８を含んで構成されている。

信号処理部１３の輝度信号抽出部１３１は、入力された信号から輝度信号を抽出し、この輝度信号を第１の演算部１３２および第２の演算部１３３に出力する。
輝度信号抽出部１３１により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１３２、第２の演算部１３３、演算処理部１３４の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３１は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。

第１の演算部１３２は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１３２の出力結果Ａは、演算処理部１３４に出力される。
第２の演算部１３３は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１３３の出力結果Ｂは、演算処理部１３４に出力される。
なお、この第１の演算部１３２と第２の演算部１３３の動作の詳細については後述する。

第１の演算部１３２と第２の演算部１３３からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１３４に入力される。
演算処理部１３４は、光源を抽出しているか否かの情報を取得する。
具体的には、演算処理部１３４は、光源１１の所定位置における演算を行って、被写体の周数成分の検出値を求める。
演算処理部１３４は出力結果の検出値（演算結果）としての２乗和の値Ｓ＝（Ａ^２＋Ｂ^２）を求め、その結果を光源抽出判定部１３５に出力し、またその演算結果Ｓを演算結果記憶部１３６に記憶する。

光源抽出判定部１３５は、演算処理部１３４の演算結果Ｓから、閾値Ｔ_Ｃとの比較により光源を抽出しているか否かの判定（光源の検知状態の判定）を行い、判定結果を遮光判定部１３８に出力する。

演算結果記憶部１３６は、演算結果Ｓを記憶する機能を有し、前回記憶した演算結果Ｓ_ｎ−１を変化量抽出部１３７に出力する。

変化量抽出部１３７は、演算処理部１３４により供給される現在の演算結果Ｓと、演算結果記憶部１３６に記憶された前回の演算結果Ｓ_ｎ−１との差分、つまり演算結果の時間による変化量ΔＳ＝Ｓ−Ｓ_ｎ−１を算出し、その結果を遮光判定部１３８に出力する。

遮光判定部１３８は、光源抽出判定部１３５からの判定結果および変化量抽出部１３７で算出した変化量ΔＳにより、通過物による遮光の有無を判定する。
遮光判定部１３８は、光源抽出判定部１３５の判定結果から光源が抽出されている場合は、遮光は無い（遮光無し）と判定する。
遮光判定部１３８は、光源が抽出されていない場合は、変化量ΔＳによる判定処理を行う。

以下に、信号処理部１３に演算結果記憶部１３６、変化量抽出部１３７、遮光判定部１３８を設けた理由、並びに、遮光判定部１３８等の判定処理等について、図２、図３、および図４に関連付けてさらに詳細に説明する。
図２は、レンズフレアが光源と重なる等によって発生する様子を示す図である。
図３は、演算結果Ｓの時間による推移の一例を示す図である。
図４は、図３の演算結果Ｓの時間による推移に対する変化量ΔＳをグラフ化して示す図である。

上述したように、第１の演算部（Ａ）１３２、第２の演算部（Ｂ）１３３、および演算処理部１３４では、光源の状態を算出する。
そして、光源抽出判定部１３５では、演算処理部１３４の演算結果Ｓ（＝Ａ^２＋Ｂ^２）から閾値Ｔ_Ｃとの比較により光源１１の検知状態を判定する。
通常、検知システムにおいては、光源抽出判定部１３５での判定結果から通過物による遮光（以下単に遮光）の判定を行う方法が採用される。
しかし、先に述べたとおり演算結果Ｓの低下は遮光以外の要因、たとえば図２に示すようなレンズフレアが光源と重なる等によっても発生することがある。
閾値との比較による単純な判定方法では、レンズフレアと光源の重なりによって演算結果Ｓが閾値Ｔｃよりも低下した場合に遮光と判定してしまうことがある。
これを解決する方法として閾値Ｔ_Ｃを下げることが考えられるが、閾値Ｔ_Ｃを下げた場合僅かな輝度変化でも光源が抽出されていると判定されるためノイズが発生しやすくなるという欠点がある。
そこで、本実施形態では、信号処理部１３に演算結果記憶部１３６、変化量抽出部１３７、および遮光判定部１３８を備え、通過物による遮光を正確に判定するための検知システムを構築している。

上述したように、演算結果記憶部１３６では、演算結果Ｓを記憶し、前回記憶した演算結果Ｓ_ｎ−１が変化量抽出部１３７に出力される。
変化量抽出部１３７では、演算結果Ｓと前回の演算結果Ｓ_ｎ−１との差分、つまり演算結果の時間による変化量ΔＳ＝Ｓ−Ｓ_ｎ−１が算出され、その結果が遮光判定部１３８に出力される。

遮光判定部１３８では、光源抽出判定部からの判定結果および変化量抽出部で算出した変化量ΔＳにより、通過物による遮光の有無を判定する。
まず、遮光判定部１３８は、光源抽出判定部１３５の判定結果において光源１１が抽出されている場合は、遮光無し、と判定する。
一方、遮光判定部１３８は、光源１１が抽出されていない場合は、変化量ΔＳによる判定処理を行う。

ここで、図３は演算結果Ｓの時間による推移の一例を示している。また図４は図３に対する変化量ΔＳをグラフ化にしたものを示している。
それぞれの図において、＜１＞正常に光源を撮像している場合、＜２＞途中で通過物により遮光が発生した場合、＜３＞レンズフレアが光源と重なっている場合がグラフで表わされている。

まず、＜１＞のように正常に光源を撮像している場合、演算結果Ｓは特定の値を示し変化量ΔＳはほぼ０のまま推移する。

次に、＜２＞のように途中で通過物により遮光が発生した場合、演算結果Ｓは物体が光源を遮っている間０付近を推移し、変化量ΔＳは物体が光源を遮る瞬間および光源位置から抜ける瞬間に検出される。
物体が通過する前後については＜１＞の正常時とほぼ同様である。
これは光を通さない個体が通過するような場合、光源が完全に遮られるために光源を正常に検出している時からの変化量ΔＳが大きいということを示す。

そして、＜３＞のようにレンズフレアが光源と重なっている場合、演算結果Ｓは＜１＞の正常時よりも低い値を示すが変化量ΔＳは＜１＞の正常時と同様にほぼ０を示す。
これは、輝度変化の下限のレベルが上がることで変化の幅が狭くなり演算結果Ｓが低下することを示す。また、レンズフレアのような現象は時間に対して緩やかに発生するため、その変化量ΔＳはほとんど検出されないことを示す。
以上のことから、遮光判定部１３８は、変化量ΔＳによる判定処理では、変化量ΔＳを任意の第１の閾値Ｔ_Ｓと比較し変化量ΔＳが第１の閾値Ｔ_Ｓより大きいとき（ΔＳ＞Ｔ_Ｓ）、遮光有りと判定し、変化量ΔＳが第１の閾値Ｔ_Ｓ以下のとき（ΔＳ≦Ｔ_Ｓ）、次の下限閾値判定を行う。
また、この第１の閾値Ｔ_Ｓはモード切り替えが可能なテーブルを持っていても構わない。
遮光判定部１３８は、下限閾値判定では、第１の閾値Ｔ_Ｓにより低い任意の第２の閾値Ｔ_Ｌ（但しＴ_Ｌ＜Ｔ_Ｃ）と演算処理部１３４による演算結果Ｓとの比較を行う。
演算結果Ｓが第２の閾値Ｔ_Ｌより大きいとき（Ｓ＞Ｔ_Ｌ）遮光無し、演算結果Ｓが第２の閾値Ｔ_Ｌ以下のとき（Ｓ≦Ｔ_Ｌ）遮光有りと判定する。
これらの処理により遮光判定部１３８では遮光の有無を判定し、その結果を出力部１４に出力する。

出力部１４は、遮光判定部１３８の判定結果からその情報を出力する。その出力はＬＥＤの点灯や、ディスプレイへの表示等形式は問わない。

以上の結果より、以下の効果を得ることができる。
光源１１または光源１１に照射された被写体の状態の検知において、演算処理部１３４の演算結果Ｓ＝（Ａ^２＋Ｂ^２）の値が低下した場合に、通過物による遮光とレンズフレアやレンズゴースト、スミア等による要因とを区別し、光源１１と撮像装置１２の間を通過する物体を正確に検知することが可能となる。

次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。

図５は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。

図５のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。

映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に転送される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に転送された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力される。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４ＫＨｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。

図６は、図５のＣＣＤ２０の時系列を説明するための図である。

図６に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図６から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。

さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３１で輝度信号が抽出され、この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力される。
ここで、本実施例に係るＣＣＤ２０（図５を参照）からの画素の読み出し方法について説明する。

図７は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図８は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。

画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図７に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図８に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。

図７の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。

以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が第１の演算部１３２および第２の演算部１３３に入力される。この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力されて所定の処理が行われる。

次に、第１の演算部１３２および第２の演算部１３３で行われる輝度信号の処理方法について図９に関連付けて説明する。

図９は、本実施形態に係る第１の演算部１３２および第２の演算部１３３における輝度信号の信号処理法を説明するためのタイミングチャートである。

図９（Ａ）は、撮像装置１２１のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図９（Ｂ）〜（Ｅ）はそれぞれ、演算部で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図９（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図９（Ａ）に示すように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。

図９（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図９（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図９（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。

このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１３２で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１３３で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。

その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図９（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図９（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。

はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。

ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（１）式と（２）式より、波形Ｗ３は（４）式のように表せる。

ところで、図９（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（５），（６）式のような正弦波で表せる。

（４）式によって表される波形Ｗ３に（５）式で表せる正弦波Ｗ５を掛けると（７）式となる。

次に、時刻０から時刻Ｔまでにおける（７）式の時間平均をとる。（７）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω_１−（２ｎ−１）ω_２＝０）である時のみ、定数ｃｏｓθ_１と定数ｓｉｎθ_１が残り、時間平均ＳＡＣは（８）式のようになる。

このようにして、時間平均ＳＡＣが第１の演算部１３２にて求まる。時間平均ＳＢＤも同様にして第２の演算部１３３にて求められ、（９）式で表される。

さて、（８）式と（９）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（Ｓ_ＡＣ ^２＋Ｓ_ＢＤ ^２）は（１０）式で表される。

この（１０）式より、ＣＣＤ２０（図５を参照）に入射される光に（ｆ_１＝（２ｎ−１）ｆ_２）なる周波数成分が含まれているとき、（１０）式で表される波形の成分が検出される。

次に、光源１１に含まれる周波数成分について考察する。
図１０は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。

この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ_３＝１／ｆ₃）の周期関数であり、（ω₃＝２πｆ₃）とすると、（１１）式のようにフーリエ級数の一般式で表される。

（１１）式の各係数ａ_０、ａ_ｎ、ｂ_ｎは波形Ｗ６より（１２）〜（１４）式のように求まる。

したがって、波形Ｗ６のフーリエ級数は、（１５）式で表される。

よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ_３＝ｆ_２）である時、（７）式と（１５）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（１６）式のようになる。

光源１１の点灯のデューティー比をＤとすると（１７）式で表される。

よって、（１６）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（１７）式を用いると（１８）式のようになる。

ところで、以下に示す（１８）式の右辺の項（１９）は収束する。

この（１８）式の右辺の項（１９）は、デューティー比Ｄに対し、表１のような値をとる。以下に、表１を示す。

表１に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１１に示すようになる。

図１１より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（１８）式で表される２乗和ＳＡＣＢＤは、次式のようになる。

［数１５］
Ｓ_ＡＣ ^２＋Ｓ_ＢＤ ^２＝０．０８３３３Ｌ_１ ^２ …（２０）

（２０）式に示すように、演算処理部１３４は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）は光源抽出判定部１３５にて光源の抽出処理の判定に用いられる。

本実施形態に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。

ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。

［数１６］
ｆ_２＝５９．９４／４＝１４．９８５Ｈｚ …（２１）

（７）式と（１５）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。

表２は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。

表２のｆ１は（５）式の正弦波の有する周波数で、ｆ２は（２１）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表２によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ_３＝（２ｍ−１）×ｆ_２）が成立するものはない。

たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ_３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ_２）、（１５×ｆ_２）、（２５×ｆ_２）…と（1×ｆ_３）、（３×ｆ_３）、（５×ｆ_３）…が一致する。この時検出される信号レベルは、次式で示される。

したがって、（２２）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示していない信号処理で別に除去できる。

以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。

以下に、本実施形態に係る検知システムの一連の動作を図１２に関連付けて説明する。

図１２は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。

たとえば、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３１で輝度信号を取得し（ＳＴ２）、この輝度信号を第１の演算部１３２と第２の演算部１３３に出力する。
ここで、第１の演算部１３２にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１３３にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ３）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１３４に出力される。
次いで、演算処理部１３４にて時間平均ＳＡＣとＳＢＤの２乗和Ｓが求められ（ＳＴ４）、その結果が光源抽出判定部１３５および演算結果記憶部１３６に出力される。

光源抽出判定部１３５においては、演算処理部１３４の演算結果Ｓから、閾値ＴＣとの比較判定により光源を抽出しているか否かの判定が行われ（ＳＴ５）、判定結果が遮光判定部１３８に出力される。
また、演算結果記憶部１３６では、演算結果Ｓを記憶し、前回記憶した演算結果Ｓ_ｎ−１が変化量抽出部１３７に出力される。
変化量抽出部１３７では、演算結果Ｓと前回の演算結果Ｓ_ｎ−１との差分、つまり演算結果の時間による変化量ΔＳ＝Ｓ−Ｓ_ｎ−１が算出され、その結果が遮光判定部１３８に出力される（ＳＴ６）。

遮光判定部１３８では、光源抽出判定部からの判定結果および変化量抽出部で算出した変化量ΔＳにより、通過物による遮光の有無を判定する。
まず、遮光判定部１３８は、光源抽出判定部１３５の判定結果において光源１１が抽出されている場合は、遮光無し、と判定する（ＳＴ７）。
一方、遮光判定部１３８は、光源１１が抽出されていない場合は、変化量ΔＳによる判定処理を行う。
遮光判定部１３８は、変化量ΔＳによる判定処理では、変化量ΔＳを任意の第１の閾値Ｔ_Ｓと比較し（ＳＴ８）、変化量ΔＳが第１の閾値Ｔ_Ｓより大きいとき（ΔＳ＞Ｔ_Ｓ）、遮光有りと判定し（ＳＴ９）、変化量ΔＳが第１の閾値Ｔ_Ｓ以下のとき（ΔＳ≦Ｔ_Ｓ）、次の下限閾値判定を行う（ＳＴ１０）。
遮光判定部１３８は、ステップＳＴ１０の下限閾値判定では、任意の第２の閾値Ｔ_Ｌ（但しＴ_Ｌ＜Ｔ_Ｃ）と現在の演算結果Ｓとの比較を行う。
演算結果Ｓが第２の閾値Ｔ_Ｌより大きいとき（Ｓ＞Ｔ_Ｌ）遮光無し、と判定し（ＳＴ７）、演算結果Ｓが第２の閾値Ｔ_Ｌ以下のとき（Ｓ≦Ｔ_Ｌ）遮光有りと判定する（ＳＴ９）。
これらの処理により遮光判定部１３８では遮光の有無を判定し、その結果を出力部１４に出力する。
出力部１４は、遮光判定部１３８の判定結果からその情報を出力する（ＳＴ１１）。

以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
そして、本実施形態によれば、光源１１または光源１１に照射された被写体の状態の検知において、演算処理部１３４の演算結果Ｓ＝（Ａ^２＋Ｂ^２）の値が低下した場合に、通過物による遮光とレンズフレアやレンズゴースト、スミア等による要因とを区別し、光源１１と撮像装置１２の間を通過する物体を正確に検知することが可能となる。

さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。

［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。

本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。

［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。

本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・信号処理部、１３１・・・輝度信号抽出部、１３２・・・第１の演算部（Ａ）、１３３・・・第２の演算部（Ｂ）、１３４・・・演算処理部（時間平均２乗和演算処理部）、１３５・・・光源抽出判定部、１３６・・・演算結果記憶部、１３７・・・変化量抽出部、１３８・・・遮光判定部、１４・・・出力部。

Claims (5)

1. 光源と、
   上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
   上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、
   上記信号処理部は、
   上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、
   上記信号抽出部で抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算部と、
   上記演算部の取得情報である演算結果を記憶する記憶部と、
   上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、
   上記演算部において取得される現在の演算結果と上記記憶部に前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出部と、
   上記光源抽出判定部の判定結果および上記変化量抽出部で抽出された変化量により、通過物による遮光の有無を判定する遮光判定部と、を含み、
   上記演算部は、
   上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、
   上記遮光判定部は、
   上記光源抽出判定部により光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、
   上記光源抽出判定部により光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う
   検知システム。
2. 上記遮光判定部は、
   変化量による判定処理では、変化量を第１の閾値と比較し、変化量が第１の閾値より大きいとき、遮光有りと判定し、変化量が第１の閾値以下のとき、上記第１の閾値より小さい第２の閾値を適用して下限閾値判定処理を行う
   請求項１記載の検知システム。
3. 上記遮光判定部は、
   上記第２の閾値による下限閾値判定処理では、第２の閾値と上記演算部の現在の演算結果との比較を行い、
   当該演算結果が第２の閾値より大きいとき、遮光無し、と判定し、当該演算結果が第２の閾値以下のとき、遮光有り、と判定する
   請求項２記載の検知システム。
4. 光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、
   上記信号処理ステップは、
   上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、
   上記信号抽出ステップで抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算ステップと、
   上記演算ステップの取得情報である演算結果を記憶する記憶ステップと、
   上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、
   上記演算ステップにおいて取得される現在の演算結果と上記記憶ステップで前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出ステップと、
   上記光源抽出判定ステップの判定結果および上記変化量抽出ステップで抽出された変化量により、通過物による遮光の有無を判定する遮光判定ステップと、を含み、
   上記演算ステップにおいては、
   上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、
   上記遮光判定ステップにおいては、
   上記光源抽出判定ステップにより光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、
   上記光源抽出判定ステップにより光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う
   検知システムの信号処理方法。
5. 光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、
   上記信号処理は、
   上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、
   上記信号抽出処理で抽出された信号に基づく演算により光源を抽出しているか否かの情報を取得する演算処理と、
   上記演算処理の取得情報である演算結果を記憶する記憶処理と、
   上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、
   上記演算処理において取得される現在の演算結果と上記記憶処理で前回記憶した演算結果とにより、演算結果の時間による変化量を抽出する変化量抽出処理と、
   上記光源抽出判定処理の判定結果および上記変化量抽出処理で抽出された変化量により、通過物による遮光の有無を判定する遮光判定処理と、を含み、
   上記演算処理においては、
   上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の２乗和を求め、当該２乗和を取得情報である演算結果として出力し、
   上記遮光判定処理においては、
   上記光源抽出判定処理により光源が抽出されたとの判定結果を得た場合には、遮光無し、と判定し、
   上記光源抽出判定処理により光源が抽出されていないとの判定結果を得た場合、上記変化量による判定処理を行う
   検知システムの信号処理をコンピュータに実行させるプログラム。