JP3862558B2 - 画像センサ及び監視カメラ装置 - Google Patents
画像センサ及び監視カメラ装置 Download PDFInfo
- Publication number
- JP3862558B2 JP3862558B2 JP2001367087A JP2001367087A JP3862558B2 JP 3862558 B2 JP3862558 B2 JP 3862558B2 JP 2001367087 A JP2001367087 A JP 2001367087A JP 2001367087 A JP2001367087 A JP 2001367087A JP 3862558 B2 JP3862558 B2 JP 3862558B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- state
- camera device
- illumination
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像手段によって画像を撮影し、撮影された画像を解析する画像センサ、及び、撮像手段によって監視領域の画像を撮影し、撮影された画像を解析して検知対象の存在を検知する監視カメラ装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来の画像センサとしては、所望の監視領域を継続して撮影し、撮影した画像から侵入者の有無を判定する監視カメラ装置が知られている。この種の監視カメラ装置では、所定の時間間隔で撮影された複数の画像を比較し、その変化を解析することにより侵入者を検知する。一般に、解析対象として複数の画像を用いる場合、シャッター速度や絞りに基づく露出が一致した状態で各画像を撮影する必要がある。これは、露出が異なった複数の画像を比較する場合、特定の被写体において輝度値の相対的な相違が画像上に現れるため、適正な画像解析を行うことができなくなるからである。
【０００３】
ところで、監視カメラ装置には、人間以外にも監視領域に飛来する虫等が外乱として検知される可能性がある。特に、監視カメラ装置の直近に虫が存在し、そのサイズが画像内で人間程度になる場合が問題となる。このような状況下で非検出対象の虫等により、誤って侵入者を検知されることを防止するため、飛来した虫等を人間と区別するための対策が必要となる。一方、監視カメラ装置には、監視領域が暗い場合であっても侵入者を検出し得るように照明手段を設けるのが一般的な構成である。そして、このような照明手段において、光量や光の照射範囲を切り替えて画像を撮影し、監視カメラ装置における虫等の判定に利用することができる。すなわち、監視領域全域の照明と、監視カメラ装置の直近に限定した照明とを用いて取得された２つの画像を比較し、両者の差を求めることにより、近傍に虫等が存在することを認識することができる。この場合、２つの画像を適正に比較するには、上記の露出量を撮影時に一定になるように設定する必要がある。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の監視カメラ装置において、虫等の検知を行う場合、画像のダイナミックレンジの制約が問題となる。すなわち、監視カメラ装置の直近に限定した照明を施したとき、虫等の反射光により画像のダイナミックレンジを越える可能性がある。よって、直近に限定した照明を用いる場合、低露出に設定する必要が生じる。この場合、上述したように２つの画像で露出量を一定にすべく、監視領域全域の照明時も低露出に設定せざるを得なくなる。そのため、監視領域の検出対象が暗く撮影されることになり、侵入者を判定するための画像処理には適さない。
【０００５】
上記従来の監視カメラ装置において、虫等の検知とダイナミックレンジの拡大とを両立させるためには、監視領域全域の照明時の画像とは別に、直近に限定した照明を用いるときに露出の異なる複数の画像を撮影し、これらを組み合わせて画像処理を行う必要がある。従って、虫等の検知を目的とした画像が増加し、それにより侵入者を検知するための画像の枚数が制約を受けることが問題となる。
【０００６】
そこで、本発明はこのような問題に鑑みなされたものであり、撮影時の露出量と画像の輝度値の相関関係に着目し、例えば、虫等の検知ロジックなどの画像処理を組み込む場合であっても、用いる画像の枚数を抑えて合理的な画像処理を行うことができる画像センサ及び監視カメラ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の監視カメラ装置は、監視領域の画像を撮影する撮像手段と、前記撮像手段の直近のみを照明する直近照明を施す照明手段と、前記直近照明を施すとともに前記撮像手段を所定露出とする第１の状態と、前記直近照明を施さずに前記撮像手段を前記所定露出と異なる露出とする第２の状態とを切り替え制御する状態制御手段と、前記第１の状態の画像と前記第２の状態の画像における前記露出量の相違に対応する輝度値の相違を補正し、補正後の画像に基づいて変化領域を解析し、前記監視領域における検出対象である移動体を判定する画像処理手段とを備えることを特徴とする。
【００１２】
この発明によれば、監視カメラ装置により監視領域を撮影する場合、画像のダイナミックレンジを拡大するための露出量と、非検出対象を検知するための照明状態とを時間に応じて切り替えて、２つの状態に対応する画像を取得する。そして、露出量の相違は画像の輝度値の相違となって現れるので、その相関関係を考慮して画像の補正を行った上で、画像の変化領域の解析を行って検出対象である移動体の判定を行う。従って、異なる露出量にて撮影された画像を比較したときに検出対象の存在を高精度に判定することができる。このとき、露出状態と照明状態の両者を変えるときの画像が２種でよいため、画像の枚数を増加させることなく合理的な処理を実現することができる。なお、所定露出は、監視領域の状態、監視目的等に応じて適宜設定される。
【００１３】
請求項２に記載の監視カメラ装置は、請求項１に記載の監視カメラ装置において、前記画像処理手段は、前記第１の状態の画像と前記第２の状態の画像とを比較して、前記直近照明の影響を受ける移動体を、前記撮像手段の直近に存在する非検出対象として判定することを特徴とする。
【００１４】
この発明によれば、請求項１に記載の発明の作用に加えて、露出量の状態と照明状態が異なる２つの画像との比較によって、移動体が直近照明の影響を受けることを解析し、それにより撮像手段の直近に存在する非検出対象を判定する。従って、監視カメラ装置の直近に虫等が存在し、そのサイズが画像内で人と同程度になる状況において、これを確実に検知して侵入者の誤検知を有効に防止することができる。
【００１５】
請求項３に記載の監視カメラ装置は、請求項２に記載の監視カメラ装置において、画像の輝度値が飽和する飽和領域を判別し、前記変化領域から前記飽和領域を除いた領域において前記移動体を判定することを特徴とする。
【００１６】
この発明によれば、監視カメラ装置で撮影された画像において輝度値が飽和する場合、飽和領域を判別して上記の画像処理において飽和領域を除外する。従って、輝度値が飽和して信頼性が低くなる領域を画像処理に反映させないようにして、より信頼性の高い画像処理を行うことができる。
【００１７】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００１８】
図１は、本発明を適用した一形態としての監視カメラ装置の機能ブロック図である。図１に示す監視カメラ装置には、制御部１０１、電源部１０２、照明部１０３、撮像部１０４、画像処理部１０５、記憶部１０６、出力部１０７を含んでいる。
【００１９】
以上の構成において、制御部１０１は、ＣＰＵ等から構成され、監視カメラ装置全体の動作を制御するとともに、後述するように記憶部１０６に保持されるプログラムに従って本発明の各種判定処理等を実行する。また、電源部１０２は、制御部１０１の制御の下、監視カメラ装置の各部に電力を供給する役割を担い、外部から電源部１０２にＡＣ電源を供給する構成になっている。
【００２０】
照明部１０３は、監視領域が暗い場合に画像を識別するための光を照射する手段である。後述するように、照明部１０３は、監視領域全域に広く光を照射する通常照明装置と、監視カメラ装置の直近の領域のみに光を照射する直近照明装置とを含んで構成される。また、撮像部１０４は、光学系及びＣＣＤ素子等の撮像素子から構成され、監視領域を撮影した画像に対応するアナログ信号をディジタル画像信号に変換して出力する。撮像部１０４からのディジタル画像信号は、計時手段（不図示）に基づいて所定の時間間隔で順次出力される。なお、監視領域を撮影するときの露出状態として、後述するように画像の擬似的なダイナミックレンジ拡大のために低露出状態と高露出状態の２つを切り替え可能になっている。なお、露出状態は２通りに限られず、３通り以上に切り替え可能にしてもよい。
【００２１】
画像処理部１０５は、制御部１０１の制御の下、撮像部１０４からのディジタル画像信号を処理する手段であり、画像処理用ＩＣや画像用メモリ等から構成される。画像処理部１０５では、撮像部１０４で得られたディジタル画像信号を２値化するとともに、後述の判定処理に必要なパラメータや属性情報などの算出と、それらを用いた画像の解析とを行う。そして、画像処理部１０５での処理結果は制御部１０１に出力され侵入者の有無を判別する際に利用される。また、記憶部１０６には、上記のプログラムに加えて、画像処理部１０５の処理対象である画像データや演算に必要なパラメータ、監視領域の状態や監視カメラ装置の動作モードなどの各種情報が更新可能に記憶されている。また、出力部１０７は、最終的な検知結果を外部の通信回線を経由して出力する手段であり、例えば警報装置やベルなどを経由して通報されることになる。
【００２２】
次に、本実施形態の監視カメラ装置における検知方法の概念について説明する。上述の画像処理部１０５で抽出される２値化画像は、予め設定された基準画像と所定の時間間隔で取得される撮影画像との差分をとることによって算出される。ここで、基準画像とは、検出領域に検出対象（人）が存在しない状態における監視領域の画像であり、監視カメラ装置の初期設置時に予め記憶されている。そして、監視領域において基準画像に存在しない侵入者等の移動体が写ると、その時点の画像で変化が現れる変化領域を求めることにより、移動体が存在する領域を識別し得る。このような変化領域を時間経過によって常に抽出し続け、所定のアルゴリズムに基づいて移動体が侵入者であるか否かを判定することができる。
【００２３】
一方、図２は、監視領域において非検出対象の虫等が存在する状況を説明する図である。図２（ａ）においては、監視カメラ装置の近辺に虫が飛来した状況を示すとともに、図２（ｂ）においては、監視カメラ装置の表面に虫が張り付いている状況を示す。いずれの状況であっても、虫が監視領域における移動体として認識される。この場合、監視カメラ装置と虫との距離が近いため、画像内でのサイズが人と同程度になるので、誤検出のおそれがある。本実施形態においては、監視カメラ装置の照明状態及び露出状態の適切な切り替え制御と画像処理のアルゴリズムとにより、本来の検出対象から虫等の非検出対象を明確に区別し得る検知方法を採用している。
【００２４】
次に図３は、本実施形態の監視カメラ装置の装置構成を示す図である。図３においては、監視カメラ装置を構成する部材として、撮像部１０４に対応するカメラ２０１と、照明装置１０３に含まれる通常照明装置２０２及び直近照明層装置２０３と、透明カバー２０４と、レンズ面２０５と、プリズム２０６とが示されている。
【００２５】
以上の構成において、監視カメラ装置の中央部にはカメラ２０１が設置されている。カメラ２０１は、レンズと撮像素子が一体化された構造であり、レンズ面２０５を介して監視領域を所定のタイミングで撮影する。カメラ２０１の周囲には、遠端側に通常照明装置２０２が配置されるとともに、近端側に直近照明装置２０３が配置され、それぞれ別々に点灯制御することができる。これら通常照明装置２０２及び直近照明装置２０３は、例えば複数の照明用ＬＥＤにより構成される。なお、通常照明装置２０２及び直近照明装置２０３は、カメラ２０１と一体となって監視カメラ装置中央部の軸の周囲を回動可能に構成されている。
【００２６】
まず、通常照明装置２０２を点灯させた状態では、透明カバー２０４を介して監視領域全体が照明される。この場合、通常照明装置２０２からの光は、図３のＡ方向の範囲には照射されるが、プリズム２０６の突出部分によって遮蔽される図３のＢ方向の範囲には届かない。
【００２７】
一方、直近照明装置２０３を点灯させた状態では、レンズ面２０５を介してカメラ２０１の直近の領域が照明される。この場合、直近照明装置２０３からの光は、プリズム２０６を通して屈折し、レンズ面２０５上部のＢ方向（図３）の範囲にのみ光が照射されることになり、それより外部の領域には届かない。
【００２８】
また、カメラ２０１は、図示しない機構によって低露出状態と高露出状態とを切り替えることができる。一般に監視カメラ装置による監視領域においては、非常に明るい箇所と非常に暗い箇所が混在するので、良好な画質を確保するには画像のダイナミックレンジを擬似的に拡大する必要がある。そのため、非常に暗い箇所をある程度明るく撮影できる高露出状態と、非常に明るい箇所をある程度暗く撮影できる低露出状態とを切り替え制御することが有効である。本実施形態では、カメラ２０１の低露出状態に対する高露出状態の露出量が、例えば８倍となるように設定される。なお、実際のカメラ２０１の露出量は、シャッター速度を調整することにより切り替え可能である。
【００２９】
そして、上述したような監視カメラ装置の照明状態と露出状態とを組み合わせて、カメラ２０１により２種類の画像を撮影する。図４において、本実施形態の２種類の画像である第１の画像及び第２の画像に関し、撮影時の制御条件を対比して示している。まず、第１の画像は、通常照明装置２０２を点灯し、直近照明装置２０３を消灯するとともに、高露出状態となる条件で制御される。また、第２の画像は、通常照明装置２０２と直近照明装置２０３をいずれも点灯するとともに、低露出状態となるように制御される。そして、撮影された２種類の画像を用いて、高いダイナミックレンジを持つ補正画像が生成される。
【００３０】
このように、本実施形態のカメラ装置では、露出状態と照明状態の双方を切り替えて制御し、２種類の画像を取得している。一般には、後述の虫判定のために照明状態を切り替える一方、それとは独立して、ダイナミックレンジの拡大のために露出状態を切り替えることなると、必要な画像が多くなる。これに対し、本実施形態では、露出量と画像の輝度値との相関関係に着目し、２種類の画像から生成された補正画像を解析対象とするので、必要な画像は２種で済む。そのため、画像を記憶する場合に必要な容量を抑えることができる。
【００３１】
次に、図５〜図７を参照して、本実施形態の検知ロジックについて説明する。図５は、監視カメラ装置において実行される検知ロジックの処理全体の流れを説明するフローチャートである。まず、計時手段によって示される所定のタイミングで、図４に示す第１の画像に対応する設定を行った状態で、撮像部１０４により現画像を撮影して取り込む（ステップＳ１）。続いて、図４に示す第２の画像に対応する設定を行った状態で、撮像部１０４により現画像を撮影して取り込む（ステップＳ２）。これら第１の画像と第２の画像は、それぞれ記憶部１０６に順次保持される。
【００３２】
次に、ステップＳ１の第１の画像とステップＳ２の第２の画像とを用いて演算を行って、ダイナミックレンジが拡大された補正画像を生成する（ステップＳ３）。ここで、ステップＳ３においては、画像を構成する画素ごとに次式に従って演算を行う。
Ｐ３ ＝ Ｐ１×α ＋ Ｐ２×（１−α） （１）
ただし、Ｐ１：第１の画像の画素値
Ｐ２：第２の画像の画素値
Ｐ３：補正画像の画素値
α：０≦α≦１（αは実験的に求めたパラメータ）
上記（１）式の演算により得た補正画像は、監視領域内の各部で明るさが大きく異なる場合であっても良好な画像を得ることができる。なお、本実施形態における補正画像に基づく検知ロジックの基本的な考え方については後述する。
【００３３】
次に、一般的な手法を用いて監視領域内に存在する移動体の有無を検出する（ステップＳ４）。具体的には、上述した基準画像と補正画像とを比較して両者の差分を求めた後、監視領域において時間経過により変化が現れる変化領域を抽出し、それを画像中の移動体部分として判別する（ステップＳ４）。ステップＳ４の判別の結果、監視領域に移動体が存在しないときは（ステップＳ５；ＮＯ）、監視領域において人が検知されないものと判断する（ステップＳ１１）。これは、侵入者等が検知されず正常な状態に対応する。
【００３４】
一方、ステップＳ４の判別の結果、監視領域に移動体が存在するときは（ステップＳ５；ＹＥＳ）、画像内での移動体部分の面積を算出し、算出された面積が人間のサイズとして想定される範囲内であるか否かを判断する（ステップＳ６）。その結果、移動体部分の面積が人間のサイズの範囲から外れていると判断されるときは（ステップＳ６；ＮＯ）、移動体は人ではないと判断できるので、上記のステップＳ１１に移行する。これに対し、移動体部分の面積が人間のサイズの範囲内であると判断されるときは（ステップＳ６；ＹＥＳ）、その移動体が虫等であるか否かを判断するための虫判定処理を実行する（ステップＳ７）。
【００３５】
図６は、ステップＳ７の虫判定処理を説明するフローチャートである。虫判定処理が開始されると、ステップＳ１で取り込んだ第１の画像を処理対象として、移動体部分に含まれる画素ごとの輝度値が所定値を超える領域Ｒ１を求める（ステップＳ２１）。図７（ａ）に、第１の画像の移動体部分において求めた領域Ｒ１の例を示している。具体的には、輝度値が飽和する程度のしきい値ＴＨ１（例えば、２５４）を予め設定しておき、移動体部分の画素のうち、輝度値＞ＴＨ１を満たす領域を求め、これを領域Ｒ１とすればよい。この領域Ｒ１は、第１の画像の移動体部分における飽和領域に相当する。
【００３６】
同様に、ステップＳ２で取り込んだ第２の画像を処理対象として、移動体部分に含まれる画素ごとの輝度値が所定値を超える領域Ｒ２を求める（ステップＳ２２）。図７（ｂ）に、第２の画像の移動体部分において求めた領域Ｒ２の例を示している。具体的には、輝度値が飽和する程度のしきい値ＴＨ２（例えば、２５４）を予め設定しておき、移動体部分の画素のうち、輝度値＞ＴＨ２を満たす領域を求め、これを領域Ｒ２とすればよい。この領域Ｒ２は、第２の画像の移動体部分における飽和領域に相当する。
【００３７】
そして、第１の画像と第２の画像の両方を処理対象として、移動体部分のうち次の（２）式を満たす領域Ｒ３を求める（ステップＳ２３）。ここでは、低露出状態に対する高露出状態の露出量が８倍であるものとする。なお、図７（ｃ）において、（２）式により求めた領域Ｒ３の例を示している。
【００３８】
第２の画像の輝度値×８−第１の画像の輝度値 ＞ ＴＨ３ （２）
ただし、ＴＨ３：所定のしきい値（例えば、２００）
この（２）式は、本実施形態の虫検知ロジックにおいて基本となる式である。以下、（２）式を虫検知に適用する場合の考え方を説明する。
【００３９】
まず、（２）式に含まれる第１の画像の輝度値及び第２の画像の輝度値は、それぞれ次の（３）式及び（４）式で表すことができる。
第１の画像の輝度値 ＝ （Ｃ１＋Ｃ３）×１ （３）
第２の画像の輝度値 ＝ （Ｃ１＋Ｃ２＋Ｃ３）×（１／８） （４）
ただし、Ｃ１：通常照明装置２０２の反射光の成分
Ｃ２：直近照明装置２０３の反射光の成分
Ｃ３：その他の入射光の成分
【００４０】
上述したように、図４に示す制御条件を用いるので、通常照明装置２０２の影響（Ｃ１）は、（３）式と（４）式の双方に現れるのに対し、直近照明装置２０３の影響（Ｃ２）は、（４）式のみに現れることがわかる。なお、（３）式と（４）式のいずれにおいても、監視カメラ装置以外から到来する光の影響（Ｃ３）を想定している。ここで、図４に示すように、第１の画像が高露出状態、第２の画像が低露出状態でそれぞれ撮影したものであり、上述したように互いの露出量の違いを８倍に設定している。よって、露出量と画像の輝度値との相関関係に従って、（４）式の係数を１／８としたのである。
【００４１】
そこで、（４）式を８倍して（３）式を引くと、次の（５）式を得ることができる。第２の画像の輝度値×８―第１の画像の輝度値＝ Ｃ２ （５）この（５）式は、２つの画像の露出量の違いを補正した状態で、第１の画像と第２の画像との差をとることに相当し、結果的に直近照明装置２０３の反射光の影響のみが抽出されることになる。そして、ステップＳ２３で用いる（２）式の左辺が、上記の（５）式に対応している。この場合、直近照明装置２０３からの光が通過するレンズ面２０５の直近に虫等の物体が存在するときは、その状態が（５）式を通じて検出されることになる。
【００４２】
ただし、第１の画像又は第２の画像において輝度値の飽和が生じる場合は、（５）式が成立しなくなる。つまり、例えば各画素の輝度値が０〜２５５の範囲の整数値をとり得るとすると、輝度値は最大の２５５で飽和することになる。この場合、撮像部１０６への入射光量が実際には２５５を超える所定の輝度値であったとしても、輝度値が２５５として検出されるので、上記の（３）〜（５）式において正しい演算を行うことができなくなる。
【００４３】
既に説明したように、第１の画像と第２の画像において輝度値が飽和する範囲は、それぞれ図６のステップＳ２１の領域Ｒ１及びステップＳ２２の領域Ｒ２として求めている。よって、図６の処理において、以下に説明するようにステップＳ２４〜Ｓ２８を行うことにより、輝度値の飽和による影響を除外している。
【００４４】
図６に示すように、ステップＳ２１で求めた領域Ｒ１に含まれる画素数Ｎ１を求める（ステップＳ２４）。同様に、ステップＳ２２で求めた領域Ｒ２に含まれるが、領域Ｒ１には含まれない画素数Ｎ２を求める（ステップＳ２５）。そして、ステップＳ２３で求めた領域Ｒ３内に含まれるが、領域Ｒ１と領域Ｒ２のいずれにも含まれない画素数Ｎ３を求める（ステップＳ２６）。一方、ステップＳ４で判別した移動体部分に含まれる画素数Ｎ４を求める（ステップＳ２７）次に、虫判定を行うべく、ステップＳ２４〜Ｓ２７にて求めた各画素数Ｎ１〜Ｎ４を用いて、以下に示す３つの式が全て成立するか否かを判断する（ステップＳ２８）。Ｎ１／Ｎ４＜ ＴＨ４ （６）Ｎ２／Ｎ４＜ ＴＨ５ （７）Ｎ３／Ｎ４＞ ＴＨ６ （８）ただし、ＴＨ４、ＴＨ５、ＴＨ６：所定のしきい値ステップＳ２８では、上記の（６）〜（８）式を全て満たすか否かを判断する。その結果、ステップＳ２８が肯定判断されるときは、画像内の移動体を虫であると判定し（ステップＳ２９）、ステップＳ２８が否定判断されるときは、画像内の移動体を虫ではないと判定する（ステップＳ３０）。なお、各しきい値の設定としては、例えば、ＴＨ４＝０．２、ＴＨ５＝０．２、ＴＨ６＝０．４として定めればよい。
【００４５】
ここで、ステップＳ２８で用いる（６）〜（８）式の具体的な意味を説明する。（６）式は、第１の画像で輝度値が飽和状態となる部分の移動体部分に占める面積の割合が大きいときは信頼性が低いと考え、虫とは判定しないことを意味している。また、（７）式は、第１の画像では輝度値が飽和状態ではないが第２の画像では輝度値が飽和状態となる部分の移動体部分に占める面積の割合が大きいときは信頼性が低いと考え、虫とは判定しないことを意味している。さらに、（８）式は、第１の画像と第２の画像のいずれにおいても輝度値が飽和状態ではない部分の移動体部分に占める面積の割合が大きいとき、すなわち、直近照明装置２０３の反射光の影響が正常に現れる画素数が多い状態で、かつ、直近照明装置２０３の反射光の影響が大きい状態であることを意味している。これらを虫の判定条件とすることにより、画像の飽和に起因する誤検知を回避して信頼性が高い検知ロジックを実現することができる。
【００４６】
次に、図６のステップＳ２１〜Ｓ３０の処理を終えると、図５に戻ってステップＳ８以降の処理を行う。図５において、ステップＳ７の処理の判定結果が虫であった場合は（ステップＳ８；ＹＥＳ）、監視領域において非検出対象の虫等が検知されたと判断する（ステップＳ９）。一方、ステップＳ７の処理による判定結果が虫ではなかった場合は（ステップＳ８；ＮＯ）、監視領域において検出対象の人（侵入者）が検知されたと判断する（ステップＳ１０）。
【００４７】
以上の処理の結果、本実施形態の検知ロジックの１回分の処理が終了する。これ以降、所定の時間間隔で上記ステップＳ１〜Ｓ１１が繰り返し実行される。なお、図６の処理により、ステップＳ９又はステップＳ１１の判断がなされた場合は、監視領域に侵入者が存在しない正常な状態であるのに対し、ステップＳ１０の判断がなされた場合は、監視領域に侵入者が存在する異常な状態であり、出力部１０７により検知結果が通報されることになる。
【００４８】
次に、図６の虫判定処理の変形例について説明する。図６の虫判定処理においては、ステップＳ２８〜Ｓ３０によって、虫か、あるいは虫ではないかの一方を選択的に判定する処理を示した。これに対し本変形例では、「虫らしさ」を数値化し、虫判定の結果に幅を持たせることを特徴としている。すなわち、「虫らしさ」を、例えば、０から１の範囲の数値で示し、虫である度合いが１のときに最大で０のときに最小となるように「虫らしさ」を算出するものである。
【００４９】
図８は、かかる変形例に関し、図６のステップＳ２８〜Ｓ３０を置き換える場合の判定部分をグラフにより表した図である。なお、本変形例においては、図６のステップＳ２１〜Ｓ２７の処理は上記と同様に行えばよく、それ以降の処理を置き換えることによって実現できる。図８において、グラフ１〜グラフ３の３つのグラフを示している。グラフ１は、ステップＳ２４で求めた画素数Ｎ１とステップＳ２７で求めた画素数Ｎ４の比であるＮ１／Ｎ４を横軸にとっている。グラフ２は、ステップＳ２５で求めた画素数Ｎ２と上記の画素数Ｎ４の比であるＮ２／Ｎ４を横軸にとっている。グラフ３は、ステップＳ２６で求めた画素数Ｎ３と上記の画素数Ｎ４の比であるＮ３／Ｎ４を横軸にとっている。
【００５０】
そして、３つのグラフの各々のパラメータＮ１／Ｎ４、Ｎ２／Ｎ４、Ｎ３／Ｎ４に関し、「虫らしさ」との相関を実験的に調べた上で適切なグラフ形状を求めた。これにより、各グラフの横軸のパラメータに基づいて、グラフ１の縦軸の値Ｂ１と、グラフ２の縦軸の値Ｂ２と、グラフ３の縦軸の値Ｂ３とを決定できる。最終的に、「虫らしさ」Ｂは、３つのグラフの縦軸の積をとり、Ｂ＝Ｂ１×Ｂ２×Ｂ３により算出される。例えば、Ｎ１／Ｎ４＝０．２、Ｎ２／Ｎ４＝０．２、Ｎ３／Ｎ４＝０．１５となる場合、グラフ１〜グラフ３に基づきＢ１＝１、Ｂ２＝１、Ｂ３＝０．５が得られるので、「虫らしさ」Ｂ＝０．５となる。
【００５１】
このように判定された「虫らしさ」は、幅のある数値であるため、最終的に虫の存在を検知すべく、種々の判断を適用する必要がある。例えば、別途、移動体について「人らしさ」を求めた上で、これを「虫らしさ」と比較し、「虫らしさ」の方が大きいときは、人ではなく虫と判断すればよい。あるいは、瞬時的な値の変動を抑えるため、「虫らしさ」を時間的に蓄積した値を判断の際に用いてもよい。
【００５２】
以上の実施形態では、本発明を監視カメラ装置に適用する場合について説明したが、これに限られることなく、様々な用途の画像センサに対し広く本発明を適用することができる。この場合、撮像手段に対する露出量を切り替え制御し、上述したように輝度値を補正して画像処理を行う構成を有する画像センサであれば、照明制御や非検出対象の検知ロジックの有無を問うことなく、本発明を適用することができる。
【００５３】
【発明の効果】
以上説明したように本発明によれば、撮影時に露出量を切り替え制御し、画像の露出量の相違に対応する輝度値の相違を補正し、補正された画像に基づいて変化領域を解析するようにしたので、画像の枚数を抑えて合理的な画像処理を行う画像センサ及び監視カメラ装置を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した一形態としての監視カメラ装置の機能ブロック図である。
【図２】監視領域において非検出対象の虫等が存在する状況を説明する図である。
【図３】本実施形態の監視カメラ装置の装置構成を示す図である。
【図４】本実施形態における第１の画像及び第２の画像に関し、撮影時の制御条件を対比して示す図である。
【図５】本実施形態の検知ロジックについて、処理全体の流れを説明するフローチャートである。
【図６】本実施形態の検知ロジックについて、図５のステップＳ７の虫判定処理を説明するフローチャートである。
【図７】図６のステップＳ２１〜Ｓ２３で求めた領域Ｒ１〜Ｒ３の例を示す図である。
【図８】本実施形態の変形例に関する判定部分をグラフにより表した図である。
【符号の説明】
１０１…制御部
１０２…電源部
１０３…照明部
１０４…撮像部
１０５…画像処理部
１０６…記憶部
１０７…出力部
２０１…カメラ
２０２…通常照明装置
２０３…直近照明装置
２０４…透明カバー
２０５…レンズ面
２０６…プリズム
【発明の属する技術分野】
本発明は、撮像手段によって画像を撮影し、撮影された画像を解析する画像センサ、及び、撮像手段によって監視領域の画像を撮影し、撮影された画像を解析して検知対象の存在を検知する監視カメラ装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来の画像センサとしては、所望の監視領域を継続して撮影し、撮影した画像から侵入者の有無を判定する監視カメラ装置が知られている。この種の監視カメラ装置では、所定の時間間隔で撮影された複数の画像を比較し、その変化を解析することにより侵入者を検知する。一般に、解析対象として複数の画像を用いる場合、シャッター速度や絞りに基づく露出が一致した状態で各画像を撮影する必要がある。これは、露出が異なった複数の画像を比較する場合、特定の被写体において輝度値の相対的な相違が画像上に現れるため、適正な画像解析を行うことができなくなるからである。
【０００３】
ところで、監視カメラ装置には、人間以外にも監視領域に飛来する虫等が外乱として検知される可能性がある。特に、監視カメラ装置の直近に虫が存在し、そのサイズが画像内で人間程度になる場合が問題となる。このような状況下で非検出対象の虫等により、誤って侵入者を検知されることを防止するため、飛来した虫等を人間と区別するための対策が必要となる。一方、監視カメラ装置には、監視領域が暗い場合であっても侵入者を検出し得るように照明手段を設けるのが一般的な構成である。そして、このような照明手段において、光量や光の照射範囲を切り替えて画像を撮影し、監視カメラ装置における虫等の判定に利用することができる。すなわち、監視領域全域の照明と、監視カメラ装置の直近に限定した照明とを用いて取得された２つの画像を比較し、両者の差を求めることにより、近傍に虫等が存在することを認識することができる。この場合、２つの画像を適正に比較するには、上記の露出量を撮影時に一定になるように設定する必要がある。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の監視カメラ装置において、虫等の検知を行う場合、画像のダイナミックレンジの制約が問題となる。すなわち、監視カメラ装置の直近に限定した照明を施したとき、虫等の反射光により画像のダイナミックレンジを越える可能性がある。よって、直近に限定した照明を用いる場合、低露出に設定する必要が生じる。この場合、上述したように２つの画像で露出量を一定にすべく、監視領域全域の照明時も低露出に設定せざるを得なくなる。そのため、監視領域の検出対象が暗く撮影されることになり、侵入者を判定するための画像処理には適さない。
【０００５】
上記従来の監視カメラ装置において、虫等の検知とダイナミックレンジの拡大とを両立させるためには、監視領域全域の照明時の画像とは別に、直近に限定した照明を用いるときに露出の異なる複数の画像を撮影し、これらを組み合わせて画像処理を行う必要がある。従って、虫等の検知を目的とした画像が増加し、それにより侵入者を検知するための画像の枚数が制約を受けることが問題となる。
【０００６】
そこで、本発明はこのような問題に鑑みなされたものであり、撮影時の露出量と画像の輝度値の相関関係に着目し、例えば、虫等の検知ロジックなどの画像処理を組み込む場合であっても、用いる画像の枚数を抑えて合理的な画像処理を行うことができる画像センサ及び監視カメラ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の監視カメラ装置は、監視領域の画像を撮影する撮像手段と、前記撮像手段の直近のみを照明する直近照明を施す照明手段と、前記直近照明を施すとともに前記撮像手段を所定露出とする第１の状態と、前記直近照明を施さずに前記撮像手段を前記所定露出と異なる露出とする第２の状態とを切り替え制御する状態制御手段と、前記第１の状態の画像と前記第２の状態の画像における前記露出量の相違に対応する輝度値の相違を補正し、補正後の画像に基づいて変化領域を解析し、前記監視領域における検出対象である移動体を判定する画像処理手段とを備えることを特徴とする。
【００１２】
この発明によれば、監視カメラ装置により監視領域を撮影する場合、画像のダイナミックレンジを拡大するための露出量と、非検出対象を検知するための照明状態とを時間に応じて切り替えて、２つの状態に対応する画像を取得する。そして、露出量の相違は画像の輝度値の相違となって現れるので、その相関関係を考慮して画像の補正を行った上で、画像の変化領域の解析を行って検出対象である移動体の判定を行う。従って、異なる露出量にて撮影された画像を比較したときに検出対象の存在を高精度に判定することができる。このとき、露出状態と照明状態の両者を変えるときの画像が２種でよいため、画像の枚数を増加させることなく合理的な処理を実現することができる。なお、所定露出は、監視領域の状態、監視目的等に応じて適宜設定される。
【００１３】
請求項２に記載の監視カメラ装置は、請求項１に記載の監視カメラ装置において、前記画像処理手段は、前記第１の状態の画像と前記第２の状態の画像とを比較して、前記直近照明の影響を受ける移動体を、前記撮像手段の直近に存在する非検出対象として判定することを特徴とする。
【００１４】
この発明によれば、請求項１に記載の発明の作用に加えて、露出量の状態と照明状態が異なる２つの画像との比較によって、移動体が直近照明の影響を受けることを解析し、それにより撮像手段の直近に存在する非検出対象を判定する。従って、監視カメラ装置の直近に虫等が存在し、そのサイズが画像内で人と同程度になる状況において、これを確実に検知して侵入者の誤検知を有効に防止することができる。
【００１５】
請求項３に記載の監視カメラ装置は、請求項２に記載の監視カメラ装置において、画像の輝度値が飽和する飽和領域を判別し、前記変化領域から前記飽和領域を除いた領域において前記移動体を判定することを特徴とする。
【００１６】
この発明によれば、監視カメラ装置で撮影された画像において輝度値が飽和する場合、飽和領域を判別して上記の画像処理において飽和領域を除外する。従って、輝度値が飽和して信頼性が低くなる領域を画像処理に反映させないようにして、より信頼性の高い画像処理を行うことができる。
【００１７】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００１８】
図１は、本発明を適用した一形態としての監視カメラ装置の機能ブロック図である。図１に示す監視カメラ装置には、制御部１０１、電源部１０２、照明部１０３、撮像部１０４、画像処理部１０５、記憶部１０６、出力部１０７を含んでいる。
【００１９】
以上の構成において、制御部１０１は、ＣＰＵ等から構成され、監視カメラ装置全体の動作を制御するとともに、後述するように記憶部１０６に保持されるプログラムに従って本発明の各種判定処理等を実行する。また、電源部１０２は、制御部１０１の制御の下、監視カメラ装置の各部に電力を供給する役割を担い、外部から電源部１０２にＡＣ電源を供給する構成になっている。
【００２０】
照明部１０３は、監視領域が暗い場合に画像を識別するための光を照射する手段である。後述するように、照明部１０３は、監視領域全域に広く光を照射する通常照明装置と、監視カメラ装置の直近の領域のみに光を照射する直近照明装置とを含んで構成される。また、撮像部１０４は、光学系及びＣＣＤ素子等の撮像素子から構成され、監視領域を撮影した画像に対応するアナログ信号をディジタル画像信号に変換して出力する。撮像部１０４からのディジタル画像信号は、計時手段（不図示）に基づいて所定の時間間隔で順次出力される。なお、監視領域を撮影するときの露出状態として、後述するように画像の擬似的なダイナミックレンジ拡大のために低露出状態と高露出状態の２つを切り替え可能になっている。なお、露出状態は２通りに限られず、３通り以上に切り替え可能にしてもよい。
【００２１】
画像処理部１０５は、制御部１０１の制御の下、撮像部１０４からのディジタル画像信号を処理する手段であり、画像処理用ＩＣや画像用メモリ等から構成される。画像処理部１０５では、撮像部１０４で得られたディジタル画像信号を２値化するとともに、後述の判定処理に必要なパラメータや属性情報などの算出と、それらを用いた画像の解析とを行う。そして、画像処理部１０５での処理結果は制御部１０１に出力され侵入者の有無を判別する際に利用される。また、記憶部１０６には、上記のプログラムに加えて、画像処理部１０５の処理対象である画像データや演算に必要なパラメータ、監視領域の状態や監視カメラ装置の動作モードなどの各種情報が更新可能に記憶されている。また、出力部１０７は、最終的な検知結果を外部の通信回線を経由して出力する手段であり、例えば警報装置やベルなどを経由して通報されることになる。
【００２２】
次に、本実施形態の監視カメラ装置における検知方法の概念について説明する。上述の画像処理部１０５で抽出される２値化画像は、予め設定された基準画像と所定の時間間隔で取得される撮影画像との差分をとることによって算出される。ここで、基準画像とは、検出領域に検出対象（人）が存在しない状態における監視領域の画像であり、監視カメラ装置の初期設置時に予め記憶されている。そして、監視領域において基準画像に存在しない侵入者等の移動体が写ると、その時点の画像で変化が現れる変化領域を求めることにより、移動体が存在する領域を識別し得る。このような変化領域を時間経過によって常に抽出し続け、所定のアルゴリズムに基づいて移動体が侵入者であるか否かを判定することができる。
【００２３】
一方、図２は、監視領域において非検出対象の虫等が存在する状況を説明する図である。図２（ａ）においては、監視カメラ装置の近辺に虫が飛来した状況を示すとともに、図２（ｂ）においては、監視カメラ装置の表面に虫が張り付いている状況を示す。いずれの状況であっても、虫が監視領域における移動体として認識される。この場合、監視カメラ装置と虫との距離が近いため、画像内でのサイズが人と同程度になるので、誤検出のおそれがある。本実施形態においては、監視カメラ装置の照明状態及び露出状態の適切な切り替え制御と画像処理のアルゴリズムとにより、本来の検出対象から虫等の非検出対象を明確に区別し得る検知方法を採用している。
【００２４】
次に図３は、本実施形態の監視カメラ装置の装置構成を示す図である。図３においては、監視カメラ装置を構成する部材として、撮像部１０４に対応するカメラ２０１と、照明装置１０３に含まれる通常照明装置２０２及び直近照明層装置２０３と、透明カバー２０４と、レンズ面２０５と、プリズム２０６とが示されている。
【００２５】
以上の構成において、監視カメラ装置の中央部にはカメラ２０１が設置されている。カメラ２０１は、レンズと撮像素子が一体化された構造であり、レンズ面２０５を介して監視領域を所定のタイミングで撮影する。カメラ２０１の周囲には、遠端側に通常照明装置２０２が配置されるとともに、近端側に直近照明装置２０３が配置され、それぞれ別々に点灯制御することができる。これら通常照明装置２０２及び直近照明装置２０３は、例えば複数の照明用ＬＥＤにより構成される。なお、通常照明装置２０２及び直近照明装置２０３は、カメラ２０１と一体となって監視カメラ装置中央部の軸の周囲を回動可能に構成されている。
【００２６】
まず、通常照明装置２０２を点灯させた状態では、透明カバー２０４を介して監視領域全体が照明される。この場合、通常照明装置２０２からの光は、図３のＡ方向の範囲には照射されるが、プリズム２０６の突出部分によって遮蔽される図３のＢ方向の範囲には届かない。
【００２７】
一方、直近照明装置２０３を点灯させた状態では、レンズ面２０５を介してカメラ２０１の直近の領域が照明される。この場合、直近照明装置２０３からの光は、プリズム２０６を通して屈折し、レンズ面２０５上部のＢ方向（図３）の範囲にのみ光が照射されることになり、それより外部の領域には届かない。
【００２８】
また、カメラ２０１は、図示しない機構によって低露出状態と高露出状態とを切り替えることができる。一般に監視カメラ装置による監視領域においては、非常に明るい箇所と非常に暗い箇所が混在するので、良好な画質を確保するには画像のダイナミックレンジを擬似的に拡大する必要がある。そのため、非常に暗い箇所をある程度明るく撮影できる高露出状態と、非常に明るい箇所をある程度暗く撮影できる低露出状態とを切り替え制御することが有効である。本実施形態では、カメラ２０１の低露出状態に対する高露出状態の露出量が、例えば８倍となるように設定される。なお、実際のカメラ２０１の露出量は、シャッター速度を調整することにより切り替え可能である。
【００２９】
そして、上述したような監視カメラ装置の照明状態と露出状態とを組み合わせて、カメラ２０１により２種類の画像を撮影する。図４において、本実施形態の２種類の画像である第１の画像及び第２の画像に関し、撮影時の制御条件を対比して示している。まず、第１の画像は、通常照明装置２０２を点灯し、直近照明装置２０３を消灯するとともに、高露出状態となる条件で制御される。また、第２の画像は、通常照明装置２０２と直近照明装置２０３をいずれも点灯するとともに、低露出状態となるように制御される。そして、撮影された２種類の画像を用いて、高いダイナミックレンジを持つ補正画像が生成される。
【００３０】
このように、本実施形態のカメラ装置では、露出状態と照明状態の双方を切り替えて制御し、２種類の画像を取得している。一般には、後述の虫判定のために照明状態を切り替える一方、それとは独立して、ダイナミックレンジの拡大のために露出状態を切り替えることなると、必要な画像が多くなる。これに対し、本実施形態では、露出量と画像の輝度値との相関関係に着目し、２種類の画像から生成された補正画像を解析対象とするので、必要な画像は２種で済む。そのため、画像を記憶する場合に必要な容量を抑えることができる。
【００３１】
次に、図５〜図７を参照して、本実施形態の検知ロジックについて説明する。図５は、監視カメラ装置において実行される検知ロジックの処理全体の流れを説明するフローチャートである。まず、計時手段によって示される所定のタイミングで、図４に示す第１の画像に対応する設定を行った状態で、撮像部１０４により現画像を撮影して取り込む（ステップＳ１）。続いて、図４に示す第２の画像に対応する設定を行った状態で、撮像部１０４により現画像を撮影して取り込む（ステップＳ２）。これら第１の画像と第２の画像は、それぞれ記憶部１０６に順次保持される。
【００３２】
次に、ステップＳ１の第１の画像とステップＳ２の第２の画像とを用いて演算を行って、ダイナミックレンジが拡大された補正画像を生成する（ステップＳ３）。ここで、ステップＳ３においては、画像を構成する画素ごとに次式に従って演算を行う。
Ｐ３ ＝ Ｐ１×α ＋ Ｐ２×（１−α） （１）
ただし、Ｐ１：第１の画像の画素値
Ｐ２：第２の画像の画素値
Ｐ３：補正画像の画素値
α：０≦α≦１（αは実験的に求めたパラメータ）
上記（１）式の演算により得た補正画像は、監視領域内の各部で明るさが大きく異なる場合であっても良好な画像を得ることができる。なお、本実施形態における補正画像に基づく検知ロジックの基本的な考え方については後述する。
【００３３】
次に、一般的な手法を用いて監視領域内に存在する移動体の有無を検出する（ステップＳ４）。具体的には、上述した基準画像と補正画像とを比較して両者の差分を求めた後、監視領域において時間経過により変化が現れる変化領域を抽出し、それを画像中の移動体部分として判別する（ステップＳ４）。ステップＳ４の判別の結果、監視領域に移動体が存在しないときは（ステップＳ５；ＮＯ）、監視領域において人が検知されないものと判断する（ステップＳ１１）。これは、侵入者等が検知されず正常な状態に対応する。
【００３４】
一方、ステップＳ４の判別の結果、監視領域に移動体が存在するときは（ステップＳ５；ＹＥＳ）、画像内での移動体部分の面積を算出し、算出された面積が人間のサイズとして想定される範囲内であるか否かを判断する（ステップＳ６）。その結果、移動体部分の面積が人間のサイズの範囲から外れていると判断されるときは（ステップＳ６；ＮＯ）、移動体は人ではないと判断できるので、上記のステップＳ１１に移行する。これに対し、移動体部分の面積が人間のサイズの範囲内であると判断されるときは（ステップＳ６；ＹＥＳ）、その移動体が虫等であるか否かを判断するための虫判定処理を実行する（ステップＳ７）。
【００３５】
図６は、ステップＳ７の虫判定処理を説明するフローチャートである。虫判定処理が開始されると、ステップＳ１で取り込んだ第１の画像を処理対象として、移動体部分に含まれる画素ごとの輝度値が所定値を超える領域Ｒ１を求める（ステップＳ２１）。図７（ａ）に、第１の画像の移動体部分において求めた領域Ｒ１の例を示している。具体的には、輝度値が飽和する程度のしきい値ＴＨ１（例えば、２５４）を予め設定しておき、移動体部分の画素のうち、輝度値＞ＴＨ１を満たす領域を求め、これを領域Ｒ１とすればよい。この領域Ｒ１は、第１の画像の移動体部分における飽和領域に相当する。
【００３６】
同様に、ステップＳ２で取り込んだ第２の画像を処理対象として、移動体部分に含まれる画素ごとの輝度値が所定値を超える領域Ｒ２を求める（ステップＳ２２）。図７（ｂ）に、第２の画像の移動体部分において求めた領域Ｒ２の例を示している。具体的には、輝度値が飽和する程度のしきい値ＴＨ２（例えば、２５４）を予め設定しておき、移動体部分の画素のうち、輝度値＞ＴＨ２を満たす領域を求め、これを領域Ｒ２とすればよい。この領域Ｒ２は、第２の画像の移動体部分における飽和領域に相当する。
【００３７】
そして、第１の画像と第２の画像の両方を処理対象として、移動体部分のうち次の（２）式を満たす領域Ｒ３を求める（ステップＳ２３）。ここでは、低露出状態に対する高露出状態の露出量が８倍であるものとする。なお、図７（ｃ）において、（２）式により求めた領域Ｒ３の例を示している。
【００３８】
第２の画像の輝度値×８−第１の画像の輝度値 ＞ ＴＨ３ （２）
ただし、ＴＨ３：所定のしきい値（例えば、２００）
この（２）式は、本実施形態の虫検知ロジックにおいて基本となる式である。以下、（２）式を虫検知に適用する場合の考え方を説明する。
【００３９】
まず、（２）式に含まれる第１の画像の輝度値及び第２の画像の輝度値は、それぞれ次の（３）式及び（４）式で表すことができる。
第１の画像の輝度値 ＝ （Ｃ１＋Ｃ３）×１ （３）
第２の画像の輝度値 ＝ （Ｃ１＋Ｃ２＋Ｃ３）×（１／８） （４）
ただし、Ｃ１：通常照明装置２０２の反射光の成分
Ｃ２：直近照明装置２０３の反射光の成分
Ｃ３：その他の入射光の成分
【００４０】
上述したように、図４に示す制御条件を用いるので、通常照明装置２０２の影響（Ｃ１）は、（３）式と（４）式の双方に現れるのに対し、直近照明装置２０３の影響（Ｃ２）は、（４）式のみに現れることがわかる。なお、（３）式と（４）式のいずれにおいても、監視カメラ装置以外から到来する光の影響（Ｃ３）を想定している。ここで、図４に示すように、第１の画像が高露出状態、第２の画像が低露出状態でそれぞれ撮影したものであり、上述したように互いの露出量の違いを８倍に設定している。よって、露出量と画像の輝度値との相関関係に従って、（４）式の係数を１／８としたのである。
【００４１】
そこで、（４）式を８倍して（３）式を引くと、次の（５）式を得ることができる。第２の画像の輝度値×８―第１の画像の輝度値＝ Ｃ２ （５）この（５）式は、２つの画像の露出量の違いを補正した状態で、第１の画像と第２の画像との差をとることに相当し、結果的に直近照明装置２０３の反射光の影響のみが抽出されることになる。そして、ステップＳ２３で用いる（２）式の左辺が、上記の（５）式に対応している。この場合、直近照明装置２０３からの光が通過するレンズ面２０５の直近に虫等の物体が存在するときは、その状態が（５）式を通じて検出されることになる。
【００４２】
ただし、第１の画像又は第２の画像において輝度値の飽和が生じる場合は、（５）式が成立しなくなる。つまり、例えば各画素の輝度値が０〜２５５の範囲の整数値をとり得るとすると、輝度値は最大の２５５で飽和することになる。この場合、撮像部１０６への入射光量が実際には２５５を超える所定の輝度値であったとしても、輝度値が２５５として検出されるので、上記の（３）〜（５）式において正しい演算を行うことができなくなる。
【００４３】
既に説明したように、第１の画像と第２の画像において輝度値が飽和する範囲は、それぞれ図６のステップＳ２１の領域Ｒ１及びステップＳ２２の領域Ｒ２として求めている。よって、図６の処理において、以下に説明するようにステップＳ２４〜Ｓ２８を行うことにより、輝度値の飽和による影響を除外している。
【００４４】
図６に示すように、ステップＳ２１で求めた領域Ｒ１に含まれる画素数Ｎ１を求める（ステップＳ２４）。同様に、ステップＳ２２で求めた領域Ｒ２に含まれるが、領域Ｒ１には含まれない画素数Ｎ２を求める（ステップＳ２５）。そして、ステップＳ２３で求めた領域Ｒ３内に含まれるが、領域Ｒ１と領域Ｒ２のいずれにも含まれない画素数Ｎ３を求める（ステップＳ２６）。一方、ステップＳ４で判別した移動体部分に含まれる画素数Ｎ４を求める（ステップＳ２７）次に、虫判定を行うべく、ステップＳ２４〜Ｓ２７にて求めた各画素数Ｎ１〜Ｎ４を用いて、以下に示す３つの式が全て成立するか否かを判断する（ステップＳ２８）。Ｎ１／Ｎ４＜ ＴＨ４ （６）Ｎ２／Ｎ４＜ ＴＨ５ （７）Ｎ３／Ｎ４＞ ＴＨ６ （８）ただし、ＴＨ４、ＴＨ５、ＴＨ６：所定のしきい値ステップＳ２８では、上記の（６）〜（８）式を全て満たすか否かを判断する。その結果、ステップＳ２８が肯定判断されるときは、画像内の移動体を虫であると判定し（ステップＳ２９）、ステップＳ２８が否定判断されるときは、画像内の移動体を虫ではないと判定する（ステップＳ３０）。なお、各しきい値の設定としては、例えば、ＴＨ４＝０．２、ＴＨ５＝０．２、ＴＨ６＝０．４として定めればよい。
【００４５】
ここで、ステップＳ２８で用いる（６）〜（８）式の具体的な意味を説明する。（６）式は、第１の画像で輝度値が飽和状態となる部分の移動体部分に占める面積の割合が大きいときは信頼性が低いと考え、虫とは判定しないことを意味している。また、（７）式は、第１の画像では輝度値が飽和状態ではないが第２の画像では輝度値が飽和状態となる部分の移動体部分に占める面積の割合が大きいときは信頼性が低いと考え、虫とは判定しないことを意味している。さらに、（８）式は、第１の画像と第２の画像のいずれにおいても輝度値が飽和状態ではない部分の移動体部分に占める面積の割合が大きいとき、すなわち、直近照明装置２０３の反射光の影響が正常に現れる画素数が多い状態で、かつ、直近照明装置２０３の反射光の影響が大きい状態であることを意味している。これらを虫の判定条件とすることにより、画像の飽和に起因する誤検知を回避して信頼性が高い検知ロジックを実現することができる。
【００４６】
次に、図６のステップＳ２１〜Ｓ３０の処理を終えると、図５に戻ってステップＳ８以降の処理を行う。図５において、ステップＳ７の処理の判定結果が虫であった場合は（ステップＳ８；ＹＥＳ）、監視領域において非検出対象の虫等が検知されたと判断する（ステップＳ９）。一方、ステップＳ７の処理による判定結果が虫ではなかった場合は（ステップＳ８；ＮＯ）、監視領域において検出対象の人（侵入者）が検知されたと判断する（ステップＳ１０）。
【００４７】
以上の処理の結果、本実施形態の検知ロジックの１回分の処理が終了する。これ以降、所定の時間間隔で上記ステップＳ１〜Ｓ１１が繰り返し実行される。なお、図６の処理により、ステップＳ９又はステップＳ１１の判断がなされた場合は、監視領域に侵入者が存在しない正常な状態であるのに対し、ステップＳ１０の判断がなされた場合は、監視領域に侵入者が存在する異常な状態であり、出力部１０７により検知結果が通報されることになる。
【００４８】
次に、図６の虫判定処理の変形例について説明する。図６の虫判定処理においては、ステップＳ２８〜Ｓ３０によって、虫か、あるいは虫ではないかの一方を選択的に判定する処理を示した。これに対し本変形例では、「虫らしさ」を数値化し、虫判定の結果に幅を持たせることを特徴としている。すなわち、「虫らしさ」を、例えば、０から１の範囲の数値で示し、虫である度合いが１のときに最大で０のときに最小となるように「虫らしさ」を算出するものである。
【００４９】
図８は、かかる変形例に関し、図６のステップＳ２８〜Ｓ３０を置き換える場合の判定部分をグラフにより表した図である。なお、本変形例においては、図６のステップＳ２１〜Ｓ２７の処理は上記と同様に行えばよく、それ以降の処理を置き換えることによって実現できる。図８において、グラフ１〜グラフ３の３つのグラフを示している。グラフ１は、ステップＳ２４で求めた画素数Ｎ１とステップＳ２７で求めた画素数Ｎ４の比であるＮ１／Ｎ４を横軸にとっている。グラフ２は、ステップＳ２５で求めた画素数Ｎ２と上記の画素数Ｎ４の比であるＮ２／Ｎ４を横軸にとっている。グラフ３は、ステップＳ２６で求めた画素数Ｎ３と上記の画素数Ｎ４の比であるＮ３／Ｎ４を横軸にとっている。
【００５０】
そして、３つのグラフの各々のパラメータＮ１／Ｎ４、Ｎ２／Ｎ４、Ｎ３／Ｎ４に関し、「虫らしさ」との相関を実験的に調べた上で適切なグラフ形状を求めた。これにより、各グラフの横軸のパラメータに基づいて、グラフ１の縦軸の値Ｂ１と、グラフ２の縦軸の値Ｂ２と、グラフ３の縦軸の値Ｂ３とを決定できる。最終的に、「虫らしさ」Ｂは、３つのグラフの縦軸の積をとり、Ｂ＝Ｂ１×Ｂ２×Ｂ３により算出される。例えば、Ｎ１／Ｎ４＝０．２、Ｎ２／Ｎ４＝０．２、Ｎ３／Ｎ４＝０．１５となる場合、グラフ１〜グラフ３に基づきＢ１＝１、Ｂ２＝１、Ｂ３＝０．５が得られるので、「虫らしさ」Ｂ＝０．５となる。
【００５１】
このように判定された「虫らしさ」は、幅のある数値であるため、最終的に虫の存在を検知すべく、種々の判断を適用する必要がある。例えば、別途、移動体について「人らしさ」を求めた上で、これを「虫らしさ」と比較し、「虫らしさ」の方が大きいときは、人ではなく虫と判断すればよい。あるいは、瞬時的な値の変動を抑えるため、「虫らしさ」を時間的に蓄積した値を判断の際に用いてもよい。
【００５２】
以上の実施形態では、本発明を監視カメラ装置に適用する場合について説明したが、これに限られることなく、様々な用途の画像センサに対し広く本発明を適用することができる。この場合、撮像手段に対する露出量を切り替え制御し、上述したように輝度値を補正して画像処理を行う構成を有する画像センサであれば、照明制御や非検出対象の検知ロジックの有無を問うことなく、本発明を適用することができる。
【００５３】
【発明の効果】
以上説明したように本発明によれば、撮影時に露出量を切り替え制御し、画像の露出量の相違に対応する輝度値の相違を補正し、補正された画像に基づいて変化領域を解析するようにしたので、画像の枚数を抑えて合理的な画像処理を行う画像センサ及び監視カメラ装置を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した一形態としての監視カメラ装置の機能ブロック図である。
【図２】監視領域において非検出対象の虫等が存在する状況を説明する図である。
【図３】本実施形態の監視カメラ装置の装置構成を示す図である。
【図４】本実施形態における第１の画像及び第２の画像に関し、撮影時の制御条件を対比して示す図である。
【図５】本実施形態の検知ロジックについて、処理全体の流れを説明するフローチャートである。
【図６】本実施形態の検知ロジックについて、図５のステップＳ７の虫判定処理を説明するフローチャートである。
【図７】図６のステップＳ２１〜Ｓ２３で求めた領域Ｒ１〜Ｒ３の例を示す図である。
【図８】本実施形態の変形例に関する判定部分をグラフにより表した図である。
【符号の説明】
１０１…制御部
１０２…電源部
１０３…照明部
１０４…撮像部
１０５…画像処理部
１０６…記憶部
１０７…出力部
２０１…カメラ
２０２…通常照明装置
２０３…直近照明装置
２０４…透明カバー
２０５…レンズ面
２０６…プリズム
Claims (3)
- 監視領域の画像を撮影する撮像手段と、前記撮像手段の直近のみを照明する直近照明を施す照明手段と、前記直近照明を施すとともに前記撮像手段を所定露出とする第１の状態と、前記直近照明を施さずに前記撮像手段を前記所定露出と異なる露出とする第２の状態とを切り替え制御する状態制御手段と、前記第１の状態の画像と前記第２の状態の画像における前記露出量の相違に対応する輝度値の相違を補正し、補正後の画像に基づいて変化領域を解析し、前記監視領域における検出対象である移動体を判定する画像処理手段と、を備えることを特徴とする監視カメラ装置。
- 前記画像処理手段は、前記第１の状態の画像と前記第２の状態の画像とを比較して、前記直近照明の影響を受ける移動体を、前記撮像手段の直近に存在する非検出対象として判定することを特徴とする請求項１に記載の監視カメラ装置。
- 画像の輝度値が飽和する飽和領域を判別し、前記変化領域から前記飽和領域を除いた領域において前記移動体を判定することを特徴とする請求項２に記載の監視カメラ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367087A JP3862558B2 (ja) | 2001-11-30 | 2001-11-30 | 画像センサ及び監視カメラ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367087A JP3862558B2 (ja) | 2001-11-30 | 2001-11-30 | 画像センサ及び監視カメラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003169321A JP2003169321A (ja) | 2003-06-13 |
| JP3862558B2 true JP3862558B2 (ja) | 2006-12-27 |
Family
ID=19176886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001367087A Expired - Fee Related JP3862558B2 (ja) | 2001-11-30 | 2001-11-30 | 画像センサ及び監視カメラ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3862558B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006186458A (ja) * | 2004-12-27 | 2006-07-13 | Secom Co Ltd | 画像信号処理装置及びセンシング装置 |
| KR100776920B1 (ko) | 2007-07-26 | 2007-11-20 | 주식회사에이멕스 | 곡물 선별용 카메라의 이득 자동 조정방법 |
| JP2010205133A (ja) * | 2009-03-05 | 2010-09-16 | Panasonic Corp | 物体識別装置及び物体識別方法 |
| JP6155106B2 (ja) * | 2013-06-14 | 2017-06-28 | セコム株式会社 | 画像センサ |
| WO2017204126A1 (ja) * | 2016-05-24 | 2017-11-30 | コニカミノルタ株式会社 | 画像認識システム、動体検知ユニットおよびケアサポートシステム |
-
2001
- 2001-11-30 JP JP2001367087A patent/JP3862558B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003169321A (ja) | 2003-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101640875B1 (ko) | 물체 검출 장치 | |
| EP1612713A2 (en) | Image processor and face detector using the same | |
| JP2008246004A (ja) | 瞳孔検出方法 | |
| JP6601351B2 (ja) | 視線計測装置 | |
| JP5151594B2 (ja) | 物体検知装置 | |
| WO2020248543A1 (zh) | 异常目标的检测方法、设备及存储介质 | |
| JP2009080713A (ja) | 画像読取装置及び画像読取方法 | |
| JP2010067206A (ja) | 画像センサ | |
| JPH06270711A (ja) | 覚醒状態検知装置 | |
| JP3862558B2 (ja) | 画像センサ及び監視カメラ装置 | |
| JP6189284B2 (ja) | 画像センシング装置 | |
| JP2017225073A (ja) | 撮像装置とその制御方法、プログラム及び撮像システム | |
| JP2010068452A (ja) | 画像センサ | |
| JP4740755B2 (ja) | 画像を用いた監視装置 | |
| JP2007318673A (ja) | センサカメラ | |
| JP2019170868A (ja) | 生体情報検出装置および生体情報検出方法 | |
| JPS62147888A (ja) | 画像監視方式 | |
| JP2004297645A (ja) | 撮像システム | |
| JP4112117B2 (ja) | 侵入検知装置及び方法 | |
| JP5044742B2 (ja) | デジタルカメラ | |
| JP6093270B2 (ja) | 画像センサ | |
| JP5373486B2 (ja) | 開閉部用の検出装置 | |
| JPH0676047A (ja) | 画像処理装置 | |
| JP7262412B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2007336228A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3862558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |