JP6189284B2 - 画像センシング装置 - Google Patents

画像センシング装置 Download PDF

Info

Publication number
JP6189284B2
JP6189284B2 JP2014267030A JP2014267030A JP6189284B2 JP 6189284 B2 JP6189284 B2 JP 6189284B2 JP 2014267030 A JP2014267030 A JP 2014267030A JP 2014267030 A JP2014267030 A JP 2014267030A JP 6189284 B2 JP6189284 B2 JP 6189284B2
Authority
JP
Japan
Prior art keywords
infrared
infrared communication
illumination
image
monitoring area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014267030A
Other languages
English (en)
Other versions
JP2016127432A (ja
Inventor
山口 純
純 山口
全史 大津
全史 大津
清水 信昭
信昭 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2014267030A priority Critical patent/JP6189284B2/ja
Publication of JP2016127432A publication Critical patent/JP2016127432A/ja
Application granted granted Critical
Publication of JP6189284B2 publication Critical patent/JP6189284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、監視領域を撮像した画像から、監視領域内に検出対象が存在するか否かを判定する画像センシング装置に関する。特に、監視領域内の明るさに応じて撮影モードを自動的に切り替えて、監視領域を撮像する画像センシング装置に関する。
従来、監視領域の画像をカメラで撮影し、撮影した画像から侵入者等の検出対象を検出する画像センサが知られている。画像センサは、監視領域を順次撮影した画像(入力画像)と予め記憶してある基準画像とを比較して、変化のある領域(移動物体領域)を抽出する。そして、移動物体領域に基づいて監視領域中の侵入者の存在を検出する。このような画像センサでは、監視領域内が明るい場合だけでなく、夜間や室内の照明装置が消灯しているときなど、監視領域内が暗い場合でも、侵入者を検出する必要がある。
そこで、監視領域内の明るさを測定し、監視領域が明るい場合は可視光で撮像した画像(可視光画像)から検出対象を検出し、監視領域が暗い場合は赤外光照明を監視領域に照射して撮像した画像(赤外線画像)から侵入者を検出する画像センサが開示されている(特許文献1)。
特開2009−239739号公報
ところで、近年、スーパーマーケットなどの小売店舗では、電子棚札システムを導入する店舗が増加している。電子棚札システムは、従来は手書きや印刷で作成されていた商品の売価札(棚札)をデジタル表示装置を用いて電子的に表示するシステムである。このような電子棚札システムでは、店舗の管理装置側で設定した商品の売価情報を、無線中継器を介して、商品毎に用意されたデジタル表示装置(電子棚札)の各々に送信することで、商品の売価表示を変更することができる。これにより、人手による売価の記載ミスを防止することや、従業員の作業負荷を削減して効率を上げることに役立っている。
電子棚札システムでは、複数の電子棚札の表示を効果的に変更できるように、無線中継器を天井に設置し、無線中継器から監視領域内の広範囲に渡って赤外線を出力する構成とされていることが多い。そして、夜間、店舗の閉店中において、電子棚札の売価表示を翌日分の売価に変更することが多い。
このような電子棚札システムが導入されている店舗内を、赤外線画像を利用した画像センサで監視しようとした場合、無線中継器と電子棚札との間で行われる赤外通信が画像センサ側の検出処理に影響を及ぼす可能性がある。すなわち、夜間、赤外通信に使用される帯域を含んだ赤外線帯域に撮像感度を持つカメラで監視領域を撮像すると、無線中継器から出力された広範囲に渡る赤外線の変化が画像に撮像されてしまい、無線中継器から出力された赤外線の変化を移動物体領域として抽出してしまうという問題がある。
本発明の1つの態様は、監視領域を順次撮像する赤外線の帯域及び可視光の帯域に感度を有するカメラと、前記カメラによって撮像された画像から移動物体を検出する移動物体検出部と、を備える画像センシング装置であって、前記監視領域内における少なくとも前記移動物体検出の障害となる赤外線の有無を判定する赤外判定部と、前記赤外判定部にて前記障害となる赤外線が有ると判定されたときに、前記監視領域に対して可視光照明を照射するよう制御する照明制御部と、を備えることを特徴とする画像センシング装置である。
ここで、前記監視領域内に少なくとも前記カメラが感度を有する赤外線を照射する赤外線照明を備え、前記照明制御部は、前記赤外線照明を照射中において前記赤外判定部にて前記障害となる赤外線が有ると判定されたときに、前記監視領域に対して可視光照明を照射するよう制御することが好適である。
また、前記照明制御部は、前記可視光照明の照射中において前記赤外判定部にて前記障害となる赤外線の照射が終了したと判定されると前記可視光照明を止めることが好適である。
また、前記赤外判定部は、前記カメラによって撮像された画像の輝度に基づいて赤外通信の有無を判定することが好適である。
また、前記赤外判定部は、前記カメラによる撮像における露光量に基づいて赤外通信の有無を判定することが好適である。
また、前記赤外判定部は、前記監視領域内における赤外通信の開始時刻を示す情報に基づいて赤外通信の有無を判定することが好適である。
本発明によれば、監視領域内に電子棚札システム、物品管理システム、電子機器間の通信システム等の赤外通信装置が設置されている場合であっても、夜間等の監視領域が暗い環境において検出対象を検出することができる。
第1の実施の形態における画像センシングシステムの全体構成を示す図である。 第1の実施の形態における画像センシング装置の構成を示す機能ブロック図である。 第1の実施の形態におけるフレーム間の輝度差を用いた赤外通信の判定処理を説明する図である。 第1の実施の形態における画像センシング処理のメインルーチンを示すフローチャートである。 第1の実施の形態における撮像モード判定処理のサブルーチンを示すフローチャートである。 第1の実施の形態における照明撮像条件制御処理のサブルーチンを示すフローチャートである。 第1の実施の形態における赤外通信判定処理のサブルーチンを示すフローチャートである。 第2の実施の形態における露光制御量を用いた赤外通信の判定処理を説明する図である。 第2の実施の形態における赤外通信判定処理のサブルーチンを示すフローチャートである。 第3の実施の形態における通信予定情報を用いた赤外通信の判定処理を説明する図である。 第3の実施の形態における赤外通信判定処理のサブルーチンを示すフローチャートである。
<第1の実施形態>
本発明の実施の形態について、図面に基づいて説明する。本実施の形態における画像センシング装置は、屋内や屋外の監視領域を撮像した画像から検出対象を検出するものである。また、画像センシング装置は、検出対象を検出する際に障害となる赤外線の有無を判定するものである。ここでいう、赤外線は、通信のために照射されたもの、単に照射されたもの、センシングのために照射されたものを含む。本実施の形態では、画像センシング装置は、特に、赤外線を用いた通信を行う装置(赤外通信装置)の影響を受ける監視領域を監視する装置として説明する。
本実施の形態では、屋内の監視領域にて、当該監視領域の外部から監視領域の内部に侵入してきた人間を検出する画像センシング装置の例を説明する。また、本実施の形態では、監視領域内に存在する赤外通信装置として電子棚札システムを例に説明する。
本実施の形態のシステムは、図1のシステム全体構成図に示すように、画像センシング装置1及び電子棚札システム13を含んで構成される。図1において点線14で示された監視領域に、画像センシング装置1のカメラ2及び赤外線照明4、電子棚札システム13の無線中継器132及び電子棚札133、並びに可視光線照明3が存在する。
電子棚札システム13は、管理装置131、無線中継器132及び電子棚札133から構成されている。管理装置131は、商品毎の売価を記憶しており、当該売価情報を用いて、商品に対応するIDが付与された電子棚札133の各々に対して無線中継器132を介して売価情報を送信する。無線中継器132は、赤外通信によって、電子棚札133に売価情報を送信する。無線中継器132には、それぞれIDが付与されており、当該IDは、赤外通信を行う電子棚札133のIDと対応づけられている。
本実施形態では、2つの無線中継器132が管理装置131と接続されており、無線中継器132は、監視領域内に設置された500個の電子棚札に対して赤外通信を行う。無線中継器132のうちID001が付与された装置は、電子棚札133のID001から250に対して通信を行う。また、無線中継器132のうちID002が付与された装置は、電子棚札133のID251から500に対して通信を行う。また、2つの無線中継器132は、所定のタイミングで一斉に赤外通信を行うものとする。
なお、赤外通信装置は、電子棚札システムに限らず、監視領域内で赤外通信を行う装置であればよい。また、監視領域内で赤外通信を行うものであれば、電子棚札システム13の構成や無線中継器132の個数、電子棚札の個数、通信タイミングもこれに限らない。
図2は、本発明の実施形態における画像センシング装置1の構成及び可視光線照明3を示した図である。
画像センシング装置1は、カメラ2、赤外線照明4、照明制御部5、撮像制御部6、撮像モード制御部7、記憶部8、赤外通信判定部9、移動物体検出部10、出力部11、及び基準画像更新部12を含んで構成される。
なお、本実施の形態では、画像センシング装置1として各部を一体的に説明するが、カメラ2、赤外線照明4、照明制御部5、撮像制御部6、撮像モード制御部7、記憶部8、赤外通信判定部9、移動物体検出部10、出力部11、基準画像更新部12とを別筐体とし、通信技術を駆使して必要な制御信号等を通信するようにしてもよい。また、これに限らず、その他の筐体構成を採用してもよい。
照明制御部5、撮像制御部6、撮像モード制御部7、赤外通信判定部9、移動物体検出部10及び基準画像更新部12は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)又はMCU(Micro Control Unit)等の演算装置により構成される。演算装置は、記憶部8に記憶している各種プログラムを読み出して実行することによって照明制御部5、撮像制御部6、撮像モード制御部7、赤外通信判定部9、移動物体検出部10及び基準画像更新部12として機能する。各部は、カメラ2で撮像された入力画像を順次処理する。なお、本実施の形態では、所定の時間間隔(例えば、1/4秒)で撮影された画像を1フレーム毎に撮影時間順に処理するものとする。
カメラ2は、監視領域を撮像する。カメラ2は、レンズ・シャッター等の光学系、可視光と近赤外の波長成分に感度があるCCD素子又はC−MOS素子等の撮像素子、アナログ/デジタル変換器、画像を出力するためのインターフェース等を含んで構成される。
カメラ2は、監視領域を撮像できる位置に固定設置され、視野は一定に保たれる。カメラ2は、一定の時間間隔(例えば、1/4秒)で監視領域の画像を順次撮像する。カメラ2は、撮像制御部6からの制御に基づいて、監視領域を撮像した撮像データをA/D変換したデジタル画像(入力画像)を撮像制御部6、記憶部8及び移動物体検出部10に順次出力する。なお、カメラ2は、入力画像を記憶部8に記憶し、記憶部8を介して撮像制御部6及び移動物体検出部10に入力画像を順次出力してもよい。また、カメラ2は、赤外線カットフィルタを有し、撮像制御部6の制御に基づいて赤外カットフィルタを通して撮像された画像と通さないで撮像された画像とを切り替えて撮像できるものとすることが好適である。
可視光線照明3は、監視領域に対して可視光を照射する。可視光線照明3は、監視領域全域を照らすことができる可視光LEDや蛍光灯等を含んで構成される。可視光線照明3は、近赤外の波長成分が弱い照明とすることが好適である。可視光線照明3は、照明制御部5からの制御に基づき監視領域に対して可視光を照射する。
なお、本実施の形態では、可視光線照明3を画像センシング装置1に含めない構成としている。これは、店舗等の監視領域に予め設置されている照明等を可視光線照明3として利用する態様を想定するものである。この場合、照明制御部5を外部の照明制御装置(建物等の照明を制御する照明制御装置)と接続して制御すればよい。ただし、これに限定されるものではなく、可視光線照明3と画像センシング装置1とを同一の筐体に組み込んでもよい。
赤外線照明4は、監視領域に対して近赤外光を照射する。赤外線照明4は、監視領域全域を照らすことができる近赤外LEDや近赤外ランプ等を含んで構成される。赤外線照明4は、カメラ2が感度を持つ近赤外の波長成分が強い照明とすることが好適である。赤外線照明4は、照明制御部5からの制御に基づき監視領域に対して近赤外光を照射する。
照明制御部5は、可視光線照明3及び赤外線照明4をON・OFF制御する。照明制御部5は、後述する撮像モード制御部7にて設定される撮像モードにしたがって可視光線照明3及び赤外線照明4を制御し、監視領域の照明状態を切り替えて監視領域が適切な状態で撮像されるようにする。
具体的には、撮像モードが「明環境モード」に設定されると、赤外線照明4をOFFにする。既に赤外線照明4がOFFの状態であるときは、OFFの状態を維持する。撮像モードが「暗環境モード」に設定されると、赤外線照明4をONにすると共に、可視光線照明3をOFFにする。既に赤外線照明4がON、可視光線照明3がOFFであるときはその状態を維持する。撮像モードが「赤外通信モード」に設定されると、可視光線照明3をONにすると共に、赤外線照明4をOFFにする。既に可視光線照明3がON、赤外線照明4がOFFであるときはその状態を維持する。なお、赤外線照明はONのままにするようにしてもよい。
撮像制御部6は、カメラ2を制御する。撮像制御部6は、シャッタースピードやゲイン、カメラ2から取得した入力画像などを用いてカメラ2に対する露光制御を行う。また、その際の露光量等を後述する撮像モード制御部7及び記憶部8に出力する。また、撮像制御部6は、後述する撮像モード制御部7にて、撮像モードが設定されると、その撮像モードにしたがって監視領域が撮像されるようにカメラ2を制御する。
具体的には、撮像モードが「明環境モード」に設定されると、赤外線カットフィルタをONして、赤外帯域の光がカットされた画像が撮像される状態とする。既に赤外線カットフィルタがONの状態であるときはONの状態を維持する。撮像モードが「暗環境モード」に設定されると、赤外線カットフィルタをOFFにして、赤外帯域の光がカットされない画像が撮像される状態とする。既に赤外線カットフィルタがOFFであるときはOFFの状態を維持する。撮像モードが「赤外通信モード」に設定されると、赤外線カットフィルタをONにして、赤外帯域の光がカットされた画像が撮像される状態とする。既に赤外線カットフィルタがONであるときはONの状態を維持する。
なお、赤外線カットフィルタを設けた方が好ましいが、赤外線カットフィルタがなくても一定の効果を奏することができる。例えば、「赤外通信モード」のときに可視光照明を照射するだけでもある程度の効果を得ることができる。また、「明環境モード」のときも赤外線カットフィルタは必須ではない。
撮像モード制御部7は、監視領域の状況に応じて撮像モードを切り替える処理を行う。撮像モード制御部7は、監視領域が明るい場合には撮像モードを「明環境モード」に設定する。また、監視領域が暗い場合には、撮像モードを「暗環境モード」に設定する。
撮像モードを設定するために、撮像モード制御部7は、監視領域が明るいか否かを判定する。本実施の形態では、照度センサ(図示しない)によって監視領域における照度を測定し、監視領域が「明環境モード」での撮像に適した明るさか、「暗環境モード」での撮像に適した明るさかを判定する。
具体的には、照度センサによって測定された照度に基づいて、監視領域の明るさが「明環境モード」での撮像に適した明るさか、「暗環境モード」での撮像に適した明るさかを判定する。そのために、照度センサによって測定された照度を所定の閾値と比較し、その照度が所定の閾値Th5以上の状態が一定期間、例えば30秒継続すれば「明環境モード」と判定し、一方所定の閾値Th6未満になったときに「暗環境モード」と判定する。なお、所定の閾値Th6は、例えば、監視領域内への侵入者の検出を「明環境モード」で撮像した画像上で実行可能な最低照度とすることが好適である。また、所定の閾値Th5は、閾値Th6よりも高い値(例えば、Th6の1.5倍程度)とすることが好適である。
また、撮像モード制御部7は、後述する赤外通信判定部9にて「赤外通信あり」と判定されると、撮像モードを「赤外通信モード」に設定する。さらに、撮像モード制御部7は、撮像モードが「赤外通信モード」に設定されている場合に、赤外通信判定部9から「赤外通信終了」の信号を受けると、撮像モードを「暗環境モード」に設定する。
以上の設定によれば、撮像モードが「明環境モード」に設定されている間は、赤外線照明4がOFF、赤外線カットフィルタがONの状態で撮像された画像が入力画像となる。このとき、入力画像は、監視領域に照明を照射しなくても、後述する移動物体検出部10にて検出対象を精度よく検出可能な画像となる。撮像モードが「暗環境モード」に設定されている間は、赤外線照明4がON、赤外線カットフィルタがOFFの状態で撮像された画像が入力画像となる。このとき、監視領域は、監視領域に照明を照射しないと移動物体検出部10にて検出対象を精度よく検出できない状況であるが、入力画像は、赤外線照明4の照射によって撮像された画像であるため移動物体検出部10にて検出対象を精度よく検出可能な画像となる。撮像モードが「赤外通信モード」に設定されている間は、赤外線照明4がOFF、可視光線照明3がON、赤外線カットフィルタがONの状態で撮像された画像が入力画像となる。このとき、監視領域は、監視領域に照明を照射しないと移動物体検出部10にて検出対象を精度よく検出できない状況、かつ、赤外通信によるノイズの影響により赤外線照明4を照射しても移動物体検出部10にて検出対象を精度よく検出できない状況である。しかし、入力画像は、可視光線照明3の照射によって撮像された画像であるため移動物体検出部10にて検出対象を精度よく検出可能な画像となる。また、可視光照明であるため、電子棚札システム13側の赤外通信に悪影響を与えることがない。
記憶部8は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部8は、画像センシング装置1の各部からアクセス可能に接続される。記憶部8には、入力画像81、モード情報82、基準画像83等、画像センシング装置1における処理に必要な情報が記憶される。
入力画像81は、撮像モード制御部7で設定された撮像モードにしたがって監視領域を撮像した画像である。入力画像81は、記憶部8に撮影順に順次記憶される。記憶部8に記憶された入力画像81は、画像センシング装置1の各部がフレーム間の輝度差や過去のフレームの輝度情報を得るために用いられる。
モード情報82は、撮像モード制御部7で設定された撮像モードを示す情報である。モード情報82は、撮像モード制御部7における撮像モードの判定及び画像センシング装置1の各部における現在の撮像モードの確認に用いられる。
基準画像83は、後述する移動物体検出部10にて、監視領域内に検出対象(人間)が存在するか否かを検出する際に入力画像と比較するための画像である。基準画像83は、後述する基準画像更新部12にて適宜更新される。
また、図示していないが、記憶部8は、画像センシング装置1の各処理を実現するための各種プログラムやパラメータ、カメラ2の設置高や俯角などの情報も記憶する。
赤外通信判定部9は、監視領域内における検出対象の検出の障害となる赤外線の有無を判定する赤外判定部として機能する。本実施の形態では、赤外通信判定部9は、撮像モードが「暗環境モード」に設定されているときに、監視領域において赤外通信がなされているか否かの判定を行う。また、本実施の形態では、赤外通信判定部9は、「暗環境モード」で撮像された入力画像を用いて、監視領域内における赤外通信の有無を判定する。監視領域内で赤外通信が行われている場合、当該監視領域を赤外線帯域に感度を持つカメラで撮像すると、その入力画像の輝度が短時間内で明暗を繰り返すという特徴がある。そこで、当該特徴を検出することで、監視領域内において赤外通信の有無を判定する。なお、赤外線領域において短時間で明暗を繰り返すという特徴が表れるのは、電子棚札システム等の赤外通信装置がパルス信号等の時間的に変化する信号を用いて通信を行うことに起因する。
具体的には、例えば、以下のような方法により赤外通信の有無を判定する。まず、前回撮像されたフレームの画像全体の平均輝度値と今回撮像されたフレームの画像全体の平均輝度値との差(輝度差)を算出する。そして、現時点から過去所定時間T内(例えば、1秒内)(本実施の形態では過去5フレーム内とする)に輝度差がプラス方向に所定閾値Th1以上となる時点と、輝度差がマイナス方向に所定閾値Th2以下となる時点が、略交互に存在するか否かを判定する。例えば、プラス方向に所定閾値Th1以上となる時点が2つ以上、かつ、マイナス方向に所定閾値Th2以下となる時点が1つ以上の場合、および、プラス方向に所定閾値Th1以上となる時点が1つ以上、かつ、マイナス方向に所定閾値Th2以下となる時点が2つ以上存在するか否かを判定する。なお、所定時間T内であれば、これらの時点が連続していなくてもよい。
また、所定閾値Th1及び所定閾値Th2は、平常時(赤外通信されていないとき)に、入力画像と同じ条件で監視領域を撮像した場合の輝度差の変動幅に基づいて予め設定しておけばよい。例えば、所定閾値Th1=+20、所定閾値Th2=−20とすればよい。
以下、図3を用いて、赤外通信判定部9における判定処理の原理を説明する。図3(a)は、赤外通信されているときの監視領域の輝度差の時間変化を示す。図3(b)は、平常時(赤外通信されていないとき)の監視領域の輝度差の時間変化を示す。
図3の黒丸記号●及び白丸記号○は、各フレームにおける輝度差を示したものである。例えば、黒丸記号●t1は、時刻t1に撮像されたフレームt1の輝度差を示したものである。図3(a)において、黒丸記号●t1、黒丸記号●t1+2は、プラス方向に所定閾値Th1以上であり、黒丸記号●t1+1は、マイナス方向に所定閾値Th2以下である。これらの変化は、所定時間T内に生じている。一方、図3(b)においては、輝度差に多少の変動がみられるものの、所定閾値Th1以上となる時点やマイナス方向に所定閾値Th2以下となる時点が存在しない。このような場合、フレームt1+2について赤外通信の判定処理を行った時点で監視領域内において「赤外通信有り」と判定される。
なお、入力画像を用いた赤外通信の判定方法はこれに限定されない。例えば、フレーム間の輝度差ではなく、現時点の入力画像の画面全体の輝度値から判定してもよい。この場合、現時点の入力画像の画面全体の平均輝度値を算出し、当該平均輝度値が予め設定した第1の閾値以上であるときに赤外通信によって入力画像が明るくなったと判定する。また、平均輝度値が予め設定した第2の閾値以下であるときに赤外通信によって入力画像が暗くなったと判定する。第1の閾値及び第2の閾値は、第2の閾値が第1の閾値以下であればよく、平常時の入力画像の輝度値を考慮して経験的に設定すればよい。
また、赤外通信判定部9は、赤外通信が終了したか否かを判定する。例えば、「赤外通信有り」と判定された時点から所定時間(所定フレーム)が経過した時点で、赤外通信が終了したと判定する。所定時間は、例えば、10分とすればよい。これは、電子棚札システムの1回の赤外通信は、通常は1〜2分で終了するが、電子棚札とのアクセスが確立され難いとき等に通信終了まで10分程度掛かる場合があるからである。所定時間はこのような状況を考慮して、赤外通信が終了しているとみなせる時間を予め設定すればよい。赤外通信判定部9は、赤外通信が終了したと判定すると、撮像モード制御部7に対して「赤外通信終了」の信号を出力する。赤外通信が終了した場合には「赤外通信終了」の信号に基づいて速やかに撮像モードを「暗環境モード」に戻すことによって、夜間等における不要な可視光照明の点灯を防ぐことができる。
移動物体検出部10は、監視領域内に検出対象が存在するか否かを判定する。実施の形態では、検出対象として監視領域内に存在する人間を検出する。ただし、検出対象は人間に限らない。
移動物体検出部10は、入力画像と記憶部8に記憶されている基準画像83との間で対応画素間の輝度差を求め、その輝度差の絶対値が所定の閾値以上となる画素を変動画素として抽出とする。そして、移動物体検出部10は、差分画素をラベリングする。具体的には、隣接する画素をひとまとまりとしてラベル領域とし、近接するラベル領域に対しては一定の大きさや位置関係にあるものを同一物体であるとして一つのラベル領域とする。以降、このラベル領域を「移動物体領域」と称する。さらに、移動物体検出部10は、移動物体領域の大きさや形状を特徴量として算出し、算出した特徴量が予め設定した人間らしい条件を満たす場合に当該移動物体領域が人間であると判定する。移動物体検出部10は、移動物体領域が人間であると判定すると出力部11に異常信号を出力する。また、移動物体検出部10は、判定結果を後述する基準画像更新部12に出力する。
なお、移動物体領域の抽出は、上述した背景差分に限らず、基準画像83と入力画像の正規化相関を用いてもよい。また、基準画像83を用いずに、フレーム間差分や学習識別器等で変動領域を検出してもよい。また、人間の検出方法は、上述した検出方法に限らず、公知の様々な方法を用いてもよい。例えば、移動物体領域を時間的に追跡処理し、その結果から人間か否かを判定するようにしてもよい。また、人間らしさ以外の特徴量を用いて判定をしてもよい。
また、監視領域内に赤外通信が生じている場合、赤外線に感度を持つ撮像条件で撮像を行うと通信によって生じた赤外線が入力画像に映ってしまう。このような入力画像を用いた場合、入力画像から移動物体領域が精度良く抽出できない。また、通信による赤外線が入力画像に映ると、入力画像の輝度値やテクスチャを用いて特徴量を算出する場合にも悪影響を及ぼす。本実施の形態では、監視領域内に赤外通信が生じている場合、「赤外通信モード」で撮像された入力画像から移動物体領域の抽出や特徴量を算出する。これによって、夜間など監視領域が暗くかつ赤外通信が行われている場合でも、それらの影響が少ない入力画像を得ることができ、精度良く監視領域内に検出対象が存在するか否かを判定することができる。
出力部11は、移動物体検出部10から「異常信号」を受けると、異常信号を警報部(図示しない)に出力してブザーの鳴動や警告灯の表示等により周囲に異常の発生を通知する。また、インターネット等の通信網を介して遠隔の監視センタ(図示しない)に異常信号を出力することによって、異常の発生を監視センタに通知する構成としてもよい。
基準画像更新部12は、カメラ2にて撮影された画像(入力画像)と移動物体検出部10の判定結果、記憶部8に記憶されているモード情報82等を用いて、記憶部8に記憶されている基準画像83を更新する。基準画像更新部12は、監視領域内に検出対象が存在しないときの入力画像から1枚または複数枚を選択して作成する。
本実施の形態では、監視領域内に検出対象が存在しないときの入力画像を基準画像候補として5枚用いて、それぞれの対応画素の輝度値を平均化した画像を生成し、それを基準画像83として記憶部8に記憶する。
また、基準画像83の更新タイミングは、撮像モード制御部7にて撮像モードが変更されたとき、及び、移動物体検出部10にて現在のフレームに人間が存在するか否かが判定されたときとすることが好適である。基準画像更新部12は、記憶部8に記憶されているモード情報82を参照し、撮像モード制御部7にて撮像モードが変更されたことを判定する。そして、モードが変更された以降に撮像された連続する所定枚数(例えば5枚)の入力画像を基準画像候補として記憶部8に記憶し、当該基準画像候補を用いて、基準画像83を生成し、更新する。
また、基準画像更新部12は、移動物体検出部10にて人間が存在しないと判定された入力画像を基準画像候補のうち古い入力画像と入れ替えて、入れ替え後の基準画像候補を用いて、基準画像83を生成し、更新する。移動物体検出部10にて人間が存在すると判定された場合は、基準画像候補の入れ替えを行わず、現在の基準画像83を保持する。
なお、基準画像83の生成方法は、これに限定させるものではなく、変更された照明条件や日照変動、監視領域内の検出対象以外による変化を吸収した基準画像を生成できる方法で行えばよい。
<画像センシング処理>
以下、図4、図5、図6及び図7を参照して、本実施形態における画像センシング装置1での画像センシング処理を説明する。図4は、本実施形態の画像センシング処理のフローチャートである。図5は、本実施形態の撮像モード判定処理のフローチャートである。図6は、本実施形態の照明撮像条件制御処理のフローチャートである。図7は、本実施形態の画像処理を用いた赤外線判定処理のフローチャートである。
ステップS1では、撮像モード制御部7及び赤外通信判定部9にて、撮像モードが判定される。このステップにおいて、現在の監視領域の照度の状況及び監視領域内の赤外通信の有無に応じて「明環境モード」、「暗環境モード」及び「赤外通信モード」のいずれかの撮像モードが設定される。なお、画像センシング装置1の初回起動時においては、撮像モード制御部7は撮像モードを「明環境モード」に設定する。このステップでの詳しい処理については後述する。
ステップS2では、ステップS1において設定された撮像モードに基づいて照明撮像条件が制御される。撮像モード制御部7は、ステップS1において設定された撮像モードを照明制御部5に出力する。照明制御部5は、設定された撮像モードに基づいて可視光線照明3及び赤外線照明4をON・OFF制御する。これによって、撮像モードに応じた適切な照明状況下において監視領域の撮像が可能となる。
また、撮像制御部6は、撮像モード制御部7からステップS1において設定された撮像モードの出力を受けて、当該撮像モードに応じてカメラ2のシャッタースピードやゲイン等の露光制御、赤外線カットフィルタのON・OFF制御等を含む撮像条件の制御を行う。このステップでの詳しい処理については後述する。
ステップS3では、撮像モードの変更があったか否かが判定される。前回に対して撮像モードが変更された場合にはステップS4に処理を移行させ、変更がなかった場合にはステップS4をスキップしてステップS5に処理を移行させる。ステップS4では、基準画像更新部12によって基準画像の更新が行われる。
ステップS5では、カメラ2による監視領域の撮像が行われる。撮像された画像は新たな入力画像として記憶部8に記憶される。ステップS6では、移動物体検出部10において、ステップS5において撮像された入力画像に基づいた移動物体の検出処理が行われる。
ステップS7では、ステップS6において移動物体が検出された場合、その移動物体が人間であるか否かが判定される。移動物体が人間であれば移動物体検出部10から出力部11に「異常信号」が出力されると共にステップS8に処理が移行され、人間でなければステップS9に処理が移行される。
ステップS8では、移動物体が人間であったときの出力処理が行われる。出力部11は、「異常信号」が入力されるとブザーの鳴動、警告灯の表示、異常の通知等の出力処理を行う。一方、ステップS9では、基準画像更新部12によって基準画像の更新が行われ、ステップS1に処理が戻される。
以下、図5を参照して、ステップS1の撮像モード判定処理について説明する。当該サブルーチンは、撮像モード制御部7及び赤外通信判定部9によって行われる。
ステップS101では、現在の撮像モードの判定が行われる。現在の撮像モードが「暗環境モード」であればステップS102に処理を移行させ、「明環境モード」であればステップS104に処理を移行させ、「赤外通信モード」であればステップS107に処理を移行させる。
ステップS102では、赤外通信判定部9によって監視領域において赤外通信が行われているか否かが判定される。ステップS103では、ステップS102において赤外通信が行われていると判定された場合には、赤外通信判定部9にて赤外通信が開始されてからの経過時間を計測するタイマーを起動し、ステップS107に処理を移行させる。赤外通信が行われていないと判定された場合には、ステップS104に処理を移行させる。
ステップS104では、撮像モード制御部7によって監視領域の明暗環境の判定が行われる。ステップS105において、照度センサによって現在の監視領域の照度が測定され、測定された照度が閾値以上であればステップS106にて「明環境モード」に設定され、照度が閾値未満であればステップS108にて「暗環境モード」に設定される。
一方、ステップS107に進んだ場合、赤外通信が終了したか否かが判定される。赤外通信判定部9は、ステップS102において「赤外通信有り」と判定された時点から計時を始めたタイマーが所定時間(所定フレーム)経過した時点で赤外通信が終了したと判定する。赤外通信が終了したと判定された場合には、赤外通信判定部9から撮像モード制御部7へ「通信終了信号」が出力され、ステップS108に処理を移行させる。赤外通信が終了していない場合には、ステップS109に処理を移行させる。ステップS109では、「赤外通信モード」に設定される。
以上のように、モード判定処理が行われる。モード判定処理が終了すると、メインルーチンのステップS2に処理が戻される。
次に、図6を参照して、ステップS2の照明撮像条件制御について説明する。照明撮像条件制御処理は、図6のフローチャートに沿って照明制御部5、撮像制御部6及び撮像モード制御部7によって実行される。
ステップS201では、ステップS1のサブルーチンにおいて設定された撮像モードが「明環境モード」、「暗環境モード」及び「赤外通信モード」のいずれであるかが判定される。撮像モードが「明環境モード」である場合にはステップS202に処理が移行され、「暗環境モード」である場合にはステップS204に処理が移行され、「赤外通信モード」である場合にはステップS207に処理が移行される。
「明環境モード」に設定された場合、ステップS202において、撮像モード制御部7から「明環境モード」の設定を受けた照明制御部5によって赤外線照明4が制御され、赤外線照明がOFFにされる。また、ステップS203では、撮像モード制御部7から「明環境モード」の設定を受けた撮像制御部6によってカメラ2が制御され、赤外線カットフィルタがONにされる。
「暗環境モード」に設定された場合、ステップS204において、撮像モード制御部7から「暗環境モード」の設定を受けた照明制御部5によって赤外線照明4が制御され、赤外線照明がONにされる。ステップS205では、照明制御部5によって可視光線照明3が制御され、可視光照明がOFFにされる。また、ステップS206では、撮像モード制御部7から「暗環境モード」の設定を受けた撮像制御部6によってカメラ2が制御され、赤外線カットフィルタがOFFにされる。
「赤外通信モード」に設定された場合、ステップS207において、撮像モード制御部7から「赤外通信モード」の設定を受けた照明制御部5によって可視光線照明3が制御され、可視光照明がONにされる。ステップS208では、照明制御部5によって赤外線照明4が制御され、赤外線照明がOFFにされる。また、ステップS210では、撮像モード制御部7から「赤外通信モード」の設定を受けた撮像制御部6によってカメラ2が制御され、赤外線カットフィルタがONにされる。
以上のように、照明撮像条件制御処理が行われる。照明撮像条件制御処理が終了すると、メインルーチンのステップS3に処理が戻される。
以下、図7を参照して、ステップS102の赤外通信判定処理について説明する。赤外通信判定処理は、図7のフローチャートに沿って赤外通信判定部9にて実行される。
ステップS301では、現在フレームの入力画像と前フレームの入力画像との画面全体における輝度差が算出される。ステップS302では、ステップS301にて算出された輝度差が閾値Th2より大きく閾値Th1未満の範囲外であるか否かが判定される。閾値Th2より大きく閾値Th1未満の範囲は、図3においてハッチングを施した領域に相当する。輝度値が当該範囲外であればステップS303に処理を移行させ、当該範囲内であればステップS308に処理を移行させる。
ステップS303では、輝度差がプラス、すなわち現在フレームの入力画像の輝度が前フレームの入力画像の輝度より大きいか否かが判定される。輝度差がプラスであればステップS304に処理を移行させ、輝度差がマイナスであればステップS305に処理を移行させる。ステップS304では、フラグ1を立てる。フラグ1は、フレーム間の輝度差がプラス方向に所定閾値Th1以上となったとき、すなわち、入力画像が赤外通信によって明るく変化したときに立つフラグである。ステップS305では、フラグ2を立てる。フラグ2は、フレーム間の輝度差がマイナス方向に所定閾値Th2以下となったとき、すなわち、入力画像が赤外通信によって暗く変化したときに立つフラグである。なお、フラグ1及びフラグ2は、フレーム毎に管理され、現在のフレームから過去所定時間T分のフレームまで保持される。過去所定時間T以前のフレームに関連付けられたフラグはリセットされる。
ステップS306では、過去所定時間T内にフラグ1及びフラグ2の両方が立っているか否かが判定される。過去所定時間T内に両方のフラグが立っている場合には、ステップS307に処理を移行させて、赤外通信中であると判定する。過去所定時間T内に両方のフラグが立っていない場合には、ステップS308に処理を移行させて、赤外通信中でないと判定する。
以上のように、赤外通信中であるか否かが判定される。赤外通信判定処理が終了すると、ステップS103に処理が戻される。
本実施の形態によれば、監視領域内に電子棚札システム13等の赤外通信装置が設置されている場合であっても、夜間等の監視領域が暗い環境において検出対象を検出することができる画像センシング装置1を提供することができる。また、赤外通信をしている間のみ可視光照明を点灯し、赤外通信されていないときには可視光照射を止めることによって、夜間等における不要な可視光照明の点灯を防ぐことができる。
<第2の実施形態>
第2の実施形態では、赤外通信判定部9の処理が第1の実施の形態と異なる。具体的には、撮像制御部6で求めた露光量を記憶部8に露光情報84として順次記憶し、赤外通信判定部9において当該露光情報84を用いて監視領域内における赤外通信の有無を判定する。
以下、図8及び図9を参照して、本実施の形態における処理について説明する。なお、第1の実施の形態と同じ処理については説明を省略し、本実施の形態における特有の処理について説明する。
赤外通信判定部9は、「暗環境モード」に設定されている場合、撮像制御部6で求めた露光情報84を用いて監視領域内における赤外通信の有無を判定する。ここで、撮像制御部6は、カメラ2で撮像した画像が基準よりも明るすぎる場合は撮像される画像がより暗くなるようにマイナス方向に露光条件を制御する。一方、カメラ2で撮像した画像が基準よりも暗すぎる場合は撮像される画像がより明るくなるようにプラス方向に露光制御する。そこで、本実施の形態では、撮像制御部6によるカメラ2の露光制御量の変動を用いて、入力画像の輝度が短時間内で明暗を繰り返しているか否かを判定する。
今回撮像されたフレームにおける露光制御量は、前回のフレームを撮像する際の露光量と今回のフレームを撮像する際の露光量の差として求められる。具体的には、現時点から過去所定時間T内に露光制御量がプラス方向に所定閾値Th3以上となる時点と、露光制御量がマイナス方向に所定閾値Th4以下となる時点が略交互に存在するか否かを判定する。所定時間Tは、例えば1秒(本実施の形態では過去5フレームに相当する)に設定することが好適である。例えば、露光量がプラス方向に所定閾値Th3以上となる時点が2つ以上、かつ、マイナス方向に所定閾値Th4以下となる時点が1つ以上の場合、および、露光量がプラス方向に所定閾値Th3以上となる時点が1つ以上、かつ、マイナス方向に所定閾値Th4以下となる時点が2つ以上の場合に赤外通信が行われていると判定する。また、所定時間T内であればこれらの時点が連続していなくてもよい。
また、所定閾値Th3及び所定閾値Th4は、平常時(赤外通信されていないとき)に、入力画像と同じ条件で監視領域を撮像した場合の露光制御量の変動幅に基づいて予め設定しておけばよい。例えば、所定閾値Th3=+6及び所定閾値Th4=−6とする。
図8を用いて、本判定処理の原理を説明する。図8(a)は、赤外通信されているときの露光制御量の時間変化を示す。図8(b)は、平常時(赤外通信されていないとき)の露光制御量の時間変化を示す。図8の黒丸記号●及び白丸記号○は、各フレームにおける露光制御量を示す。例えば、黒丸記号●t2は、時刻t2に撮像されたフレームt2の露光制御量を示す。図8(a)において、黒丸記号●t2+1及び黒丸記号●t2+3は、露光量がプラス方向に所定閾値Th3以上であり、黒丸記号●t2及び黒丸記号●t2+4は、露光量がマイナス方向に所定閾値Th4以下である。そして、これらの変化は、所定時間T内に生じている。
図8(b)においては、多少の変動がみられるものの、輝度差が所定閾値Th3以上となる時点やマイナス方向に所定閾値Th4以下となる時点が存在しない。すなわち、フレームt2+4について赤外通信の判定処理を行った時点で監視領域内に「赤外通信がある」と判定する。
なお、露光量を用いた赤外通信の判定方法は、上記方法に限定されるものではない。例えば、撮像制御部6によるカメラ2の露光制御量ではなく、入力画像の露光量の変化から赤外通信の有無を判定してもよい。この場合、現時点の入力画像から画像の露光量を算出し、当該露光量が予め設定した第1の閾値以上であるときに赤外通信によって入力画像が暗くなったと判定する。また、算出された露光量が予め設定した第2の閾値以下であるときに赤外通信によって入力画像が明るくなったと判定する。第1の閾値及び第2の閾値は、平常時の入力画像の露光量を考慮して経験的に設定すればよい。
以下、図9を参照して、本実施の形態における赤外通信判定処理について説明する。当該処理は、図5のステップS102の赤外通信判定処理のサブルーチンに相当し、赤外通信判定部9にて実行される。
ステップS401では、前フレームの入力画像を撮像した状態から現在のフレームの入力画像を撮像する際にカメラ2において行われた露光制御量が算出される。ステップS402では、ステップS401にて算出された露光制御量が閾値Th4より大きく閾値Th3未満の範囲外であるか否かが判定される。閾値Th4より大きく閾値Th3未満の範囲は、図8においてハッチングを施した領域に相当する。露光制御量が当該範囲外であればステップS403に処理を移行させ、当該範囲内であればステップS408に処理を移行させる。
ステップS403では、露光制御量がマイナス、すなわち現在フレームの入力画像の撮像時における露光量が前フレームの入力画像の撮像時の露光量よりも小さいか否かが判定される。露光制御量がマイナスであればステップS404に処理を移行させ、露光制御量がプラスであればステップS405に処理を移行させる。ステップS404では、フラグ1を立てる。フラグ1は、露光制御量がマイナス方向に所定閾値Th4以下となったとき、すなわち、前回フレームの入力画像の撮像時に対して現在フレームの入力画像の撮像時において赤外通信によって明るく変化したときに立つフラグである。ステップS405では、フラグ2を立てる。フラグ2は、露光制御量がプラス方向に所定閾値Th3以上となったとき、すなわち、前回フレームの入力画像の撮像時に対して現在フレームの入力画像の撮像時において赤外通信によって暗く変化したときに立つフラグである。なお、フラグ1及びフラグ2は、フレーム毎に管理され、現在のフレームから過去所定時間T分のフレームまで保持される。過去所定時間T以前のフレームに関連付けられたフラグはリセットされる。
ステップS406では、過去所定時間T内にフラグ1及びフラグ2の両方が立っているか否かが判定される。過去所定時間T内に両方のフラグが立っている場合には、ステップS407に処理を移行させて、赤外通信中であると判定する。過去所定時間T内に両方のフラグが立っていない場合には、ステップS408に処理を移行させて、赤外通信中でないと判定する。
以上のように、赤外通信中であるか否かが判定される。赤外通信判定処理が終了すると、ステップS103に処理が戻される。
本実施の形態によれば、露光の制御量に基づいて赤外通信の有無を検出して、夜間等の監視領域が暗い環境において検出対象を検出することができる画像センシング装置1を提供することができる。
<第3の実施形態>
第3の実施形態は、赤外通信判定部9の処理が第1及び第2の実施の形態と異なる。具体的には、電子棚札システム13の通信スケジュールを用いて監視領域内における赤外通信の有無を判定する。記憶部8に電子棚札システム13の通信スケジュールを通信予定情報85として予め記憶し、当該通信予定情報85に基づいて関し領域内において赤外通信が行われている時間であるか否かを判定する。
図10は、通信予定情報85の例を示す。通信予定情報85には、無線中継器132のIDと通信対象となる電子棚札133のIDとが対応付けて登録される。本実施の形態では、ID001とID002との2つの無線中継器132が一斉に電子棚札133に対して赤外通信を行う。当該例では、通信予定情報85には、曜日ごとに無線中継器132のIDに対応付けて赤外通信の開始時刻と終了時刻が設定される。
赤外通信判定部9は、判定時点の曜日と時刻を画像センシング装置1の時計(図示しない)から取得し、記憶部8に記憶されている通信予定情報85の開始時刻と照合する。赤外通信判定部9は、判定時点の曜日と時刻が通信予定情報85の開始時刻となった時点で赤外通信が開始されたと判定する。なお、フレームの処理タイミングによっては、判定時点の時刻と通信予定情報85に設定されている時刻との間にズレが生じる場合がある。そこで、通信予定情報85に設定されている開始時刻の前後所定時間以内(例えば、1秒以内)であれば開始時刻になったと判定することが好適である。
また、赤外通信判定部9は、判定時点の曜日と時刻が通信予定情報85の終了時刻となった時点で赤外通信が終了したと判定する。赤外通信判定部9は、赤外通信が終了したと判定されると、撮像モード制御部7に「赤外通信終了」の信号を出力する。なお、判定時点の曜日と時刻が通信予定情報85に設定されている終了時刻の前後所定時間以内(例えば、1秒以内)であれば終了時刻になったと判定する、または、判定時点の曜日と時刻が通信予定情報85に設定されている終了時刻を超えた場合に終了時刻になったと判定することが好適である。
以下、図11を参照して、本実施の形態における赤外通信判定処理について説明する。当該処理は、図5のステップS102の赤外通信判定処理のサブルーチンに相当し、赤外通信判定部9にて実行される。
ステップS501では、赤外通信の通信予定情報が取得される。取得された通信予定情報は記憶部8に記憶される。ステップS502では、現在時刻が取得される。そして、ステップS503では、現在時刻が通信予定情報に登録されている赤外通信の開始時刻に近くなった否かが判定される。現在時刻が赤外通信の開始時刻に近くなったときはステップS504に処理を移行させて、赤外通信中であると判定する。現在時刻が赤外通信の開始時刻に近くないときはステップS505に処理を移行させて、赤外通信中でないと判定する。
ここで、ステップS503において、現在時刻が通信予定情報に登録されている赤外通信の開始時刻に一致するか否かではなく、近くなったか否かを判定することにより、赤外通信が開始される以前に余裕をもって「赤外通信モード」に切り替えることができる。例えば、画像センシング装置1が赤外通信判定処理以外の処理を行っている場合等に赤外通信判定処理の実行が遅れて、実際には赤外通信が開始されているのに「赤外通信モード」への設定が遅れることを防ぐことができる。したがって、赤外通信に起因する誤検出や検出精度の低下を防ぐことができる。
なお、判定時点の時刻の代わりに、処理対象となる入力画像の撮像時刻を取得し、当該撮像時刻を通信予定情報85に設定された時刻と照合して撮像時刻において赤外通信が行われていたか否かを判定してもよい。
なお、通信予定情報85を予め記憶部8に記憶させておくことなく、電子棚札システム13からリアルタイムで赤外通信の開始又は終了の情報を取得し、当該情報に基づいて赤外通信の有無を判定してもよい。この場合、電子棚札システム13から必要な情報が得られるように赤外通信判定部9を電子棚札システム13の管理装置131に接続すればよい。
<変形例>
上記実施の形態では、照度センサを用いて監視領域の明るさの測定を行ったがこれに限定されるものではない。例えば、入力画像とは別に、可視光線照明3及び赤外線照明4を照射せずにカメラ2によって明暗判定用画像の撮像を行い、撮像された明暗判定用画像を用いて明るさを判定してもよい。具体的には、明暗判定用画像の画像全体の平均輝度値を所定の閾値と比較して監視領域が明るいか否かを判定すればよい。
この場合、照明制御部5は、可視光線照明3及び赤外線照明4を制御する際、入力画像を撮像するタイミングで照明がON状態になるように照明を点滅制御すればよい。そうすれば、点滅制御しても、必要な照明が点灯している状態で入力画像を撮像することができる。そして、さらに照明が消灯しているタイミングで明暗判定用画像を撮像すれば、当該明暗判定用画像を用いて監視領域が明るいか否かを判定することができる。また、その他の方法を用いて監視領域が明るいか否かを判定してもよい。
また、本実施の形態では、カメラ2及び赤外線照明4を近赤外の波長成分に感度を有するものとしたが、これに限らない。監視領域内で通信を行う赤外通信装置の影響を受ける波長成分を少なくとも含んだ波長成分に感度を有し、少なくとも赤外通信のない状況において監視領域内の検出対象を撮影できるものであればよい。なお、移動物体検出部10も使用する波長成分に適した方法で検出対象を検出することはいうまでもない。
また、本実施の形態では、赤外通信判定部9は、撮像モードが「暗環境モード」のときに赤外通信の有無を判定するものとしたが、これに限らない。例えば、常に赤外通信の有無を判定するようにしてもよいし、赤外線照明のON状態、OFF状態に限らず、移動物体検出部10による移動物体の検出に赤外通信が影響を及ぼす可能性のある状況において赤外通信の有無を判定できるようにしたものであればよい。
また、本実施の形態では、赤外通信判定部9は、赤外通信の有無を判定したが、これに限らず、移動物体検出部10の移動物体検出の障害となる赤外線の有無を判定するものであればよい。例えば、移動物体検出部10による移動物体の検出に影響を及ぼす程度の赤外線を照射する赤外線照明装置や、赤外センサ、ヒーター等の暖房器具から照射された赤外線の有無を判定するものでもよい。
また、画像による赤外通信判定、露光制御による赤外通信判定及び通信スケジュールによる赤外通信判定を適宜組み合わせて判定を行ってもよい。例えば、異なる方法で判定された判定結果のすべてにおいて赤外線が「有」と判定されたときに、赤外線が「有」と判定するようにしてもよい。また、方法に応じて判定結果に重みを付けるようにしてもよい。
1 画像センシング装置、2 カメラ、3 可視光線照明、4 赤外線照明、5 照明制御部、6 撮像制御部、7 撮像モード制御部、8 記憶部、9 赤外通信判定部、10 移動物体検出部、11 出力部、12 基準画像更新部、13 電子棚札システム、81 入力画像、82 モード情報、83 基準画像、84 露光情報、85 通信予定情報、131 管理装置、132 無線中継器、133 電子棚札。

Claims (6)

  1. 監視領域を順次撮像する赤外線の帯域及び可視光の帯域に感度を有するカメラと、前記カメラによって撮像された画像から移動物体を検出する移動物体検出部と、を備える画像センシング装置であって、
    前記監視領域内における少なくとも前記移動物体検出の障害となる赤外線の有無を判定する赤外判定部と、
    前記赤外判定部にて前記障害となる赤外線が有ると判定されたときに、前記監視領域に対して可視光照明を照射するよう制御する照明制御部と、
    を備えることを特徴とする画像センシング装置。
  2. 請求項1に記載の画像センシング装置であって、
    前記監視領域内に少なくとも前記カメラが感度を有する赤外線を照射する赤外線照明を備え、
    前記照明制御部は、前記赤外線照明を照射中において前記赤外判定部にて前記障害となる赤外線が有ると判定されたときに、前記監視領域に対して可視光照明を照射するよう制御することを特徴とする画像センシング装置。
  3. 請求項1又は2に記載の画像センシング装置であって、
    前記照明制御部は、前記可視光照明の照射中において前記赤外判定部にて前記障害となる赤外線の照射が終了したと判定されると前記可視光照明を止めることを特徴とする画像センシング装置。
  4. 請求項1から3のいずれか1項に記載の画像センシング装置であって、
    前記赤外判定部は、前記カメラによって撮像された画像の輝度に基づいて赤外通信の有無を判定することを特徴とする画像センシング装置。
  5. 請求項1から4のいずれか1項に記載の画像センシング装置であって、
    前記赤外判定部は、前記カメラによる撮像における露光量に基づいて赤外通信の有無を判定することを特徴とする画像センシング装置。
  6. 請求項1から5のいずれか1項に記載の画像センシング装置であって、
    前記赤外判定部は、前記監視領域内における赤外通信の開始時刻を示す情報に基づいて赤外通信の有無を判定することを特徴とする画像センシング装置。
JP2014267030A 2014-12-29 2014-12-29 画像センシング装置 Active JP6189284B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014267030A JP6189284B2 (ja) 2014-12-29 2014-12-29 画像センシング装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014267030A JP6189284B2 (ja) 2014-12-29 2014-12-29 画像センシング装置

Publications (2)

Publication Number Publication Date
JP2016127432A JP2016127432A (ja) 2016-07-11
JP6189284B2 true JP6189284B2 (ja) 2017-08-30

Family

ID=56359833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014267030A Active JP6189284B2 (ja) 2014-12-29 2014-12-29 画像センシング装置

Country Status (1)

Country Link
JP (1) JP6189284B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728633B (zh) * 2017-10-23 2020-12-18 广州极飞科技有限公司 获取目标物位置信息方法及装置、移动装置及其控制方法
WO2022181095A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 制御装置、撮像装置、制御方法、及びプログラム
JP7320040B2 (ja) * 2021-11-16 2023-08-02 株式会社CREiST 情報制御装置、情報制御方法及び情報制御プログラム
CN114390252B (zh) * 2021-12-29 2023-06-20 北京科技大学 基于5g近红外夜视智能分析的安全监测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175176A (ja) * 1998-12-04 2000-06-23 Hitachi Ltd 移動物体の監視方法および画像監視装置
JP2004112227A (ja) * 2002-09-17 2004-04-08 Ntt Docomo Inc 赤外線通信装置、携帯電話及び動作制御方法

Also Published As

Publication number Publication date
JP2016127432A (ja) 2016-07-11

Similar Documents

Publication Publication Date Title
US20160307424A1 (en) Smoke Detection System and Method Using a Camera
EP3259744A1 (en) Fire detection apparatus utilizing a camera
JP6189284B2 (ja) 画像センシング装置
KR101764071B1 (ko) 사람 검지 시스템
JP4611776B2 (ja) 画像信号処理装置
JP4542929B2 (ja) 画像信号処理装置
JP2000175176A (ja) 移動物体の監視方法および画像監視装置
WO2018005616A1 (en) Smoke detection system and method using a camera
JP4656977B2 (ja) センシング装置
JP4491360B2 (ja) 画像信号処理装置
US20120147182A1 (en) Method to monitor an area
US8934013B2 (en) Video camera and event detection system
JP4736955B2 (ja) センサカメラ
JP5761954B2 (ja) 画像センサ
JP2012048382A (ja) 複合型センサ
CN111741209A (zh) 一种图像采集方法、系统、可读存储介质及电子设备
JP2000348268A (ja) 人体検知装置
JP5179132B2 (ja) 人体検出装置
JP6155106B2 (ja) 画像センサ
JP5586383B2 (ja) 画像監視装置
JP6183748B2 (ja) 動体検知装置
JP2006262101A (ja) 画像センシング装置
JP6093270B2 (ja) 画像センサ
JP5044742B2 (ja) デジタルカメラ
JP6133700B2 (ja) 画像センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170802

R150 Certificate of patent or registration of utility model

Ref document number: 6189284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250