JP7002912B2 - 画像センサ、人物検知方法、プログラムおよび制御システム - Google Patents

画像センサ、人物検知方法、プログラムおよび制御システム Download PDF

Info

Publication number
JP7002912B2
JP7002912B2 JP2017205805A JP2017205805A JP7002912B2 JP 7002912 B2 JP7002912 B2 JP 7002912B2 JP 2017205805 A JP2017205805 A JP 2017205805A JP 2017205805 A JP2017205805 A JP 2017205805A JP 7002912 B2 JP7002912 B2 JP 7002912B2
Authority
JP
Japan
Prior art keywords
unit
motion
image
identification
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017205805A
Other languages
English (en)
Other versions
JP2019080177A (ja
Inventor
孝明 榎原
禎敏 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2017205805A priority Critical patent/JP7002912B2/ja
Priority to PCT/JP2018/037693 priority patent/WO2019082652A1/ja
Publication of JP2019080177A publication Critical patent/JP2019080177A/ja
Priority to JP2021207102A priority patent/JP7286747B2/ja
Application granted granted Critical
Publication of JP7002912B2 publication Critical patent/JP7002912B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明の実施形態は、画像センサ、人物検知方法、プログラムおよび制御システムに関する。
近年の画像センサは、CPU(Central Processing Unit)やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。
フレーム間差分法は、画像データから動くものを検出する手法の一つとして知られている。その原理は、基準となる背景画像を予め記憶し、背景画像からの輝度変化をピクセルごとに評価し、その結果から人物などを検知するというものである。
特許第5099904号明細書
フレーム間差分法は、基準となる背景画像が撮影されたシーンと異なる条件下では誤差を生じやすい。つまり背景画像の輝度変化を人物として誤検知してしまうという弱点を持つ。このため従来では、シーンごとに背景画像を選択することで誤検知を防止していた。
しかし、シーンは、照明機器の状態(オン/オフや照度など)や、外光の状態(強さや差し込む角度など)によって変わるので、シーンごとに背景画像を用意すると多くのリソースが消費される。例えば、多数の照明を有する空間(オフィス等)における全てのシーンの背景画像を記憶することは、記憶容量のサイズを肥大化させ、調整のために必要な工程数も膨大になる。まして全てのシーンの組合せの照明制御中の背景を記憶することは、記憶容量のサイズや調整工数からみて非現実的である。さらに、外光は天候や季節などに影響されるので、全てのシーンの背景画像を記憶するためには年単位の調整期間が必要となる。このように、輝度変化に頼っている限り、動体を誤りなく検知することは難しい。
そこで、目的は、輝度変化による誤検知を防止し得る画像センサ、人物検知方法、プログラムおよび制御システムを提供することにある。
実施形態によれば、画像センサは、撮像部と、抽出部と、識別部と、検知部とを具備する。撮像部は、対象空間を撮像して画像データを取得する。抽出部は、画像データから動き特徴量を抽出する。識別部は、動き特徴量に基づいて動き種別を識別する。検知部は、識別の結果に基づいて対象空間における人物を検知する。
図1は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。 図2は、ビルのフロア内の様子を例示する図である。 図3は、ビルにおける通信ネットワークの一例を示す図である。 図4は、実施形態に係る画像センサの一例を示すブロック図である。 図5は、第1の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。 図6は、動き抽出部33aにおける処理を説明するための図である。 図7は、動き種別の例を示す図である。 図8は、動き識別部33bにおける処理を説明するための図である。 図9は、図5に示される画像センサにおける処理手順の一例を示すフローチャートである。 図10は、第2の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。 図11は、第3の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。 図12は、第4の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。
画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば1台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正できる。画像センサに学習機能を持たせることも可能である。
図1は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。図1において、照明機器1、空調機器2、および画像センサ3は、ビル100の各フロアごとに設けられ、制御装置40と通信可能に接続される。各階の制御装置40は、例えばビル管理センタ等に設けられるビル監視装置50と、ビル内ネットワーク500経由で通信可能に接続される。ビル内ネットワーク500の通信プロトコルとしてはBuilding Automation and Control Networking protocol(BACnet(登録商標))が代表的である。
ビル監視装置50は、例えばTCP/IP(Transmission Control Protocol / Internet Protocol)ベースの通信ネットワーク600経由で、クラウドコンピューティングシステム(クラウド)200に接続されることができる。クラウド200は、サーバ300およびデータベース400を備え、ビル管理に関するサービスを提供する。
図2に示されるように、照明機器1、空調機器2の吹き出し口、および画像センサ3は各フロアの例えば天井に配設される。画像センサ3は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ3において処理され、環境情報、および/または人物情報が生成される。これらの情報を利用して、照明機器1および空調機器2を制御することができる。
画像センサ3は、画像データを処理し、環境情報および人物情報を取得する。環境情報は、撮像対象の空間(ゾーン)の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人間に関する情報である。例えば、人物情報は、人の存在または不在(在・不在と称する)、人数、人の行動、人の活動量などを示す情報である。
ゾーンを複数に分割した小領域のそれぞれを、エリアと称する。例えば環境情報および人物情報を、エリアごとに算出することが可能である。実施形態では、人物情報の一つとしての歩行・滞留について説明する。歩行・滞留とは、人が歩いているか、または1つの場所に留まっているかを示す情報である。
図3は、ビル100における通信ネットワークの一例を示す図である。図3において、照明機器1、空調機器2、および画像センサ3は信号線Lを介してデイジーチェーン状に接続される。このうち例えば一つの画像センサ3が、ゲートウェイ(GW)7-1を介してビル内ネットワーク500に接続される。これにより全ての照明機器1、空調機器2、および画像センサ3が、ビル内ネットワーク500経由でビル監視装置5に接続される。
それぞれの画像センサ3は、LAN(Local Area Network)10、ハブ(Hub)6、およびゲートウェイ(GW)7-2経由でビル内ネットワーク500に接続される。これにより画像センサ3で取得された画像データ、環境情報および人物情報は、信号線Lとは独立にビル内ネットワーク500経由で制御装置4、表示装置11およびビル監視装置5に伝送される。
さらに、各画像センサ3は、LAN10経由で相互に通信することが可能である。
制御装置4は、画像センサ3から送られた環境情報および人物情報に基づき、照明機器1や空調機器2を制御するための制御情報を生成する。この制御情報はゲートウェイ7-1および信号線Lを介して照明機器1、空調機器2に送られる。
表示装置11は、画像センサ3から取得した環境情報および人物情報、あるいはビル監視装置5から取得した各種の情報を視覚的に表示する。
さらに、無線アクセスポイント8が、例えばゲートウェイ7-2に接続される。これにより、無線通信機能を備えたノートパソコン9等がゲートウェイ7-2経由で画像センサ3にアクセスすることができる。
図4は、実施形態に係る画像センサ3の一例を示すブロック図である。画像センサ3は、撮像部としてのカメラ部31と、メモリ32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。
カメラ部31は、魚眼レンズ31a、絞り機構31b、イメージセンサ31cおよびレジスタ30を備える。魚眼レンズ31aは、オフィスフロア内の空間(対象空間)を天井から見下ろす形で視野に捕え、イメージセンサ31cに結像する。魚眼レンズ31aからの光量は絞り機構31bにより調節される。イメージセンサ31cは例えばCMOS(相補型金属酸化膜半導体)センサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。
レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部31に関する情報、あるいは画像センサ3それ自体に関する情報である。
メモリ32は、SDRAM(Synchronous Dynamic RAM)などの半導体メモリ、あるいはEPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ33に実行させるためのプログラム32b、およびカメラ部31により取得された画像データ32aなどを記憶する。さらにメモリ32は、マスク設定データ32c、および動き辞書32dを記憶する。
マスク設定データ32cは、カメラ部31に捕えられた視野のうち、画像処理する領域と、画像処理しない領域とを区別するために用いられるデータである。マスク設定データ32cは、例えばノートパソコン9(図3)から通信部34経由で各画像センサ3に設定することが可能である。
動き辞書32dは、動き特徴量と動き種別とを対応づけたテーブル形式のデータであり、例えば機械学習(Machine-Learning)等の手法により生成することが可能である。
プロセッサ33は、メモリ32に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ33は、例えばマルチコアCPU(Central Processing Unit)を備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。FPGA(Field Programmable Gate Array)等でプロセッサ15を構成することもできる。MPU(Micro Processing Unit)もプロセッサの一つである。
通信部34は、信号線LおよびLAN10に接続可能で、ビル監視装置5、ノートパソコン9、および他の画像センサ3を含む通信相手先とのデータの授受を仲介する。
ところで、プロセッサ33は、実施形態に係る処理機能として、動き抽出部33a、動き識別部33b、人物検知部33c、感度設定部33d、およびカメラ情報取得部33eを備える。動き抽出部33a、動き識別部33b、人物検知部33c、感度設定部33d、およびカメラ情報取得部33eは、メモリ32に記憶されたプログラム32bがプロセッサ33のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ33が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム32bは、動き抽出プログラム、動き識別プログラム、人物検知プログラム、感度設定プログラム、およびカメラ情報取得プログラム、を含む。
動き抽出部33aは、メモリ32に蓄積された画像データ32aを所定のアルゴリズムで画像処理して、動き特徴量を抽出する。例えば、画像データに含まれるフレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。例えば、輝度勾配方向ヒストグラム(histograms of oriented gradients:HOG)特徴量、コントラスト、解像度、S/N比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム(Co-occurrence HOG:Co-HOG)特徴量、Haar-Like特徴量なども特徴量として知られている。動き抽出部33aは、特に、視野内における物体の動きを示す動き特徴量を抽出する。
動き識別部33bは、上記抽出された動き特徴量に基づいて、例えばルールベースによる識別処理、あるいは機械学習による識別処理により、対象の動き種別を識別する。
人物検知部33cは、上記動き識別の結果に基づいて、対象空間における人物を検知する。
感度設定部33dは、動き識別部33bによる動き種別の識別の感度を設定する。この感度の設定値は、例えばノートパソコン9(図3)から通信部34経由で入力される。
カメラ情報取得部33eは、カメラ部31のレジスタ30からカメラ情報30aを取得する。次に、上記構成を基礎として複数の実施形態について説明する。
[第1の実施形態]
図5は、第1の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図5において、カメラ部31で取得された画像データ32aは、メモリ32に一時的に記憶されたのち、動き抽出部33aに送られる。動き抽出部33aは、画像データ32aを画像処理して、動きの種別を表す動き特徴量を画像データ32aから抽出する。
一般的に、動き特徴量は、画像フレームごとに計算されることができる。このほか図6(a)に示されるように、画像フレームまたは対象空間を複数の小領域(ブロック)に分割し、各ブロックごとに動き特徴量を計算することも可能である。複数のブロックを含む中領域(エリア)ごとに動き特徴量を計算することも可能である。究極的には、画像フレームを構成する画素ごとに、動き特徴量を計算することが可能である。
通常、動き特徴量を抽出する単位と、動き特徴量の抽出に係わる演算範囲とは同じに設定されるが、図6(b)に示されるように両者が異なってもよい。例えば図6(b)の斜線ハッチングのブロックを処理対象としたとき、このブロックを取り囲む太線枠の領域を、動き特徴量の抽出に係わる演算範囲としてもよい。さらには、例えばノートパソコン9からマスク領域を設定し、マスク領域については演算の対象外としてもよい。このように動き特徴量を抽出する領域を限定することで、演算処理量を削減したり、処理時間の短縮などの効果がある。
図5に戻り、動き抽出部33aで抽出された動き特徴量は、動き識別部33bに渡される。動き識別部33bは、動き特徴量に基づいて、画像データ32aにおける動き種別を識別する。例えば図7に示されるように、人物に関する動き種別は(オフィスワーク)と(歩行)とに大別され、さらに、(それ以外)を含めて3種類の動き種別を識別することができる。これらは、それぞれ特有の動き特徴量を示す。このように動き識別部33bは、複数の動き種別ごとの動き特徴量を抽出可能である。
図7において、輝度変化により検出される動き種別は、動体と非動体とに大別される。照明制御(照明の点灯/消灯、調光)、昼光の変化、ディスプレイ/プロジェクタ/テレビなどの画面の動きは、いずれも非動体としての動き特徴量を示す。これらの項目は、いずれも画像データの輝度の変化をもたらすので、それ自体は動かないにも拘わらず動きとして検知されてしまうことがある。例えばパソコン画面のスクリーンセーバや、扇風機の羽の動きなどがこれに相当する。
動体は、人物と非人物とに大別される。このうち非人物(人物でない物体)は、例えば、動きに周期性があるものと、周期性の無いものとに区別される。人物のオフィスワークおよび歩行はそれぞれ特有の動き特徴量を示し、これに該当しない特徴量を持つ動きは、(それ以外)として分類される。このように、対象空間において検知された物体は固有の動き特徴量を示すので、このことを利用して人物検知の精度を上げることができる。
図8(a)に示されるように、例えば3つのブロック(ハッチング領域)において、(人物歩行)を示す特徴量が検出されたとする。そうすると動き抽出部33aは、これらのブロックにおける動き識別の結果(人物歩行)を、人物検知部33c(図5)に渡す。人物検知部33cは、図8(b)に示されるように、当該ブロックについて人物を検知したことを判定する。図5の通信部34は、人物検知部33cによる人物の検知の結果や、動き抽出部33aおよび動き識別部33bの処理結果、処理データ、パラメータなどを、通信ネットワークとしての信号線L、あるいはLAN10に送出する。これにより、上記データや情報は、他の画像センサ3、ビル監視装置5、およびノートパソコン9等と、ビル内ネットワーク500等を経由して共有されることが可能である。
図9は、図5に示される画像センサ3における処理手順の一例を示すフローチャートである。図5において、画像センサ3は、カメラ部31により画像データを取得すると(ステップS1)、その画像データをメモリ32に蓄積する(ステップS2)。
次に、画像センサ3は、メモリ32の画像データ32aを画像処理し、動き特徴量を抽出する(ステップS3)。抽出された動き特徴量はメモリ32に記憶されても良い。次に、画像センサ3は、抽出された動き特徴量に基づいて、動き種別を識別する(ステップS4)。次に、画像センサ3は、動き識別の結果に基づいて、対象空間における人物を検知する(ステップS5)。このステップで得られた人物検知の結果は、通信部34を介して他の画像センサと通信され(ステップS6)、共有される。
以上説明したように、第1の実施形態に係る画像センサは、例えば画像データの輝度変化に基づいて動き特徴量を抽出する動き抽出部33aと、抽出された動き特徴量に基づいて対象の動き種別を識別する動き識別部33bとを備える。そして、人の動きに対応する動き種別が検出された場合に、対象空間おける人物の存在を検知するようにした。
フレーム間差分法に頼った既存の技術では、シーンの変化に弱いので、基準となる背景画像を大量に用意せざるを得なかった。背景画像の蓄積が十分でないと、期待した精度は、例えば照明が1基しかなく、窓もなく外光が入らないという、極めて限定された環境でしか得られない。さらに、例えば、ホームにおいてはテレビ画面やカーテンの揺れなど、人物以外の動きも人の動きとして検知される怖れがある。
これに対し第1の実施形態では、動き識別の結果を組み合わせ、識別された動き種別が人物の動きか否かを判定することで、照明制御や、昼光による輝度変化、オフィスにおけるプリンタの紙送り、スクリーンセーバ、扇風機などの、人物でない対象を人物として誤検知することを防止するようにした。さらに、対象空間を魚眼レンズにより真上から見下ろすように監視カメラを設置することで、オフィスワーク/歩行の識別を容易にすることもできる。
これらのことから、輝度変化による誤検知を防止し得る画像センサ、人物検知方法、プログラムおよび制御システムを提供することが可能となる。
[第2の実施形態]
図10は、第2の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図10に示される画像センサの動き辞書32dは、複数の動き識別データ(動き識別1、動き識別2、…)を含む。それぞれの動き識別データは、例えば図7に示される動き種別ごとに予め用意される。
感度設定部33dは、動き識別部33bによる動き種別の識別の感度を、動き種別ごとに設定する。例えば、動き識別に係わる閾値の値を動き識別データごとに個別に設定することで、動き種別ごとに識別の感度を可変することができる。
動き種別の識別の感度は、撮像された画像の領域全体を単位として設定しても良い。あるいは、例えば、対象空間を分割した複数のエリアごとに可変設定してもよい。つまり、図6のメッシュ状に区切られた各エリアごとに、動き種別の識別の感度を設定することができる。さらに細かく、画素、あるいはブロック単位で設定することもできる。
また、動き種別ごとの識別の結果の時系列に基づいて、識別の感度を可変設定してもよい。つまり、前状態で動体が検出された位置とその周囲の感度を上げ、次回の識別における判定において、前回検出された動体の位置とその周囲を「動体」と識別されやすくする。動体が存在していなければ、「非動体」と識別しやすくする。
また、対象空間の状態に応じて、動き種別ごとの識別の感度を可変設定することもできる。例えば、南側の窓近辺に設置された画像センサにおいては、昼間の時間帯では昼光の変化が検出されやすい。そこで、そのような環境に在る画像センサについては、例えばノートパソコン9からの設定により昼間時間帯の「昼光変化」の識別の感度を上げておくことで、識別誤差を少なくすることができる。
さらに、通信部34から取得した天候などの外部情報を参照してもよい。例えば、南側の窓近辺に設置された画像センサにおいて、昼間の時間帯で、且つ、天候が晴れの場合に、「昼光変化」の識別の感度を上げるようにする。このように、感度は、環境や時間帯によって変化するように設定することもできる。
以上のように第2の実施形態では、複数の動き種別のそれぞれごとに識別の感度を可変設定できるようにした。これにより動き識別の精度を向上させ、ひいては、輝度変化による誤検知を防止する効果をさらに高めることが可能になる。
[第3の実施形態]
図11は、第3の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図11において、動き識別部33bは、カメラ部31のレジスタ30からカメラ情報30aを取得する。これにより動き種別の識別と、カメラ部31のオートゲインコントロールなどの機能とを連携させることができる。すなわち動き識別部33bは、抽出された動き特徴量とカメラ情報30aとに基づいて、動き種別を識別する。
例えば、ゲイン、または露光時間などが変化したときは、「照明制御」および/または「昼光変化」の識別の感度を上げ、これらの動き種別を識別されやすくする。このようにすることでも動き識別の精度を高められ、輝度変化による誤検知を防止する効果をさらに高めることが可能になる。
[第4の実施形態]
図12は、第4の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図12に示される画像センサのメモリ32は、複数の動き識別データ(動き識別1、動き識別2、…)を含む動き辞書32d-1と、未検知/誤検知に対応するための対策辞書32d-2とを記憶する。この対策辞書32d-2も、複数の動き識別データ(動き識別1、動き識別2、…)を含む。それぞれの動き識別データは、例えば図7の動き種別ごとに予め用意される。
図12において、動き識別部33bは、未検知/誤検知が発生したときに、次回以降の識別においてそのシーンを特定の動き種別として識別すべく、メモリ32内の動き識別データ(動き識別のパラメータ/ルール/辞書など)を変更する。
例えば、未検知になった人物の動きを「人物」に識別し、誤検知した照明変化を「照明変化」に識別し、誤検知したプリンタの紙送り/扇風機を「非人物」と識別し、スクリーンセーバのアニメーションを「非動体」と識別するように、動き識別データをバックプロパゲーションしてゆく。このようにすることで、未検知/誤検知の発生の頻度を減少させることができ、ひいては、人物検知の精度を高めることができる。
なお、動き識別に関するパラメータ/ルール/辞書などの情報(動き識別データ)を、通信部34による複数の画像センサ3間でコピーすることができる。例えば、ある物件で調整が完了したベースとなる個体の動き識別を、他の画像センサにコピーすることで、調整工数を短縮することができる。さらには、オンライン学習によっても動き識別データを改変することができる。
[その他の実施形態]
感度設定部33dにより、動き抽出処理に際して動き抽出部33aが参照する画像フレームの枚数および/または時間を、固定または可変に設定できる。例えば、カメラ部31のフレームレートが変化した場合は、時間を固定にし、枚数を可変にする。また、例えば、前状態で歩行と識別された場合は少ない枚数で識別し、前状態でオフィスワークと識別された場合は多い枚数で識別する。さらに、参照枚数がデフォルトで固定であっても、ノートパソコン9等で外部からパラメータ設定を変更することができる。
感度設定部33dにより、動き抽出処理に際して動き抽出部33aが参照する画像データの種別を、原画像/平均画像/エッジ画像などから選択できるようにしても良い。1種類の画像データのみを参照してもよいし、複数種類にわたる画像データを参照してもよい。さらに、参照画像の種別がデフォルトで固定されていても、ノートパソコン9等で外部から参照画像の種別を変更することができる。
以上説明したように上記各実施形態によれば、輝度変化による誤検知を防止し得る画像センサ、人物検知方法、プログラムおよび制御システムを提供することが可能となる。
なお、この発明は上記実施の形態に限定されるものではない。例えば、人物検知部33cに、動き識別部33bによる動き識別の結果だけでなく、フレーム間差分/背景差分/人物形状認識などの処理結果を与えて、これらの情報を総合的に組合せて人物を検知してもよい。
人物検知の単位は、画像単位であっても良いし、エリア単位であっても良い。また、図8(b)に示されるように個々の人物単位で検知してもよい。さらには、人物検知の結果として、人物の画像上の座標を取得してもよい。
また、第3の実施形態において、動き識別部33bとカメラ部31とを連携させるようにした。これに代えて動き抽出部33aとカメラ部31とを連携させてもよい。このようにすることで、ゲイン/露光時間などを加味して動き特徴量を抽出することができ、人物検出の精度を向上させることができる。
また、第4の実施形態において、特定シーンと特定の動き種別に対応すべく、動き種別の項目を増やしてもよい。あるいは、未検知となった人物の動き辞書、誤検知した照明変化の辞書などのように、識別用の動き辞書自体を増やすようにしてもよい。
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…照明機器、2…空調機器、3…画像センサ、4…制御装置、5…ビル監視装置、6…ハブ、7-1,7-2…ゲートウェイ、8…無線アクセスポイント、9…ノートパソコン、11…表示装置、15…プロセッサ、30…レジスタ、30a…カメラ情報、31…カメラ部、31a…魚眼レンズ、31b…絞り機構、31c…イメージセンサ、32…メモリ、32a…画像データ、32b…プログラム、32c…マスク設定データ、32d…動き辞書、32d-1…動き辞書、32d-2…対策辞書、33…プロセッサ、33a…動き抽出部、33b…動き識別部、33c…人物検知部、33d…感度設定部、33e…カメラ情報取得部、34…通信部、35…内部バス、40…制御装置、50…ビル監視装置、100…ビル、200…クラウド、300…サーバ、400…データベース、500…ビル内ネットワーク、600…通信ネットワーク。

Claims (11)

  1. 対象空間を撮像して画像データを取得する撮像部と、
    前記画像データから動き特徴量を抽出する抽出部と、
    複数の動き種別ごとの識別の感度を設定するための設定部と
    前記動き特徴量と前記感度とに基づいて前記複数の動き種別を識別する識別部と、
    前記識別の結果に基づいて前記対象空間における人物を検知する検知部とを具備する、画像センサ。
  2. 前記設定部は、前記対象空間を分割した複数のエリアごとに前記感度を可変設定する、請求項1に記載の画像センサ。
  3. 前記設定部は、前記動き種別ごとの識別の結果に基づいて前記感度を可変設定する、請求項1に記載の画像センサ。
  4. 前記設定部は、前記対象空間の状態に応じて前記感度を可変設定する、請求項1に記載の画像センサ。
  5. 対象空間を撮像して画像データを取得する撮像部と、
    前記画像データから動き特徴量を抽出する抽出部と、
    前記撮像部に関する情報を取得する取得部と、
    前記動き特徴量および前記撮像部に関する情報に基づいて複数の動き種別を識別する識別部と、
    前記識別の結果に基づいて前記対象空間における人物を検知する検知部とを具備する、画像センサ。
  6. 対象空間を撮像して画像データを取得する撮像部と、
    前記画像データから動き特徴量を抽出する抽出部と、
    前記抽出部により参照される画像データの種別を選択するための設定部と、
    前記動き特徴量に基づいて複数の動き種別を識別する識別部と、
    前記識別の結果に基づいて前記対象空間における人物を検知する検知部とを具備する、画像センサ。
  7. 前記人物の検知の結果を通信ネットワークに送出する通信部をさらに具備する、請求項1乃至6のいずれか1項に記載の画像センサ。
  8. 前記抽出部により参照される画像データのフレーム枚数を可変設定するための感度設定部をさらに具備する、請求項1乃至7のいずれか1項に記載の画像センサ。
  9. 対象空間を撮像して画像データを取得するコンピュータにより実行される人物検知方法であって、
    前記コンピュータが、前記画像データから動き特徴量を抽出する過程と、
    前記コンピュータが、複数の動き種別ごとの識別の感度を設定する過程と、
    前記コンピュータが、前記動き特徴量と前記感度とに基づいて前記複数の動き種別を識別する過程と、
    前記コンピュータが、前記識別の結果に基づいて前記対象空間における人物を検知する過程とを具備する、人物検知方法
  10. 対象空間を撮像して画像データを取得する画像センサのコンピュータに、
    前記画像データから動き特徴量を抽出する過程と、
    複数の動き種別ごとの識別の感度を設定する過程と、
    前記動き特徴量と前記感度とに基づいて前記複数の動き種別を識別する過程と、
    前記識別の結果に基づいて前記対象空間における人物を検知する過程とを実行させる、プログラム
  11. 対象空間を撮像する請求項1乃至8のいずれか1項に記載の画像センサと、
    前記画像センサによる前記対象空間における人物の検知の結果に基づいて、前記対象空間に設けられた機器を制御する制御装置とを具備する、制御システム
JP2017205805A 2017-10-25 2017-10-25 画像センサ、人物検知方法、プログラムおよび制御システム Active JP7002912B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017205805A JP7002912B2 (ja) 2017-10-25 2017-10-25 画像センサ、人物検知方法、プログラムおよび制御システム
PCT/JP2018/037693 WO2019082652A1 (ja) 2017-10-25 2018-10-10 画像センサ、人物検知方法、プログラムおよび制御システム
JP2021207102A JP7286747B2 (ja) 2017-10-25 2021-12-21 画像センサ、動体検知方法、プログラムおよび制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017205805A JP7002912B2 (ja) 2017-10-25 2017-10-25 画像センサ、人物検知方法、プログラムおよび制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021207102A Division JP7286747B2 (ja) 2017-10-25 2021-12-21 画像センサ、動体検知方法、プログラムおよび制御システム

Publications (2)

Publication Number Publication Date
JP2019080177A JP2019080177A (ja) 2019-05-23
JP7002912B2 true JP7002912B2 (ja) 2022-01-20

Family

ID=66246857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017205805A Active JP7002912B2 (ja) 2017-10-25 2017-10-25 画像センサ、人物検知方法、プログラムおよび制御システム

Country Status (2)

Country Link
JP (1) JP7002912B2 (ja)
WO (1) WO2019082652A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171702A1 (ja) * 2020-02-27 2021-09-02 コニカミノルタ株式会社 人判定システムおよび人判定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243475A (ja) 2000-02-25 2001-09-07 Secom Co Ltd 画像センサ
JP2009092281A (ja) 2007-10-05 2009-04-30 Mitsubishi Electric Building Techno Service Co Ltd 空調制御システム
WO2012157573A1 (ja) 2011-05-13 2012-11-22 株式会社 東芝 エネルギー管理システム
JP2016171526A (ja) 2015-03-13 2016-09-23 株式会社東芝 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
WO2017047494A1 (ja) 2015-09-18 2017-03-23 株式会社日立国際電気 画像処理装置
JP2017111008A (ja) 2015-12-16 2017-06-22 パナソニックIpマネジメント株式会社 人検知システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04192781A (ja) * 1990-11-27 1992-07-10 Toshiba Corp 追跡装置
JP3048825B2 (ja) * 1994-03-28 2000-06-05 シャープ株式会社 機器制御装置および室内機器の制御システム
JP3377743B2 (ja) * 1998-01-20 2003-02-17 三菱重工業株式会社 移動体識別装置
JP3791611B2 (ja) * 2003-01-31 2006-06-28 船井電機株式会社 セキュリティシステム
JP2006311367A (ja) * 2005-04-28 2006-11-09 Toshiba Corp 撮像装置及び撮像方法
JP4865328B2 (ja) * 2005-12-28 2012-02-01 セコム株式会社 画像センサ
JP4729610B2 (ja) * 2008-10-14 2011-07-20 能美防災株式会社 煙検出装置
JP6495691B2 (ja) * 2015-03-11 2019-04-03 株式会社東芝 動体検出装置、動体検出方法及びコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243475A (ja) 2000-02-25 2001-09-07 Secom Co Ltd 画像センサ
JP2009092281A (ja) 2007-10-05 2009-04-30 Mitsubishi Electric Building Techno Service Co Ltd 空調制御システム
WO2012157573A1 (ja) 2011-05-13 2012-11-22 株式会社 東芝 エネルギー管理システム
JP2016171526A (ja) 2015-03-13 2016-09-23 株式会社東芝 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
WO2017047494A1 (ja) 2015-09-18 2017-03-23 株式会社日立国際電気 画像処理装置
JP2017111008A (ja) 2015-12-16 2017-06-22 パナソニックIpマネジメント株式会社 人検知システム

Also Published As

Publication number Publication date
JP2019080177A (ja) 2019-05-23
WO2019082652A1 (ja) 2019-05-02

Similar Documents

Publication Publication Date Title
CN106878668B (zh) 对物体的移动检测
US8494267B2 (en) Image processing device, image processing method, and program for normalizing a histogram
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
US10997469B2 (en) Method and system for facilitating improved training of a supervised machine learning process
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
WO2013013082A1 (en) Systems, devices, and methods for multi-occupant tracking
US20180122117A1 (en) Image processing apparatus, image processing method, and storage medium
CN111226226A (zh) 基于运动的对象检测方法及其对象检测装置和电子设备
JP7005285B2 (ja) 画像センサ、センシング方法、制御システム及びプログラム
CN111259763B (zh) 目标检测方法、装置、电子设备及可读存储介质
JP7002912B2 (ja) 画像センサ、人物検知方法、プログラムおよび制御システム
EP3529788B1 (en) Presence detection system and method
JP7286747B2 (ja) 画像センサ、動体検知方法、プログラムおよび制御システム
JP6696687B2 (ja) 照明制御システム、照明制御方法、照明制御装置及びコンピュータプログラム
CN112001300A (zh) 基于按位置交叉熵的楼宇监控方法、装置和电子设备
KR102471441B1 (ko) 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템
JP2023096127A (ja) 画像センサ、動体検知方法、プログラムおよび制御システム
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP2021128678A (ja) 画像センサ、計算装置、および画像センサシステム
JP6301202B2 (ja) 撮影条件設定装置および撮影条件設定方法
US20210072085A1 (en) Nir motion detection system and method
JP7237713B2 (ja) センサシステム、画像センサ、およびセンシング方法
JP6767788B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2019129505A (ja) 画像センサ、センシングシステム、センシング方法およびプログラム
JP2022020297A (ja) 画像センサ、センシング方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228

R150 Certificate of patent or registration of utility model

Ref document number: 7002912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150