JPWO2020174634A1 - デジタルアキュレート・セキュリティシステム、方法及びプログラム - Google Patents

デジタルアキュレート・セキュリティシステム、方法及びプログラム Download PDF

Info

Publication number
JPWO2020174634A1
JPWO2020174634A1 JP2019518115A JP2019518115A JPWO2020174634A1 JP WO2020174634 A1 JPWO2020174634 A1 JP WO2020174634A1 JP 2019518115 A JP2019518115 A JP 2019518115A JP 2019518115 A JP2019518115 A JP 2019518115A JP WO2020174634 A1 JPWO2020174634 A1 JP WO2020174634A1
Authority
JP
Japan
Prior art keywords
person
security
dimensional
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518115A
Other languages
English (en)
Other versions
JP6529062B1 (ja
Inventor
和夫 三輪
和夫 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technomirai Co Ltd
Original Assignee
Technomirai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technomirai Co Ltd filed Critical Technomirai Co Ltd
Application granted granted Critical
Publication of JP6529062B1 publication Critical patent/JP6529062B1/ja
Publication of JPWO2020174634A1 publication Critical patent/JPWO2020174634A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008Alarm setting and unsetting, i.e. arming or disarming of the security system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/1963Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines

Abstract

低コストで3次元位置を検出して、3次元のセキュリティ区域内の侵入者を正確に検出して高度なセキュリティを確立することができるデジタルアキュレート・セキュリティシステム、方法及びプログラムを提供する。デジタルアキュレート・セキュリティシステム(1000)は、監視カメラ(11)によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶部(135)と、監視カメラ(11)によって撮影された画像から人を検出する人検出部(111)と、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部(135)によって人の3次元空間内の位置を検出する投影逆変換部(112)と、投影逆変換部(112)によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報部(115)とを備える。

Description

本発明は、監視カメラによりセキュリティ区域内を撮影して防犯を行うデジタルアキュレート・セキュリティシステム、方法及びプログラムに関する。
特許文献1には、「2つのカメラを備え、注視領域の3次元情報に基づいて侵入した物体を検知すること」が記載されている。特許文献1の技術は、3次元情報の変化状況に基づいて、注視領域に侵入した物体を検知するものである。
特許文献2には、「投光から受光までの時間差により物体までの距離を検出して、3次元の警戒エリアと3次元の監視エリアを設定すること」が記載されている。特許文献2の技術は、距離画像センサから時間経過に伴って出力される複数の距離画像により警戒エリアと監視エリアとにおける物体の振る舞いを監視し、物体の振る舞いから物体の種別を判別するものである。
特開2018−173976号公報 特開2011−48594号公報
しかしながら、特許文献1,2に記載の警報装置では、3次元位置を検出するための構成が複雑でコストがかさむ課題がある。
本発明の目的は、低コストで3次元位置を検出して、高度なセキュリティを確立することができるデジタルアキュレート・セキュリティシステム、方法及びプログラムを提供することにある。
本発明に係るデジタルアキュレート・セキュリティシステムは、3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えることを特徴とする。
この構成により、低コストで3次元位置を検出して、高度なセキュリティを確立することができる。
前記通報手段は、前記検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することで、時間的経緯を考慮して、侵入者の3次元位置を判定することができる。
前記人の大きさが人の頭の大きさであることで、人の大きさを示す指標として、人の年齢や性別等であまり変化のない個人差によらない情報をもとに、侵入者の3次元位置を判定することができる。
前記通報手段は、前記不審者の位置に基づく危険度を通報することで、危険度に合わせてより迅速に侵入犯罪に対応することができる。また、危険度に合わせたテロップの送信や関係機関への通報を行うことができる。
前記通報手段は、前記不審者の動きに基づく危険度を通報することで、不審者の動きを判定条件に加えて危険度の判定をより精度良く行うことができ、高度なセキュリティを確立することができる。例えば、不審者の動きをもとに、善意の人か悪意のある侵入者かの区別、さらに侵入者の場合には危険度を判定し、危険度に合わせて警戒の状態をランク付けすることができる。
非侵入者が所持するID(Identification)端末を検出するID端末検出手段を備え、前記通報手段は、前記ID端末検出手段が検出した前記ID端末を所持している人を通報しないことで、例えば家族及び関係者のスマートフォンを検出して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
非侵入者が所持するID(Identification)端末を登録するID端末登録手段を備え、前記通報手段は、前記ID端末登録手段が登録した前記ID端末を所持している人を通報しないことで、例えば来客のIDを登録して不審者から除外し、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
また、本発明のデジタルアキュレート・セキュリティ方法は、3次元のセキュリティ区域の画像を撮影する撮影ステップと、前記撮影ステップによって撮影された前記画像の2次元の各位置と前記撮影ステップによって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶ステップと、前記撮影ステップによって撮影された前記画像から人を検出する人検出ステップと、前記人検出ステップによって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶ステップによって前記人の3次元空間内の位置を検出する投影逆変換ステップと、前記投影逆変換ステップによって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報ステップとを備えることを特徴とする。
また、本発明は、コンピュータを、3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えるデジタルアキュレート・セキュリティシステムとして機能させるためのプログラムである。
本発明によれば、1つのカメラによって低コストで不審者の3次元位置を検出して、高度なセキュリティを確立することができる。
本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの制御部のブロック図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムを用いた全体を示す構成図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの警備モード設定処理を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの個人住宅における警備の例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの集合住宅における警備の例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの投影逆変換部による3次元位置検出処理を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの平面における侵入者検出の例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの立面における侵入者検出の例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの時間による侵入者検証の例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムが敷地境界をカメラ画像にマッピングする例を示す図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムが敷地内にあらかじめあるものの高さを登録する例を説明する図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムにおける人間の状態による高さの変化を説明する図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムにおける人間の状態による高さの変化を説明する図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムにおける瞳と首の動きの変化による判断を説明する図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのBLEによる一時的な警備解除を説明する図である。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムによる侵入検出の適用例1を説明する図である。 図19の適用例1において、デジタルアキュレート・セキュリティシステム、家族、不審者の動作の概要を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムによる侵入検出の適用例2を説明する図である。 図21の適用例2において、デジタルアキュレート・セキュリティシステムの動作を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムによる侵入検出の適用例3を説明する図である。 図23の適用例3において、デジタルアキュレート・セキュリティシステムの動作を示すフローチャートである。 本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの適用例4において、注意度に応じて利用者に通知する処理を示すフローチャートである。
以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
(実施の形態)
図1は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの構成を示すブロック図である。
本デジタルアキュレート・セキュリティシステムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等に適用して好適である。
図1に示すように、デジタルアキュレート・セキュリティシステム1000は、セキュリティ区域のそれぞれに設置された1つの監視カメラ11(撮影手段)と、人感センサ20と、セキュリティ区域内に設置されたWi-Fi(Wireless Fidelity)ターミナル(以下「Wi-Fi親機」という)30と、ビーコン親機40と、関係者(家族)が携帯する携帯端末装置50(ID(Identification)端末)と、システム全体を制御する監視装置100と、AI(Artificial Intelligence:人工知能)アクセラレータ(Accelerator)200(人検出手段)と、を備える。セキュリティ区域は、警戒エリア(警備対象エリア)であり、例えば、住居であれば敷地や玄関先・ベランダ、オフィスであればエレベータホール・ベランダ・窓などを含む。
なお、監視装置100は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置100を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。
<監視カメラ11>
監視カメラ11は、3次元で特定されるセキュリティ区域の画像(2次元)を撮影する。
監視カメラ11の一部又は全部は、PTZ(パン・チルト・ズーム)機能を有するPTZカメラであり、監視装置100により遠隔操作される。監視カメラ11は、セキュリティ該当建物の警備対象の外壁周囲、例えば侵入者が出入可能な出入口、窓開口部、敷地境界外周部、該当敷地エリアの各所に設置される。監視カメラ11が撮影した画像は、監視装置100に出力され、録画部160に記録される。
<人感センサ20>
人感センサ20は、サーモカメラや赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。
<Wi-Fi親機30>
Wi-Fi親機30は、Wi-Fiを用いて携帯端末装置50のWi-Fi子機51との間で情報をやり取りする。また、Wi-Fi親機30は、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。
<ビーコン親機40>
BLE(Bluetooth Low Energy)は、近接を検知する無線技術である。BLEは、発信側のビーコン機器であるビーコン親機40と、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリ(後記ビーコン子機52に対応する)の組み合わせによって構成される。BLEは、識別に必要な固有のID情報を発信し、携帯端末装置50の当該ID情報に紐付けられたアプリにしか反応しない。携帯端末装置50のアプリは、ビーコン親機40と同じ識別子を登録しておく。携帯端末装置50のアプリ(ビーコン子機52)は、BLE機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
[携帯端末装置50]
携帯端末装置50は、家族などがそれぞれ携帯する。携帯端末装置50は、例えばスマートフォン50a、タブレット50b、又はノートパソコン50cなどである。携帯端末装置50は、このほか、携帯電話、PHS(Personal Handy-Phone System)、PDA(Personal Digital Assistants)、又は専用端末などである。本実施の形態では、携帯端末装置50は、家族などが様々な場所(すなわち現在位置)で使用可能であり、図示しない電話回線を介して監視装置100からのメール又は動画を含む映像等を受信可能である。
本実施の形態では、携帯端末装置50は、スマートフォン50a(ID端末)の利用を想定しており、各個人が様々な場所(すなわち現在位置)で使用可能である。携帯端末装置50のうちの一つは、図示しない警備会社に配置される。
スマートフォン50aは、デジタルアキュレート・セキュリティアプリ(以下、「セキュリティアプリ」という)を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網(固定網)、ウェブサービスクラウド300(後記図3参照)、又はインターネット303(後記図3参照)を経由して、ウェブサービスクラウド300上のクラウドサーバ301(後記図3参照)に接続でき、クラウドサーバ301から不審者に関するテロップを受け取ることができる。スマートフォン50aは、待受け画面等に不審者を検出したテロップを通知できる。
スマートフォン50aは、Wi-Fi個別識別機(以下「Wi-Fi子機」という)51と、関係者の位置を捕捉するGPS53と、を備える。
なお、スマートフォン50aは、ビーコン子機52を備えているものでもよい。又は、スマートフォン50aは、Wi-Fi子機51と、ビーコン子機52と、GPS53とのいずれか一つを備えるものでもよい。
<Wi-Fi子機51>
Wi-Fi子機51は、業務施設に設置されたWi-Fi親機30の電波を受信及び個別識別する。監視装置100は、施設内に設置されたWi-Fi親機30の配置情報をセフティ関連情報として記憶している。Wi-Fi子機51がWi-Fi親機30に近接すると、携帯端末装置50を携帯する関係者のIDと位置を判定することができる。
<ビーコン子機52>
ビーコン子機52は、ビーコン親機40からの電波受信に対応した携帯端末装置50のアプリである。ビーコン親機40は、ビーコン(識別に必要な固有のID情報)を発信し、携帯端末装置50のアプリ(ビーコン子機52)は、ビーコン親機40のビーコンに近接したときに所定アクションを励起する。
<GPS53>
GPS53は、位置情報の電波をGPS衛星等から受信する。GPS53は、GPSアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の3つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置100に送信される。
なお、本実施形態では、位置情報を取得する手段として、GPS衛星を利用した例を示したが、GPS以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置50として、Android(登録商標)スマートフォンやカメラ付き高機能携帯電話機を使用する場合、GPS53に代えて又は併用して、基地局及び携帯電話通信網(図示省略)を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。
また、Wi-Fi測位による位置情報取得、すなわちWi-Fiアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。
[監視装置100]
監視装置100は、関係者(例えば家族)の住居に設置され、セキュリティ区域内を集中管理する。監視装置100は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。
監視装置100は、制御部110と、入力部120と、記憶部130と、投影記憶部135(投影記憶手段)と、表示部140と、出力部150と、録画部160(録画手段)と、顔情報DB(データベース)165と、画像処理部170と、インタフェース(I/F)部180と、通信部190と、を備え、各部はバス195により接続される。
以降、「○○部は」と主体を記した場合は、制御部110が必要に応じROMから各プログラムを読み出した上でRAMにロードし、各機能(後記)を実行するものとする。各プログラムは、予め記憶部130に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置100に取り込まれてもよい。
制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、制御プログラムを実行して、デジタルアキュレート・セキュリティシステムとして機能させる。制御部110の詳細な構成については、後記する。
入力部120は、キーボード、マウス、表示部140の画面上に設けられたタッチパネル、マイクなど、監視装置100のユーザが指示などを入力するための入力機器である。
記憶部130は、ROM(Read Only Memory)、RAM(Random Access Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などのメモリからなり、制御部110が用いる各種データ及びプログラムなどを記憶する。記憶部130は、監視カメラ11から受信した静止画又は動画、制御部110が用いる各種データ及びプログラムなどを記憶する。
投影記憶部135は、監視カメラ11によって撮影された画像の2次元の各位置と監視カメラ11によって撮影された3次元空間内の各位置とを対応付けて記憶する。投影記憶部135は、3次元空間内に定義した形状を2次元面上に投影する投影変換によって対応付けて記憶する。
なお、投影記憶部135は、記憶部130のメモリ領域の一部を使用するものでもよい。
表示部140は、監視装置100の動作状況をはじめ、監視カメラ11から受信した画像、又は監視装置100を操作するためのGUI(Graphical User Interface)などを表示する。
出力部150は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム158に対して監視装置100からの音声信号を出力する。監視装置100から音響システム158へ出力する音声信号としては、例えば、入力部120に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部130に記憶された音楽データを制御部110が再生した音声信号であってよい。音響システム158は、アンプ及び敷地内に配置された複数のスピーカを備え、監視装置100から入力された信号を敷地内に発声する。
録画部160は、HDD(Hard Disk Drive)などの外部記憶装置により構成され、監視カメラ11が撮影したセキュリティ区域内の画像を記録する。録画部160は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画する。
顔情報DB165は、不審者、及び店舗関係者等の顔画像(顔情報)を蓄積する。顔情報DB165に登録されている人物の顔などの基礎データは、I/F部180を介して図示しない本部、本社又は警備会社などからデータを入手して、顔情報DB165が構築される。また、図示しない本部、本社又は警備会社などと情報を交換して、相互の顔情報DBが最新の顔画像(顔情報)に更新可能である。
画像処理部170は、DSP(Digital Signal Processor)等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。
監視カメラ11で1秒間に撮影する画像が例えば5コマの画像である場合、1/5秒画像、2/5秒画像、3/5秒画像、4/5秒画像、5/5秒画像の動きで、1秒間に10コマの画像である場合には、10個の画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部170は、監視カメラ11で撮影された画像データを処理し、セキュリティ区域内の画像を出力する。
I/F部180は、セキュリティ区域内に配置された各監視カメラ11と監視装置100とを接続する。また、I/F部180は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部190は、基地局を介して携帯端末装置50とデータを送受信する。通信部190は、無線通信機能を有し、例えばUART(Universal Asynchronous Receiver Transmitter)を用いて制御基板に接続される。
[制御部110]
図2は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムの制御部110のブロック図である。
図2に示すように、制御部110は、CPU(Central Processing Unit)等により構成され、監視装置100全体を制御するとともに、制御プログラムを実行して、デジタルアキュレート・セキュリティシステムとして機能させる。
制御部110は、人検出部111(人検出手段)と、投影逆変換部112(投影逆変換手段)、と、ID端末検出部113(ID端末検出手段)と、ID端末登録部114(ID端末登録手段)と、通報部115(通報手段)とを備える。
制御部110は、投影逆変換部112が投影変換の逆変換をしたことを受けて、3次元上の特定のエリア(セキュリティ区域内)に不審者が侵入したことを判定する。
制御部110は、人の大きさを人の頭の大きさなどによって判定する。
制御部110は、不審者の位置に基づいて危険度を判定する。
制御部110は、不審者の動きに基づいて危険度を判定する。
制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外する。
制御部110は、ID端末登録部114が登録した登録した前記ID端末を所持している人を不審者から除外する。
人検出部111は、監視カメラ11によって撮影された画像から人を検出し、その人の大きさを検出する。具体的には、人検出部111は、AIアクセラレータ200(後記)を用いてセキュリティ区域内の人を検出する。人検出部111は、AIアクセラレータ200に対して人検出要求を発行し、AIアクセラレータ200は、CPU以外でAIの計算を実行して、人検出結果を人検出部111に送信する。人検出には高速性が求められるので、人検出にAIアクセラレータ200を用いている。
デジタルアキュレート・セキュリティシステム1000は、AIアクセラレータ200を用いた人検出によりセキュリティ区域内への侵入者を検出する。
デジタルアキュレート・セキュリティシステム1000は、AIアクセラレータ200による深層学習において、特に、人のみを監視対象とすることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
本実施形態では、人検出部111は、AIアクセラレータ200を用いて人を検出しているが、サーモカメラ(又は人感センサ20)で人を検出するようにしてもよい。すなわち、人感センサ20は、セキュリティ区域内の温度を検出する。そして、人検出部111は、人感センサ20が人の体温を検出し、かつ、監視カメラ11がその撮影画像の変化を検出したことによって人(不審者候補)の存在を検出する。
なお、人検出部111は、AIアクセラレータ200を用いた人検出と、サーモカメラ(又は人感センサ)を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、玄関先やベランダ、窓についてはAIアクセラレータ200を用い、人検出の高速性が要求されない敷地と外部の境界の敷地内はサーモカメラ(又は人感センサ)を使用する。
投影逆変換部112は、人検出によって検出された人の2次元の位置と人の大きさ(特に、人の頭の大きさ)とに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。具体的には、投影逆変換部112は、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する(図9で詳述する。)。
ID端末検出部113は、非侵入者が所持するID(Identification)端末を検出する。
ID端末登録部114は、来客等が所持するID端末を登録する。
通報部115は、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する。さらに、通報部115は、検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することが望ましい(図12で詳述する。)。
[AIアクセラレータ200]
AIアクセラレータ200は、人を検出する専用プロセッサであり、CPU以外の計算リソースを用いる。AIアクセラレータ200は、例えば、GPU(Graphics Processing Unit)を強化したプロセッサよる画像処理、FPGA(Field Programmable Gate Array)を用いた信号処理のアクセラレートである。また、AIアクセラレータ200は、専用ハード(例えば、GPU)上でAI(Artificial Intelligence:人工知能)の計算を実行する。
通常のPCによるコンピュータの処理では、デジタル画像一枚あたり人(人体)の検出の処理を行うのに約1.5秒かかる。このため、本実施形態では、人の検出プロセッサであるAIアクセラレータ200を利用することで、PCによるコンピュータの処理の約10倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いAIの計算を専用ハードであるAIアクセラレータ200に任せている。これにより、市販のカメラと安価な機器用いた構成であっても、リアルタイムに挙動不審を検出し、不審者を登録可能であることが実証できた。
[デジタルアキュレート・セキュリティシステム]
図3は、本発明の実施形態に係るデジタルアキュレート・セキュリティシステムを用いた全体を示す構成図である。
図3に示すように、デジタルアキュレート・セキュリティシステム1000は、ウェブサービスクラウド300上に、デジタルアキュレート・セキュリティサービスを提供するクラウドサーバ(商用サーバ)301、クラウドサーバ301に連携して能動的に情報を取得してユーザのスマートフォン50a(携帯端末装置;ID端末)に通知するPush通知サーバ302を有する。ウェブサービスクラウド300は、インターネット303に接続される。スマートフォン50aは、インターネット303を経由してウェブサービスクラウド300上のクラウドサーバ301にテキスト及び画像を送信することができる。また、スマートフォン50aは、インターネット303を経由してPush通知サーバ302からPush通知を受信する。さらに、クラウドサーバ301及びPush通知サーバ302は、LTE/3G網などの通信キャリア網(固定網)(図示省略)を経由して、セキュリティアプリが搭載されたスマートフォン50aに接続する。
図3に示すように、デジタルアキュレート・セキュリティシステム1000は、不審者の敷地内への侵入を検知し、本人・家族等が所持するスマートフォン50aにプッシュ通知する。
スマートフォン50aに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「1F玄関にて不審者が検知されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン50aの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン50aのユーザの操作により、例えば緊急時には関係機関(警察・消防)に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。
[セキュリティアプリ動作]
図4は、本発明の実施の形態に係るデジタルアキュレート・セキュリティシステムのセキュリティアプリ動作を示す図である。
図4左に示すように、スマートフォン50aの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図4中に示すように、スマートフォン50aの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「1F玄関に不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図4右に示すように、スマートフォン50aの表示を時系列の4画面に表示する。
以下、上述のように構成されたデジタルアキュレート・セキュリティシステムの動作について説明する。
[デジタルアキュレート・セキュリティ処理]
まず、デジタルアキュレート・セキュリティシステムの警備モード設定について説明する。
図5は、デジタルアキュレート・セキュリティシステムの監視装置100の警備モード設定処理を示すフローチャートである。本フローは、監視装置100の制御部110(図2参照)により実行される。
ステップS1では、警備モードを定義する。
ステップS2では、時間により警備モードを変更する。
ステップS3では、スマートフォン50a(携帯端末装置50)から警備モードの変更を受信したか否かを判別する。
スマートフォン50a(携帯端末装置50)から警備モードの変更を受信した場合(ステップS3:Yes)、ステップS4で指示された警備モードで警備を実行する。
警備モードの変更を受信しない場合(ステップS3:No)、本フローを終了して定義された警備モードで時間による警備モードを実行する。
上記警備モードを定義することにより、無駄な処理をなくすことができ、結果的には計算リソースの低減により低コスト化及び処理の高速化を図ることができる。
[デジタルアキュレート・セキュリティシステムの警備例]
デジタルアキュレート・セキュリティシステムの警備例について説明する。
<ホーム&ビルディング>
図6は、個人住宅における警備の例を示す図である。
デジタルアキュレート・セキュリティシステムは、個人向けに個人住宅及びオフィス・店舗・金融機関向け等の防犯システムを提供する。主な機能は、以下の通りである。
警備モード(在室警備、外出警備等)を定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
家屋外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
図7は、集合住宅における警備の例を示す図である。
例えば、集合住宅向けの防犯システムを提供する。主な機能は、以下の通りである。
警備モードを定義し、警備モードに応じて防犯機能を提供する。
時間により警備モードを変更する機能を備える。
居住部外周に設置された監視カメラ11の映像から侵入者を検出・登録する。
検出された侵入者の危険度(注意度、緊急度)を判定し、危険度(注意度、緊急度)に応じて利用者に通知する。
BLEを使いスマートフォン50aにより屋外から警備モードを変更する。
スマートフォン50a、又は監視カメラのスピーカなどを通して侵入者に警告を通知する。
[デジタルアキュレート・セキュリティ処理]
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理について説明する。
図8A及び図8Bは、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティ処理を示すフローチャートである。本フローは、監視装置100の制御部110(図2参照)により図5で設定された「警備モード」で実行される。
ステップS11では、3次元で特定されるセキュリティ区域(特定エリア)の画像を撮影する。監視カメラ11は、例えばPTZカメラであり、監視装置100により遠隔操作される。監視カメラ11が撮影した画像は、監視装置100に出力される。
ステップS12で、制御部110の人検出部111は、監視カメラ11によって撮影された画像から人を検出する。本実施形態では、人検出部111は、AIアクセラレータ200に対してAIによる[人の検出処理]を要求し、人検出部111は、AIアクセラレータ200からの人の検出結果を待つ。なお、人検出部111は、サーモカメラ(又は人感センサ20)による人検出を併用するようにしてもよい。
ステップS13で制御部110は、監視カメラ11によって撮影された画像に人が検出されたか否かを判別する。
監視カメラ11によって撮影された画像に人が検出された場合(ステップS13:Yes)、ステップS14に進む。監視カメラ11によって撮影された画像に人を検出しない場合(ステップS13:No)、本フローを終了する。
ステップS14で制御部110は、ID端末検出部113が検出したID端末(携帯端末装置50;スマートフォン50a)を所持している人(家族など所定のIDを所持している人など)か否かを判別する。制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外して(ステップS14:Yes)、ステップS15に進む。
ステップS15で制御部110は、ID端末登録部114が登録したID端末(来客などのID)を所持している人か否かを判別する。制御部110は、ID端末(来客などのID)を登録している人を不審者から除外して(ステップS15:Yes)、ステップS16に進む。
このように、家族等がID端末を所持している場合及び来客等のID端末をあらかじめ登録した場合、後段の処理をスキップして処理の迅速化を図る。
ステップS16で制御部110の投影逆変換部112は、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。上記人の大きさは、身長などでもよいが、人の頭の大きさが望ましい。人の年齢や性別等であまり変化のない人の頭の大きさを人の大きさの指標として用いることができる。
ステップS17で制御部110は、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の侵入を判定する。例えば、隣家の駐車場の屋根から塀を超えて侵入する場合などを検出することができる。
セキュリティ区域内に不審者が侵入した場合、ステップS18で制御部110は、不審者の位置及び/又は不審者の動きに基づいて侵入の危険度を判定する。セキュリティ区域内に不審者の侵入がない場合、本フローの処理を終了する。
(1)不審者の位置よって、危険度(注意度、緊急度)を判定する。例えば、前記図6及び図7のようにイエローベルト(後記)内に人が検出された場合、危険度は中程度、またレッドベルト(後記)内に人が検出された場合、危険度は高いと判定できる。また、イエローベルト外で人が検出された場合は、危険度は小さいと判定できる。これに対し、3次元上の不審者の位置から、侵入者(不審者)が隣家の駐車場の屋根から塀を超えて侵入する場合などは、危険度(緊急度)が非常に高いと判定できる。
(2)不審者の動きよっても、危険度(注意度、緊急度)を判定することができる。不審者の動きは、例えば瞳の動きと首の動きである(詳細後記)。不審者の動きが不自然である場合、危険度(注意度、緊急度)が高いと判定できる。
ステップS19で通報部115は、危険度(注意度、緊急度)に応じた通報を行う。通報は、例えば関係者のスマートフォン50aに、不審者に関する情報を送信する。この通報は、侵入犯罪の危険度(危険の度合いのクラス分け)に対応して、危険の度合いを示すメッセージやマーク、強調文字、色分けを付すようにする。また、危険度又は緊急度に対応して、通報先を変える。例えば、侵入者(不審者)が隣家の駐車場の屋根から塀を超えて侵入する場合などは、侵入者が危険で緊急度が高いと判定し、侵入者に関する最も緊急度の高いテロップを通知する。さらに、通報先の関係機関に警察等を入れる。そしてこの通報は、不審者の自動登録処理などより優先して行う。また、レッドベルト内に人が検出された場合、侵入の緊急度が高いテロップを、イエローベルト外で人が検出された場合は、侵入の緊急度は中程度のテロップを通知する(図4参照)。
上述したように、図4左に示すスマートフォン50aの待受け画面等に不審者の存在を通報するテロップを送信する。ユーザのタップにより、図4中に示すように、不審者のズーム画面を表示し、不審者の位置と状況「1F玄関に不審者」を表示するとともに、このテロップを自動音声で読み上げる。
ステップS20で制御部110は、セキュリティ区域内の不審者の情報を記憶部130に登録して本フローの処理を終了する。これにより、不審者の侵入情報が記録され、防犯上有益な情報となる。
上記ステップS13で監視カメラ11によって撮影された画像から人が検出されない場合、上記ステップS14で家族等のID端末を所持している人である場合、又は上記ステップS15で来客等のID端末を登録した人である場合、本フローを終了する。
[投影逆変換部112による3次元位置検出]
次に、投影逆変換部112による3次元位置検出について説明する。
図9は、デジタルアキュレート・セキュリティシステムの投影逆変換部112による3次元位置検出処理を示すフローチャートである。図9のフローは、図8AのステップS16のサブルーチンである。
ステップS16のサブルーチンコールによりスタートし、ステップS31で投影逆変換部112は、投影記憶部135から、あらかじめ3次元空間内に投影した形状として定義して記憶しておいた形状を読み込む。
ステップS32で投影逆変換部112は、投影記憶部135から人の大きさ情報を読み込む。
ステップS33で投影逆変換部112は、セキュリティ区域内で検出した人の2次元画像と人の大きさをもとに、「3次元空間内に定義した形状を2次元面上に投影する投影変換」の逆変換を行う。投影逆変換部112は、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する。原理的には、2次元画像で3次元の位置を検出することはできないはずであるが、人の大きさが既知であるとすると(人による頭の大きさの違いはほとんどないことを前提とする)、1つの監視カメラ11が撮影した2次元画像と、検知した人の大きさ情報とをもとに3次元位置を検出することができる。すなわち、3次元空間内に定義した形状を2次元面上に投影する変換を「投影変換」というとすると、投影逆変換部112は、検知した人情報に、人の大きさ情報を付加することによって、カメラ画像から投影変換の逆変換(「投影逆変換」)を行い、3次元位置を検出することができる。
ステップS34で投影逆変換部112は、投影変換の逆変換結果を出力して、図8のステップS16に戻る。
[デジタルアキュレート・セキュリティの特徴]
次に、デジタルアキュレート・セキュリティシステムのデジタルアキュレート・セキュリティの特徴について説明する。
デジタルアキュレート・セキュリティシステム1000は、敷地内侵入検知・登録機能として、平面的に侵入を判定する技術と、立面的に侵入を判定する技術、平面的、立面的に検知されたものを、時間による侵入を検証する技術を、1つ又は複数組合せて用いる。以下、詳細に説明する。
不審者を検出するには、まず人間が敷地内に侵入したかどうかをカメラ画像から判定する。この判定ののち、その人間が不審者であるかどうかを検証し登録・通知する。
警戒領域を2次元、3次元、4次元(3次元+時間)的に検査し危険度を評価・登録する
敷地境界内を平面的に危険度に応じて以下の3つに分類する。
・セキュリティ・イエローベルト:例えば敷地境界の内側30cmのゾーン(〜3m、4m程度)
・セキュリティ・オレンジゾーン:セキュリティ・イエローベルトとセキュリティ・レッドベルトの間
・セキュリティ・レッドベルト :例えば家屋の壁面から水平30cm以内(〜3m、4m程度)の領域
<セキュリティベルトについて>
セキュリティ・イエローベルト(以下、図中はYにより表記)は、早期警戒レベルの状態である。この部分への侵入は危険度イエローで通知されるが、3次元的、4次元的な追加情報を付加して検証し、検証の結果として侵入があれば通知することにより、検出の正確さと早期に対処を行うことが可能となる。また、セキュリティ・レッドベルト(以下、図中はRにより表記)では領域への侵入があれば直ちに通知の対応が必要となるレベルである。
<平面における検出>
図10は、平面における侵入者検出の例を示す図であり、図10左は平面における正常な状態、図10右は平面における異常な状態を示す。
図10左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルト設定する。
図10右には、平面における異常な状態を示している。セキュリティ・イエローベルトを越えて、セキュリティ・レッドベルトの外側まで侵入者が侵入している。
平面における侵入者検出では、侵入者と境界との包含関係を評価する。例えば、図10右の符号aに示すように、監視カメラ11が10コマ/秒で撮影するものであれば、10コマの画像から侵入された動体を検出し(図10右のフレーム参照)、その平面状での位置を計算する。その10コマ内で(秒5コマの監視カメラなら5コマ)その侵入者が確かに検出されるのであれば、侵入者が存在する可能性があると判断する。
<立面における検出>
図11は、立面における侵入者検出の例を示す図であり、図11左は立面における正常な状態、図11右は立面における異常な状態をそれぞれ示す。
図11左に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。
立面における検出では、監視カメラ11の画像から高さ(図11右のフレーム参照)を評価する。この高さが標準的な人間の高さかどうかを評価する。例えば、図11右の符号bに示すように、監視カメラ11の1秒間の画像数を評価し。確かに侵入者が人間であることを判断する。
ここで、監視カメラ11の画像から高さを評価することは、上述した図8のステップS16で投影逆変換部112が、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。そして、図8のステップS17で制御部110が、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の侵入を判定する処理に対応する。図11の例では、侵入者がセキュリティ・イエローベルトを超えて侵入することを検出する。
立面における侵入者検出により、動物の侵入や、植栽の風による動きの誤検知を除去する。
<時間による検証>
図12は、時間による侵入者検証の例を示す図であり、図12左は時間における正常な状態、図12右は時間における異常な状態をそれぞれ示す。
図12右の符号cに示すように、デジタルアキュレート・セキュリティシステム1000は、立面における侵入者検出により、得られた侵入者の検出について、一秒毎に評価を繰り返す。図12右に示すように、侵入者はセキュリティ・イエローベルト上を歩いている。デジタルアキュレート・セキュリティシステム1000は、侵入者がセキュリティ・イエローベルト上で継続して侵入検出されたことを受けて、侵入者が確かに侵入したと判断する。
<立面的に侵入を判定する技術:マッピング>
立面的に侵入を判定する技術を説明する。
立面的に侵入を判定する技術として、敷地境界の平面配置情報をカメラ画像にマッピングする。
図13は、敷地境界をカメラ画像にマッピングする例を示す図であり、図13左はその敷地境界の平面図、図13右はその敷地境界をカメラ画像にマッピングした例を示す。マッピングはCG(computer graphics)で生成された画像を写真画像に合成する技術である。合成する時、CGの背景部分を透過させることによりCGを写真画像に自然に重畳合成できる。
図13左に示すように、監視カメラ(図13左の×印参照)を設置するに当たり、警戒区域(自宅敷地境界などアウトラインとなる形状)の平面図を正確に作成する。また、監視カメラの設置位置、高さ及び向き(ロール、ピッチ、ヨー情報)も与える。上記ロール、ピッチ、ヨーは、3次元空間における視線の回転角を表す。視線方向をX軸、それに直行する左手方向をY軸、視点の上方向をZ軸とすると、X軸周りの回転をロール、Y軸周りの回転をピッチ、Z軸周りの回転をヨーという。
図13右は、図13左の符号dの監視カメラの画像をマッピングした例を示している。
警戒区域の位置情報をカメラのパラメータから、投影変換とビューポートによるクリッピングを行い監視カメラから得られる画像のどこが敷地内になるのかを求める(図13右参照)。上記ビューポートは、3次元空間を2次元として認識する場合の2次元の限界を表す。これは監視カメラで写真を取った時の写真に映る範囲に相当する。ビューポートは、監視カメラで撮影できる範囲を表す。また、上記クリッピングは、3次元データで表現されたコンピュータグラフィックス等のようなオブジェクトをビューポートの大きさに切りだす処理をいう。
<立面的に侵入を判定する技術:あらかじめ登録した物体との大きさ比較>
マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ、及び人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を比較する。
図14は、敷地内にあらかじめあるものの高さを登録する例を説明する図である。
図14に示すように、マッピングされたセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さを登録する。また、人が有してる基準となるサイズを、すなわち人の高さ(頭の大きさ、直立した高さ、しゃがんだ高さなどの既知の人の大きさ)を投影記憶部135にあらかじめ記憶しておく。人が侵入する場合はあらかじめ登録したセキュリティ区域である敷地内にある門扉の高さ、車の高さ、植生の高さ以外で人間的な高さがあるものが人であり、その形状の複数の画像によって侵入者(図14のフレーム参照)を判定する。
ここで、立面的に侵入を判定するには、上述した図9のステップS31,ステップS32で投影逆変換部112が、投影記憶部135から、あらかじめ3次元空間内に投影した形状として定義して記憶しておいた投影形状と人の大きさ情報を読み込む。そして、ステップS33で、セキュリティ区域内で検出した人の2次元画像と人の大きさをもとに、1つの監視カメラ11の画像から投影変換の逆変換をすることによって、3次元位置を検出する。
図15は、人間の状態による高さの変化を説明する図である。図15の符号eは、高さに変化のある異常な状態を示す。図15の符号fは、投影記憶部135(図2参照)に登録されている色々な高さの物体(門扉など)を示し、図15の符号gは、投影記憶部135(図2参照)に登録されている正常な状態の人の大きさ(高さ)を示す。
図15に示すように、人間的な位置の正確さと3次元的な高さを(伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等を判断するため、人間の5体すなわち、頭部、顔の各部部品、体、足などの厚さ、高さとの対比を正しく表せるようにする)反映する。これにより、注意度判断の精度を100%近くまで高める。
人間の高さは、監視カメラから得られた画像の内の動体を囲む領域(一次ライン)(図14のフレーム参照)のボックスの高さにより求める。
<時間による侵入検証>
立面における侵入者検出を、時間による侵入でより精度よく検証する技術を説明する。
図16は、人間の状態による高さの変化を説明する図である。図16の符号hは、侵入者が停止している状態、図16の符号iは、侵入者がゆっくり移動している状態、図16の符号jは、侵入者が早く移動している状態をそれぞれ示す。
前記立面における侵入者検出では、ある一瞬間に人間が警戒領域(敷地境界内)に侵入しているかどうかを判断することはできるものの、何らかの目的を持って侵入しているかどうかは判別できない。つまり、たまたま一時的に警戒領域(敷地境界内)に侵入してしまったケースを除去できない。このため、デジタルアキュレート・セキュリティシステム1000では、時間的な継続性を加味する。
図16に示すように、人間が敷地内に侵入したことを判別した情報が短い時間の間に連続して得られた場合。例えば2秒間に連続して検知されたとすると、それは侵入者が意図をもって侵入したと判断できる。この時間による侵入を検証技術を用いて「人現が意図を持って敷地内に侵入した」という事実を判断でき、その状態情報を登録することができる。
[検出された侵入者の注意度評価]
デジタルアキュレート・セキュリティシステム1000は、検出された侵入者の注意度を評価し、注意度に応じて利用者に通知する。上述した、図8BのフローのステップS19の「危険度(注意度、緊急度)に応じた通報」に対応する。
具体的には、瞳の動きによる判断技術と、首の動きによる判断技術を用いる。これにより、デジタルアキュレート・セキュリティシステムは、警戒領域に侵入検知された対象の心理状態を危険度として評価を行うことができる。
<瞳の動きによる判断>
図17上段は、瞳の動き(左右)による判断を説明する図である。
画像処理の技術を用いると顔は「顔器官検出(Facial Landmark Detection)」によって、目鼻口の位置を獲得できる。次の技術により瞳の場所を判断する。
まず、(1)目の画像を切り出す。これを一次ラインと呼称する。(2)次にその画像を二値化する。瞳は黒くなり、白眼は白となる。(3)目を水平の3つの領域に分ける(右、中央、左)。このそれぞれの領域の黒の画素を数える。この最も多い領域を二次ラインと呼称するこの二次ラインに瞳が有ると判断する。つまり、瞳が右に寄っているか、左に寄っているか、中央にあるかを判断できる。
<首の動き(左右)による判断>
図17中段は、首の動き(左右)による判断を説明する図である。
首の動き、つまり左右を見渡したり、上をうかがう時、人は首を動かす。この首の動きは顔の向きという形であらわされる。顔器官検出で得られる点を内包する矩形を一次ラインとし、目鼻口を内包する矩形を二次ラインとすると、この一次ラインと二次ラインに囲まれる領域の重心座標の隔たりにより顔の向きをベクトルとして数値的にあらわすことができる。
図17中段の矩形枠に示す顔全体の位置に対して、目・眉・鼻・口・顎の輪郭を抽出することで、図17中段の中央のニュートラルな状態から、左に顔を向けるように首を動かす状態と、右に顔を向けるように首を動かす状態とが段階的に判定される。なお、この技術を用いて、ある角度から撮影された顔画像をもとに、ニュートラルな状態の顔画像を生成することもできる。
<首の動き(上下)による判断>
図17下段は、首の動き(上下)による判断を説明する図である。
この首の動き(上下)も首の動き(左右)と同様に判断することができる。
<時間の経過による判断>
図17上段に示す瞳の位置による判断だけでは、瞬間的な状況だけしかわからない。このため、短い時間における状態を追跡する。例えば、1秒間に秒5フレーム又は10フレームで目の位置情報を取得・記録し右、中央、左と判断される状況が混在した場合、目が激しく動いていると判断できる。これにより、デジタルアキュレート・セキュリティシステムは、「人が悪意を持つことにより目を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
また、首の位置についても同様に、首の動き時間の変化を用いることにより動きを判断できる。例えば2秒という短い時間にベクトルが右方向から左方向、或いは上方向から下方向に変化した場合、首が激しく動いたと判断できる。これにより、デジタルアキュレート・セキュリティシステムは、「人が悪意を持つことにより首を激しく動かせた」と考えられる状態を判断でき、その状態を登録することができる。
なお、図17の瞳と首の動きの変化による判断処理は、図25の適用例4において後記する。
[BLEによる警備解除]
図18は、BLEによる一時的な警備解除を説明する図である。
BLE(Bluetooth Low Energy)は、近接接近を検知する技術である。デジタルアキュレート・セキュリティシステムは、利用者がスマートフォンにデジタルアキュレート・セキュリティシステム専用のアプリケーションをインストールすることにより、利用者・その家族が警戒範囲に侵入することを許す機能を持つ。利用者はあらかじめ定められた解除コードを持ち(アプリの中にインストールされている)、近接を感知すると、この解除コードがBLEによりデジタルアキュレート・セキュリティシステムに送信され、一時的に警戒モードを解除する(図16参照)。これにより、利用者・その家族が敷地内でする行動について検知対象外とすることが可能になり、精度の高い侵入検知を行うことができる。
[適用例]
デジタルアキュレート・セキュリティシステムによる侵入検出の適用例について説明する。
<適用例1>
図19は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例1を説明する図である。
図19に示すように、敷地境界の内側にセキュリティ・イエローベルトを設定し、セキュリティゾーンを挟んで、玄関ドア及び窓を有する家屋の壁面を囲むようにセキュリティ・レッドベルトを設定する。図19は、平面図であるが、立面による侵入者の検出を示すために、侵入者については、(1)水平位置(X軸,Y軸)と水平位置に垂直な(2)垂直位置(Z軸)を破線により表している。すなわち、侵入者は、上述した「投影逆変換部112によって3次元空間内の位置」が検出される。図19の西側スペース及び南側スペースのセキュリティゾーンにいる不審者(しゃがんだ不審者、伏した不審者)についても同様に、立面における侵入者検出が実行される。
図20は、図19の適用例1において、デジタルアキュレート・セキュリティシステム1000、家族、不審者の動作の概要を示すフローチャートである。図20の家族及び不審者のフローは、CPU処理ではないが、便宜上ステップ番号を付して説明する。家族(family)はステップF、不審者(Suspicious person)はステップSPを付している。
《デジタルアキュレート・セキュリティシステム》
ステップS101でデジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
ステップS102で時間により警備モードを変更する(ステップS2)(図5のステップS2に対応)。
設定した任意の条件判定を行う(ステップS103)。
22:00以降など家族全員が帰宅済みの場合、ステップS104で在宅警備を自動開始する。
夜23:00などの場合、ステップS105で在宅警備を自動開始する。
朝5:00などの場合、ステップS106で在宅警備を自動解除する。
監視カメラから画像を得る(ステップS107)。
画像の中で人間を囲む矩形を得る(ステップS108)。
家屋外周に設置された監視カメラの映像から、侵入者を検出・登録する(ステップS109)。
家族のスマートフォンにBLE信号を送る(ステップS110)。
BLEによる警備の一時解除が行われたか否か判定する(ステップS111)。
警備の一時解除が行われた場合、警備を一時解除する(ステップS112)。
警備の一時解除が行われない場合、ステップS113で侵入者の水平位置、垂直位置を取得する。
不審者による敷地内への侵入が行われたか否かを判別する(ステップS114)。
不審者による敷地内への侵入が行われた場合、ステップS115で検出された侵入者の注意度(図8のステップS17の「危険度判定」に対応)を評価し、注意度に応じて利用者に通知する情報を作成する。
ステップS116で家族のスマートフォンに発報して通知して(図8のステップS18の「通報」に対応)上記ステップS102に戻る。
《家族》
家族又は関係者が警備モードを設定する(ステップF1)。家族が不在の時は外出警備にし、家族が在宅の時は在宅警備にする。家族による警備モードの設定(ステップF1)情報は、デジタルアキュレート・セキュリティシステム1000に送信され、デジタルアキュレート・セキュリティシステム1000が警備を開始する(ステップS1)。
セキュリティ・イエローベルト内に侵入者が侵入する(ステップF2)。例えば、図19に示す北側のセキュリティ・イエローベルトに不審者が侵入する。デジタルアキュレート・セキュリティシステム1000は、監視カメラから画像を得る(ステップS107)。
侵入者は家族であるか否かを判定する(ステップF3)。
侵入者が家族の場合、セキュリティ・イエローベルト内に家族が立ち入っている(ステップF4)。例えば、図19に示す北側のセキュリティ・イエローベルト内に家族が立ち入っている。
デジタルアキュレート・セキュリティシステム1000は、家族のスマートフォンにBLE信号を送り(ステップS110)、家族のスマートフォンがBLE信号を受信する(ステップF5)。
これを受けて、家族又は関係者はBLEを使いスマートフォンにより屋外から警備モードを変更する(ステップF6)。家族が警備強化の必要があると判断したためである。
敷地内で自由に行動する(ステップF7)。
スマートフォンで通知を受け取る(ステップF8)。
スマートフォン、監視カメラのスピーカから侵入者に警告を通知する(ステップF9)。
《侵入者》
セキュリティ・イエローベルト内に侵入者が侵入し、侵入者が家族でない場合、セキュリティ・イエローベルト内に不審者が立ち入っている(ステップSP1)。
敷地内で不審者が伏せる姿勢、座る姿勢、中腰の姿勢、立脚の姿勢等をとる(ステップSP2)。
不審者の目が左右にきょろきょろする(ステップSP3)。
不審者が首を左右に素早く振る(ステップSP4)。
不審者が首を上下に素早く振る(ステップSP5)。
これら不審者の動きは、デジタルアキュレート・セキュリティシステム1000に送られ、デジタルアキュレート・セキュリティシステム1000は、不審者の動きに基づいて危険度(注意度、緊急度)を判定する。デジタルアキュレート・セキュリティシステム1000は、家族や関係機関に、危険度(注意度、緊急度)に応じたレベルの通知を行うことができる。
<適用例2>
図21は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例2を説明する図である。図21は、家屋外周に設置された監視カメラの映像から侵入者を検出・登録する例を示している。図22は、図21の適用例2において、デジタルアキュレート・セキュリティシステム1000の動作を示すフローチャートである。
図21左は、不審者侵入前(Before)の1秒間に10コマの場合の画像である。図21左に示すように、不審者は、セキュリティ・イエローベルトゾーンへ侵入していない。
図21右は、不審者侵入後(After)の1秒間に10コマの場合の画像である。図21右に示すように、不審者は、セキュリティ・イエローベルトゾーンへ侵入した。デジタルアキュレート・セキュリティシステム1000の制御部110(図2参照)の人検出部111は、監視カメラ11によって撮影された画像から人(不審者)を検出する。図21右において検出された不審者は、矩形の枠で示され、セキュリティ・レッドベルトまでのおおよその2次元距離は破線で示される。図21右に示すように、セキュリティ・イエローベルトを越えて侵入した不審者は、セキュリティ・レッドベルトに近づいて来ている。
図22において、ステップS201でセキュリティ・レッドベルトへの侵入者を検出する。上述したように、デジタルアキュレート・セキュリティシステム1000の制御部110(図2参照)の人検出部111は、監視カメラ11によって撮影された画像から人を検出する。
ステップS202でセキュリティ・レッドベルト(家屋の壁面等から例えば30cm〜4mの範囲)への侵入者検出を開始する。
以下、立面における侵入者検出(ステップS203〜ステップS209)と、平面における侵入者検出(ステップS210〜ステップS214)と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。本実施形態は、投影逆変換部112(図2参照)が、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する。そして、制御部110(図2参照)が、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報することに特徴がある。このため、立面における侵入者検出が主要動作であり、図21も立面における侵入者の画像を示している。
ステップS203で立面における侵入者検出を開始(1秒間に5〜10コマの画像)する。
ステップS204で1秒間の画像、例えば10コマ/秒の場合1/10〜10/10の画像を立面上で検査する。
ステップS205で侵入検知されたか否かを判定する。
ステップS205で侵入検知されない場合、ステップS206で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS205で侵入検知された場合、ステップS208で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
一方、ステップS210で平面における侵入者検出を開始(1秒間に5〜10コマの画像)する。
ステップS211で1秒間の画像、例えば1秒間に10コマの場合1/10〜10/10の画像を平面上で検査する。
ステップS212で侵入検知されたか否かを判定する。
ステップS212で侵入検知されない場合、ステップS213で侵入なしと判定し、ステップS207で正常と判断して本フローの処理を終了する。
ステップS212で侵入検知された場合、ステップS214で侵入ありと判定し、ステップS209で異常(要注意)と判断して本フローの処理を終了する。
適用例2では、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。
<適用例3>
図23は、デジタルアキュレート・セキュリティシステム1000による侵入検出の適用例3を説明する図である。図23左は平面における侵入者検出を示す平面図、図23右は立面における侵入者検出を示す立面図である。
図23右は、図23左の平面図を、上述した「立面的に侵入を判定する技術(図13〜図14参照)」により立面による侵入者の検出の3次元空間に投影変換した立面図である。図23右は、カーゲートより内側に侵入者が入っている様子を示す。侵入者は、水平位置(X軸,Y軸)と垂直位置(Z軸)を破線により表される。
図24は、図23の適用例3において、デジタルアキュレート・セキュリティシステム1000が家屋外周に設置された監視カメラの映像から侵入者を検出・登録する動作を示すフローチャートである。
ステップS301でセキュリティ・イエローベルト(セキュリティ該当敷地内、道路境界、隣地境界から例えば30cm〜4mの範囲)への侵入者検出を開始する。
以下、立面における侵入者検出(ステップS302〜ステップS311)と、平面における侵入者検出(ステップS210〜ステップS214)と、に分岐して、立面と平面のそれぞれにおいて侵入者を検出する。
ステップS302で立面における侵入者検出を開始(5〜10コマ/秒の画像)する。
ステップS303で1秒間の画像(例えば、1秒間に10コマの場合1/10〜10/10の画像)を立面上で検査する。
ステップS304で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を立面上で検査する。
ステップS305で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS306で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
上記ステップS305で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS308で侵入の可能性があると判断し、ステップS309で時間的検証を開始する。立面における時間的検証は、下記の通りである。
すなわち、ステップS310で次の1秒間の画像(例えば、10コマ)を立面上で検査する。次いで、ステップS311で上記ステップS310の時間的検証を1〜2分間繰り返し行って精度を高める。
ステップS312で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
一方、ステップS314で平面における侵入者検出を開始(5〜10コマ/秒の画像)する。
ステップS315で1秒間の画像(例えば、1秒間に10コマの場合1/10〜10/10の画像)を平面上で検査する。
ステップS316で1秒後から2秒後までの1秒間の画像(例えば、10コマの画像)を平面上で検査する。
ステップS317で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS319で侵入がないと判断し、ステップS307で正常と判断して本フローの処理を終了する。
上記ステップS317で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS319で侵入の可能性があると判断し、ステップS309で時間的検証を開始する。平面における時間的検証は、下記の通りである。
すなわち、ステップS320で次の1秒間の画像(例えば、10コマ)を平面上で検査する。次いで、ステップS321で上記ステップS320の時間的検証を1〜2分間繰り返し行って精度を高める。
ステップS312で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知された場合、ステップS313で異常(要注意)と判定して本フローの処理を終了する。
適用例3では、適用例2と同様に、立面における侵入者検出と平面における侵入者検出とを併用しているので、立面における侵入者検出単体よりも検出の精度を高めることができる。
また、適用例3では、侵入の可能性がある場合、時間的検証を行っているので、侵入者の侵入があることをより確実に検出することができ、検出の精度を高めることができる。
<適用例4>
図25は、適用例4において、デジタルアキュレート・セキュリティシステム1000の注意度に応じて利用者に通知する処理を示すフローチャートである。図25のフローは、図17の瞳と首の動きの変化による判断処理を示している。
ステップS401で顔器官を検出する。
以下、瞳の動きによる侵入者検出と、首の左右の動きによる侵入者検出と、首の上下の動きによる侵入者検出と、に分岐して、侵入者を検出する。
《瞳の動き》
ステップS402で1秒間に5〜10コマの画像をもとに、瞳の左右の場所を判断する。
ステップS403で1秒間の画像、例えば1秒間に10コマの場合1/10〜10/10の画像を検査する。
ステップS404で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS405で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS406で正常と判断して本フローの処理を終了する。
上記ステップS405で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS407で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。瞳の動きによる時間的検証は、下記の通りである。
すなわち、ステップS409で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS410で上記ステップS409の時間的検証を1〜2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
《首の左右の動き》
ステップS414で1秒間に5〜10コマの画像をもとに、首の左右の場所を判断する。
ステップS415で1秒間の画像、例えば1秒間に10コマの場合1/10〜10/10の画像を検査する。
ステップS416で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS417で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS418で正常と判断して本フローの処理を終了する。
上記ステップS419で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS419で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。首の左右の動きによる時間的検証は、下記の通りである。
すなわち、ステップS420で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS421で上記ステップS409の時間的検証を1〜2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
《首の上下の動き》
ステップS422で1秒間に5〜10コマの画像をもとに、首の上下の場所を判断する。
ステップS423で1秒間の画像、例えば1秒間に10コマの場合1/10〜10/10の画像を検査する。
ステップS424で1秒後から2秒後までの1秒間の画像(例えば、10コマ)を検査する。
ステップS425で1秒経過後、2秒以内に2コマ以上検知されたか否かを判定する。
1秒経過後、2秒以内に2コマ以上検知されない場合、ステップS426で正常と判断して本フローの処理を終了する。
上記ステップS425で1秒経過後、2秒以内に2コマ以上検知された場合、ステップS427で異常の可能性があると判断してステップS408に進む。
ステップS408で時間的検証を開始する。首の上下の動きによる時間的検証は、下記の通りである。
すなわち、ステップS428で次の1秒間の画像(例えば、10コマ)を検査する。次いで、ステップS429で上記ステップS428の時間的検証を1〜2分間繰り返し行って精度を高める。
ステップS411で侵入者検出を示す画像が一定時間連続検知されたか否かを判定する。
一定時間連続検知されなかった場合、ステップS412で正常と判定して本フローの処理を終了する。一定時間連続検知された場合、ステップS413で異常(要注意)と判定して本フローの処理を終了する。
上記フローにより、瞳の動き、首の左右の動き、首の上下の動きを判定することで、善意の人か悪意のある侵入者かの判断する際の確度を高めることができ、危険度の判定をより精度良く行うことができる。
以上詳細に説明したように、本実施の形態によれば、デジタルアキュレート・セキュリティシステム1000(図1参照)は、3次元のセキュリティ区域の画像を撮影する監視カメラ11と、監視カメラ11によって撮影された画像の2次元の各位置と監視カメラ11によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶部135と、監視カメラ11によって撮影された画像から人を検出する人検出部111と、人検出によって検出された人の2次元の位置と人の大きさとに基づいて、投影記憶部135によって人の3次元空間内の位置を検出する投影逆変換部112と、投影逆変換部112によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報部115とを備える。
この構成により、低コストで3次元位置を検出して、高度なセキュリティを確立することができる。
本実施形態では、人の大きさが人の頭の大きさであることで、人の大きさを示す指標として、人の年齢や性別等であまり変化のない個人差によらない情報をもとに、侵入者の3次元位置を判定することができる。
本実施形態では、不審者の位置に基づいて危険度を判定することで、危険度に合わせて警戒の状態をランク付けすることができる。これにより、セキュリティ区域へ侵入者に対して、通常の警戒と、よりランクの高いランクの警戒を通知することで、住居の所有者は対応した動作を行え、より高い精度での脅威の排除ができる。
本実施形態では、制御部110が、不審者の動きに基づいて危険度を判定することで、不審者の動きを判定条件に加えて危険度の判定をより精度良く行うことができ、高度なセキュリティを確立することができる。例えば、不審者の動きをもとに、善意の人か悪意のある侵入者かの区別、さらに侵入者の場合には危険度を判定し、危険度に合わせて警戒の状態をランク付けすることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、非侵入者が所持するID端末を検出するID端末検出部113を備え、制御部110は、ID端末検出部113が検出したID端末を所持している人を不審者から除外する。ID端末を所持している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、非侵入者が所持するID端末を登録するID端末登録部114を備え、制御部110は、ID端末登録部114が検出したID端末を所持している人を不審者から除外する。ID端末を登録している人を不審者から除外することで、無駄な通報を削減して監視の実効を図ることができる。また、監視におけるリソースを低減して、低コスト化を図ることができる。
本実施形態では、デジタルアキュレート・セキュリティシステム1000は、CPU以外の計算リソースであるAIアクセラレータ200を備え、制御部110の人検出部111は、AIアクセラレータ200を用いて、セキュリティ区域内の人を検出する。AIアクセラレータ200は、CPU処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、AIアクセラレータ200であることで、従来の画像差分を用いた動体検出型の監視カメラによる画像認識に比べて極めて高い精度での侵入者の検出を行うことができる。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
また、上記実施の形態ではデジタルアキュレート・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。
また、本発明のデジタルアキュレート・セキュリティシステム及び方法は、コンピュータを本デジタルアキュレート・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。
このプログラムを記録した記録媒体は、本デジタルアキュレート・セキュリティシステムのROMそのものであってもよいし、また、外部記憶装置としてCD−ROMドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等であってもよい。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、IC(Integrated Circuit)カード、SD(Secure Digital)カード、光ディスク等の記録媒体に保持することができる。
本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。
本発明に係るデジタルアキュレート・セキュリティシステム、方法及びプログラムは、住居、企業の事務所、工場、研究所、情報処理室、金銭集計室等の高度の管理を要する事業所等への設置が期待される。さらに、住宅、商業施設、事務所、病院、ホテル、金融機関、工場、研究所、発電所、エアーターミナル、集会場、競技場、美術館等の建物屋内外、交通機関の電車、フェリー、飛行機の車内等も対象である。
11 監視カメラ(撮影手段)
20 人感センサ
30 Wi-Fi親機
40 ビーコン親機
50 携帯端末装置(ID端末)
50a スマートフォン(携帯端末装置;ID端末)
51 Wi-Fi子機
52 ビーコン子機
53 GPS
100 監視装置
110 制御部
111 人検出部(人検出手段)
112 投影逆変換部(投影逆変換手段)
113 ID端末検出部(ID端末検出手段)
114 ID端末登録部(ID端末登録手段)
115 通報部(通報手段)
120 入力部
130 記憶部
135 投影記憶部(投影記憶手段)
140 表示部
150 出力部
160 録画部
165 顔情報DB
170 画像処理部
180 インタフェース(I/F)部
190 通信部
200 AIアクセラレータ(人検出手段)
1000 デジタルアキュレート・セキュリティシステム

Claims (9)

  1. 3次元のセキュリティ区域の画像を撮影する撮影手段と、
    前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、
    前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、
    前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、
    前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段と
    を備えることを特徴とするデジタルアキュレート・セキュリティシステム。
  2. 前記通報手段は、前記検出された人の3次元空間内の位置の時間的経緯によって不審者の存在を判断し、その存在を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  3. 前記人の大きさが人の頭の大きさであることを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  4. 前記通報手段は、前記不審者の位置に基づく危険度を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  5. 前記通報手段は、前記不審者の動きに基づく危険度を通報することを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  6. 非侵入者が所持するID(Identification)端末を検出するID端末検出手段を備え、
    前記通報手段は、前記ID端末検出手段が検出した前記ID端末を所持している人を通報しないことを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  7. 非侵入者が所持するID(Identification)端末を登録するID端末登録手段を備え、
    前記通報手段は、前記ID端末登録手段が登録した前記ID端末を所持している人を通報しないことを特徴とする請求項1記載のデジタルアキュレート・セキュリティシステム。
  8. 3次元のセキュリティ区域の画像を撮影する撮影ステップと、
    前記撮影ステップによって撮影された前記画像の2次元の各位置と前記撮影ステップによって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶ステップと、
    前記撮影ステップによって撮影された前記画像から人を検出する人検出ステップと、
    前記人検出ステップによって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶ステップによって前記人の3次元空間内の位置を検出する投影逆変換ステップと、
    前記投影逆変換ステップによって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報ステップと
    を備えることを特徴とするデジタルアキュレート・セキュリティ方法。
  9. コンピュータを、
    3次元のセキュリティ区域の画像を撮影する撮影手段と、前記撮影手段によって撮影された前記画像の2次元の各位置と前記撮影手段によって撮影された3次元空間内の各位置とを対応付けて記憶する投影記憶手段と、前記撮影手段によって撮影された前記画像から人を検出する人検出手段と、前記人検出によって検出された人の2次元の位置と人の大きさとに基づいて、前記投影記憶手段によって前記人の3次元空間内の位置を検出する投影逆変換手段と、前記投影逆変換手段によって検出された人の3次元空間内の位置が3次元のセキュリティ区域内であることを受けて、不審者の存在を通報する通報手段とを備えるデジタルアキュレート・セキュリティシステム
    として機能させるためのプログラム。
JP2019518115A 2019-02-27 2019-02-27 デジタルアキュレート・セキュリティシステム、方法及びプログラム Active JP6529062B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007706 WO2020174634A1 (ja) 2019-02-27 2019-02-27 デジタルアキュレート・セキュリティシステム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6529062B1 JP6529062B1 (ja) 2019-06-12
JPWO2020174634A1 true JPWO2020174634A1 (ja) 2021-03-11

Family

ID=66821534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518115A Active JP6529062B1 (ja) 2019-02-27 2019-02-27 デジタルアキュレート・セキュリティシステム、方法及びプログラム

Country Status (5)

Country Link
US (1) US20220139199A1 (ja)
EP (1) EP3933794A4 (ja)
JP (1) JP6529062B1 (ja)
CN (1) CN113490970A (ja)
WO (1) WO2020174634A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261404A1 (ja) * 2019-06-26 2020-12-30 日本電気株式会社 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7389997B2 (ja) 2019-11-07 2023-12-01 シーテックドライブ株式会社 カメラを用いたマーケティングシステム
CN110995808B (zh) * 2019-11-25 2024-04-02 国网安徽省电力有限公司建设分公司 基于泛在电力物联网的电网基建现场安全动态管控系统
CN111009089B (zh) * 2019-11-25 2024-02-13 国网安徽省电力有限公司建设分公司 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法
JP7344570B2 (ja) 2021-01-18 2023-09-14 ピクシーダストテクノロジーズ株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
JP4780455B2 (ja) * 2006-02-28 2011-09-28 サクサ株式会社 映像監視装置及び方法
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
US7411497B2 (en) * 2006-08-15 2008-08-12 Lawrence Kates System and method for intruder detection
CN101228973B (zh) * 2007-01-22 2011-08-03 殷实 人体外形尺寸非接触式测量方法及测量系统
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
JP4793422B2 (ja) * 2008-10-10 2011-10-12 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
JP5003731B2 (ja) * 2009-07-07 2012-08-15 日本電気株式会社 巡回警備支援システム、方法及びプログラム
EP2641236A1 (en) * 2010-11-17 2013-09-25 Omron Scientific Technologies, Inc. A method and apparatus for monitoring zones
CN104509097B (zh) * 2012-05-30 2019-06-14 株式会社日立制作所 监视摄像机控制装置以及图像监视系统
EP2871624B1 (en) * 2012-07-05 2017-03-01 Technomirai Co., Ltd Digital security network system and method
CN102914267A (zh) * 2012-09-27 2013-02-06 无锡天授信息科技有限公司 一种运动目标尺寸检测系统及方法
KR102092571B1 (ko) * 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
CN103310589B (zh) * 2013-07-05 2015-06-17 国家电网公司 一种报警信息生成方法及装置
US11120274B2 (en) * 2014-04-10 2021-09-14 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
JP6526955B2 (ja) * 2014-10-27 2019-06-05 株式会社日立製作所 センサ情報統合方法、及びその装置
IL236752B (en) * 2015-01-15 2019-10-31 Eran Jedwab Integrated security method and system
GB201509387D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Method and apparatus for image processing (distance detection)
US11710321B2 (en) * 2015-09-16 2023-07-25 Energous Corporation Systems and methods of object detection in wireless power charging systems
US10277836B2 (en) * 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
JP2019009752A (ja) * 2017-06-20 2019-01-17 一般社団法人 日本画像認識協会 画像処理装置
US10949692B2 (en) * 2018-03-08 2021-03-16 Sri International 3D dynamic structure estimation using synchronized images

Also Published As

Publication number Publication date
WO2020174634A1 (ja) 2020-09-03
US20220139199A1 (en) 2022-05-05
CN113490970A (zh) 2021-10-08
EP3933794A4 (en) 2022-08-03
EP3933794A1 (en) 2022-01-05
JP6529062B1 (ja) 2019-06-12

Similar Documents

Publication Publication Date Title
JP6525229B1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
US8606316B2 (en) Portable blind aid device
JP5871296B1 (ja) スマートセキュリティ・デジタルシステム、方法及びプログラム
US20200402378A1 (en) Gunshot Detection System with Location Tracking
US20080198225A1 (en) TVMS- a total view monitoring system
JP2007133847A (ja) 混雑状況提示装置、及び、混雑状況情報閲覧システム
KR101729966B1 (ko) 화상 인식 및 음성 안내 기능이 구비된 cctv 카메라 시스템 및 그 동작 방법
US20210241597A1 (en) Smart surveillance system for swimming pools
KR101515434B1 (ko) 재난 신고 시스템
WO2020213058A1 (ja) デジタルスマート・ディフェンスセキュリティシステム、方法及びプログラム
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
JP6754451B2 (ja) 監視システム、監視方法及びプログラム
KR101936390B1 (ko) Cctv 기반의 트래킹 서비스 제공 방법 및 장치
JP6796000B2 (ja) 監視支援装置及び監視システム
JP6773389B1 (ja) デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP7244135B2 (ja) デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム
WO2021186751A1 (ja) デジタル・オートファイル・セキュリティシステム、方法及びプログラム
KR101496948B1 (ko) 다기능 방범카메라 통합방범 시스템
KR101336825B1 (ko) 학교폭력 및 범죄 예방을 위한 감시시스템
JP6750931B1 (ja) デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム
KR101571838B1 (ko) 비콘의 다기능 시스템을 이용한 다기능 방법.
KR20160099932A (ko) 삼차원 지도 기반 폐쇄회로 텔레비전 영상 매핑 시스템
KR102560847B1 (ko) 영상기반 얼굴 인식, 건강 체크 및 위치 추적 시스템
KR101513466B1 (ko) 다기능 방범카메라 통합방범 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190410

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6529062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250