JP7428191B2 - 監視システム、監視装置、監視方法、およびプログラム - Google Patents

監視システム、監視装置、監視方法、およびプログラム Download PDF

Info

Publication number
JP7428191B2
JP7428191B2 JP2021573696A JP2021573696A JP7428191B2 JP 7428191 B2 JP7428191 B2 JP 7428191B2 JP 2021573696 A JP2021573696 A JP 2021573696A JP 2021573696 A JP2021573696 A JP 2021573696A JP 7428191 B2 JP7428191 B2 JP 7428191B2
Authority
JP
Japan
Prior art keywords
person
monitoring
watched
monitoring device
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021573696A
Other languages
English (en)
Other versions
JPWO2021152736A1 (ja
JPWO2021152736A5 (ja
Inventor
大輝 山崎
龍司 若草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021152736A1 publication Critical patent/JPWO2021152736A1/ja
Publication of JPWO2021152736A5 publication Critical patent/JPWO2021152736A5/ja
Application granted granted Critical
Publication of JP7428191B2 publication Critical patent/JP7428191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Description

本発明は、監視システム、監視装置、監視方法、およびプログラムに関する。
近年、様々な場所に監視カメラが設置されている。これにより、危険の抑制が図られている。例えば特許文献1には、プラントの現場を監視するシステムが記載されている。このシステムでは、GPS(Global Positioning System)の電波が届かないプラントの現場において、作業員の位置を監視カメラの画像情報を用いて検知し、危険領域に入ったか否かを監視している。
特開2009-134488号公報
人が他人から危害を加えられる場合、その他人は被害者が知らない人であることが多い。特に人が生活圏外に移動した場合、見知らぬ他人から危害が加えられる可能性が出てくる。また、生活圏内であっても、ストーカー等が、本人に気が付かれないように接近して危害を加えられる可能性もある。
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、人が他人から危害を加えられるリスクを低減することにある。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の側面は、監視システムに関する。
第一の側面に係る監視システムは、
見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
画像処理装置と、
監視装置と、を有し、
前記監視装置は、
見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を有する。
第二の側面は、監視装置に関する。
第二の側面に係る監視装置は、
見守り対象の人の特徴量を記憶する特徴量記憶手段と、
前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を有する。
第三の側面は、少なくとも1つのコンピュータにより実行される監視方法に関する。
第三の側面に係る監視方法は、
監視装置が、
見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
前記検出した結果を用いて、所定の出力を行う、ことを含む。
なお、本発明の他の側面としては、上記第三の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、監視装置上で、その監視方法を実施させるコンピュータプログラムコードを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
上記各側面によれば、人が他人から危害を加えられるリスクを低減することができる。
実施形態に係る監視システムの概要を模式的に示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 実施形態に係る監視システムの各装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 実施形態の監視装置の動作例を示すフローチャートである。 登録情報のデータ構造例を示す図である。 実施形態に係る監視システムの構成例を模式的に示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 不審者通知画面の一例を示す図である。 実施形態に係る監視装置の動作の一例を示すフローチャートである。 実施形態に係る監視システムの論理的な構成例を示す機能ブロック図である。 所定のリストのデータ構造の一例を示す図である。 実施形態に係る監視システムの動作例を示すフローチャートである。 警告画面の一例を示す図である。 カメラ情報および地域リストのデータ構造例を示す図である。 実施形態に係る監視システムの論理的な構成例を示す機能ブロック図である。 実施形態に係る監視システムの動作例を示すフローチャートである。 進入通知画面の一例を示す図である。 監視画面の一例を示す図である。 実施形態に係る監視装置の論理的な構成例を示す機能ブロック図である。 不審者通知画面の他の例を示す図である。 登録画面の一例を示す図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
(第1実施形態)
<システム概要>
図1は、実施形態に係る監視システム1の概要を模式的に示す図である。監視システム1は、街中に設置されている監視カメラ5で撮像された画像を処理して、予め登録されているグループ20に属している人物22に、グループ20に属していない人物30が近づいてきた場合に、そのことをグループ20の人物22のユーザ端末10に伝える。あるいは、監視センタの監視者がグループ20や街の状態を見守る。ただし、見守り対象の人物22はグループ20に属していなくてもよく、個人であってもよい。この場合、見守り対象の人物以外の人物が見守り対象者に近づくことを監視する。
見守り対象となる撮影場所は、通路、道路などの路上、広場などであるが、施設内も含んでもよい。撮影場所は、例えば、不特定多数の人が集まる場所である。つまり、監視システム1は、グループ20に属さない人物30(見知らぬ人)が接近していることをグループ20の人物22に知らせて注意喚起したり、監視センタ側でも監視者が見守ったりすることで、利用者が犯罪に遭うリスクを低減させ、街の治安をよくできる。
さらに、後述する実施形態で説明するように、撮影場所は、指定された場所であってもよい。例えば、ストーカーなどの人物が見守り対象の人物に気付かれないように近づくことを検出してもよい。つまり、撮影場所は、見守り対象の人物が利用する駅周辺、通勤通学路、商店街、自宅周辺などを含む場所を指定してもよい。
監視システム1は、監視装置100と、特徴量記憶装置200と、画像処理装置210と、ユーザ端末10と、少なくとも1台の監視カメラ5とを含む。監視カメラ5は、監視システム1に特化したものであってもよいし、例えば、以前から設置されている監視カメラ5を流用してもよい。
監視カメラ5は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備える。監視カメラ5は、画角に入る人物の動きに合わせて追従してカメラ本体やレンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
監視カメラ5により生成される画像は、リアルタイムに撮影され、監視装置100に送信されるのが好ましい。ただし、監視装置100に送信される画像は、監視カメラ5から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。監視カメラ5で撮像された画像は、一旦他の記憶装置に格納され、監視装置100が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、監視装置100に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。
監視カメラ5と監視装置100の間の接続方式は、無線でも有線でもよい。無線接続の場合は、監視カメラ5と監視装置100はそれぞれ無線通信機能を有しているものとする。監視カメラ5は、例えばIP(Internet Protocol)カメラ等のネットワークカメラであってもよい。
<機能構成例>
図2は、図1の監視装置100の論理的な構成例を示す機能ブロック図である。監視装置100は、検出部102と、出力部104と、特徴量記憶装置200と、を備える。特徴量記憶装置200は、見守り対象の人の特徴量を関連付けて記憶する。検出部102は、特徴量を用いて撮像画像を処理することにより、見守り対象ではない人物30が、見守り対象の人物22に基準距離以内に近づいたことを検出する。つまり、検出部102は、特徴量記憶装置200に特徴量が記憶されていない人物を見守り対象以外の人物(見守り対象でない人物30)であると判別する。出力部104は、検出部102の検出結果を用いて、所定の出力を行う。
特徴量記憶装置200は、同一のグループ20に属する人の特徴量を関連付けて記憶してもよい。以下、本実施形態では同一グループ20に属する人の特徴量が関連付けて記憶されている例を中心に説明する。
特徴量記憶装置200は、監視装置100の内部に設けられる装置であってもよいし、監視装置100とは別体の装置であってもよいし、これらの組み合わせであってもよい。特徴量記憶装置200は、複数の記憶装置であってもよい。
グループ20とは、例えば、行動を共にするツアー客の集団などである。本監視システム1の利用者は事前にユーザ登録を行うとともに、グループ登録も行う。各登録情報については後述する。
<ハードウェア構成例>
図3は、図1に示す監視システム1の監視装置100、画像処理装置210、およびユーザ端末10をそれぞれ実現するコンピュータ1000のハードウェア構成を例示するブロック図である。
コンピュータ1000は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、およびネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は監視システム1の監視装置100の各機能(例えば、検出部102、出力部104、後述する判定部106、位置情報取得部108、受付部110、登録部112等)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、監視装置100が使用する各種情報を記憶する記憶部としても機能する。特徴量記憶装置200を監視装置100の内部に含む構成の場合は、ストレージデバイス1040は、特徴量記憶装置200としても機能する。
プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ1000が使用可能な媒体を含み、その媒体に、コンピュータ1000(プロセッサ1020)が読み取り可能なプログラムコードが埋め込まれてよい。
入出力インタフェース1050は、コンピュータ1000と各種入出力機器とを接続するためのインタフェースである。
ネットワークインタフェース1060は、コンピュータ1000を通信ネットワーク3に接続するためのインタフェースである。この通信ネットワーク3は、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060が通信ネットワーク3に接続する方法は、無線接続であってもよいし、有線接続であってもよい。ただし、ネットワークインタフェース1060は用いられないことも有る。
そして、コンピュータ1000は、入出力インタフェース1050またはネットワークインタフェース1060を介して、必要な機器(例えば、監視カメラ5、ディスプレイ(不図示)、スピーカ(不図示)など)に接続する。
監視システム1は、監視装置100と、ユーザ端末10と、画像処理装置210との組み合わせにより実現されるため、それぞれを構成する複数のコンピュータ1000により実現される。監視装置100は、例えば、サーバコンピュータである。ユーザ端末10は、例えば、スマートフォン、タブレット端末などである。画像処理装置210は、監視装置100とは別体の装置であってもよいし、監視装置100の内部に含まれる装置であってもよいし、これらの組み合わせであってもよい。
図2の本実施形態の監視装置100の各構成要素は、図3のコンピュータ1000のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。各実施形態の監視装置100を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
監視装置100を実現するシステム構成例は複数考えられ、以下に例示されるがこれらに限定されない。
一例では、ユーザ端末10に、当該監視システム1が提供するサービスを利用するためのアプリケーションプログラムをインストールして起動する。ユーザ端末10上でアプリケーションを動作させるとともに、ユーザ端末10から監視装置100のサーバコンピュータにアクセスすることで利用者は監視システム1のサービスを利用できる。なお、予め利用者が本システムのサービスへの利用登録を行い、ユーザ情報を登録および認証情報(ユーザIDとパスワード)を取得することで監視システム1を利用可能になる。
この例では、図2などに示される監視装置100の各機能(例えば、検出部102、出力部104)をユーザ端末10と監視装置100(サーバ装置)とで分担して実現することもできる。ただし、本実施形態では、ユーザ端末10は監視装置100のユーザインタフェース機能を実現し、監視装置100(サーバ装置)が主な機能(例えば、検出部102、出力部104)を実現している。
他の例では、ユーザ端末10において、所定のブラウザを起動し、インターネットなどの通信ネットワーク3を介して監視システム1のサービスを提供するウェブページにアクセスする。
予め利用者が本システムのサービスへの利用登録を行い、ユーザ情報を登録および認証情報(ユーザIDとパスワード)を取得することで監視システム1を利用可能になる。監視装置100は、利用者の監視状況をユーザ専用のウェブページに出力して情報提供する。
さらなる他の例では、コンピュータ1000は、監視装置100のサービスを提供するSaaS(Software as a Service)などシステムのサーバ装置であってもよい。ユーザ端末10は、インターネットなどの通信ネットワーク3を介してサーバにアクセスし、サーバ上で動作するプログラムにより監視装置100が実現されてもよい。
<動作例>
図4は、本実施形態の監視装置100の動作例を示すフローチャートである。まず、特徴量記憶装置200には、見守り対象となる同一のグループに属する人の特徴量を関連付けて記憶する(ステップS101)。図5(a)は、ユーザ登録情報130のデータ構造の一例を示す図である。ユーザ登録情報130は、少なくとも利用者を識別する識別情報(ユーザID)と、特徴量とが関連付けられて記憶され、さらに、利用者の氏名(またはユーザ名)と、パスワードとが関連付けてもよい。図5(b)は、グループ登録情報132のデータ構造の一例を示す図である。グループ登録情報132は、グループ20の識別情報(グループID)と、グループ20の少なくとも2人のメンバーのユーザIDとが関連付けられる。あるいは、グループ登録情報132には、グループ20の少なくとも2人のメンバーの特徴量を関連付けて記憶してもよい。図5のユーザ登録情報130およびグループ登録情報132は特徴量記憶装置200に記憶される。
本実施形態では、特徴量は、顔の特徴量である。他の例として、例えば、虹彩、静脈、耳介、指紋、歩容、背格好(身長、肩幅、身丈、骨格等)等の少なくともいずれか一つの特徴量であってもよい。本実施形態では、利用者が登録時に顔を撮像した撮像画像から抽出された顔の特徴量が特徴量記憶装置200に関連付けられる。
このステップS101の処理は、監視を開始する前の準備として実行される。その後、新たに見守り対象者の特徴量を登録したり、既に登録されている見守り対象者の特徴量を削除したりする必要が生じるまでは行わなくてよい。通常の処理はステップS101の後から実行されてよい。ステップS101から後の処理は、例えば、利用者が当該アプリケーションを起動した後、利用者からの監視の開始指示を受け付けたとき等に開始される。
図4に戻り、検出部102は、特徴量記憶装置200の特徴量(ユーザ登録情報130またはグループ登録情報132の特徴量)を用いて監視カメラ5から取得した撮像画像を画像処理装置210に処理させる(ステップS103)。そして、検出部102は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを検出する(ステップS105)。
そして、出力部104は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを検出したとき(ステップS105のYES)、所定の出力を行う(ステップS107)。一方、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22が基準距離以内に近づいていない場合(ステップS105のNO)、ステップS103に戻り、見守りを続ける。例えば、利用者によるアプリケーションの終了の指示を受け付けることで、本処理は終了する。
所定の出力とは、例えば、当該同一のグループ20に属する人物22に基準距離以内に近づいたことを示す情報をユーザ端末10に出力することである。さらに、監視装置100のディスプレイ(不図示)に情報を出力することであってもよい。
図4の上記ステップS103およびステップS105における検出部102による同一のグループ20に属さない人物30の接近を検出する方法は様々考えられ、以下の第1および第2の方法に例示されるがこれらに限定されない。
図6に示す第1の方法は、図4のステップS101の後、例えば、利用者による見守り開始の指示を受け付けると、本処理が開始される。まず、検出部102は、監視カメラ5から取得した画像に映っている人を画像処理装置210にすべて認識させる(ステップS111)。
そして、検出部102は、画像内の人毎に近隣の他者との間の距離を計測し、基準値未満か否かを判定する(ステップS113)。監視カメラ5毎に撮影範囲毎における画像内の距離を実際の距離に換算する換算係数(比率)を予め登録しておく。検出部102は、この換算係数を用いて、画像内の距離を実際の距離に換算し、基準距離と比較する。あるいは、検出部102は、この換算係数を用いて、基準距離を画像内の距離の尺度に換算し、撮影範囲内の距離と比較する。
基準距離は予め登録しておく。基準距離は、利用者が設定できてもよい。基準距離は、数値で設定できてもよいし、数値以外の指標(例えば、近い/標準/遠い等)で設定できてもよい。さらに、治安のレベルで設定できてもよい。治安が悪い場所では、基準距離は他の場所よりも遠い設定レベルとし、治安がよい場所では、基準距離は他の場所より近い設定レベルとしてもよい。ユーザ端末10上の操作画面でスライダなどのGUI(Graphical User Interface)を用いてユーザ操作により指定できてもよい。
そして、人と人の距離が基準未満の場合(ステップS113のYES)、検出部102は、当該2人の人物の顔部分の特徴量をそれぞれ抽出する。そして、検出部102は、画像処理装置210に特徴量記憶装置200に登録されている顔画像の特徴量と照合させる(ステップS115)。照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていた場合、検出部102は、グループ20に所属していると判別する(ステップS117のNO)。そして、ステップS111に戻り、見守りを続ける。一方、人と人との距離が基準以上の場合(ステップS113のNO)、ステップS111に戻り、見守りを続ける。
一方、照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていない場合、検出部102は、グループ20に所属していないと判別する(ステップS117のYES)。そして、図4のステップS107に進み、出力部104が所定の出力を行う。
図7に示す第2の方法は、図4のステップS101の後、例えば、利用者による見守り開始の指示を受け付けると、本処理が開始される。まず、検出部102は、監視カメラ5から取得した画像に写っている各人の顔の特徴量をそれぞれ抽出し、画像処理装置210に特徴量記憶装置200に記憶されている特徴量と照合させる(ステップS121)。照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていた場合、検出部102は、グループ20に所属していると判別する(ステップS123のNO)。この場合、ステップS121に戻り、見守りを続ける。一方、照合の結果、類似度が閾値以上の特徴量が特徴量記憶装置200に登録されていない場合、検出部102は、グループ20に所属していないと判別する(ステップS123のYES)。この場合、ステップS125に進む。
さらに、検出部102は、そのグループ20に所属していないと判別された人物と、当該人物にもっとも近いグループ20の人物22との距離が基準距離より近いか否かを判定する(ステップS125)。距離の換算方法は図6の方法と同じでよい。そして、距離が基準未満だった場合(ステップS125のYES)、図4のステップS107に進み、出力部104が所定の出力を行う。距離が基準以上だった場合、つまり、グループ20に所属していない人物30とグループ20に所属している人物22との距離が基準未満の場合(ステップS125のNO)、ステップS121に戻り、見守りを続ける。
図8は、出力部104によりユーザ端末10のディスプレイ(不図示)に表示される不審者通知画面300の一例を示す図である。不審者通知画面300は、人物画像表示部302と、アイコン表示部304と、メッセージ表示部306とを含む。人物画像表示部302には、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像が表示される。アイコン表示部304には、利用者に注意喚起を促す画像が表示される。この画像はアニメーションなどにより強調されてもよい。メッセージ表示部306には、利用者にグループ20に所属していない人物30が近づいていることを伝えるメッセージが表示される。
ユーザ端末10には、不審者通知画面300を表示させる以外にも、音声で不審者が近づいていることを利用者に伝えるメッセージをスピーカ(不図示)から出力してもよい。ユーザ端末10に不審者通知画面300を表示させたり音声出力させたりする前に、ユーザ端末10に対して、アプリケーションのアイコンのマーク表示、待機画面への通知の出力、LED(Light Emitting Diode)の点滅点灯表示、および振動の少なくともいずれか一つを組み合わせでもよい。いずれの出力方法を行うか利用者が選択できてよい。
あるいは、通知先として利用者または利用者以外のメールアドレス、携帯電話番号などの宛先を登録しておき、メールを通知先に送信して通知してもよい。メールには、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像を添付し、アラート発生日時、場所、グループ名、グループ登録者の情報等を含めてもよい。
監視装置100のディスプレイへの表示では、当該通知対象となったグループ20の情報と、不審者の画像を少なくとも表示させる。さらに、照合に使用した画像を生成した監視カメラ5の位置情報から不審者が接近している場所の情報も表示してもよい。
本実施形態によれば、検出部102により、撮像画像を処理することにより見守り対象以外の人が見守り対象の人に基準距離以内に近づいたことが検出でき、出力部104によりその検出結果が出力できる。特に、特徴量記憶装置200に同一のグループ20に属する人を関連付けて記憶すれば、グループ20以外の人が近づいたことをグループ20に通知できる。つまり、監視カメラ5により撮像された画像を処理することで、見守り対象の人と見守り対象ではない人、あるいは、グループ20に属する人と属さない人を区別し、他人が見守り対象の人やグループ20に近づくことを検出して見守り対象者に通知できる。よって、本実施形態によれば、見知らぬ他人や気付かれないように接近した人物から危害を加えられるリスクを低減できる。
(第2実施形態)
<機能構成例>
本実施形態の監視システム1は、グループ20に属さない(守り対象ではない)人物30がグループ20に属している(守り対象の)人物22の近くに所定時間以上継続して居た場合に、所定の出力を行う構成を有する点以外は上記実施形態と同様である。本実施形態の監視装置100は第1実施形態と同じ構成要素を有するので、図2を用いて説明する。ただし、後述する実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
<動作例>
図9は、監視装置100の動作の一例を示すフローチャートである。まず、本図のフローは、図4のステップS105、図6のステップS117、および図7のステップS125のいずれかの各判定でYESとなった後、開始される。出力部104は、同一のグループ20に属さない人物30が、当該同一のグループ20に属する人物22に基準距離以内に近づいた状態が、基準時間以上維持されたときに(ステップS131のYES)、所定の出力を行う(図4のステップS107)。基準時間以上維持されなかった場合(ステップS131のNO)、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。
所定時間は、ユーザ操作によって変更できてもよい。ステップS107の出力部104による所定の出力は上記第1実施形態と同様である。
本実施形態によれば、守り対象ではない人物30が所定時間以上見守り対象の人物22に接近していない場合には所定の出力を行わないので、一時的に近くに居ただけの人物30を不審者として検知することを防ぐことができる。本実施形態によれば、上記実施形態同様な効果を奏するとともに、さらに、より不審者接近の検出の精度を高めることができる。つまり、頻繁に不審者接近の通知がなされることを抑制し、真に危険な状態を通知できるので、頻繁な通知による利用者の危機感の低下を防ぐことができる。
(第3実施形態)
本実施形態の監視システム1は、見守り対象者に近づいた人物が所定のリストに含まれているか否かを判定する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
図10は、監視システム1の論理的な構成例を示す機能ブロック図である。監視システム1は、図2の実施形態の監視装置100と同じ特徴量記憶装置200と、検出部102と、出力部104と、を備えるとともに、さらに、判定部106を備える。図10の本実施形態の例では、図2の第1実施形態の構成に組み合わせた例を示しているが、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
判定部106は、同一グループ20に基準距離以内に近づいた人が所定のリスト(グループ別人物リスト142または個人別人物リスト144)に含まれているか否かを判定する。図11は、本実施形態の所定のリストのデータ構造の一例を示す図である。図11(a)は、特定人物情報140である。特定人物情報140は、特定人物の識別情報(人物ID)と、特徴量とが関連付けて含まれている。
所定のリストは、グループ別または個人別に作成することができる。所定のリストは、例えば、犯罪などに関与する可能性の高い人物、例えば、指名手配者、反社会勢力関係者、前科者、ストーカーなどが登録されてよい。
図11(b)は、グループ別人物リスト142のデータ構造の一例を示す図である。図11(c)は、個人別人物リスト144のデータ構造の一例を示す図である。
グループ別人物リスト142は、グループ20の識別情報(グループID)に、監視対象となる人物の人物IDを関連付けて記憶している。個人別人物リスト144は、利用者の識別情報(ユーザID)に、監視対象となる人物の人物IDを関連付けて記憶している。個人別人物リスト144は、例えば、ストーカーなど個人的に特に監視したい人物を指定できる。
これらのリストは、利用者のユーザ端末10からユーザ操作により設定できてよい。リストは複数選択できてよいし、リストを有効にする期間、日時および、地域のうち少なくとも一つ指定できてもよい。この構成では、判定部106は、指定されるリストが有効となる条件(期間、日時、地域等)を満たしたときに、当該リストを利用して判定を行う。
<動作例>
図12は、監視システム1の動作例を示すフローチャートである。本図のフローは、図4のステップS105、図6のステップS117、および図7のステップS125のいずれかの各判定でYESとなった後、開始される。判定部106は、見守り対象のグループ20に基準距離以内に近づいた見守り対象ではない人物30が所定のリストに含まれているか否かを判定する(ステップS141)。守り対象のグループ20に基準距離以内に近づいた人物30が所定のリストに含まれていると判定された場合(ステップS141のYES)、出力部104は、その旨を示す情報をさらに出力する(ステップS143)。
図13は、ユーザ端末10のディスプレイに表示される警告画面310の一例を示す図である。警告画面310は、図8の不審者通知画面300と同じ人物画像表示部302と、アイコン表示部304と、メッセージ表示部306を含むが、メッセージ表示部306のメッセージが異なる。図13の例では、メッセージ表示部306には、利用者にグループ20に、所定のリストに含まれている人物が近づいていることを伝え、注意喚起促すメッセージが表示される。図13では、所定のリストが、指名手配者のリストであった場合のメッセージの例(「指名手配中の人物が近くに居ます。注意してください。」等)を示している。
所定のリストのカテゴリをリスト毎に指定することで、カテゴリ別に表示されるメッセージを切り替えることができる。カテゴリは、例えば、指名手配者、テロリスト、暴力団、前科者、ストーカー等が考えられるがこれらに限定されない。カテゴリは予めアプリケーションで指定されていて選択できる構成としてもよいし、利用者が新たに入力できる構成としてもよい。新たなカテゴリを追加した場合は、表示するメッセージを選択または入力して設定できてよい。
図12に戻り、ステップS143の後、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。一方、見守り対象のグループ20に基準距離以内に近づいた人物30が所定のリストに含まれていないと判定された場合(ステップS141のNO)、ステップS143をバイパスし、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに戻り、見守りを続ける。
本実施形態によれば、グループ別または個人別、あるいは、地域別、期間限定、日時限定などのリストを用いて、監視対象の特定の人物を指定でき、通知できる。接近している人物30が見知らぬだけでなく、犯罪に関与する可能性の高い人物の操作を利用者に通知できる。本実施形態によれば、上記実施形態と同様な効果を奏するとともに、利用者は身を守るためにより適切な行動をとれる可能性が高まり、犯罪被害を抑制できる。
(第4実施形態)
<機能構成例>
本実施形態の監視システム1は、複数の監視カメラ5のうち、特定の監視カメラ5を用いて監視する構成を有する点以外は上記実施形態と同様である。本実施形態の監視システム1および監視装置100は第1実施形態と同じ構成要素を有するので、図1および図2を用いて説明する。ただし、後述する実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
図1に示すように、監視システム1は、複数の監視カメラ5を備えている。本実施形態では、検出部102は、複数の監視カメラ5のうち、特定の監視カメラ5の撮像画像に対して、画像処理装置210に処理を実行させる。
複数の監視カメラ5は、様々な地区に設置されている。図14(a)は、カメラ情報150のデータ構造の一例を示す図である。カメラ情報150は、監視カメラ5の識別情報(カメラID)に、監視カメラ5の設置場所、例えば、地域の識別情報(地域ID)、住所、経度緯度情報等の少なくともいずれか一つが関連付けられている。ここでは、地域IDが関連付けられている。地域IDは、所定の地域(例えば、危険地域等)に関連付けられている。カメラIDは、例えば、監視カメラ5のIPアドレスであってもよい。
監視に利用する特定の監視カメラ5は、グループ別または個人別に指定できてよい。
図14(b)は、グループ別地域リスト152のデータ構造の一例を示す図である。図14(c)は、個人別地域リスト154のデータ構造の一例を示す図である。
グループ別地域リスト152は、グループ20の識別情報(グループID)に、監視に利用する監視カメラ5のカメラIDを関連付けて記憶している。あるいは、グループ別地域リスト152は、グループIDに地域IDを関連付けてもよい。地域IDを用いれば、指定された地域IDが示す地域に設置されている複数の監視カメラ5を一括で指定できる。あるいは、地域IDとカメラIDを組み合わせ、論理積、論理和の論理式で指定できてもよい。
個人別地域リスト154は、利用者の識別情報(ユーザID)に、監視に利用する監視カメラ5のカメラIDを関連付けて記憶している。あるいは、個人別地域リスト154は、ユーザIDに地域IDを関連付けてもよい。地域IDを用いれば、指定された地域IDが示す地域に設置されている複数の監視カメラ5を一括で指定できる。あるいは、地域IDとカメラIDを組み合わせ、論理積、論理和の論理式で指定できてもよい。
つまり、検出部102は、特定の地域、例えば、危険地域に設置されている監視カメラ5の撮像画像について画像処理を行い、グループ20に近づくグループ20に属さない人物30の検出を行うことができる。
<動作例>
本実施形態では、図4のステップS103(あるいは、図6のステップS111、ステップS115または図7のステップS121)において、検出部102が、グループ別地域リスト152または個人別地域リスト154を参照して、監視に利用する監視カメラ5を特定し、特定した監視カメラ5の撮像画像について画像処理を画像処理装置210に実行させる。それ以外の動作は第1実施形態と同じである。
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、特定の監視カメラ5の撮像画像について画像処理を行う、つまり、特定の地域を監視対象とすることができるので、特に危険地域などを重点的に監視することができる。監視に利用する監視カメラ5を特定するので、撮像画像の送受信のための通信容量や画像処理装置210の処理負荷を低減できる。
(第5実施形態)
本実施形態の監視システム1は、グループ20の位置情報が基準を満たしたときに画像処理を実行する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
図15は、監視システム1の論理的な構成例を示す機能ブロック図である。監視システム1は、図2の実施形態の監視装置100と同じ特徴量記憶装置200と、検出部102と、出力部104と、を備えるとともに、さらに、位置情報取得部108を備える。図15の本実施形態の例では、図2の第1実施形態の構成に組み合わせた例を示しているが、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。
位置情報取得部108は、グループ20の位置情報を取得する。検出部102は、位置情報が基準を満たしたときに、画像処理装置210に画像処理を実行させる。
出力部104は、位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する。
グループ20の位置情報の取得方法は、以下に例示されるがこれらに限定されない。複数の取得方法を組み合わせてもよい。ここで、ユーザ端末10とは、グループ20の少なくとも一人が携帯する端末である。
(1)ユーザ端末10のGPS(Global Positioning System)機能を用いて取得された現在位置情報をユーザ端末10から取得する。
(2)ユーザ端末10が携帯電話基地局との位置登録を行った情報を基地局から取得する。
(3)利用者が携帯しているユーザ端末10以外のGPS受信機を登録しておき、現在位置情報を取得する。
(4)監視カメラ5の撮像画像から画像認識処理を行いグループ20の人物22(利用者)を追跡し、利用者を撮像している監視カメラ5の設置位置から位置を推定する。
また、位置情報取得部108の機能と、位置情報が基準を満たすか否かの判定処理を行う機能をユーザ端末10が有してもよい。この構成によれば、ユーザ端末10の位置情報を監視センタのサーバ装置に送信する必要がなくなるので、ユーザ端末10の通信容量の消費を抑制することができる。
位置情報の基準とは、利用者の居場所が所定の地域(例えば、危険地域)に進入したこと、特定の場所(例えば、危険人物の居場所)に近づいた(所定の距離以内)こと、などである。基準は、所定の地域の範囲、所定の位置と位置からの距離、等を設定することができる。これらの基準の設定は、利用者または監視システム1の管理者が設定できてよい。
<動作例>
図16は、監視システム1の動作例を示すフローチャートである。図16(a)のフローは、図4のステップS101の後、開始される。位置情報取得部108は、グループ20の位置情報を取得する(ステップS151)。そして、検出部102は、位置情報が基準を満たした否かを判定する(ステップS153)。位置情報が基準を満たした場合(ステップS153のYES)、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに進み、見守りを開始する。位置情報が基準を満たさない場合(ステップS153のNO)、ステップS151に戻る。
また、さらに、図16(b)に示すように、図16(a)のステップS153の判定でYESとなった場合に、出力部104は、位置情報が所定の基準に満たしたことを通知してもよい(ステップS155)。そして、図4のステップS103、図6のステップS111、および図7のステップS121のいずれかに進み、見守りを開始してもよい。
出力部104による出力は、例えば、グループ20の利用者のユーザ端末10および監視センタのサーバ装置のディスプレイの少なくともいずれか一方に画面表示を行うことができる。
図17は、ユーザ端末10に表示される進入通知画面330の一例を示す図である。進入通知画面330は、アイコン表示部304と、メッセージ表示部306と、地図表示部332と、を含む。アイコン表示部304およびメッセージ表示部306は、図8の不審者通知画面300と同じであるが、メッセージ表示部306に表示されるメッセージが異なる。図17の例では、メッセージ表示部306には、利用者にグループ20が危険エリアに進入したことを伝え、注意喚起を促すメッセージが表示される。
地図表示部332は、危険エリア表示部334と、現在位置マーク336とを含む。危険エリア表示部334は、地図表示部332に表示されている地図内の危険エリアが破線で示されている。破線は一例であり、色変え、強調表示など表示方法は様々考えられる。現在位置マーク336は、グループ20の位置情報を示す画像(図では黒丸)であり、地図上の該当位置に表示される。
さらに、本実施形態において、出力部104は、位置情報取得部108が取得した位置情報を監視センタのサーバ装置のディスプレイに表示させてもよい。図18は、監視センタのサーバ装置のディスプレイに表示される監視画面320の一例を示す図である。監視画面320は、地図表示部322と、危険エリア表示部323、現在位置マーク324、アラート発生情報表示部326、接近検出人物画像表示部328とを含む。
地図表示部322には、見守り対象のグループ20や利用者が居る場所を含む地域の地図が表示される。危険エリア表示部323は、地図表示部322に表示されている地図内の危険エリアが破線で示されている。破線は一例であり、色変え、強調表示など表示方法は様々考えられる。現在位置マーク324は、グループ20の位置情報を示す画像(図では星マーク)であり、地図上の該当位置に表示される。アラート発生情報表示部326には、出力部104により所定の出力がなされた場合に、その所定の出力の一つしてアラート発生情報が表示される。
一例として、第1実施形態であれば、不審者の接近情報として、アラート発生日時、場所、グループ20の名前が表示される。接近検出人物画像表示部328には、この例では、監視カメラ5から取得した撮像画像から人物30の顔を含む領域を切り取った画像が表示される。また、当該人物30の現在位置を地図表示部322の地図上に、見守り対象者の現在位置とは異なるマークで区別して表示してもよい。人物30の位置情報の取得方法は、第5実施形態で上記したグループ20の位置情報の取得方法の(4)と同様でよい。
本実施形態によれば、見守り対象のグループ20や利用者の位置情報を取得し、特定の地域、例えば、危険地域に進入したときに画像処理を開始することができるので、危険地域以外では、処理を停止できるので、監視センタのサーバ装置の処理負荷を低減できる。また、危険地域に進入したことをグループ20の利用者または監視センタのサーバ装置に通知できるので、利用者や監視センタの管理者に注意喚起促すことができ、防犯効果の向上が期待できる。
(第6実施形態)
本実施形態の監視システム1は、見守り対象のグループ20や利用者、あるいは、特定の監視対象者の顔画像を登録する構成を有する点以外は上記実施形態と同様である。
<機能構成例>
図19は、監視装置100の論理的な構成例を示す機能ブロック図である。監視装置100は、上記実施形態の少なくともいずれか一つと同様な構成を有するとともに、さらに、受付部110と、登録部112とを備える。
受付部110は、検出部102により見守り対象ではないとされた人物30(特徴量記憶装置200に特徴量の登録のない人物)の顔画像を提示し、当該顔画像を登録するか否かを操作者に選択させ、操作者の入力を受け付ける。登録部112は、顔画像の登録を受け付けた人の前記顔画像を登録する。ここで、操作者は、利用者または監視センタの監視者または管理者などである。
図20は、図8の不審者通知画面300にさらに登録ボタン308を設けた例を示す図である。不審者通知画面300において、登録ボタン308の押下を受け付けると、図21の登録画面340に移行する。図21の登録画面340は、登録候補画像表示部342と、メッセージ表示部344と、特定人物登録ボタン346と、グループ登録ボタン347と、未登録ボタン348とを含む。
登録候補画像表示部342には、検出されたグループに属さない人の顔画像が表示される。メッセージ表示部344には、登録候補画像表示部342に表示された人を登録するか否かを問いかけるメッセージが表示される。
特定人物登録ボタン346は、登録候補画像表示部342に表示された人物を特定人物として登録する操作を受け付ける。この操作を受け付けると、人物情報を入力する画面(不図示)に移行し、入力を受け付けた後、登録部112は、当該人物の顔画像から特徴量を抽出し、図11(a)の特定人物情報140に登録する。人物情報は、特に限定されないが、第3実施形態で説明したリストに登録するカテゴリ等を含む。
グループ登録ボタン347は、登録候補画像表示部342に表示された人物をグループのメンバーとして登録する操作を受け付ける。この操作を受け付けると、人物情報を入力する画面(不図示)に移行し、入力を受け付けた後、登録部112は、当該人物の顔画像から特徴量を抽出し、図5(a)のユーザ登録情報130およびグループ登録情報132に登録する。
未登録ボタン348は、登録候補画像表示部342に表示された人物は登録しない指示を受け付ける。この操作を受け付けると、登録画面340は閉じられる。登録画面340を閉じる前に、登録候補画像表示部342に表示された人物の画像を破棄してもよいか否かを問い合わせるメッセージを表示して確認してもよい。
図21の例では、ユーザ端末10に登録画面340を表示する例を示したが、監視センタのサーバ装置で表示し、登録処理ができもよい。
本実施形態によれば、さらに、特徴量記憶装置200に登録されていない人物を監視対象となる特定人物またはグループ20のメンバーとして登録することができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得および/または利用する場合は、これを適法に行うものとする。
以下、参考形態の例を付記する。
1. 見守り対象の人の特徴量を記憶する特徴量記憶手段と、
前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
2. 1.に記載の監視装置において、
前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視装置。
3. 同一のグループに属する人の特徴量を関連付けて記憶する特徴量記憶手段と、
前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視装置。
4. 3.に記載の監視装置において、
前記特徴量記憶手段は、見守り対象の人の特徴量を記憶し、
前記検出手段は、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視装置。
5. 1から4.のいずれか一つに記載の監視装置において、
前記出力手段は、
前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持されたときに前記所定の出力を行う、監視装置。
6. 1.から5のいずれか一つに記載の監視装置において、
前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
前記出力手段は、
前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視装置。
7. 6.に記載の監視装置において、
前記所定のリストは、グループ別または個人別に作成されている、監視装置。
8. 1.から7.のいずれか一つに記載の監視装置において、
複数のカメラを備え、
前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視装置。
9. 1.から8.のいずれか一つに記載の監視装置において、
見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
前記検出手段は、前記位置情報が基準を満たしたときに上記処理を実行する、監視装置。
10. 9.に記載の監視装置において、
前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視装置。
11. 1.から10.のいずれか一つに記載の監視装置において、
検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視装置。
12. 見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
画像処理装置と、
監視装置と、を備え、
前記監視装置は、
見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視システム。
13. 10.に記載の監視システムにおいて、
前記監視装置の前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
前記監視装置の前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視システム。
14. 見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
画像処理装置と、
監視装置と、を備え、
前記監視装置は、
同一のグループに属する人の特徴量を関連付けて記憶する特徴量記憶手段と、
前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する検出手段と、
前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備える、監視システム
15. 14.に記載の監視システムにおいて、
前記監視装置の前記特徴量記憶手段は、見守り対象の人の特徴量を記憶し、
前記監視装置の前記検出手段は、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視システム
16. 12.から15.のいずれか一つに記載の監視システムにおいて、
前記監視装置の前記出力手段は、
前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持されたときに前記所定の出力を行う、監視システム。
17. 12.から16.のいずれか一つに記載の監視システムにおいて、
前記監視装置は、
前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
前記監視装置の前記出力手段は、
前記監視装置の前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視システム。
18. 17.に記載の監視システムにおいて、
前記所定のリストは、グループ別または個人別に作成されている、監視システム。
19. 12.から18.のいずれか一つに記載の監視システムにおいて、
複数の前記カメラを備え、
前記監視装置の前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視システム。
20. 12.から19.のいずれか一つに記載の監視システムにおいて、
前記監視装置は、
見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
前記監視装置の前記検出手段は、前記位置情報が基準を満たしたときに前記画像処理装置に上記処理を実行させる、監視システム。
21. 20.に記載の監視システムにおいて、
前記監視装置の前記出力手段は、前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視システム。
22. 12.から21.のいずれか一つに記載の監視システムにおいて、
前記監視装置は、
検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける受付手段と、
前記顔画像の登録を受け付けた前記人の前記顔画像を登録する登録手段と、を備える、監視システム。
23. 監視装置が、
見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
前記検出した結果を用いて、所定の出力を行う、監視方法。
24. 23.に記載の監視方法において、
前記監視装置が、
前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させ、
前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する、監視方法。
25. 前記監視装置が、
同一のグループに属する人の特徴量を関連付けて特徴量記憶手段に記憶させ、
前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出し、
前記検出の結果を用いて、所定の出力を行う、監視方法。
26. 25.に記載の監視方法において、
前記監視装置が、
見守り対象の人の特徴量を前記特徴量記憶手段に記憶させ、
前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する、監視方法。
27. 23.から26.のいずれか一つに記載の監視方法において、
前記監視装置が、
前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持されたときに前記所定の出力を行う、監視方法。
28. 23.から27.のいずれか一つに記載の監視方法において、
前記監視装置が、
前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定し、
前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視方法。
29. 28.に記載の監視方法において、
前記所定のリストは、グループ別または個人別に作成されている、監視方法。
30. 23.から29.のいずれか一つに記載の監視方法において、
前記監視装置が、
複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視方法。
31. 23.から30.のいずれか一つに記載の監視方法において、
前記監視装置が、
見守り対象の人の位置情報をさらに取得し、
前記位置情報が基準を満たしたときに上記処理を実行する、監視方法。
32. 31.に記載の監視方法において、
前記監視装置が、
前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する、監視方法。
33. 23.から32.のいずれか一つに記載の監視方法において、
前記監視装置が、
検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付け、
前記顔画像の登録を受け付けた前記人の前記顔画像を登録する、監視方法。
34. コンピュータに、
見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、
前記検出する手順の検出結果を用いて、所定の出力を行う手順、
を実行させるためのプログラム。
35. 34.に記載のプログラムにおいて、
前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶させる手順、
前記特徴量を用いて撮像画像を処理することにより、前記同一グループに属さない人が、前記同一グループに属する人に基準距離以内に近づいたことを検出する手順、をコンピュータに実行させるためのプログラム。
36. 同一のグループに属する人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、当該同一のグループに属する人に基準距離以内に近づいたことを検出する手順、
前記検出する手順の検出結果を用いて、所定の出力を行う出力する手順、をコンピュータに実行させるためのプログラム。
37. 36.に記載のプログラムにおいて、
見守り対象の人の特徴量を前記特徴量記憶手段に記憶させる手順、
前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、をコンピュータに実行させるためのプログラム。
38. 34.から37.のいずれか一つに記載のプログラムにおいて、
前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持されたときに前記所定の出力を行う手順をコンピュータに実行させるためのプログラム。
39. 34.から38.のいずれか一つに記載のプログラムにおいて、
前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かをさらに判定する手順、
前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する手順、をコンピュータに実行させるためのプログラム。
40. 39.に記載のプログラムにおいて、
前記所定のリストは、グループ別または個人別に作成されている、プログラム。
41. 34.から40.のいずれか一つに記載のプログラムにおいて、
複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する手順をコンピュータに実行させるためのプログラム。
42. 34.から41.のいずれか一つに記載のプログラムにおいて、
見守り対象の人の位置情報をさらに取得する手順、
前記位置情報が基準を満たしたときに上記処理を実行する手順、をコンピュータに実行させるためのプログラム。
43. 42.に記載のプログラムにおいて、
前記位置情報が基準を満たしたときに、その旨を示す情報をさらに出力する手順をコンピュータに実行させるためのプログラム。
44. 34.から43.のいずれか一つに記載のプログラムにおいて、
検出された前記見守り対象ではない人の顔画像を提示し、前記顔画像を登録するか否かを操作者に選択させ、前記操作者の入力を受け付ける手順、
前記顔画像の登録を受け付けた前記人の前記顔画像を登録する手順をコンピュータに実行させるためのプログラム。
1 監視システム
3 通信ネットワーク
5 監視カメラ
10 ユーザ端末
20 グループ
22 人物
30 人物
100 監視装置
102 検出部
104 出力部
106 判定部
108 位置情報取得部
110 受付部
112 登録部
130 ユーザ登録情報
132 グループ登録情報
140 特定人物情報
142 グループ別人物リスト
144 個人別人物リスト
150 カメラ情報
152 グループ別地域リスト
154 個人別地域リスト
200 特徴量記憶装置
210 画像処理装置
300 不審者通知画面
302 人物画像表示部
304 アイコン表示部
306 メッセージ表示部
308 登録ボタン
310 警告画面
320 監視画面
322 地図表示部
323 危険エリア表示部
324 現在位置マーク
326 アラート発生情報表示部
328 接近検出人物画像表示部
330 進入通知画面
332 地図表示部
334 危険エリア表示部
336 現在位置マーク
340 登録画面
342 登録候補画像表示部
344 メッセージ表示部
346 特定人物登録ボタン
347 グループ登録ボタン
348 未登録ボタン
1000 コンピュータ
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース

Claims (9)

  1. 見守り対象の人の特徴量を記憶する特徴量記憶手段と、
    前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
    前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備え
    前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
    前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、前記同一のグループに属する人に基準距離以内に近づいたことを検出する、監視装置。
  2. 請求項に記載の監視装置において、
    前記出力手段は、
    前記見守り対象ではない人が、当該見守り対象の人に基準距離以内に近づいた状態が、基準時間以上維持されたときに前記所定の出力を行う、監視装置。
  3. 請求項1または2に記載の監視装置において、
    前記見守り対象の人に前記基準距離以内に近づいた人が所定のリストに含まれているか否かを判定する判定手段をさらに備え、
    前記出力手段は、
    前記判定手段により、前記近づいた人が前記所定のリストに含まれていると判定された場合に、その旨を示す情報をさらに出力する、監視装置。
  4. 請求項に記載の監視装置において、
    前記所定のリストは、グループ別または個人別に作成されている、監視装置。
  5. 請求項1からのいずれか一項に記載の監視装置において、
    複数のカメラを備え、
    前記検出手段は、前記複数のカメラのうち、特定のカメラの撮像画像に対して上記処理を実行する、監視装置。
  6. 請求項1からのいずれか一項に記載の監視装置において、
    前記見守り対象の人の位置情報を取得する位置情報取得手段をさらに備え、
    前記検出手段は、前記位置情報が基準を満たしたときに上記処理を実行する、監視装置。
  7. 見守り対象の場所に居る人を撮像する少なくとも一つのカメラと、
    画像処理装置と、
    監視装置と、を備え、
    前記監視装置は、
    見守り対象の人の特徴量を関連付けて記憶する特徴量記憶手段と、
    前記特徴量を用いて前記カメラの撮像画像を前記画像処理装置に処理させることにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する検出手段と、
    前記検出手段の検出結果を用いて、所定の出力を行う出力手段と、を備え
    前記監視装置において、
    前記特徴量記憶手段は、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶し、
    前記検出手段は、前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、前記同一のグループに属する人に基準距離以内に近づいたことを検出する、監視システム。
  8. 監視装置が、
    見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶させ、
    前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出し、
    前記検出した結果を用いて、所定の出力を行い、
    前記特徴量記憶手段に、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて記憶させ、
    前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、前記同一のグループに属する人に基準距離以内に近づいたことを検出する、監視方法。
  9. コンピュータに、
    見守り対象の人の特徴量を関連付けて特徴量記憶手段に記憶する手順、
    前記特徴量を用いて撮像画像を処理することにより、前記見守り対象ではない人が、前記見守り対象の人に基準距離以内に近づいたことを検出する手順、
    前記検出する手順の検出結果を用いて、所定の出力を行う手順、を実行させ
    前記特徴量を記憶する手順において、前記見守り対象として、同一のグループに属する人の特徴量を関連付けて前記特徴量記憶手段に記憶し、
    前記検出する手順において、前記特徴量を用いて撮像画像を処理することにより、前記同一のグループに属さない人が、前記同一のグループに属する人に基準距離以内に近づいたことを検出する、プログラム。
JP2021573696A 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム Active JP7428191B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003213 WO2021152736A1 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021152736A1 JPWO2021152736A1 (ja) 2021-08-05
JPWO2021152736A5 JPWO2021152736A5 (ja) 2022-10-14
JP7428191B2 true JP7428191B2 (ja) 2024-02-06

Family

ID=77078711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021573696A Active JP7428191B2 (ja) 2020-01-29 2020-01-29 監視システム、監視装置、監視方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230050235A1 (ja)
JP (1) JP7428191B2 (ja)
WO (1) WO2021152736A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141657A (ja) 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2008204219A (ja) 2007-02-21 2008-09-04 Sharp Corp 防犯システム、それに用いる不審者検出装置及び防犯サーバ
WO2014171061A1 (ja) 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラ制御装置、カメラ制御方法およびカメラ制御システム
JP2018125587A (ja) 2017-01-30 2018-08-09 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019149641A (ja) 2018-02-26 2019-09-05 グローリー株式会社 監視システム、監視方法及び監視プログラム。
JP2020017155A (ja) 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507661B (zh) * 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141657A (ja) 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2008204219A (ja) 2007-02-21 2008-09-04 Sharp Corp 防犯システム、それに用いる不審者検出装置及び防犯サーバ
WO2014171061A1 (ja) 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラ制御装置、カメラ制御方法およびカメラ制御システム
JP2018125587A (ja) 2017-01-30 2018-08-09 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019149641A (ja) 2018-02-26 2019-09-05 グローリー株式会社 監視システム、監視方法及び監視プログラム。
JP2020017155A (ja) 2018-07-27 2020-01-30 株式会社システック 携帯飛行監視端末、監視装置および監視方法

Also Published As

Publication number Publication date
JPWO2021152736A1 (ja) 2021-08-05
WO2021152736A1 (ja) 2021-08-05
US20230050235A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US9922477B2 (en) Security and public safety application for a mobile device with audio/video analytics and access control authentication
KR101142933B1 (ko) 위치기반 서비스를 이용한 cctv 카메라 장치와 안전관제 센터 서버, 그를 포함한 지능형 보안 시스템 및 그 방법
US9084103B2 (en) Analytic and tracking systems and methods using over-the-air identifiers of mobile devices
US9386050B2 (en) Method and apparatus for filtering devices within a security social network
JP2008017093A (ja) 監視システム、監視装置及び監視方法
US9167048B2 (en) Method and apparatus for filtering devices within a security social network
US9978243B2 (en) Wandering notification server and wandering notification system
JP2018201176A (ja) アラート出力制御プログラム、アラート出力制御方法およびアラート出力制御装置
JP2011215767A (ja) サーバ装置、防犯カメラ映像利用方法、防犯カメラ映像利用プログラムおよび防犯カメラシステム
US20190356571A1 (en) Determining attributes using captured network probe data in a wireless communications system
JP2019009529A (ja) 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
US20040150715A1 (en) Image-capture event monitoring
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
JP2015233204A (ja) 画像記録装置及び画像記録方法
KR101863846B1 (ko) 이벤트 감지 및 현장 사진 정보 제공 방법 및 시스템
Alkhateeb et al. A multi agent-based system for securing university campus: Design and architecture
JP7428191B2 (ja) 監視システム、監視装置、監視方法、およびプログラム
JP7210163B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101664556B1 (ko) 사회 안전망 시스템 및 방법
JP2017111506A (ja) 見守りシステム
US20140273989A1 (en) Method and apparatus for filtering devices within a security social network
KR101954441B1 (ko) IoT 기반 노인시설 관리 서비스 제공 시스템 및 방법
KR20160032462A (ko) 소셜 네트워크 서비스를 이용한 사회 안전망 시스템 및 방법
JP2018005278A (ja) 位置検出システム
KR20130116733A (ko) 사용자 협업 기반의 이벤트 검출 시스템 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240108

R151 Written notification of patent or utility model registration

Ref document number: 7428191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151