JP7052583B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP7052583B2
JP7052583B2 JP2018114587A JP2018114587A JP7052583B2 JP 7052583 B2 JP7052583 B2 JP 7052583B2 JP 2018114587 A JP2018114587 A JP 2018114587A JP 2018114587 A JP2018114587 A JP 2018114587A JP 7052583 B2 JP7052583 B2 JP 7052583B2
Authority
JP
Japan
Prior art keywords
mobile robot
monitoring
image
camera
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018114587A
Other languages
English (en)
Other versions
JP2019219736A (ja
Inventor
俊介 須江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2018114587A priority Critical patent/JP7052583B2/ja
Priority to US16/434,394 priority patent/US10728505B2/en
Publication of JP2019219736A publication Critical patent/JP2019219736A/ja
Application granted granted Critical
Publication of JP7052583B2 publication Critical patent/JP7052583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明の実施形態は、監視システムに関する。
近年、監視領域となる部屋に警備用センサを設置し、警備用センサが異常を検知した場合に、その異常発生場所にカメラを備えた移動ロボットを急行させるシステムが考えられている。このようなシステムにおいて警備用センサが異常を検知した場合、移動ロボットは、カメラによって周囲を撮影する。そして、その撮影された映像は、ネットワーク回線等を通じて、現場から離れた場所にいる監視員のもとへ送信される。これにより監視員は、そのカメラで撮影された映像を確認することで、異常が検知された現場の状況を、現場から離れた場所に居ながら確認することができる。
この場合、上述したような監視システムを家庭に導入するに際し、ユーザの生活が覗き見られてしまわないようにするなど、ユーザのプライバシーを極力侵害しないように注意する必要がある。しかしながら、従来の監視システムにおいては、ユーザのプライバシーまでは考慮されておらず、例えば異常が検知された現場へ移動ロボットを急行させる際にユーザが望まない領域まで撮影されてしまい、ユーザのプライバシーが例えば移動ロボットを操作する監視員等に漏れてしまう可能性があった。
特開2009-181270号公報 特開2014-146288号公報
本発明は上記事情に鑑みてなされたものであり、その目的は、カメラを備えた移動ロボットにより監視を行うシステムにおいて、セキュリティーの向上とプライバシー保護との両立を図ることができる監視システムを提供することにある。
実施形態の監視システムは、複数の監視領域のそれぞれに設置された監視センサと、周囲の映像を撮影可能なカメラを有し、前記監視領域間を自律的に移動可能な自律移動モードと外部からの遠隔操作により移動可能な遠隔操作モードとを切り替え可能に構成された移動ロボットと、前記移動ロボットの前記カメラで撮影した映像を表示可能な表示部と、前記移動ロボットが前記遠隔操作モードのときに前記移動ロボットの遠隔操作に用いる操作部と、を有する監視端末と、前記監視センサの発報に基づいて前記移動ロボットの前記自律移動モードと前記遠隔操作モードとを切り替えるとともに、前記表示部に表示させる映像の態様を決定するシステム制御装置と、を備える。前記システム制御装置は、前記監視領域について予めセキュリティー優先領域とプライバシー優先領域とを設定し、前記監視センサの発報を検知した場合に、前記セキュリティー優先領域内の映像についてはその映像を未加工で前記表示部に表示することを許可し、前記プライバシー優先領域内の映像についてはその映像を未加工で前記表示部に表示することを禁止する。
これによれば、監視センサが異常を検知した場合、監視員は、セキュリティー優先領域については、移動ロボットを遠隔操作して、移動ロボットのカメラで撮影されたセキュリティー優先領域内の未加工の映像をリアルタイムで見ることができる。そのため、監視員は、セキュリティー優先領域内の現在の状況を素早く正確に把握でき、対処員を現場に向かわせる等の必要な処置を素早く行うことができる。これにより、セキュリティー優先領域内のセキュリティーの向上が図られる。
一方、プライバシー優先領域は、監視領域に居住するユーザのプライバシーを重視する必要がある領域である。そこで、本構成によれば、監視センサが異常を検知した場合であっても、監視員は、プライバシー優先領域内においては移動ロボットを遠隔操作することが出来ず、また、カメラで撮影されたプライバシー優先領域内の未加工の映像をリアルタイムで見ることができない。これにより、プライバシー優先領域内のプライバシーの保護が図られる。以上により、本構成の監視システムによれば、監視領域内についてセキュリティーの向上とプライバシー保護との両立を図ることができる。
実施形態の監視システムにおいて、前記システム制御装置は、前記監視センサの発報を検知したときに前記移動ロボットが前記プライバシー優先領域外に滞在している場合は前記移動ロボットを前記遠隔操作モードに切り替えることを許可するとともに前記カメラで撮影した映像を未加工で前記表示部に表示することを許可し、前記監視センサの発報を検知したときに前記移動ロボットが前記プライバシー優先領域内に滞在している場合は前記カメラで撮影した映像を未加工で前記表示部に表示することを禁止した状態で前記移動ロボットを前記プライバシー優先領域外まで自律移動させた後に前記移動ロボットを前記遠隔操作モードに切り替えることを許可する。
これによれば、監視センサが異常を検知して発報したときに移動ロボットがプライバシー優先領域内に滞在している場合であっても、移動ロボットは、監視員による遠隔操作が可能となるセキュリティー優先領域まで、監視員の操作によらずに自動で移動する。このとき、プライバシー優先領域内の映像は、表示部には表示されないため、プライバシー優先領域内の映像が監視員に見られることが防がれる。その結果、監視員による移動ロボットの操作性が更に向上するとともに、ユーザのプライバシー保護の向上も図ることができる。
実施形態の監視システムにおいて、前記システム制御装置は、前記移動ロボットが前記遠隔操作モードである場合、前記プライバシー優先領域が前記カメラの撮影範囲に入り込む方向へ前記カメラを向ける操作を受け付けないことで前記プライバシー優先領域内についての映像を未加工で前記表示部に表示することを禁止する。
これによれば、移動ロボットが遠隔操作モードである場合であっても、移動ロボットのカメラは、プライバシー優先領域内を撮影することが物理的に出来ない。したがって、プライバシー優先領域内の映像が監視員に見られることをより確実に防ぐことができ、その結果、ユーザのプライバシーをより確実に保護することができる。
実施形態の監視システムにおいて、前記システム制御装置は、前記監視センサの発報を検知した場合にはその発報が検知された前記監視センサが設置されている前記監視領域まで前記移動ロボットを自律移動させた後に前記移動ロボットを前記遠隔操作モードに切り替え可能にするとともに前記カメラで撮影した映像を未加工で前記表示部に表示することを許可する。
これによれば、異常が検知された現場まで移動ロボットが自動で移動するため、監視員は、移動ロボットを現場に向かわせる際に遠隔操作を行う必要がない。そのため、遠隔操作による煩わしさが低減されて利便性が向上する。また、移動ロボットを発報の現場に向かわせる際に、監視員が遠隔操作を行うと、経路に迷って現場到着までに時間がかかる可能性がある。一方、本実施形態によれば、移動ロボットは自動で異常が検知された現場まで急行するため、監視センサの発報が検知されてから早急に現場に到着することができる。したがって、監視員は、現場の状況をいち早く確認することができる。その結果、監視領域内のセキュリティーの更なる向上を図ることができる。
更にこの構成によれば、移動ロボットが監視センサの発報現場に向かう経路の途中にプライバシー優先領域が存在する場合であっても、移動ロボットがプライバシー優先領域を通過して発報現場に到着するまで、監視員は、移動ロボットを遠隔操作することができない。また、この場合、プライバシー優先領域内の映像は、監視端末の表示部には表示されないため、監視員は、カメラで撮影されたプライバシー優先領域内の未加工の映像をリアルタイムで見ることもできない。これにより、プライバシー優先領域内の映像が監視員に見られることが防がれる。このように、本実施形態によっても、監視領域内についてセキュリティーの向上とプライバシー保護との両立を図ることができる。
実施形態の監視システムにおいて、前記システム制御装置は、前記カメラで撮影した映像に前記プライバシー優先領域が映っている場合において、少なくともその映像に映り込んでいる人の個人が判別できないように映像処理を施した加工済みの映像を前記表示部に表示させる。
これによれば、監視員は、移動ロボットを遠隔操作する際に、監視端末の表示部に表示される映像を見ることで、移動ロボットの周囲の状況を把握しながら移動ロボットを遠隔操作することができるが、プライバシー優先領域内に滞在する人の個人を判別することはできない。そのため、監視員による移動ロボットの操作性が向上し、監視領域内のセキュリティーが向上するとともに、ユーザのプライバシーも保護することができる。
第1実施形態による監視システムの電気的構成の一例を概念的に示すブロック図 第1実施形態による監視システムの監視領域及び巡回経路の一例を示す図 第1実施形態による監視システムについて、監視領域の設定及び未加工映像の表示の可否の一例を示す図 第1実施形態による監視システムで実行される制御内容の一例を示す図 第1実施形態による監視システムについて、監視センサが発報した場合の一例を示す図(その1) 第1実施形態による監視システムについて、監視センサが発報した場合の一例を示す図(その2) 第2実施形態による監視システムで実行される制御内容の一例を示す図 第2実施形態による監視システムについて、監視センサが発報した場合の一例を示す図(その1) 第2実施形態による監視システムについて、監視センサが発報した場合の一例を示す図(その2) 第3実施形態による監視システムの電気的構成の一例を概念的に示すブロック図 第3実施形態による監視システムで実行される制御内容の一例を示す図 第3実施形態による監視システムについて、カメラで撮影した映像にプライバシー優先領域が映り込んだ場合における未加工の映像の一例を示す図 第3実施形態による監視システムについて、図12のプライバシー優先領域に斜線を付して示す図 第3実施形態による監視システムについて、カメラで撮影した映像にプライバシー優先領域が映り込んだ場合の映像加工処理の一例として、プライバシー優先領域内の人物にモデリング処理を施した加工済みの映像の例を示す図 第3実施形態による監視システムについて、カメラで撮影した映像にプライバシー優先領域が映り込んだ場合の映像加工処理の一例として、プライバシー優先領域内の背景にモデリング処理を施した加工済みの映像の例を示す図 第3実施形態による監視システムについて、カメラで撮影した映像にプライバシー優先領域が映り込んだ場合の映像加工処理の一例として塗り潰し処理を施した加工済みの映像の例を示す図
以下、複数の実施形態について、図面を参照して説明する。なお、各実施形態において実質的に同一の構成部位には同一の符号を付し、説明を省略する。
(第1実施形態)
以下では、第1実施形態について、図1~図6を参照して説明する。
図1に示す監視システム1は、例えば介護施設や病院、及び一般住宅など、セキュリティーの向上を図りつつプライバシーも重視する必要があるような建物に適用されるものである。本実施形態の監視システム1は、例えば図2に示すような一般住宅90を監視対象としている。この場合、住宅90は、玄関91、廊下92、寝室93、リビング94、クローゼット95、脱衣所96、及び浴室97を備えている。そして、監視システム1は、住宅90の各領域91~97を、監視領域に設定している。
図1に示すように、監視システム1は、複数の監視センサ10、移動ロボット20、監視端末30、及びシステム制御装置40を備えている。各監視センサ10、移動ロボット20、及び監視端末30は、それぞれ有線又は無線によってシステム制御装置40に通信可能に接続されている。この場合、監視センサ10とシステム制御装置40とは、例えば有線又は無線によって接続されている。また、移動ロボット20とシステム制御装置40とは、無線によって通信可能に接続されている。
監視センサ10、移動ロボット20、及びシステム制御装置40は、監視領域90を有する建物内に設置されており、ローカルエリアネットワークを構成している。また、監視端末30とシステム制御装置40とは、インターネット回線や電話回線等の電気通信回線100を介して通信可能に接続されている。以下では、図1~3を参照して、監視システム1の各構成要素について説明する。
[監視センサ]
監視センサ10は、図2に示す各監視領域91~97に設置されており、その領域内に発生した異常を検知する。なお、以下の説明において、各監視領域91~97に設けられた監視センサ10を区別する場合は、図2に示すように、それぞれ監視センサ11~17とする。監視センサ10としては、例えば人の侵入を検知する人感センサや扉の開閉を検知する開閉センサ、衝撃等を検知する衝撃センサ、異音を検知する異音センサ、ガス漏れなどによる異臭を検知する異臭センサ、漏水を検知する漏水センサ、室温の異常を検知する温度センサなど、各種センサを採用することができる。なお、監視センサ10の検出対象や検出方式は上述したものに限定されず、監視内容に応じて適宜選択することができる。各監視領域91~97には、少なくとも1個の監視センサ10が設けられている。そして、各監視センサ10は、異常を検知すると、異常を検知した旨を示す異常信号をシステム制御装置40へ送信する。
[移動ロボット]
移動ロボット20は、監視対象とする施設や住居内を巡回して見回る等、自律して移動可能なロボットである。また、移動ロボット20は、必要に応じて監視端末30等からの遠隔操作によって移動可能なロボットである。移動ロボット20は、図1に示すように、ロボット制御部21、駆動部22、カメラ23、マイク24、スピーカ25、ロボット通信部26、及び位置特定部27及びを有している。
ロボット制御部21は、移動ロボット20全体の制御を司っている。ロボット制御部21は、例えば図示しないCPUや、ROM、RAM、及び書き換え可能なフラッシュメモリ等の記憶領域を有するマイクロコンピュータを主体に構成されている。ロボット制御部21の図示しない記憶領域は、移動ロボット20を監視システム1に適用させるためのプログラムを記憶している。駆動部22、カメラ23、マイク24、スピーカ25、ロボット通信部26、及び位置特定部27は、それぞれロボット制御部21に電気的に接続されている。
駆動部22は、移動ロボット20を移動させるための構成であり、本実施形態の場合、例えば車輪221を駆動させるモータや、車輪221を操舵するための図示しないアクチュエータなどを含んで構成されている。駆動部22は、ロボット制御部21からの制御を受けて車輪221を回転及び操舵させることで、移動ロボット20を移動させたり向きを転換させたりする。
カメラ23は、移動ロボット20の周囲を撮影する機能を有している。この場合、カメラ23で撮影可能な映像は、動画又は静止画のいずれでも良い。カメラ23で撮影された映像は、システム制御装置40に送信されてシステム制御装置40に蓄積されるか、又はシステム制御装置40を介して監視端末30に送信される。移動ロボット20は、カメラ23の向きつまり撮影方向を変更するアクチュエータを有していても良いし、移動ロボット20自体の向きを変えることでカメラ23の向きを変える構成としても良い。
マイク24は、移動ロボット20の周囲の音を集音することができる。マイク24で集音された音声は、音声データに変換されてシステム制御装置40に送信されてシステム制御装置40に蓄積されるか、又はシステム制御装置40を介して監視端末30に送信される。スピーカ25は、移動ロボット20の周囲に対して音声を発する機能を有している。スピーカ25は、移動ロボット20の内部で生成した音声や、例えばシステム制御装置40を介して監視端末30から受信した音声データに基づく音声を発することができる。
ロボット通信部26は、例えば無線LAN等を用いた無線通信機能によって、システム制御装置40と相互通信可能に構成されている。位置特定部27は、監視領域90内における移動ロボット20の現在位置を特定する機能を有する。位置特定部27は、例えばGPS(全地球測位システム)などの衛星測位システムや近距離無線システム等を用いて、移動ロボット20の現在位置を特定することができる。また、位置特定部27は、例えば天井や壁、床等に設けられた二次元コード等のマーカーをカメラ23等で読み取ることで、移動ロボット20の現在位置を特定しても良い。この場合、マーカーは、そのマーカーが設けられた箇所の位置情報を含む。
なお、移動ロボット20は、上述した機能の他、移動ロボット20の周囲の温度や湿度、照度、更には移動ロボット20に加えられた衝撃を計測することができる加速度センサや、周囲の人間の存在を検出することができる人感センサ等を有していても良い。また、移動ロボット20は、移動ロボット20の動作に必要な電力を供給するためのバッテリを内蔵している。そして、移動ロボット20は、バッテリの残量が低下すると、給電設備まで自動的に走行し、自動的に給電設備に接続して充電を開始する。
移動ロボット20は、監視領域90内を自律的に自動で移動可能な自律移動モードと、例えば監視端末30など外部の装置からの遠隔操作により移動可能な遠隔操作モードと、を切り替え可能に構成されている。移動ロボット20は、自律移動モードでは、図2に示すように、各監視領域91~97間において予め設定された巡回経路Rを自律的に移動する。なお、本実施形態において、移動ロボット20が自律的に移動するとは、監視員等の操作に寄らずに自動で移動することを意味する。
自律移動モードを実現するために、巡回経路Rは、例えば各監視領域91~97間に亘って予め設けられた電気的又は磁気的なレールによって構成することができる。この場合、ロボット制御部21は、自律移動モード中には、そのレールに沿って移動するように駆動部22を動作させる。また、次のように自立移動モードを実現しても良い。すなわち、例えば各監視領域91~97内の天井や壁、床等に、電気的又は磁気的なレールに代えてマーカーを点在させて設ける。このマーカーは、例えば二次元コード等である。そして、ロボット制御部21は、カメラ23で取得した画像を基にそのマーカーを認識することで、移動ロボット20の現在位置を把握するとともに、そのマーカーに沿って移動するように駆動部22を動作させる。
更に、移動ロボット20を次のように構成しても良い。すなわち、例えばロボット制御部21の記憶領域に、監視対象となる特定の領域について、その地図情報すなわち施設や居住内のフロアマップを記憶させる。そして、ロボット制御部21は、その地図情報に基づいて移動するように駆動部22を動作させるとともに、移動ロボット20の姿勢や車輪221の回転数に基づいて算出した移動距離から現在位置を特定する。なお、移動ロボット20は、車輪221等を用いて走行するものに限られず、例えば自律飛行可能な飛行体であっても良い。
本実施形態において、巡回経路Rは、図2に示すように、廊下92、脱衣所96、クローゼット95、脱衣所96、廊下92、リビング94、廊下92、寝室93、そして再び廊下92の順で巡回する経路に設定されている。この場合、玄関91や浴室97は、監視対象ではあるが、段差等があることや、比較的狭い領域であって隣接する他の領域から撮影可能であることなどから、移動ロボット20の巡回経路Rからは除外されている。なお、玄関91や浴室97は、巡回経路Rに含まれていても良い。
[監視端末]
監視端末30は、監視センサ10が検知した異常や、移動ロボット20のカメラ23で撮影した映像、及び移動ロボット20のマイク24で取得した音声などの各種情報を監視員に提示する機能を有している。通常、監視端末30は、監視対象となる建物90から離れた場所、例えばこの監視システム1を用いたサービスを提供する企業の施設内等に設置されている。
監視端末30は、端末制御部31、端末通信部32、マイク33、スピーカ34、表示部35、及び操作部36を有している。監視端末30は、監視システム1専用のコンピュータであっても良いし、例えば汎用的なパーソナルコンピュータや、いわゆるスマートフォン又はタブレット端末等の高機能携帯端末であっても良い。端末制御部31は、監視端末30全体の制御を司っている。端末制御部31は、例えば図示しないCPUや、ROM、RAM、及び書き換え可能なフラッシュメモリ等の記憶領域を有するマイクロコンピュータを主体に構成されている。端末制御部31の図示しない記憶領域は、監視端末30を監視システム1に適用させるためのプログラムを記憶している。
端末通信部32、マイク33、スピーカ34、表示部35、及び操作部36は、それぞれ端末制御部31に電気的に接続されている。端末通信部32は、例えば電話回線や有線又は無線LANを用いた通信機能等によって、システム制御装置40に接続可能に構成されている。
マイク33は、監視端末30の周囲の音を集音する機能を有している。マイク33で集音された音声は、音声データに変換されて、システム制御装置40を介して移動ロボット20へ送信される。スピーカ34は、監視端末30の周囲に対して音声を発する機能を有している。スピーカ34は、監視端末30の内部で生成した音声や、システム制御装置40を介して移動ロボット20から受信した音声データに基づく音声を発することができる。これにより、監視員は、監視端末30を介して移動ロボット20の付近に居る人と会話を行うことができる。
表示部35は、例えば一般的な液晶モニタ等であって、移動ロボット20のカメラ23で撮影された映像を表示する機能を有している。操作部36は、移動ロボット20が遠隔操作モードのときに、移動ロボット20を遠隔操作するための入力装置として用いるものである。操作部36は、例えばいわゆるジョイスティックや、十字方向にボタンが配置された十字キーなどで構成されており、方向入力が可能となっている。また、表示部35がタッチパネルを有するものである場合、操作部36は、表示部35に表示された仮想的なボタン等で構成することもできる。操作内容としては、例えば自律移動モードと遠隔操作モードとの切り替え、遠隔操作モード時における移動ロボット20の移動速度や移動方向の決定、カメラ23の方向の変更やズームイン及びズームアウトなどがある。監視員によって操作部36に入力された操作は、システム制御装置40を介して移動ロボット20へ送信される。
[システム制御装置]
システム制御装置40は、監視センサ10及び移動ロボット20の動作内容を制御するものであり、例えばホームコントローラとも称される。システム制御装置40は、各監視センサ10の発報状況を監視するとともに、移動ロボット20の動作を監視及び制御する。また、システム制御装置40は、監視センサ10からの発報情報や移動ロボット20で取得した各種情報を一旦受信し、その情報を必要に応じて監視端末30に送信することで、監視端末30の表示部35に表示される情報の内容を決定する機能を有する。
システム制御装置40は、システム制御部41、システム通信部42、発報検知部43、記憶装置44、監視領域設定処理部45、モード切替処理部46、表示許可処理部47、及び遠隔操作処理部48を有している。システム制御部41は、システム制御装置40全体の制御を司っている。システム制御部41は、例えば図示しないCPUや、ROM、RAM、及び書き換え可能なフラッシュメモリ等の記憶領域を有するマイクロコンピュータを主体に構成されている。システム通信部42、発報検知部43、及び記憶装置44は、それぞれシステム制御部41に電気的に接続されている。
システム通信部42は、例えば有線又は無線LAN等を用いた通信機能によって、監視センサ10、移動ロボット20、及び監視端末30のそれぞれと相互通信可能に構成されている。また、システム通信部42は、移動ロボット20と監視端末30との相互通信を仲介する機能も有している。なお、監視センサ10とシステム制御装置40との通信は、監視センサ10からシステム制御装置40への一方向であっても良い。
発報検知部43は、監視センサ10が異常を検知して異常信号を発報した場合に、その異常信号の発報を検知し、その異常信号を発報した監視センサ10を特定する。これにより、発報検知部43は、異常が発生した監視領域を特定することができる。
記憶装置44は、ハードディスクドライブやフラッシュメモリ等であって、移動ロボット20のカメラ23で撮影した映像やマイク24で集音した音声などのデータを、その映像や音声を取得日時とともに記憶する。
監視領域設定処理部45は、監視対象90のうちいずれの領域を監視領域とするかの設定を行うことができる。本実施形態の場合、監視対象90内の全ての領域91~97のそれぞれに、少なくとも1つの監視センサ10が設けられている。そして、監視領域設定処理部45は、建物90内の全ての領域91~97を監視領域に設定している。
また、監視領域設定処理部45は、図3に示すように、各監視領域91~97について、セキュリティー優先領域又はプライバシー優先領域のいずれか一方を設定する処理を行う。セキュリティー優先領域は、ユーザのプライバシーよりもセキュリティーの向上を優先する領域である。これに対し、プライバシー優先領域は、セキュリティーの向上よりもユーザのプライバシーを優先する領域である。各監視領域91~97をセキュリティー優先領域又はプライバシー優先領域のいずれに設定するかは、ユーザの任意による。本実施形態の場合、玄関91、廊下92、寝室93、リビング94、及びクローゼット95は、セキュリティー優先領域に設定されている。また、脱衣所96及び浴室97は、プライバシー優先領域に設定されている。
モード切替処理部46は、監視センサ10の発報状況及び監視端末30からの指令に基づいて、移動ロボット20について自律移動モードと遠隔制御モードとの切替処理を行う。本実施形態において、モード切替処理部46は、各監視センサ10からの発報が無い場合、移動ロボット20を自律移動モードで動作させる。
一方、監視センサ10からの発報を検知し、かつ所定の条件を満たした場合、モード切替処理部46は、監視端末30に対して、移動ロボット20を遠隔操作モードに切り替えることができる旨を通知し、遠隔操作モードへの切り替えを許可する。そして、監視員が、監視端末30の操作部35を用いて移動ロボット20を遠隔操作モードに切り替えるためのモード切替操作を行うと、監視端末30は、移動ロボット20を遠隔操作モードに切り替えるための切替信号をシステム制御装置40に送信する。そして、システム制御装置40は、監視端末30から切替信号を受信すると、移動ロボット20を遠隔操作モードに切り替える。これにより、監視員は、監視端末30の操作部36を操作して、移動ロボット20を遠隔操作できるようになる。なお、本実施形態の場合、監視センサ10の発報が無い場合、モード切替処理部46は、遠隔操作モードへの切り替えを禁止する。
本実施形態の場合、モード切替処理部46は、監視センサ10の発報を検知しかつ移動ロボット20がプライバシー優先領域96、97外に滞在している場合、すなわちセキュリティー優先領域91~95のいずれかに滞在している場合に、遠隔操作モードへの切替を許可する。一方、モード切替処理部46は、監視センサ10の発報を検知した場合であっても、移動ロボット20がプライバシー優先領域96、97内に滞在している場合は、遠隔操作モードへの切替を禁止し、自律移動モードを維持する。そしてこの場合、システム制御装置40は、移動ロボット20をプライバシー優先領域96、97外まで自律移動させる。そして、モード切替処理部46は、移動ロボット20がプライバシー優先領域96、97外に出るのを待って、遠隔操作モードへの切替を許可する。
表示許可処理部47は、移動ロボット20のカメラ23で撮影した映像を、未加工で監視端末30の表示部35に表示するか否かを決定する処理を行う。本実施形態において、未加工で表示とは、カメラ23で撮影した映像の一部又は全部に対して、例えばいわゆるAR技術用いたモデリング処理や塗り潰し処理、モザイク処理や色反転処理等の処理を施さずに、リアルタイムで表示することを意味する。なお、この場合、映像の表示が通信等によって遅延した場合であっても、リアルタイムの概念に含まれる。
監視センサ10の発報を検知して移動ロボット20が遠隔操作モードに切り替えられている場合、表示許可処理部47は、セキュリティー優先領域91~95内の映像については、移動ロボット20のカメラ23で撮影した映像を未加工で監視端末30の表示部35に表示することを許可する。そして、監視端末30は、その未加工の映像を、監視員の操作等に応じて表示部35に表示する。これにより、監視員は、表示部35に表示される映像つまり移動ロボット20の周囲の映像を見ながら、移動ロボット20を遠隔操作することができる。
一方、監視センサ10の発報を検知して移動ロボット20が遠隔操作モードに切り替えられている場合であっても、表示許可処理部47は、プライバシー優先領域96、97内の映像については、移動ロボット20のカメラ23で撮影した映像を未加工で監視端末30の表示部35に表示することを禁止する。また、監視センサ10の発報を検知していない場合、又は監視センサ10の発報が検知されたが移動ロボット20が遠隔操作モードに切り替えられていない場合、表示許可処理部47は、移動ロボット20のカメラ23で撮影した映像がセキュリティー優先領域91~95内の映像であるかプライバシー優先領域96、97内の映像であるかに関わらず、監視端末30の表示部35に表示することを禁止する。
遠隔操作処理部48は、移動ロボット20が遠隔操作モードである場合において、監視端末30の操作部36に入力された操作を受信し、その操作内容を移動ロボット20に送信する。この場合、遠隔操作処理部48は、プライバシー優先領域96、97がカメラ23の撮影範囲に入り込む方向へカメラ23を向ける操作については、その操作を受け付けない。すなわち、遠隔操作処理部48は、遠隔操作モード中に操作部36に入力された操作が、プライバシー優先領域96、97側へカメラ23を向けるような操作である場合には、その操作内容に基づいては移動ロボット20を動作させない。これにより、システム制御装置40は、プライバシー優先領域96、97内についての映像を未加工で表示部35に表示することを禁止する。
本実施形態の場合、システム制御部41の図示しない記憶領域は、監視システム用のプログラムを記憶している。そして、システム制御部41は、図示しないCPUにおいて監視システム用のプログラムを実行することにより、監視領域設定処理部45、モード切替処理部46、表示許可処理部47、及び遠隔操作処理部48をソフトウェアによって仮想的に実現する。なお、監視領域設定処理部45、モード切替処理部46、表示許可処理部47、及び遠隔操作処理部48は、例えばシステム制御部41と一体の集積回路としてハードウェア的に実現してもよい。
[監視システムの動作内容]
次に、システム制御装置40を中心とする監視システム1の制御内容の一例について、図4~図6も参照しながら説明する。システム制御装置40は、監視動作を開始すると、各監視センサ10、移動ロボット20、及び監視端末30と協働して図4に示す制御内容を実行する。
システム制御装置40は、監視センサ10の発報を検知していない場合、監視領域90内に異常が発生していないと判断して、図4のステップS11において移動ロボット20を自律移動モードに設定する。これにより、移動ロボット20は、図2に示す巡回経路Rに沿って各監視領域91~97間を巡回する。このとき、移動ロボット20は、カメラ23によって周囲の映像を撮影するとともにマイク24によって周囲の音声を取得しても良い。しかしながら、この場合、取得した映像及び音声は、システム制御装置40の記憶装置44に蓄積されるものの、監視端末30には送信されない。
すなわち、異常が発生していない正常時に移動ロボット20で取得される映像及び音声は、表示部35及びスピーカ34を通して監視端末30を操作する監視員には提示されない。そのため、移動ロボット20が自律移動モードで巡回している場合、監視員は、移動ロボット20のカメラ23で撮影された映像を見たり、マイク24で取得した音声を聞いたりすることが出来ない。これにより、自律移動モード中において、監視領域90内に居住しているユーザのプライバシーを保護することができる。
システム制御装置40は、監視センサ10からの発報を検知するまで、自律移動モードで移動ロボット20を動作させる(ステップS12でNO)。システム制御装置40は、監視センサ10からの発報を検知すると(ステップS12でYES)、監視領域91~97のいずれかで異常が発生したと判断する。このとき、システム制御装置40は、発報を検知した監視センサ10が設置されている監視領域を特定し、その結果を監視端末30に送信する。そして、監視端末30は、発報を検知した旨及び発報を検知した監視領域をスピーカ34及び表示部35を通して監視員に通知する。
例えば図5に示すように、リビング94に設置された監視センサ14が異常を検知して発報すると、システム制御装置40は、監視センサ14の発報を検知し、リビング94に異常が発生したと判断する。そして、システム制御装置40は、リビング94に設置された監視センサ14の発報を検知した旨を、監視端末30のスピーカ34及び表示部35を通して監視員に通知する。
次に、システム制御装置40は、図4のステップS13において、自律移動モードで巡回中の移動ロボット20の現在位置を取得し、その現在位置がプライバシー優先領域96、97外であるか否かを判断する。例えば図5に示すように、監視センサ14が発報したときに移動ロボット20がプライバシー優先領域である脱衣所96内に滞在している場合(図4のステップS13でNO)、システム制御装置40は、ステップS14に処理を移行させ、移動ロボット20のカメラ23で撮影した映像を未加工で表示部35に表示することを禁止する。この場合、システム制御装置40は、カメラ23で撮影しないように移動ロボット20を制御するか、又は撮影してもその映像を監視端末30に送信しないことで、未加工の映像の表示を禁止する。また、この場合、システム制御装置40は、移動ロボット20の遠隔操作を許可しない。
そして、システム制御装置40は、ステップS15の処理を実行し、移動ロボット20を制御して移動ロボット20をプライバシー優先領域96、97外へ自動で移動させる。例えばシステム制御装置40は、図5及び図6に示すように、現在位置である脱衣所96から発報現場であるリビング94に至る経路上であって現在地に最も近いセキュリティー優先領域である廊下92に、移動ロボット20を自動で移動させる。このとき、監視端末30の表示部35には、移動ロボット20のカメラ23で撮影された映像は表示されない。一方、移動ロボット20のマイク24で取得した音声は、監視端末30のスピーカ34から発しても良い。
そして、移動ロボット20がプライバシー優先領域96、97外、図6の例ではセキュリティー優先領域である廊下92に移動すると、システム制御装置40は、図4に示すステップS16及びステップS17の処理を実行する。一方、監視センサ10の発報を検知したときに移動ロボット20がプライバシー優先領域96、97外に滞在している場合(ステップS13でYES)、システム制御装置40は、図4に示すステップS14及びステップS15の処理を実行することなく、ステップS16及びステップS17の処理を実行する。
ステップS16において、システム制御装置40は、移動ロボット20を遠隔操作モードに切り替えることを許可する。また、ステップS17において、システム制御装置40は、移動ロボット20のカメラ23で撮影した映像を、未加工の状態で監視端末30の表示部35に表示することを許可する。
この場合、システム制御装置40は、移動ロボット20の遠隔操作モードへの切り替えが許可されたこと、及びカメラ23で撮影した映像の表示が許可されたことを、監視端末30のスピーカ34及び表示部35を通して監視員に通知する。そして、監視員が監視端末30を操作して遠隔操作モードに切り替える操作を入力すると、システム制御装置40は、移動ロボット20を遠隔操作モードに切り替えるとともに、移動ロボット20のカメラ23で撮影した映像を未加工の状態で監視端末30の表示部35に表示させる。移動ロボット20は、遠隔操作モードに切り替えられると、監視員の遠隔操作によって巡回経路Rを外れた移動が可能になる。
その後、システム制御装置40は、ステップS18において、監視員によって監視端末30の操作部36に遠隔操作の入力がされたか否かを判断する。遠隔操作の入力が無い場合(ステップS18でNO)、システム制御装置40は、移動ロボット20を動作させずにその場で待機させる。また、監視員による遠隔操作の入力があった場合(ステップS18でYES)、システム制御装置40は、ステップS19へ処理を移行させる。
システム制御装置40は、ステップS19において、監視員によって入力された操作で移動ロボット20を動作させた場合に、カメラ23の撮影範囲にプライバシー優先領域96、97が入るか否か、つまりカメラ23にプライバシー優先領域96、97が映り込むか否かを判断する。システム制御装置40は、監視員によって入力された操作で移動ロボット20を動作させた場合に、カメラ23の撮影範囲にプライバシー優先領域96、97が入ると判断すると(ステップS19でYES)、ステップS20へ処理を移行させる。そして、システム制御装置40は、その操作の受付を拒否し、その操作によって移動ロボット20を動作させることを拒否する。これにより、移動ロボット20は、カメラ23の撮影範囲にプライバシー優先領域96、97が入ることを回避する。すなわち、これにより、監視端末30の表示部35に、プライバシー優先領域96、97の未加工の映像が表示されることを回避される。その後、システム制御装置40は、ステップS18へ処理を戻し、監視員による遠隔操作の入力を待つ。
一方、システム制御装置40は、ステップS19において、監視員によって入力された操作で移動ロボット20を動作させた場合に、カメラ23の撮影範囲にプライバシー優先領域96、97が入らないと判断すると(ステップS19でNO)、その操作を受付けて、ステップS21へ処理を移行させる。そして、システム制御装置40は、ステップS21において、監視員によって入力された遠隔操作の内容を移動ロボット20へ送信し、その操作内容で移動ロボット20を動作させる。
システム制御装置40は、異常解除の処理が行われるまで、ステップS18~21の処理を繰り返す。異常解除の処理は、例えば監視員が移動ロボット20を通して、異常が無いこと又は異常が解消されたことを確認した場合に、監視端末30に異常解除の操作を入力することで行われる。また、異常解除の処理は、例えば現場に駆けつけた処置員が、自ら異常がないこと又は異常が解消されたことを確認した場合に、移動ロボット20又はシステム制御装置40に異常解除の操作を入力することで行われる。そして、システム制御装置40は、異常が解除されたと判断すると(ステップS22でYES)、ステップS11へ処理を戻し、移動ロボット20を再び自律移動モードに切り替えて巡回経路R上を巡回させる。
以上説明した実施形態によれば、監視システム1は、監視センサ10と、移動ロボット20と、監視端末30と、システム制御装置40と、を備えている。監視センサ10は、複数の監視領域91~97のそれぞれに設置されている。移動ロボット20は、移動ロボット20の周囲の映像を撮影可能なカメラ23を有している。また、移動ロボット20は、監視領域91~97間を自律的に移動可能な自律移動モードと、外部この場合監視端末30からの遠隔操作により移動可能な遠隔操作モードと、を切り替え可能に構成されている。監視端末30は、移動ロボット20のカメラ23で撮影した映像を表示可能な表示部35と、移動ロボット20が遠隔操作モードのときに移動ロボット20の遠隔操作に用いる操作部36と、を有している。システム制御装置40は、監視センサ10の発報に基づいて移動ロボット20の自律移動モードと遠隔操作モードとを切り替えるとともに、表示部35に表示させる映像の態様を決定する。
また、システム制御装置40は、監視領域91~97について予めセキュリティー優先領域とプライバシー優先領域とを設定する。そして、システム制御装置40は、監視センサ10の発報を検知した場合に、セキュリティー優先領域91~95内の映像についてはその映像を未加工で表示部35に表示することを許可し、プライバシー優先領域96、97内の映像についてはその映像を未加工で前記表示部に表示することを禁止する。
この構成によれば、監視センサ10が異常を検知した場合、監視員は、セキュリティー優先領域91~95については、移動ロボット20を遠隔操作して、カメラ23で撮影されたセキュリティー優先領域91~95内の未加工の映像をリアルタイムで見ることができる。そのため、監視員は、セキュリティー優先領域91~95内の現在の状況を素早く正確に把握でき、対処員を現場に向かわせる等の必要な処置を素早く行うことができる。これにより、セキュリティー優先領域91~95内のセキュリティーの向上が図られる。
一方、プライバシー優先領域96、97は、監視領域90に居住するユーザのプライバシーを重視する必要がある領域である。そこで、本実施形態によれば、監視センサ10が異常を検知した場合であっても、監視員は、プライバシー優先領域96、97内においては移動ロボット20を遠隔操作することが出来ず、また、カメラ23で撮影されたプライバシー優先領域96、97内の未加工の映像をリアルタイムで見ることができない。これにより、プライバシー優先領域96、97内のプライバシーの保護が図られる。以上により、本実施形態の監視システム1によれば、監視領域90内についてセキュリティーの向上とプライバシー保護との両立を図ることができる。
また、本実施形態において、システム制御装置40は、監視センサ10の発報を検知したときに移動ロボット20がプライバシー優先領域96、97外に滞在している場合は、移動ロボット20を遠隔操作モードに切り替えることを許可するとともに、カメラ23で撮影した映像を未加工で監視端末30の表示部35に表示することを許可する。一方、システム制御装置40は、監視センサ10の発報を検知したときに移動ロボット20がプライバシー優先領域96、97内に滞在している場合は、カメラ23で撮影した映像を未加工で監視端末30の表示部35に表示することを禁止する。そして、システム制御装置40は、未加工の映像の表示を禁止した状態で移動ロボット20をプライバシー優先領域96、97外まで自律移動させ、その後、移動ロボット20を遠隔操作モードに切り替えることを許可するとともにカメラ23で撮影した映像を未加工で表示部35に表示することを許可する。
これによれば、監視センサ10が異常を検知して発報したときに移動ロボット20がプライバシー優先領域96、97内に滞在している場合であっても、移動ロボット20は、監視員による遠隔操作が可能となるセキュリティー優先領域91~95まで、監視員の操作によらずに自動で移動する。このとき、プライバシー優先領域96、97内の映像は、表示部35には表示されないため、プライバシー優先領域96、97内の映像が監視員に見られることが防がれる。その結果、監視員による移動ロボット20の操作性が更に向上するとともに、ユーザのプライバシー保護の向上も図ることができる。
また、システム制御装置40は、移動ロボット20が遠隔操作モードである場合、プライバシー優先領域96、97がカメラ23の撮影範囲に入り込む方向へカメラ23を向ける操作を受け付けないことで、プライバシー優先領域96、97内についての映像を未加工で監視端末30の表示部35に表示することを禁止する。
これによれば、移動ロボット20が遠隔操作モードである場合であっても、移動ロボット20のカメラ23は、プライバシー優先領域96、97内を撮影することが物理的に出来ない。したがって、プライバシー優先領域96、97内の映像が監視員に見られることをより確実に防ぐことができ、その結果、ユーザのプライバシーをより確実に保護することができる。
(第2実施形態)
次に、第2実施形態について、図7~図9を参照して説明する。
本実施形態は、システム制御装置40が監視センサ10の発報を検知してから遠隔操作モードへの切替を許可するまでの間の制御が、上記第1実施形態と異なる。この場合、システム制御装置40は、監視センサ10の発報を検知した場合に、移動ロボット20に対して発報を検知した監視センサ10が設置されている監視領域を目指して自動で自立移動するように指示する機能を有している。
すなわち、本実施形態のシステム制御装置40は、図7に示す制御フローを実行する。図7に示す制御フローにおいて、システム制御装置40は、移動ロボット20が巡回移動しているときに監視センサ10の発報を検知すると(ステップS12でYES)、ステップS31へ処理を移行させ、図4のステップS14と同様に、移動ロボット20のカメラ23で撮影した映像を未加工で表示部35に表示することを禁止する。
次に、システム制御装置40は、ステップS32へ処理を移行させ、発報があった監視センサ10の設置場所を特定するとともに、移動ロボット20に対して発報があった監視センサ10の設置場所を目指して移動するように指示する。これにより、移動ロボット20は、発報が検知された監視センサ10が設置されている監視領域まで自動で自律移動する。その後、システム制御装置40は、ステップS16以降の処理を実行し、上記第1実施形態と同様に、移動ロボット20の遠隔操作モードへの切り替えを許可するとともに、表示部35に未加工の映像を表示することを許可する。
この場合、例えば図8に示すように、移動ロボット20が廊下92に滞在しているときに、クローゼット95に設置されている監視センサ15の発報した場合について見る。この場合、システム制御装置40は、まず、移動ロボット20を、遠隔操作モードに切り替えることを許可することなく、発報現場であるクローゼット95まで自律移動させる。このとき、システム制御装置40は、移動ロボット20のカメラ23で撮影した映像を未加工で表示部35に表示することを禁止している。そして、図9に示すように、移動ロボット20がクローゼット95まで自動で自律移動すると、システム制御装置40は、移動ロボット20を遠隔操作モードに切り替えることを許可するとともに、移動ロボット20のカメラ23で撮影した映像を、未加工の状態で監視端末30の表示部35に表示することを許可する。
このように、本実施形態において、システム制御装置40は、監視センサ10の発報を検知した場合にはその発報が検知された監視センサ10が設置されている監視領域まで移動ロボット20を自律移動させた後に、移動ロボット20を遠隔操作モードに切り替え可能にするとともに移動ロボット20のカメラ23で撮影した映像を未加工で監視端末30の表示部35に表示することを許可する。
これによれば、異常が検知された現場まで移動ロボット20が自動で移動するため、監視員は、移動ロボット20を現場に向かわせる際に遠隔操作を行う必要がない。そのため、遠隔操作による煩わしさが低減されて利便性が向上する。また、移動ロボット20を発報の現場に向かわせる際に、監視員が遠隔操作を行うと、経路に迷って現場到着までに時間がかかる可能性がある。一方、本実施形態によれば、移動ロボット20は自動で異常が検知された現場まで急行するため、監視センサ10の発報が検知されてから早急に現場に到着することができる。したがって、監視員は、現場の状況をいち早く確認することができる。その結果、監視領域90内のセキュリティーの更なる向上を図ることができる。
更にこの場合、移動ロボット20が監視センサ10の発報現場に向かう経路の途中にプライバシー優先領域96、97が存在する場合、すなわち、例えば図8に示すように、移動ロボット20が脱衣所96を通過する場合であっても、移動ロボット20が脱衣所96を通過してクローゼット95に到着するまで、監視員は、移動ロボット20を遠隔操作することができない。また、この場合、プライバシー優先領域96、97内の映像は、表示部35には表示されないため、監視員は、カメラ23で撮影されたプライバシー優先領域96、97内の未加工の映像をリアルタイムで見ることもできない。これにより、プライバシー優先領域96、97内の映像が監視員に見られることが防がれる。このように、本実施形態によっても、監視領域90内についてセキュリティーの向上とプライバシー保護との両立を図ることができる。
(第3実施形態)
次に、第3実施形態について、図10~図16を参照して説明する。
本実施形態は、プライバシー優先領域96、97の未加工の映像の表示を禁止する方法が、上記第1実施形態及び上記第2実施形態と異なる。すなわち、本実施形態のシステム制御装置40は、監視センサ10の発報を検知すると、移動ロボット20が滞在している領域に関わらず、遠隔操作モードに切り替えることを許可する。
そして、移動ロボット20が遠隔操作モードに切り替えられた場合、システム制御装置40は、移動ロボット20のカメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいなければ、その映像を未加工のまま監視端末30の表示部35に表示させることを許可する。一方、例えば図12に示すように、移動ロボット20のカメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいた場合、システム制御装置40は、図12に示す未加工の映像を表示部35に表示することを禁止する。
なお、図12は、移動ロボット20のカメラ23で撮影したそのままの映像の例つまり未加工の映像の例であり、また、図13は、図12のうちプライバシー優先領域である脱衣所96の範囲を斜線で示して区別したものである。
そして、システム制御装置40は、図14~図16に示すように、カメラ23で撮影した映像に映像加工処理を施した加工済みの映像を、監視端末30の表示部35に表示させる。この場合、映像加工処理は、プライバシー優先領域96、97内に滞在している人の個人が判別できないようにする映像処理である。
例えば図14は、プライバシー優先領域96内の人物を2D又は3Dモデル化して表示する人物モデル表示を示す例である。この場合、黒色に塗り潰して示された人物は、映像加工処理が施された、いわゆるバーチャル映像であり、人物以外の部分は、映像加工処理が施されていない、いわゆるリアル映像である。
また、例えば図15は、プライバシー優先領域96内の人物を消去するとともに、斜線部分に示すように周囲の背景を2D又は3Dモデル化して表示する背景モデル表示を示す例である。この場合、斜線で示されたプライバシー優先領域96は、映像加工処理が施された、いわゆるバーチャル映像であり、斜線で示されたプライバシー優先領域96以外の部分は、映像加工処理が施されていない、いわゆるリアル映像である。
そして、例えば図16は、プライバシー優先領域96全体を特定の色で塗り潰して表示する塗り潰し表示を示す例である。この場合、黒色に塗り潰して示されたプライバシー優先領域96は、映像加工処理が施された、いわゆるバーチャル映像であり、黒色の塗り潰しで示されたプライバシー優先領域96以外の部分は、映像加工処理が施されていない、いわゆるリアル映像である。更に、映像処理としては、カメラ23で撮影された映像に含まれるプライバシー優先領域96内の人物又はプライバシー優先領域96全体に対してモザイクを付与するモザイク処理や色を反転させる色反転処理などがある。
システム制御装置40は、例えば図11に示す制御内容を実行する。システム制御装置40は、ステップS11における自動巡回中に、監視センサ10の発報を検知すると(ステップS12でYES)、ステップS41へ処理を移行し、移動ロボット20を遠隔操作モードに切り替える。そして、システム制御装置40は、ステップS42において、移動ロボット20のカメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいるか否かを判断する。
カメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいるか否かの判断は、例えば移動ロボット20の現在位置と姿勢から判断しても良いし、例えば各領域の境界に領域の種類を識別するマーカーを設けておき、カメラ23でそのマーカーを読み取ることで判断しても良い。
カメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいなければ(ステップS42でNO)、システム制御装置40は、ステップS43へ処理を移行させ、未加工の映像を監視端末30の表示部35に表示させる。一方、カメラ23で撮影した映像の中にプライバシー優先領域96、97が映り込んでいる場合(ステップS42でYES)、システム制御装置40は、ステップS44へ処理を移行させ、図14~図16に示すように、撮影した映像に映像加工処理を施す。そして、システム制御装置40は、ステップS45に処理を移行させ、映像加工処理を施した加工済みの映像を、監視端末30の表示部35に表示させる。その後、上記実施形態と同様に、ステップS22において、異常状態が解除されたか否かを判断する。
このように、本実施形態において、システム制御装置40は、移動ロボット20のカメラ23で撮影した映像にプライバシー優先領域96、97が映っている場合において、少なくともその映像に映り込んでいる人の個人が判別できないように映像処理を施した加工済みの映像を、表示部35に表示させる。
これによれば、監視員は、移動ロボット20を遠隔操作する際に、監視端末30の表示部35に表示される映像を見ることで、移動ロボット20の周囲の状況を把握しながら移動ロボット20を遠隔操作することができるが、プライバシー優先領域96、97内に滞在する人の個人を判別することはできない。そのため、監視員による移動ロボット20の操作性が向上し、監視領域90内のセキュリティーが向上するとともに、ユーザのプライバシーも保護することができる。
なお、上記説明した各実施形態は、上記し且つ図面に記載した各実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲において適宜変更することができる。
図面中、1は監視システム、10(11~17)は監視センサ、20は移動ロボット、23はカメラ、35は表示部、36は操作部、40はシステム制御装置、90(91~9)は監視領域、を示す。

Claims (3)

  1. 複数の監視領域のそれぞれに設置された監視センサと、
    周囲の映像を撮影可能なカメラを有し、前記監視領域間を自律的に移動可能な自律移動モードと外部からの遠隔操作により移動可能な遠隔操作モードとを切り替え可能に構成された移動ロボットと、
    前記移動ロボットの前記カメラで撮影した映像を表示可能な表示部と、前記移動ロボットが前記遠隔操作モードのときに前記移動ロボットの遠隔操作に用いる操作部と、を有する監視端末と、
    前記監視センサの発報に基づいて前記移動ロボットの前記自律移動モードと前記遠隔操作モードとを切り替えるとともに、前記表示部に表示させる映像の態様を決定するシステム制御装置と、を備え、
    前記システム制御装置は、
    記監視領域について予めセキュリティー優先領域とプライバシー優先領域とが設定されており、前記監視センサの発報を検知した場合に、前記セキュリティー優先領域内の映像についてはその映像を未加工で前記表示部に表示することを許可し、前記プライバシー優先領域内の映像についてはその映像を未加工で前記表示部に表示することを禁止し、
    前記監視センサの発報を検知したときに前記移動ロボットが前記プライバシー優先領域外に滞在している場合は前記移動ロボットを前記遠隔操作モードに切り替えることを許可するとともに前記カメラで撮影した映像を未加工で前記表示部に表示することを許可し、前記監視センサの発報を検知したときに前記移動ロボットが前記プライバシー優先領域内に滞在している場合は前記カメラで撮影した映像を未加工で前記表示部に表示することを禁止した状態で前記移動ロボットを前記プライバシー優先領域外まで自律移動させた後に前記移動ロボットを前記遠隔操作モードに切り替えることを許可する、
    監視システム。
  2. 前記システム制御装置は、前記移動ロボットが前記遠隔操作モードである場合、前記プライバシー優先領域が前記カメラの撮影範囲に入り込む方向へ前記カメラを向ける操作を受け付けないことで前記プライバシー優先領域内についての映像を未加工で前記表示部に表示することを禁止する、
    請求項1に記載の監視システム。
  3. 前記システム制御装置は、前記カメラで撮影した映像に前記プライバシー優先領域が映っている場合において、少なくともその映像に映り込んでいる人の個人が判別できないように映像処理を施した加工済みの映像を前記表示部に表示させる、
    請求項1又は2に記載の監視システム。
JP2018114587A 2018-06-15 2018-06-15 監視システム Active JP7052583B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018114587A JP7052583B2 (ja) 2018-06-15 2018-06-15 監視システム
US16/434,394 US10728505B2 (en) 2018-06-15 2019-06-07 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018114587A JP7052583B2 (ja) 2018-06-15 2018-06-15 監視システム

Publications (2)

Publication Number Publication Date
JP2019219736A JP2019219736A (ja) 2019-12-26
JP7052583B2 true JP7052583B2 (ja) 2022-04-12

Family

ID=68839467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018114587A Active JP7052583B2 (ja) 2018-06-15 2018-06-15 監視システム

Country Status (2)

Country Link
US (1) US10728505B2 (ja)
JP (1) JP7052583B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083494A1 (en) * 2017-10-23 2019-05-02 Hewlett-Packard Development Company, L.P. MODIFYING RESPONSES TO ROBOT DETECTIONS
US11052541B1 (en) * 2018-12-05 2021-07-06 Facebook, Inc. Autonomous robot telerobotic interface
EP3908963A1 (en) * 2019-01-07 2021-11-17 Mobius Labs GmbH Automated capturing of images comprising a desired feature
CN111405250A (zh) * 2020-03-24 2020-07-10 北京海益同展信息科技有限公司 视频流数据处理方法、装置、机器人及存储介质
CN112230623B (zh) * 2020-10-15 2022-09-06 京东科技信息技术有限公司 故障监控方法和装置、机器人功能装置和巡检机器人
CN112511797A (zh) * 2020-11-11 2021-03-16 湖南德雅曼达科技有限公司 一种防护用品穿脱监测设备、隔离病房及隔离系统
KR20240029414A (ko) * 2022-08-26 2024-03-05 삼성전자주식회사 특정 공간을 주행하는 로봇 및 이의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285547A (ja) 2005-03-31 2006-10-19 Secom Co Ltd 移動ロボット及び移動ロボットによる監視システム
JP2009181270A (ja) 2008-01-30 2009-08-13 Secom Co Ltd 移動ロボット
JP2016203276A (ja) 2015-04-17 2016-12-08 トヨタ自動車株式会社 遠隔操作システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4003591B2 (ja) * 2002-07-11 2007-11-07 ソニー株式会社 モニタリングシステム、モニタリング方法およびプログラム
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
WO2006071062A1 (en) * 2004-12-30 2006-07-06 Samsung Electronics Co., Ltd. A terminal data format and a communication control system and method using the terminal data format
US8321885B2 (en) * 2008-07-29 2012-11-27 Pino Jr Angelo J In-home system monitoring method and system
US8706297B2 (en) * 2009-06-18 2014-04-22 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
DE102012211071B3 (de) * 2012-06-27 2013-11-21 RobArt GmbH Interaktion zwischen einem mobilen Roboter und einer Alarmanlage
JP6080568B2 (ja) 2013-01-30 2017-02-15 セコム株式会社 監視システム
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
US20190086903A1 (en) * 2016-03-30 2019-03-21 Nec Corporation Plant management system, plant management method, plant management apparatus, and plant management program
US10272828B2 (en) * 2016-08-16 2019-04-30 Irobot Corporation Light indicator system for an autonomous mobile robot
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285547A (ja) 2005-03-31 2006-10-19 Secom Co Ltd 移動ロボット及び移動ロボットによる監視システム
JP2009181270A (ja) 2008-01-30 2009-08-13 Secom Co Ltd 移動ロボット
JP2016203276A (ja) 2015-04-17 2016-12-08 トヨタ自動車株式会社 遠隔操作システム

Also Published As

Publication number Publication date
US10728505B2 (en) 2020-07-28
JP2019219736A (ja) 2019-12-26
US20190387203A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7052583B2 (ja) 監視システム
EP2977843B1 (en) Robot cleaner and method for controlling it
AU2021202129B2 (en) Virtual enhancement of security monitoring
KR101381924B1 (ko) 카메라 감시 장치를 이용한 보안 감시 시스템 및 방법
KR20120048158A (ko) 보안기능이 강화된 도어록 시스템 및 그 제어방법
JP4741940B2 (ja) 監視システム、同システムを構成する移動ロボットの制御装置
JP4866801B2 (ja) 集合住宅インターホンシステム
US9594290B2 (en) Monitoring apparatus for controlling operation of shutter
KR20180040255A (ko) 공항 로봇
JP5982273B2 (ja) 撮影システム
JP2006279516A (ja) 監視システム、監視カメラ、及びコントローラ
EP2856446B1 (en) Device, system and method for monitoring a predetermined space
JP2007157032A (ja) 監視システム
JP4934315B2 (ja) 監視システム、同システムを構成する移動ロボットおよび制御装置
JP5210828B2 (ja) 建物の防犯システム
JP2002252879A (ja) 旋回カメラを用いたイベント連動型駅務監視システム
JP7442289B2 (ja) 集合住宅インターホンシステム
KR20160133961A (ko) 영상 감시 기능을 제공하는 엘리베이터 조작 패널 장치
JP5059322B2 (ja) 警備システム
JP2022139036A (ja) 警備システム、サーバ、警備装置及び作業ロボット
JP4792280B2 (ja) 移動ロボットの制御装置
JP2006155451A (ja) 自走式機器およびそのプログラム
JP2017183838A (ja) 表示制御装置、表示システム並びに表示制御方法及び表示制御用プログラム
JP2006164120A (ja) 自律走行監視装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7052583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150