JP6876804B2 - 監視システム及び監視方法 - Google Patents
監視システム及び監視方法 Download PDFInfo
- Publication number
- JP6876804B2 JP6876804B2 JP2019532870A JP2019532870A JP6876804B2 JP 6876804 B2 JP6876804 B2 JP 6876804B2 JP 2019532870 A JP2019532870 A JP 2019532870A JP 2019532870 A JP2019532870 A JP 2019532870A JP 6876804 B2 JP6876804 B2 JP 6876804B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fake
- monitored
- terminal device
- true
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
Description
本発明は、監視システム及び監視方法に関する。
従来、所定空間を撮像し、撮像して得た映像を、遠隔地のディスプレイに表示する監視システムが提案されている(特許文献1参照)。この特許文献1に記載の監視システムでは、監視者に、ディスプレイの映像を監視させ、犯罪等を発見させるようになっている。
しかしながら、特許文献1に記載の監視システムでは、例えば、監視者の犯罪等の発見能力が低い場合には、犯罪等が見逃され、監視が適切に行われない可能性があった。
しかしながら、特許文献1に記載の監視システムでは、例えば、監視者の犯罪等の発見能力が低い場合には、犯罪等が見逃され、監視が適切に行われない可能性があった。
本発明は、上記のような課題に着目したもので、監視が適切に行われているかを判断可能な監視システム及び監視方法を提供することを目的とする。
上記課題を解決するために、本発明の一態様は、(1)サーバ装置と、監視対象となる所定空間の映像を撮像し、撮像した映像をサーバ装置に出力する撮像装置と、を備える監視システムであって、(2)サーバ装置は、映像の現在のフレームをカレント画像として取得するカレント画像取得部と、(3)カレント画像に、カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像を真画像として生成する真画像生成部と、(4)動画、静止画または静止画を生成するための情報を記憶し、監視者によって監視が適切に行われているか否かの判断に使用するための偽画像としてその動画の1フレームまたはその静止画を取り出せる偽映像記憶部と、(5)真画像または偽画像のいずれか一方に基づいて生成した監視対象画像、またはその両方に基づいて生成した監視対象画像を端末装置に送信する画像送信部と、(6)端末装置のユーザが監視対象画像内に通報事象を発見したか否かを示す発見状況情報を端末装置から受信する通報受信部と、通報事象を発見した旨の発見状況情報を受信したとき、発見の対象となった監視対象画像は、偽画像のみに基づいて生成された画像、または真画像と偽画像の両方に基づいて生成された画像、すなわち偽画像に基づいて生成された画像であるか否かを判定する通報判定部と、を有する監視システムであることを要旨とする。以下、偽画像のみに基づいて生成された画像と、真画像と偽画像の両方に基づいて生成された画像とを総じて記述するときは、偽画像に基づいて生成された画像という。
本発明の他の態様は、(1)サーバ装置から受信した監視対象画像を端末装置に表示し、端末装置のユーザが監視対象画像内に通報事象を発見したか否かの状況をサーバ装置に対して発見状況情報として送信する監視システムであって、(2)監視対象画像は、真画像または偽画像のいずれか一方に基づいて生成された画像、またはその両方に基づいて生成された画像であって、(3)真画像は、監視対象となる所定空間を撮像装置で撮影した映像における現在のフレームをカレント画像とし、カレント画像に、カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像であり、(4)偽画像は、監視者によって監視が適切に行われているか否かの判断に使用するための画像であって、動画からフレーム単位で取り出された画像または静止画であり、(5)発見状況情報が通報事象を発見した旨の情報であるときに、発見の対象となった監視対象画像が偽画像に基づいて生成された画像であるか否かを判定する監視システムであることを要旨とする。
本発明の他の態様は、(1)監視対象となる所定空間の映像を撮像し、撮像した映像をサーバ装置に出力するステップ(a)と、(2)映像の現在のフレームをカレント画像として取得するステップ(b)と、(3)真画像または偽画像のいずれか一方に基づいて生成した監視対象画像、またはその両方に基づいて生成した監視対象画像を端末装置に送信するステップ(c)と、(4)端末装置のユーザが監視対象画像内に通報事象を発見したか否かの状況を発見状況情報として端末装置からサーバ装置に送信させるステップ(d)と、(5)通報事象を発見した旨の発見状況情報を受信したとき、発見の対象となった監視対象画像は偽画像に基づいて生成された画像であるか否かを判定するステップ(e)と、を有する監視方法であって、(6)真画像は、カレント画像に、カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施して生成された画像であり、(7)偽画像は、監視者によって監視が適切に行われているか否かの判断に使用するための画像であって、動画からフレーム単位で取り出された画像または静止画である監視方法であることを要旨とする。
本発明によれば、例えば、端末装置から通報事象を発見した旨の発見状況情報を受信したときに、偽画像に基づいて生成した監視対象画像を送信していたか否かを判定できる。また、偽画像に基づく監視対象画像を送信していたにも関わらず、端末装置から通報事象を発見した旨の発見状況情報を受信しない状況も検出できる。それゆえ、端末装置側で監視が適切に行われているか否かを判断可能な監視システム及び監視方法を提供できる。
以下、本発明の第1〜第5実施形態に係る監視システムについて、図面を参照しつつ説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付し、第1〜第5実施形態に係る監視システムの説明において、実質的に同様な構成等についての重複する説明を省略する。本発明の第1〜第5実施形態に係る監視システムは、監視対象となる施設(例えば、介護施設、幼稚園、バー)において、犯罪等の、通報対象となる事象が発生したかの監視を、専門家ではなく、一般人に行わせるものである。
なお、以下に示す第1〜第5実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
なお、以下に示す第1〜第5実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
(第1実施形態)
(構成)
本発明の第1実施形態に係る監視システム100は、図1に示すように、複数の撮像装置1と、サーバ装置2と、端末装置3とを備えている。撮像装置1とサーバ装置2、サーバ装置2と端末装置3は、インターネットや携帯電話網等の通信網4を介して、映像データ等の各種データを互いに送受信可能に接続されている。また、撮像装置1にマイクロコンピュータを設け、後述のプライバシーを保護する画像処理機能や人を検出する機能等のサーバ装置2の一部の機能を移設することもできる。また、1つの施設に複数の撮像装置1を設置し、通信網4を介することなく、各撮像装置1をサーバ装置2にケーブルで直接接続する構成としてもよい。撮像装置1をサーバ装置2にケーブルで直接接続する構成とした場合、プライバシーを保護する画像処理機能や人を検出する機能をサーバ装置2に残し、残りの機能は通信網4を介して接続される別のサーバ装置に移設することもできる。
(構成)
本発明の第1実施形態に係る監視システム100は、図1に示すように、複数の撮像装置1と、サーバ装置2と、端末装置3とを備えている。撮像装置1とサーバ装置2、サーバ装置2と端末装置3は、インターネットや携帯電話網等の通信網4を介して、映像データ等の各種データを互いに送受信可能に接続されている。また、撮像装置1にマイクロコンピュータを設け、後述のプライバシーを保護する画像処理機能や人を検出する機能等のサーバ装置2の一部の機能を移設することもできる。また、1つの施設に複数の撮像装置1を設置し、通信網4を介することなく、各撮像装置1をサーバ装置2にケーブルで直接接続する構成としてもよい。撮像装置1をサーバ装置2にケーブルで直接接続する構成とした場合、プライバシーを保護する画像処理機能や人を検出する機能をサーバ装置2に残し、残りの機能は通信網4を介して接続される別のサーバ装置に移設することもできる。
撮像装置1は、監視対象となる施設の所定空間の映像を撮像する。そして、撮像した映像の映像データをサーバ装置2に出力する。撮像装置1としては、例えば、ビデオカメラ、WEBカメラ、監視カメラ、パソコンに付属されているカメラを用いることができる。
本発明の第1実施形態に係る監視システム100では、説明を簡素化するために、サーバ装置2と端末装置3とを1台ずつとしている。
本発明の第1実施形態に係る監視システム100では、説明を簡素化するために、サーバ装置2と端末装置3とを1台ずつとしている。
サーバ装置2は、プロセッサ5及び記憶装置6等のハードウェア資源を備えている。
プロセッサ5は、図2に示すように、カレント画像取得部7、真画像生成部8、画像送信部9、通報受信部10、通報判定部11、習熟度設定部12及び通報動作部13等を実現している。図2に示したプロセッサ5の内部構造の表現は、半導体チップ上に物理的な領域としてそれぞれ独立して存在する専用の集積回路や機能ブロックを意味するものではない。カレント画像取得部7、真画像生成部8、画像送信部9、通報受信部10、通報判定部11、習熟度設定部12及び通報動作部13等はソフトウェアによって実現される。
プロセッサ5は、図2に示すように、カレント画像取得部7、真画像生成部8、画像送信部9、通報受信部10、通報判定部11、習熟度設定部12及び通報動作部13等を実現している。図2に示したプロセッサ5の内部構造の表現は、半導体チップ上に物理的な領域としてそれぞれ独立して存在する専用の集積回路や機能ブロックを意味するものではない。カレント画像取得部7、真画像生成部8、画像送信部9、通報受信部10、通報判定部11、習熟度設定部12及び通報動作部13等はソフトウェアによって実現される。
記憶装置6は、図3に示すように、偽映像記憶部14及び累積ポイント記憶部15を有している。図3に示した記憶装置6の内部構造の表現は、必ずしも物理的な領域として独立して存在する記憶装置を意味するものではない。例えば、1つの記憶装置内の異なる領域を用いて、偽映像記憶部14及び累積ポイント記憶部15を実現することもできる。
偽映像記憶部14は、撮像対象となる施設の所定空間で通報対象となる事象が発生した場合に撮像装置1で得られる映像に似せて作成した複数の映像(以下「偽映像」とも呼ぶ)を動画として記憶している。偽映像はフレーム単位で取り出し可能な形式で記憶される。例えば、フレーム間の類似情報を利用して圧縮した形式、フレーム1枚1枚が独立した形式を採用できる。そして、偽映像は、監視者である一般人によって監視が適切に行われているか否かの判断に使用するための偽画像として、動画の1フレームを取り出される。
偽映像記憶部14は、撮像対象となる施設の所定空間で通報対象となる事象が発生した場合に撮像装置1で得られる映像に似せて作成した複数の映像(以下「偽映像」とも呼ぶ)を動画として記憶している。偽映像はフレーム単位で取り出し可能な形式で記憶される。例えば、フレーム間の類似情報を利用して圧縮した形式、フレーム1枚1枚が独立した形式を採用できる。そして、偽映像は、監視者である一般人によって監視が適切に行われているか否かの判断に使用するための偽画像として、動画の1フレームを取り出される。
なお、本発明の第1実施形態に係る監視システム100では、偽映像記憶部14が、偽映像として動画を記憶し、偽画像として動画の1フレームを取り出し可能な構成とする例を示したが、他の構成を採用することもできる。例えば、撮像対象となる施設の所定空間で通報対象となる事象が発生した場合に撮像装置1で得られる映像(静止画)に似せて作成した静止画を記憶し、偽画像として、その静止画を取り出し可能な構成としてもよい。偽映像として動画や静止画を不揮発性メモリーに記録せずとも、同様の静止画をコンピュータグラフィックスを用いて動的に生成し、偽映像記憶部14を構成する揮発性メモリーに逐次記憶させてもよい。また、偽映像記憶部14には、このような動画または静止画を生成するための情報を記憶するようにしてもよい。上記情報としては、例えば、ベクトルデータ、動画または静止画が記憶されているサーバのアドレス、動画または静止画の検索条件等を用いることができる。そして、偽映像記憶部14は、上記情報に基づいて生成、取得、または検索して得られた動画の1フレームまたは静止画を偽画像として取り出し可能な構成としてもよい。
偽映像の生成方法としては、例えば、通報対象となる事象を所定空間で実際に発生させて撮像装置1で撮像して偽映像を生成する方法や、撮像装置1で撮像した映像(例えば、無人の背景画像)と通報対象となる事象の映像(例えば、犯罪を行っている人物の前景映像)とを合成して偽映像を生成する方法を用いることができる。偽映像は、例えば、監視が適切に行われているかを判定するために、真映像に似た見栄えにすべく、真映像に施される後述のプライバシー保護加工を施してから偽映像記憶部14に記憶してもよい。また、例えば、プライバシー保護加工を施せずに偽映像記憶部14に記憶してもよい。プライバシー保護加工を施せずに偽映像を記憶させる場合、偽映像からフレーム単位で取り出した偽画像に基づいて監視対象画像を生成するときにプライバシー保護加工を施せばよい。
また、例えば、偽映像記憶部14が記憶している偽映像が2つ以上ある場合、各偽映像には、通報対象となる事象が発生していることを発見する難易度を設定するようにしてもよい。すなわち、偽映像記憶部14は、難易度の異なる複数の偽映像を記憶することができる。なお、偽映像の難易度の設定は、偽映像単位でもよいし、1つの偽映像を時間で区切って形成される各区間単位でもよいし、偽画像単位すなわちフレーム単位でもよい。
累積ポイント記憶部15は、後述するように、端末装置3のユーザにポイントを付与した際に、付与したポイントの累積値(以下、「累積ポイント数」とも呼ぶ)を記憶する。累積ポイント数の記憶は、端末装置3毎、または、端末装置3のユーザ毎に行われる。
累積ポイント記憶部15は、後述するように、端末装置3のユーザにポイントを付与した際に、付与したポイントの累積値(以下、「累積ポイント数」とも呼ぶ)を記憶する。累積ポイント数の記憶は、端末装置3毎、または、端末装置3のユーザ毎に行われる。
端末装置3は、プロセッサ16、画像表示部17及び入力受付部18等のハードウェア資源を備えている。端末装置3としては、例えば、スマートフォンを用いることができる。端末装置3のユーザとしては、例えば、監視の専門家ではなく、一般人を採用できる。
プロセッサ16は、図4に示すように、監視対象画像取得部19、監視対象画像表示部20及び通報部21等を実現している。図4に示したプロセッサ16の内部構造の表現は、半導体チップ上に物理的な領域としてそれぞれ独立して存在する専用の集積回路や機能ブロックを意味するものではない。監視対象画像取得部19、監視対象画像表示部20及び通報部21等は、プロセッサ16が実行するソフトウェアによって実現される。
プロセッサ16は、図4に示すように、監視対象画像取得部19、監視対象画像表示部20及び通報部21等を実現している。図4に示したプロセッサ16の内部構造の表現は、半導体チップ上に物理的な領域としてそれぞれ独立して存在する専用の集積回路や機能ブロックを意味するものではない。監視対象画像取得部19、監視対象画像表示部20及び通報部21等は、プロセッサ16が実行するソフトウェアによって実現される。
画像表示部17は、プロセッサ16の監視対象画像表示部20からの信号に従い、後述するように、プロセッサ16の監視対象画像取得部19で取得された監視対象画像を表示する。画像表示部17としては、例えば、液晶ディスプレイを用いることができる。
入力受付部18は、端末装置3のユーザからの入力を受け付ける。入力受付部18としては、例えば、画像表示部17の表示面上に取り付けられたタッチパネルセンサを用いることができる。そして、入力受付部18は受け付けた入力をプロセッサ16に出力する。
入力受付部18は、端末装置3のユーザからの入力を受け付ける。入力受付部18としては、例えば、画像表示部17の表示面上に取り付けられたタッチパネルセンサを用いることができる。そして、入力受付部18は受け付けた入力をプロセッサ16に出力する。
(サーバ側処理)
次に、サーバ装置2のプロセッサ5が実行するサーバ側処理について説明する。サーバ側処理は、監視システム100のシステム管理者がサーバ装置2に、予め定められたサーバ側処理の開始操作を行うと実行される。サーバ側処理の開始時には、一定時間毎に監視対象施設を切り替えて表示するための場面切替フラグがON状態に設定される。
図5に示すように、まず、ステップS101で、画像送信部9が、場面切替フラグがON状態であるか否かを判定する。そして、場面切替フラグがON状態であると判定した場合には(Yes)、ステップS102に移行する。一方、場面切替フラグがON状態ではなく、OFF状態であると判定した場合には(No)、ステップS103に移行する。
次に、サーバ装置2のプロセッサ5が実行するサーバ側処理について説明する。サーバ側処理は、監視システム100のシステム管理者がサーバ装置2に、予め定められたサーバ側処理の開始操作を行うと実行される。サーバ側処理の開始時には、一定時間毎に監視対象施設を切り替えて表示するための場面切替フラグがON状態に設定される。
図5に示すように、まず、ステップS101で、画像送信部9が、場面切替フラグがON状態であるか否かを判定する。そして、場面切替フラグがON状態であると判定した場合には(Yes)、ステップS102に移行する。一方、場面切替フラグがON状態ではなく、OFF状態であると判定した場合には(No)、ステップS103に移行する。
ステップS102では、画像送信部9が、複数の撮像装置1のうち、いずれの撮像装置1を用いるのかを選択する。続いて、選択した撮像装置1から出力される映像にプライバシー保護加工を施した映像(以下、「真映像」とも呼ぶ)及び偽映像記憶部14が記憶している偽映像のいずれを送信するのかを選択する。真映像及び偽映像のいずれを送信するかは、例えば、真映像の送信時間と偽映像の送信時間とが予め決められた割合になる確率でランダムに選択すればよい。予め決められた割合になる確率でランダムに選択させる場合、対象施設毎に、その割合を変える仕組みを設けることが可能な構成としてもよい。これにより、偽映像が出やすい施設と出にくい施設とを区別して管理することができる。
そして、画像送信部9が、真映像の送信を選択した場合には、配信モードを「真」に設定する。一方、偽映像の送信を選択した場合には、配信モードを「偽」に設定する。配信モードを「偽」に設定した場合、偽映像記憶部14が記憶している複数の偽映像のうちからランダムに1つの偽映像を選択する。偽映像毎に難易度が設定されている場合には、端末装置3のユーザの習熟度に応じた難易度の偽映像を選択してもよい。続いて、画像送信部9が、場面切替フラグをOFF状態に設定した後、ステップS103に移行する。
ステップS103では、画像送信部9は、ステップS102で設定された配信モードが「真」であるか否かを判定する。そして、配信モードが「真」であると判定した場合には(Yes)、ステップS104に移行する。一方、配信モードが「真」ではない、つまり、「偽」であると判定した場合には(No)、ステップS106に移行する。
ステップS103では、画像送信部9は、ステップS102で設定された配信モードが「真」であるか否かを判定する。そして、配信モードが「真」であると判定した場合には(Yes)、ステップS104に移行する。一方、配信モードが「真」ではない、つまり、「偽」であると判定した場合には(No)、ステップS106に移行する。
ステップS104では、カレント画像取得部7が、撮像装置1から出力される映像データの現在のフレーム(以下、「カレント画像」とも呼ぶ)を取得する。続いて、真画像生成部8が、取得したカレント画像に、カレント画像内の人物の特定を困難なものとする加工(以下、「プライバシー保護加工」とも呼ぶ)を施して真画像を生成する。プライバシー保護加工の方法としては、例えば、カレント画像の前景画像の輪郭線を抽出して背景画像に上書きする方法、カレント画像全体をモザイク処理する方法を用いることができる。ちなみに、プライバシーを保護するだけであれば、画像内の人を検出し、検出された領域に例えばアバターを上書きする方法もあるが、犯罪の発生を監視する目的には使えない。
続いてステップS105に移行して、画像送信部9は、ステップS104で真画像の送信が開始されてから、予め定められた真画像の送信期限が経過したか否かを判定する。真画像の送信期限としては、例えば、実験等によって求められる人の集中力が続く時間(例えば、5分)を用いることができる。そして、画像送信部9は、真画像の送信期限が経過したと判定した場合には(Yes)、ステップS108に移行する。一方、真画像の送信期限が経過していないと判定した場合には(No)、ステップS109に移行する。
一方、ステップS106では、画像送信部9は、ステップS102で選択した偽映像の1フレーム(偽画像)を取得する。具体的には、偽映像の先頭フレームの偽画像を取得し、その後このステップの度に直前に取得した偽画像の次フレームの偽画像を取得する。
一方、ステップS106では、画像送信部9は、ステップS102で選択した偽映像の1フレーム(偽画像)を取得する。具体的には、偽映像の先頭フレームの偽画像を取得し、その後このステップの度に直前に取得した偽画像の次フレームの偽画像を取得する。
続いてステップS107に移行して、画像送信部9は、ステップS106で取得した偽画像がステップS102で選択した偽映像の最終フレームであるか否かを判定する。そして、最終フレームであると判定した場合には(Yes)ステップS108に移行する。一方、最終フレームではないと判定した場合には(No)ステップS109に移行する。
ステップS108では、画像送信部9は、場面切替フラグをON状態に切り替えた後、ステップS109に移行する。これにより、配信モードの設定を再度実行可能とする。
ステップS108では、画像送信部9は、場面切替フラグをON状態に切り替えた後、ステップS109に移行する。これにより、配信モードの設定を再度実行可能とする。
ステップS109では、画像送信部9は、ステップS104で生成した真画像、またはステップS106で取得した偽画像のいずれか一方に基づいて監視対象となる画像(以下、「監視対象画像」とも呼ぶ)を生成する。真画像に基づいて監視対象画像を生成する方法としては、例えば、真画像そのものを監視対象画像とする方法を用いることができる。
また、偽画像に基づいて監視対象画像を生成する方法としては、例えば、偽画像の取得元となった偽映像にプライバシー保護加工が施されていた場合には、偽画像そのものを監視対象画像とする方法を用いることができる。また、例えば、偽画像の取得元となった偽映像にプライバシー保護加工が施されていない場合には、上述したように、偽画像にプライバシー保護加工を施すことで、監視対象画像を生成する方法を用いることができる。
また、偽画像に基づいて監視対象画像を生成する方法としては、例えば、偽画像の取得元となった偽映像にプライバシー保護加工が施されていた場合には、偽画像そのものを監視対象画像とする方法を用いることができる。また、例えば、偽画像の取得元となった偽映像にプライバシー保護加工が施されていない場合には、上述したように、偽画像にプライバシー保護加工を施すことで、監視対象画像を生成する方法を用いることができる。
また、フローチャートには記載しないが、これらの方法で作成した真画像と偽画像とを重ね合わせたり、真画像の一部を偽画像の一部で置き換えたりして、新たな偽画像を生成することもできる。
また、フローチャートには記載しないが、これらの方法で作成した真画像と偽画像とを重ね合わせたり、真画像の一部を偽画像の一部で置き換えたりして、新たな偽画像を生成することもできる。
その際、後述するようにステップS112でポイントを付与した直後から所定時間以内であるか否かを判定し、所定時間以内であると判定した場合、通報事象を発見した旨の情報を送信すべき課題に的確に対応できた旨を通知すべく、付与したポイント及び累積ポイント数を監視対象画像に上書きして端末装置3のユーザに通知する構成としてもよい。
続いて、画像送信部9は、監視対象画像の生成が完了すると、生成した監視対象画像のデータを端末装置3に送信する。監視対象画像のデータの送信は、経由で行われる。
また、フローチャートには記載しないが、これらの方法で作成した真画像と偽画像とを重ね合わせたり、真画像の一部を偽画像の一部で置き換えたりして、新たな偽画像を生成することもできる。
その際、後述するようにステップS112でポイントを付与した直後から所定時間以内であるか否かを判定し、所定時間以内であると判定した場合、通報事象を発見した旨の情報を送信すべき課題に的確に対応できた旨を通知すべく、付与したポイント及び累積ポイント数を監視対象画像に上書きして端末装置3のユーザに通知する構成としてもよい。
続いて、画像送信部9は、監視対象画像の生成が完了すると、生成した監視対象画像のデータを端末装置3に送信する。監視対象画像のデータの送信は、経由で行われる。
このように、本発明の第1実施形態に係る監視システム100では、カレント画像を用いて生成される真映像に対して、カレント画像に映り込む人物の特定を困難なものとするプライバシー保護加工を施した画像(監視対象画像)を端末装置3に送信するようにした。それゆえ、監視対象画像によってプライバシーの問題が発生することなく、監視対象画像を一般人に監視させることができる。そのため、より多くの人に監視対象画像の監視を行わせ、より広範なエリアの監視対象画像をリアルタイムで監視できるので、現行犯をより確実に検知でき、現行犯の犯人を捕まえることができる。その結果、監視対象画像からの犯人の特定が必要なく、例えば、犯人が変装していても犯人を捕まえることができる。
ちなみに、例えば、犯罪の発生後に録画映像から犯人を特定する方法では、犯人が変装すると人物を特定できないため、犯人を捕まえることが難しく、犯罪の抑止効果が薄い。
ちなみに、例えば、犯罪の発生後に録画映像から犯人を特定する方法では、犯人が変装すると人物を特定できないため、犯人を捕まえることが難しく、犯罪の抑止効果が薄い。
また、本発明の第1実施形態に係る監視システム100では、真映像だけでなく、偽映像も送信するようにした。ここで、真映像は、人物の特定を困難なものとするプライバシー保護加工が施されているので、元の映像よりも情報が減っている。そのため、真映像を見て、通報対象事象が発生しているか否かを一般人が判断することは難しい。監視のプロではない一般人には集中力の維持も難しい。これに対し、本発明の第1実施形態に係る監視システム100では、端末装置3のユーザに、真映像と同様にプライバシーを保護するためのプライバシー保護加工がなされた偽映像、つまり通報対象となる事象が発生した場合に撮像装置1で得られる映像に似せた映像を見せることができ、端末装置3のユーザの犯罪等の発見能力を向上するための訓練を行うとともに、確かに只今この端末装置3のユーザがよそ見をせずに適切な監視が行われていることの証しを得ることができる。偽映像の見栄えを真映像に似せて上記訓練のレベルを高めるべく、プライバシー保護加工を予め偽映像に施してから記憶してもよいし、偽映像からフレーム単位で取り出した偽画像に基づいて監視対象画像を生成するときにプライバシー保護加工を施すようにしてもよい。
続いてステップS110に移行して、通報受信部10が、端末装置3から犯罪等の通報対象となる事象(以下、「通報事象」とも呼ぶ)を発見した旨の発見状況情報(後述)を受信したか否かを判定する。そして、通報事象を発見した旨の発見状況情報を受信したと判定した場合には(Yes)、ステップS111に移行する。一方、通報事象を発見した旨の情報を受信していないと判定した場合には(No)、ステップS101に戻る。
ステップS111では、通報判定部11が、ステップS102で設定した配信モードが「偽」であるか否かを判定する。つまり、発見の対象となった監視対象画像(端末装置3に送信され、端末装置3の画像表示部17に表示されていた監視対象画像)は偽画像に基づいて生成された画像(以下、「偽対象画像」とも呼ぶ)であるか否かを判定する。言い換えると、端末装置3のユーザが通報事象を発見したと判断したときに、サーバ装置2から端末装置3に送信されていた監視対象画像が偽対象画像であったか否かを判定する。偽対象画像(偽画像に基づいて生成された画像)としては、例えば、偽画像のみに基づいて生成された画像、真画像と偽画像の両方に基づいて生成された画像が挙げられる。
そして、通報判定部11が、配信モードが「偽」であると判定した場合には(Yes)、発見の対象となった監視対象画像は偽対象画像であったと判定し、ステップS112に移行する。一方、配信モードが「真」であったと判定した場合には(No)、発見の対象となった監視対象画像は偽対象画像ではないと判定し、ステップS113に移行する。
そして、通報判定部11が、配信モードが「偽」であると判定した場合には(Yes)、発見の対象となった監視対象画像は偽対象画像であったと判定し、ステップS112に移行する。一方、配信モードが「真」であったと判定した場合には(No)、発見の対象となった監視対象画像は偽対象画像ではないと判定し、ステップS113に移行する。
ステップS112では、習熟度設定部12が、ステップS111で発見の対象となった監視対象画像が偽対象画像であると判定した回数、つまり、通報事象が表された画像であると正しく判定した回数に応じて、端末装置3のユーザに習熟度を設定する。ユーザの習熟度の設定方法としては、例えば、発見の対象となった監視対象画像が偽対象画像であると正しく判定した回数が多いほど習熟度を高くする方法を用いることができる。これにより、習熟度の設定値をもとに、端末装置3のユーザの犯罪等の発見能力を判定できる。
なお、本発明の第1実施形態に係る監視システム100では、発見の対象となった監視対象画像が偽対象画像であると正しく判定した回数に応じて、ユーザの習熟度を設定する例を示したが、他の構成を採用することもできる。例えば、監視対象画像の表示時間の総計、つまり、監視対象画像の閲覧時間の総計に応じて習熟度を設定する構成としてもよい。この場合、例えば、監視対象画像の閲覧時間の総計が長いほど習熟度を高くする。
なお、本発明の第1実施形態に係る監視システム100では、発見の対象となった監視対象画像が偽対象画像であると正しく判定した回数に応じて、ユーザの習熟度を設定する例を示したが、他の構成を採用することもできる。例えば、監視対象画像の表示時間の総計、つまり、監視対象画像の閲覧時間の総計に応じて習熟度を設定する構成としてもよい。この場合、例えば、監視対象画像の閲覧時間の総計が長いほど習熟度を高くする。
続いて、習熟度設定部12が、端末装置3に表示されていた監視対象画像が、偽対象画像であると正しく判定した端末装置3のユーザにポイントを付与し、付与したポイントの累積値すなわち累積ポイント数を累積ポイント記憶部15に記憶させた後、ステップS101に戻る。付与するポイントは、ステップS103で送信した監視対象画像の生成に用いた偽映像の難易度が高いほど大きくしてもよい。累積ポイント数は、例えば、商品、金券、デジタル通貨等、各種の金銭的報酬に交換可能な構成としてもよい。
また、金銭的報酬の原資としては、例えば、撮像装置1の監視対象となる施設の所有者や管理者から徴収される利用料を用いることができる。また例えば、監視対象画像に広告を掲載し、掲載した広告の広告主から徴収される広告料を用いることもできる。また、累積ポイント数は、他の端末装置3のユーザに分け合えることが可能な構成としてもよい。
また、金銭的報酬の原資としては、例えば、撮像装置1の監視対象となる施設の所有者や管理者から徴収される利用料を用いることができる。また例えば、監視対象画像に広告を掲載し、掲載した広告の広告主から徴収される広告料を用いることもできる。また、累積ポイント数は、他の端末装置3のユーザに分け合えることが可能な構成としてもよい。
一方、ステップS113では、通報動作部13が、監視対象画像として真画像を送信したにも関わらず、端末装置3から通報事象を発見した旨の発見状況情報を受信したことを、監視システム100のシステム管理者に通報する動作(以下、「外部通報動作」とも呼ぶ)を行った後、ステップS101に戻る。外部通報動作としては、例えば、通報メッセージをサーバ装置2の図示しないディスプレイやスピーカから出力する方法を用いることができる。これにより、サーバ装置2から端末装置3に監視対象画像として真画像を送信したにも関わらず、サーバ装置2が端末装置3から通報事象を発見した旨の発見状況情報を受信したと判定した場合に、本物の犯罪等の通報対象となる事象が発生した可能性があることを、監視システム100のシステム管理者に報知できる。
なお、本発明の第1実施形態に係る監視システム100では、端末装置3から通報事象を発見した旨の発見状況情報を受信したことを、監視システム100のシステム管理者に通報する例を示したが、他の構成を採用することもできる。例えば、施設所有者の端末装置(不図示)に通報のための信号を送信して、施設所有者に通報してもよい。
なお、本発明の第1実施形態に係る監視システム100では、サーバ装置2が端末装置3から通報事象を発見した旨の発見状況情報を受信したと判定した場合に、サーバ装置2から端末装置3に送信した監視対象画像は偽画像に基づいて生成された画像(偽対象画像)であるかを判定する例を示したが、他の構成を採用することもできる。例えば、図6に示すように、サーバ装置2が端末装置3から通報事象を発見した旨の発見状況情報を受信していないと判定した場合には(ステップS110「No」)、配信モードが「偽」であり且つその偽対象画像の送信が開始されてから予め定められた所定時間(例えば、偽対象画像の生成元の偽映像の録画時間の8割)が経過したか否かを判定する(ステップS201)。そして、所定時間が経過したと判定した場合には(Yes)、通報事象を端末装置3のユーザが見逃したことを表す見逃通知用画像を画像表示部17に表示させる見逃通知用画像のデータを端末装置3に送信する(ステップS202)。
この場合、例えば、端末装置3のユーザが見逃した偽映像を先頭フレームから順に、サーバ装置2から端末装置3に送信して(ステップS203)、端末装置3に再度表示させ、端末装置3のユーザに偽映像を再度閲覧させることで、ユーザの犯罪等の発見能力の向上に役立てる構成としてもよい。また、端末装置3のユーザが通報対象となる事象を見逃したと判定した回数を累積し、累積した回数に応じて、端末装置3のユーザ毎に判定(設定)した習熟度を低下させる(ステップS204)構成としてもよい。
(端末側処理)
次に、端末装置3のプロセッサ16が実行する端末側処理について説明する。端末側処理は、端末装置3のユーザが予め定められた端末側処理の開始操作を行うと実行される。
図7に示すように、まず、ステップS301で、監視対象画像取得部19が、通信網4を介して、サーバ装置2と端末装置3との間の通信を確立する。続いて、サーバ装置2からの監視対象画像のデータの送信が開始されると、送信されてくるデータを取得する。
続いてステップS302に移行して、監視対象画像表示部20が、ステップS301で取得したデータが示す監視対象画像を表示させる映像信号を画像表示部17に出力する。これにより、画像表示部17に監視対象画像(真画像または偽画像)を表示させ、表示させた監視対象画像からなる動画を、端末装置3のユーザに監視させることができる。
次に、端末装置3のプロセッサ16が実行する端末側処理について説明する。端末側処理は、端末装置3のユーザが予め定められた端末側処理の開始操作を行うと実行される。
図7に示すように、まず、ステップS301で、監視対象画像取得部19が、通信網4を介して、サーバ装置2と端末装置3との間の通信を確立する。続いて、サーバ装置2からの監視対象画像のデータの送信が開始されると、送信されてくるデータを取得する。
続いてステップS302に移行して、監視対象画像表示部20が、ステップS301で取得したデータが示す監視対象画像を表示させる映像信号を画像表示部17に出力する。これにより、画像表示部17に監視対象画像(真画像または偽画像)を表示させ、表示させた監視対象画像からなる動画を、端末装置3のユーザに監視させることができる。
続いてステップS303に移行して、通報部21が、端末装置3のユーザが通報事象を発見したことを通報する操作(以下、「通報操作」とも呼ぶ)を行ったか否かを判定する。通報操作を行ったか否かの判定方法としては、例えば、監視対象画像の一部に重なるように通報用ボタン画像を画像表示部17に表示しておき、入力受付部18からの出力に基づき、通報用ボタン画像の表示位置を端末装置3のユーザがタッチしたか否かを判定し、タッチしたと判定した場合に、通報操作を行ったと判定する方法を用いることができる。そして、通報操作を行ったと判定した場合には(Yes)、ステップS304に移行する。一方、通報操作を行っていないと判定した場合には(No)、ステップS301に戻る。
ステップS304では、通報部21が、ステップS301で取得した監視対象画像内に通報事象を発見したことを通報する発見状況情報をサーバ装置2に送信した後、ステップS301に戻る。これにより、端末装置3のユーザが、サーバ装置2から送信された監視対象画像内に通報対象となる事象の発生を発見したことを、サーバ装置2に通報できる。
なお、本発明の第1実施形態に係る監視システム100では、端末装置3のユーザが通報操作を行ったと判定した場合に、監視対象画像内に通報事象を発見したことを通報する発見状況情報をサーバ装置2に送信する例を示したが、他の構成を採用することもできる。通報事象発見情報としては、監視対象画像内に通報事象を発見したか否かを示すものであればよい。すなわち、ユーザが通報操作を行っていないと判定した場合に、監視対象画像内に通報事象を発見していないことを通報する発見状況情報をサーバ装置2に送信する構成としてもよい。具体的には、端末装置3のユーザがよそ見をせずに適切な監視を行っていることの証として通報事象が発生していない旨を伝える信号を常に送信し続け、端末装置3のユーザが通報操作を行ったと判定した場合に、その信号の送信を停止する。
なお、本発明の第1実施形態に係る監視システム100では、端末装置3のユーザが通報操作を行ったと判定した場合に、監視対象画像内に通報事象を発見したことを通報する発見状況情報をサーバ装置2に送信する例を示したが、他の構成を採用することもできる。通報事象発見情報としては、監視対象画像内に通報事象を発見したか否かを示すものであればよい。すなわち、ユーザが通報操作を行っていないと判定した場合に、監視対象画像内に通報事象を発見していないことを通報する発見状況情報をサーバ装置2に送信する構成としてもよい。具体的には、端末装置3のユーザがよそ見をせずに適切な監視を行っていることの証として通報事象が発生していない旨を伝える信号を常に送信し続け、端末装置3のユーザが通報操作を行ったと判定した場合に、その信号の送信を停止する。
(動作その他)
次に、本発明の第1実施形態に係る監視システム100の動作について説明する。
まず、システム管理者が、サーバ装置2にサーバ側処理の開始操作を行ったとする。すると、サーバ装置2が、サーバ側処理を開始し、場面切替フラグがON状態であると判定する(図5のステップS101「Yes」)。続いて、サーバ装置2が、真映像、または偽映像記憶部14が記憶している偽映像のいずれに基づいて生成された監視対象画像を送信するのかを表す配信モードを設定する(図5のステップS102)。ここで、配信モードが「真」に設定され、サーバ装置2が、配信モードを「真」と判定したとする(図5のステップS103「Yes」)。
次に、本発明の第1実施形態に係る監視システム100の動作について説明する。
まず、システム管理者が、サーバ装置2にサーバ側処理の開始操作を行ったとする。すると、サーバ装置2が、サーバ側処理を開始し、場面切替フラグがON状態であると判定する(図5のステップS101「Yes」)。続いて、サーバ装置2が、真映像、または偽映像記憶部14が記憶している偽映像のいずれに基づいて生成された監視対象画像を送信するのかを表す配信モードを設定する(図5のステップS102)。ここで、配信モードが「真」に設定され、サーバ装置2が、配信モードを「真」と判定したとする(図5のステップS103「Yes」)。
続いて、サーバ装置2が、撮像装置1から出力される映像データの現在のフレーム、つまり、カレント画像を取得し、取得したカレント画像に、カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像を真画像として生成する(図5のステップS104)。続いて、監視対象画像としての真画像の送信が開始されてから真画像の送信期限が経過していないと判定し(図5のステップS105「No」)、該真画像に基づいて監視対象画像を生成し(例えば、真画像そのものを監視対象画像とする)、生成した監視対象画像のデータを端末装置3に送信する(図5のステップS109)。
続いて、端末装置3から通報事象を発見した旨の発見状況情報を受信していないと判定し(図5のステップS110「No」)、上記フローを繰り返して、最新のカレント画像にプライバシー保護加工を施した真画像を次々に生成し、該真画像に基づいて生成された監視対象画像のデータを端末装置3に次々に送信する。
続いて、端末装置3から通報事象を発見した旨の発見状況情報を受信していないと判定し(図5のステップS110「No」)、上記フローを繰り返して、最新のカレント画像にプライバシー保護加工を施した真画像を次々に生成し、該真画像に基づいて生成された監視対象画像のデータを端末装置3に次々に送信する。
一方、図5のステップS102において配信モードが「偽」に設定されると(偽映像が複数ある場合はこのタイミングで1つの偽映像が選択される)、図5のステップS103において配信モードは「真」ではないと判定される(図5のステップS103「No」)。続いて、サーバ装置2が、偽映像の先頭フレームを偽画像として取得し(図5のステップS106)、取得した偽画像が偽映像の最終フレームでないと判定する(図5のステップS107「No」)。続いて、取得した偽画像に基づいて監視対象画像を生成し(例えば、偽画像そのものを監視対象画像とする)、生成した監視対象画像のデータを端末装置3に送信する(図5のステップS109)。
続いて、端末装置3から通報事象を発見した旨の発見状況情報を受信していないと判定し(図5のステップS110「No」)、上記フローを繰り返して、選択された偽映像の次フレームを偽画像として次々に取得し、取得した偽画像に基づいて生成された監視対象画像のデータを端末装置3に次々に送信する。
続いて、端末装置3から通報事象を発見した旨の発見状況情報を受信していないと判定し(図5のステップS110「No」)、上記フローを繰り返して、選択された偽映像の次フレームを偽画像として次々に取得し、取得した偽画像に基づいて生成された監視対象画像のデータを端末装置3に次々に送信する。
端末装置3のユーザが端末装置3に端末側処理の開始操作を行ったとする。すると、端末装置3は、サーバ装置2との通信を確立し、サーバ装置2からの監視対象画像のデータの送信が開始され、送信されてくるデータを取得する(図7のステップS301)。続いて、取得したデータが示す監視対象画像を表示させる映像信号を画像表示部17に出力する(図7のステップS302)。そして、画像表示部17が、監視対象画像を表示する。
続いて、端末装置3が、端末装置3のユーザが通報操作を行っていないと判定し(図7のステップS303「No」)、上記フローを繰り返して、サーバ装置2からデータが送信されてくる監視対象画像を次々に画像表示部17に表示させる。これにより、連続する複数フレームの真画像からなる真映像や、連続する複数フレームの偽画像からなる偽映像を画像表示部17に表示し、真映像または偽映像を端末装置3のユーザに監視させる。
続いて、端末装置3が、端末装置3のユーザが通報操作を行っていないと判定し(図7のステップS303「No」)、上記フローを繰り返して、サーバ装置2からデータが送信されてくる監視対象画像を次々に画像表示部17に表示させる。これにより、連続する複数フレームの真画像からなる真映像や、連続する複数フレームの偽画像からなる偽映像を画像表示部17に表示し、真映像または偽映像を端末装置3のユーザに監視させる。
ここで、サーバ装置2が、偽映像に基づいて監視対象画像(偽対象画像)を生成しており、生成した監視対象画像のデータを端末装置3に次々と送信し(図5のステップS109)、端末装置3が、サーバ装置2から送信されてくる偽対象画像からなる偽映像を表示していたとする(図7のステップS302)。そして、端末装置3のユーザが、偽映像、すなわち、通報事象が発生している画像が表示されていることに気づき、端末装置3の入力受付部18に通報操作を行ったとする。すると、端末装置3が、端末装置3のユーザが通報操作を行ったと判定し(図7のステップS303「Yes」)、通報事象を発見した旨の発見状況情報を、サーバ装置2に送信する(図7のステップS304)。
発見状況情報がサーバ装置2に送信されると、サーバ装置2が、通報事象を発見した旨の発見状況情報を受信したと判定する(図5のステップS110「Yes」)。続いて、配信モードが「偽」であると判定し、サーバ装置2から端末装置3に送信されている監視対象画像が偽画像であると判定する(図5のステップS111「Yes」)。これにより、監視対象画像の監視を端末装置3のユーザが適切に行っていると判定する。続いて、端末装置3のユーザに、習熟度を設定するとともに、ポイントを付与し、通報事象を発見した旨の発見状況情報を送信すべき課題に的確に対応できた旨をユーザに通知すべく、付与したポイント及び累積ポイント数を監視対象画像に上書きして、端末装置3に送信する(図5のステップS112)。
一方、サーバ装置2が、真画像に基づいて監視対象画像を生成しており、生成した監視対象画像のデータを端末装置3に次々と送信し(図5のステップS109)、端末装置3が、サーバ装置2から次々と送信されてくる監視対象画像からなる真映像を表示していたとする(図7のステップS302)。ここで、撮像装置1が撮像している施設の所定空間において、本物の犯罪等が発生していたとする。また、端末装置3のユーザが、本物の犯罪等の真映像、つまり通報事象が発生している画像が表示されていることに気づき、端末装置3の入力受付部18に通報操作を行ったとする。すると、端末装置3が、端末装置3のユーザが通報操作を行ったと判定し(図7のステップS303「Yes」)、通報事象を発見した旨の発見状況情報を、サーバ装置2に送信する(図7のステップS304)。
発見状況情報がサーバ装置2に送信されると、サーバ装置2が、通報事象を発見した旨の発見状況情報を受信したと判定する(図5のステップS110「Yes」)。続いて、配信モードが「真」であると判定し、サーバ装置2から端末装置3に送信されている監視対象画像が偽画像ではなく、真画像であると判定する(図5のステップS111「No」)。続いて、サーバ装置2が、監視システム100のシステム管理者に、真画像を送信したにも関わらず、端末装置3から通報事象を発見した旨の発見状況情報の受信があったことを通報する外部通報動作を行う(図5のステップS113)。
以上説明したように、本発明の第1実施形態に係る監視システム100では、サーバ装置2と、監視対象となる所定空間の映像を撮像する複数の撮像装置1とを備えるようにした。そして、サーバ装置2は、撮像装置1で撮像した映像の現在のフレームをカレント画像として取得するカレント画像取得部7と、取得したカレント画像に、カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像を真画像として生成する真画像生成部8と、動画、静止画または静止画を生成するための情報を記憶し、監視者によって監視が適切に行われているか否かの判断に使用するための偽画像としてその動画の1フレーム、またはその静止画を取り出せる偽映像記憶部14と、生成した真画像または記憶している偽画像のいずれか一方に基づいて生成した監視対象画像、またはその両方に基づいて生成した監視対象画像を端末装置3に送信する画像送信部9と、端末装置3のユーザが監視対象画像内に通報事象を発見したか否かを発見状況情報として端末装置3から受信する通報受信部10と、端末装置3から通報事象を発見した旨の発見状況情報を受信したとき、発見の対象となった監視対象画像は偽画像のみに基づいて生成された画像、または真画像と偽画像の両方に基づいて生成された画像、すなわち偽画像に基づいて生成された画像であるか否かを判定する通報判定部11とを備えるようにした。
言い換えると、サーバ装置2から受信した監視対象画像を端末装置3に表示することで、端末装置3のユーザが監視対象画像内に通報事象を発見した際にサーバ装置2に対して通報事象を発見した旨の発見状況情報を送信する監視システム100とした。監視対象画像は、真画像または偽画像のいずれか一方に基づいて生成される画像、またはその両方に基づいて生成される画像とした。真画像は、監視対象となる所定空間を撮像装置1で撮影した映像における現在のフレームをカレント画像としたとき、カレント画像内の人物の特定を困難なものとするプライバシー保護加工をカレント画像に施した画像とした。偽画像は、監視者によって監視が適切に行われているか否かの判断に使用するための画像であって、動画からフレーム単位で取り出された画像、または静止画とした。プライバシー保護加工を予め偽映像に施してから記憶するか、偽映像からフレーム単位で取り出した偽画像に基づいて監視対象画像を生成するときにプライバシー保護加工を施すことで、偽映像を真映像に似た見栄えにした。また、送信する発見状況情報は、通報事象を発見した旨の情報であるときに、発見の対象となった監視対象画像は偽画像のみに基づいて生成された画像、または真画像と偽画像の両方に基づいて生成された画像、すなわち偽画像に基づいて生成された画像であるかの判定が行われるものとした。
これにより、例えば、端末装置3から通報事象を発見した旨の発見状況情報を受信したときに、偽画像に基づく監視対象画像を送信していたのであれば、監視が適切に行われていたと判定できる。また、偽画像に基づく監視対象画像を送信していたにも関わらず、端末装置3から通報事象を発見した旨の発見状況情報を受信しない状況を検出したときは、監視が適切に行われていなかったと判定できる。それゆえ、端末装置3側で監視が適切に行われているか否かを判断可能な監視システム100を提供することができる。
また、本発明の第1実施形態に係る監視システム100では、真映像だけでなく、偽映像も送信するようにした。ここで、真映像は、人物の特定を困難なものとするプライバシー保護加工が施されているので、元の映像よりも情報が減っている。そのため、真映像を見て、通報対象事象が発生しているか否かを一般人が判断することは難しい。監視のプロではない一般人には集中力の維持も難しい。これに対し、本発明の第1実施形態に係る監視システム100では、端末装置3のユーザに、真映像と同様にプライバシーを保護するためのプライバシー保護加工がなされた偽映像、つまり、通報対象となる事象が発生した場合に撮像装置1で得られる映像に似せた映像を見せることができ、端末装置3のユーザの犯罪等の発見能力を向上するための訓練を行うとともに、確かに只今この端末装置3のユーザがよそ見をせずに適切な監視が行われていることの証しを得ることができる。
機械警備の黎明期には、人感センサや振動センサが小動物の浸入や風によるシャッターの揺れを不審者の浸入として誤報し、誤報の度に警備会社が安易に警察に通報するという問題があった。このような問題を解決するため、昭和57年に、警備業法が改正され、機械警備業務管理責任者資格が制度化された。また、警備員の検定試験が設けられ、検定試験の実技に「ビデオ映像等による巡回実施上の着眼点及び留意事項」が組み込まれた。
したがって、十分な監視スキルを持つ警備員の育成が望ましいが、警備員がカバーしなければならないスキルは監視だけではないので、就業時間中の訓練だけでは限界もある。
したがって、十分な監視スキルを持つ警備員の育成が望ましいが、警備員がカバーしなければならないスキルは監視だけではないので、就業時間中の訓練だけでは限界もある。
これに対し、本発明の第1実施形態に係る監視システム100では、十分な数のカメラ監視専門の警備員を確保するとともに、警備員の訓練に用いることで、安易に警察に通報することのないよう監視精度の向上と警備員の監視スキルの向上とを図ることができる。
また、サーバ装置2が、監視対象画像は偽画像に基づいて生成された画像であると正しく判定した回数に応じて、端末装置3のユーザに習熟度を設定する習熟度設定部12を備えるようにした。それゆえ、端末装置3のユーザの犯罪等の発見能力を判定することができ、端末装置3のユーザが監視を適切に行ってきた実績を確認することができる。
また、サーバ装置2が、監視対象画像は偽画像に基づいて生成された画像であると正しく判定した回数に応じて、端末装置3のユーザに習熟度を設定する習熟度設定部12を備えるようにした。それゆえ、端末装置3のユーザの犯罪等の発見能力を判定することができ、端末装置3のユーザが監視を適切に行ってきた実績を確認することができる。
更に、偽映像記憶部14は、難易度の異なる複数の偽映像を記憶しており、画像送信部9は、偽画像に基づいて生成した監視対象画像を送信する場合、端末装置3のユーザの習熟度に応じた難易度の偽映像に基づいて生成した監視対象画像を端末装置3に送信するようにした。それゆえ、端末装置3のユーザの犯罪等の発見能力をより向上することができ、端末装置3のユーザにより適切に監視を行わせることができる。
また、サーバ装置2が、通報判定部11で監視対象画像は偽画像に基づいて生成された画像ではない(真画像のみを送信していた)と判定した場合に、端末装置3から通報事象を発見した旨の発見状況情報の受信があったことを通報する外部通報動作を行う通報動作部13を備えるようにした。それゆえ、監視対象となる所定空間で本物の通報対象事象が発生したときに、迅速かつ容易にシステム管理者へ通報することができる。
また、サーバ装置2が、通報判定部11で監視対象画像は偽画像に基づいて生成された画像ではない(真画像のみを送信していた)と判定した場合に、端末装置3から通報事象を発見した旨の発見状況情報の受信があったことを通報する外部通報動作を行う通報動作部13を備えるようにした。それゆえ、監視対象となる所定空間で本物の通報対象事象が発生したときに、迅速かつ容易にシステム管理者へ通報することができる。
(第2実施形態)
第2実施形態では、図8に示すように、サーバ装置2の記憶装置6が背景画像記憶部22を備えるとともに、図9に示すように、図5のステップS104に代えてS401を備え、図5のステップS103に代えてS402を備える点が、第1実施形態と異なる。
背景画像記憶部22は、撮像装置1で撮像した映像のうちの、少なくとも1フレームを背景画像として記憶している。背景画像としては、例えば、顔画像が検出されていないフレームを用いることができる。また、例えば、システム管理者や施設所有者に背景画像を選択させるための操作を行わせ、そのような操作によってシステム管理者や施設所有者が選択した映像の1フレームを背景画像として用いるようにしてもよい。後者の方法を採用した場合は、プライバシーを侵害しない画像であることがシステム管理者や施設所有者によって保証されるので、例えば、施設(店舗)の看板娘等が背景画像に映り込むことは許容される。それゆえ、背景画像は、必ずしも人が映っていないものに限定されない。
更に、例えば、映像を構成する各フレームの画素値が予め定められた時間にわたって変化していないかを判定し、同じ座標にある全ての画素の画素値が変化していないと判定した場合に、映像の1フレームを背景画像として記憶させる方法を用いることもできる。
第2実施形態では、図8に示すように、サーバ装置2の記憶装置6が背景画像記憶部22を備えるとともに、図9に示すように、図5のステップS104に代えてS401を備え、図5のステップS103に代えてS402を備える点が、第1実施形態と異なる。
背景画像記憶部22は、撮像装置1で撮像した映像のうちの、少なくとも1フレームを背景画像として記憶している。背景画像としては、例えば、顔画像が検出されていないフレームを用いることができる。また、例えば、システム管理者や施設所有者に背景画像を選択させるための操作を行わせ、そのような操作によってシステム管理者や施設所有者が選択した映像の1フレームを背景画像として用いるようにしてもよい。後者の方法を採用した場合は、プライバシーを侵害しない画像であることがシステム管理者や施設所有者によって保証されるので、例えば、施設(店舗)の看板娘等が背景画像に映り込むことは許容される。それゆえ、背景画像は、必ずしも人が映っていないものに限定されない。
更に、例えば、映像を構成する各フレームの画素値が予め定められた時間にわたって変化していないかを判定し、同じ座標にある全ての画素の画素値が変化していないと判定した場合に、映像の1フレームを背景画像として記憶させる方法を用いることもできる。
偽映像記憶部14は、偽映像を構成する各フレームそれぞれの前景画像から抽出された輪郭線(以下、「偽輪郭線」とも呼ぶ)、つまり、周りの画素と比べて輝度値等が急激に変化する画素の座標群をフレーム毎に偽画像として記憶している。また、偽映像と一緒に、偽輪郭線が示す人と撮像装置1との間の距離のデータも記憶する構成としてもよい。偽映像記憶部14は、上記距離のデータとして、偽映像を撮影した撮像装置と偽輪郭線が示す人との距離を記憶してもよい。あるいは、コンピュータグラフィックス等を用いて偽映像を生成する場合は、偽映像記憶部14は上記距離のデータとして計算上の視点から偽輪郭線が示す人までの距離を算出して記憶してもよい。
ステップS401では、真画像生成部8は、背景画像記憶部22が記憶している背景画像と、ステップS101で取得したカレント画像との差分に基づき前景画像を切り出す。続いて、切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を背景画像に上書きして、真画像を生成する。すなわち、背景画像とカレント画像との差分に基づきカレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を背景画像に上書きして真画像を生成している。前景画像の輪郭線としては、例えば、輝度値を基に抽出したものを用いることができる。また、例えば、R(赤色)G(緑色)B(青色)の3原色それぞれの輪郭線を抽出し、抽出した3つの輪郭線を1つに合成(マージ)したものを用いることもできる。輪郭線を抽出するアルゴリズムとしては、例えば、1986年にJohn F. Canny氏によって提案されたキャニー法(Canny法)を用いることができる。
ステップS402では、画像送信部9が、偽映像記憶部14から、ステップS102で選択した偽映像の1フレームに対応する偽輪郭線を読み出し、読み出した偽輪郭線画像を、背景画像記憶部22が記憶している背景画像に上書きして、送信用偽画像を生成する。具体的には、まず、偽映像の先頭フレームに対応する偽輪郭線を背景画像に上書きして送信用偽画像を生成し、その後このステップの度に、直前に背景画像に上書きした偽輪郭線の次フレームに対応する偽輪郭線を背景画像に上書きして、送信用偽画像を生成する。
なお、本発明の第2実施形態に係る監視システム100では、カレント画像の前景画像の輪郭線と背景画像との合成や、偽輪郭線と背景画像との合成をサーバ装置2で行う例を示したが、他の構成を採用することもできる。例えば、これらの合成を端末装置3で行う構成としてもよい。この場合、背景画像は変化しないので、端末装置3に1回だけ送信し、輪郭線のデータだけを次々に送信すればよく、通信量を削減できる。背景画像は、監視対象となる所定空間が切り替わる度に(場面切替フラグがON状態のとき)送信し直す。
以上説明したように、本発明の第2実施形態に係る監視システム100では、撮像装置1で撮像した映像の1フレームを背景画像として記憶している背景画像記憶部22を備え、真画像生成部8は、背景画像とカレント画像との差分に基づきカレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を背景画像に上書きして真画像を生成し、偽映像記憶部14は、偽映像からフレーム毎に切り出した前景画像から抽出した輪郭線である偽輪郭線を記憶しており、画像送信部9は、真画像生成部8で生成した真画像、または偽映像記憶部14が記憶している偽輪郭線を背景画像に上書きしてなる送信用偽画像のいずれか一方、またはその両方に基づいて(例えば、送信用偽画像の一部を切り取って真画像の同じ位置に上書きして)生成される画像を監視対象画像として送信するようにした。それゆえ、例えば、予め監視対象となる施設の所定空間で撮影して偽映像を制作する方法に比べ、偽映像の製作コストを低減できる。また、例えば、クロマキー技術で抽出した前景画像、つまり、カラー画像を偽映像として偽映像記憶部14に記憶させておき、偽映像記憶部14が記憶していたカラー画像を背景画像に上書きする方法に比べ、偽映像記憶部14の記憶容量を低減できる。更に、施設の所定空間にいる人物のプライバシーをより確実に保護することができる。あるいは、偽映像記憶部14にはクロマキー技術で抽出した前景画像を保存しておき、送信用偽画像を生成する段階で輪郭線を抽出する構成にしてもよい。この場合、偽映像記憶部14の記憶容量は削減できないが、端末装置3への通信量は削減することができる。
(変形例)
なお、本発明の第2実施形態に係る監視システム100では、偽輪郭線と背景画像とから送信用偽画像を生成する例を示したが、他の構成を採用することもできる。例えば、偽輪郭線と真画像とから送信用偽画像を生成する構成としてもよい。具体的には、偽映像記憶部14が記憶している偽輪郭線を、真画像生成部8で生成した真画像に上書きして送信用偽画像を生成する。この場合、例えば、偽輪郭線は、真画像のうちの、前景画像の輪郭線がない領域に上書きするようにしてもよい。また、例えば、前景を抽出する際にカレント画像と背景画像との差分から生成されるマスク画像を反転させたマスク画像を用いて、偽輪郭線にマスク処理を施し、マスク処理を施した輪郭線を、真画像に上書きするようにしてもよい。これにより、偽輪郭線のうちの、真画像の前景画像の画素領域に対応する部分を切り抜いて消去することができる。それゆえ、真画像の前景画像の輪郭線の後ろを、偽輪郭線が通過するような、リアリティの高い偽映像を生成することができる。
なお、本発明の第2実施形態に係る監視システム100では、偽輪郭線と背景画像とから送信用偽画像を生成する例を示したが、他の構成を採用することもできる。例えば、偽輪郭線と真画像とから送信用偽画像を生成する構成としてもよい。具体的には、偽映像記憶部14が記憶している偽輪郭線を、真画像生成部8で生成した真画像に上書きして送信用偽画像を生成する。この場合、例えば、偽輪郭線は、真画像のうちの、前景画像の輪郭線がない領域に上書きするようにしてもよい。また、例えば、前景を抽出する際にカレント画像と背景画像との差分から生成されるマスク画像を反転させたマスク画像を用いて、偽輪郭線にマスク処理を施し、マスク処理を施した輪郭線を、真画像に上書きするようにしてもよい。これにより、偽輪郭線のうちの、真画像の前景画像の画素領域に対応する部分を切り抜いて消去することができる。それゆえ、真画像の前景画像の輪郭線の後ろを、偽輪郭線が通過するような、リアリティの高い偽映像を生成することができる。
更に、例えば、偽輪郭線の抽出に用いられた前景を切り出すためのマスク画像(以下、「偽前景マスク」とも呼ぶ)を偽輪郭線と一緒に偽映像記憶部14に記憶させておき、偽映像記憶部14が記憶している偽前景マスクが反転されたマスク画像を用いて、真画像の輪郭線にマスク処理を施し、マスク処理を施した輪郭線を、背景画像に上書きして真画像を生成し、生成した真画像に、偽映像記憶部14が記憶している偽輪郭線を上書きするようにしてもよい。これにより、真画像の輪郭線のうちの、偽映像の前景画像の画素領域に対応する部分を切り抜いて消去することができる。それゆえ、偽輪郭線の後ろを、真画像の輪郭線が通過するような、リアリティの高い偽映像を生成することができる。
その際、真画像の前景画像と偽映像の前景画像の大きさを比較して、真画像の前景画像が偽映像の前景画像よりも大きい場合には、真画像の前景画像の輪郭線の後ろを、偽輪郭線が通過するようにし、また真画像の前景画像が偽映像の前景画像よりも小さい場合には、偽輪郭線の後ろを、真画像の前景画像の輪郭線の後ろを通過するようにしてもよい。
または、偽輪郭線が示す人と撮像装置1との間の距離のデータを距離検出部(不図示)に記憶させておき、撮像装置1にステレオカメラや距離センサが搭載されて真画像の輪郭線が示す人と撮像装置1との間の距離が測定できる場合には、2つの距離の関係を用いていずれの輪郭線がもう一方の輪郭線の後ろを通過するかを決定する構成としてもよい。
または、偽輪郭線が示す人と撮像装置1との間の距離のデータを距離検出部(不図示)に記憶させておき、撮像装置1にステレオカメラや距離センサが搭載されて真画像の輪郭線が示す人と撮像装置1との間の距離が測定できる場合には、2つの距離の関係を用いていずれの輪郭線がもう一方の輪郭線の後ろを通過するかを決定する構成としてもよい。
(第3実施形態)
第3実施形態では、図10に示すように、端末装置3を複数備え、図11に示すように、サーバ装置2の記憶装置6がアクティブユーザ記憶部23及び画像記憶部24を備え、図12に示すように、図5のステップS109とS110との間にステップS501、S502を備え、ステップS113に代えてS503を備える点が第1実施形態と異なる。
第3実施形態では、図10に示すように、端末装置3を複数備え、図11に示すように、サーバ装置2の記憶装置6がアクティブユーザ記憶部23及び画像記憶部24を備え、図12に示すように、図5のステップS109とS110との間にステップS501、S502を備え、ステップS113に代えてS503を備える点が第1実施形態と異なる。
アクティブユーザ記憶部23は、端末側処理を実行している端末装置3、つまりアクティブなユーザを特定するデータ(以下、「端末特定データ」とも呼ぶ)を記憶している。
画像記憶部24は、後述するように真画像生成部8で生成した真画像を順次記憶して1つの動画ファイルを構成する。動画ファイルは、真画像を最新のフレームとして追加した時に予め定められた所定時間(例えば、2分)を超えるデータ量になったら最も古いフレームのデータを廃棄して常に所定時間以下の動画ファイルになるように調整される。
画像記憶部24は、後述するように真画像生成部8で生成した真画像を順次記憶して1つの動画ファイルを構成する。動画ファイルは、真画像を最新のフレームとして追加した時に予め定められた所定時間(例えば、2分)を超えるデータ量になったら最も古いフレームのデータを廃棄して常に所定時間以下の動画ファイルになるように調整される。
ステップS501では、画像送信部9が、ステップS102で設定した配信モードが「真」であるか否かを判定する。つまり、ステップS109で送信した監視対象画像は偽画像に基づいて生成された画像ではないか(真画像のみに基づいて生成された画像を送信していたか)を判定する。そして、「真」であると判定した場合には(Yes)、真画像のみに基づいて生成された画像を送信していたと判定し、ステップS502に移行する。一方、「偽」であると判定した場合には(No)、ステップS109で送信した監視対象画像は偽画像に基づいて生成された画像であると判定し、ステップS110に移行する。
ステップS502では、画像送信部9が、ステップS109で監視対象画像として送信した真画像を画像記憶部24に記憶させた後、ステップS110に移行する。
ステップS502では、画像送信部9が、ステップS109で監視対象画像として送信した真画像を画像記憶部24に記憶させた後、ステップS110に移行する。
ステップS503では、通報動作部13が、上述の外部通報動作を行うか否かを判定するための第三者による真偽の検証として、アクティブユーザ記憶部23が記憶している端末特定データが特定する端末装置3のうち、通報事象を発見した旨の発見状況情報を送信した端末装置3(以下、「対象端末装置3」とも呼ぶ)以外の端末装置3(以下、「追認端末装置3」とも呼ぶ)を特定する。追認端末装置3としては、対象端末装置3よりも習熟度が高いユーザを特定する構成としてもよい。続いて、特定した追認端末装置3に、画像記憶部24が記憶している真画像の動画ファイルを先頭のフレームから次々に送信し、すべてのフレームを送信し終えた後、ステップS101に戻る。すなわち、監視対象画像として送信した真画像から時間を遡って連続する複数枚の真画像を送信するようにした。これにより、真画像による映像を配信したにも関わらず、対象端末装置3からの通報事象を発見した旨の発見状況情報を受信した場合に、第三者による真偽の検証として追認端末装置3のユーザに同じ真画像による映像を確認させることができる。
その際、追認端末装置3のユーザから、通報対象となる事象が映っている旨の通知、すなわち、通報事象を発見した旨の発見状況情報が送信されて来なかったら、対象端末装置3からの通報事象を発見した旨の発見状況情報の送信は誤報であるから、対象端末装置3のユーザの習熟度を下げてもよい。また、追認端末装置3のユーザが見たか見ていないかを明確にすべく、通報対象となる事象が映っていない旨を追認端末装置3のユーザから通知させる仕組みを設けてもよい。一方、追認端末装置3のユーザからも、通報事象を発見した旨の発見状況情報が送信されてきた場合は、通報動作部13によって上述の外部通報動作を行う。なお、実際に、本物の通報対象事象が発生していたことが後日判明したら、特別な褒賞を対象端末装置3のユーザに与えてもよい。また、追認端末装置3のユーザに対してこれが第三者による真偽の検証である旨を伝え、通報事象を発見できない場合には、通報事象が起きていない旨の発見状況情報を必ず送信させる構成としてもよい。
以上説明したように、本発明の第3実施形態に係る監視システム100では、通報動作部13が、監視対象画像が偽画像に基づいて生成された画像ではない(真画像のみを送信していた)と判定した場合、第三者による真偽の検証として、通報事象を発見した旨の発見状況情報を送信した端末装置3(対象端末装置3)と異なる端末装置3(追認端末装置3)に、対象端末装置3に監視対象画像として送信していた真画像から時間を遡って連続する複数枚の真画像を送信するようにした。ここで、真画像は、人物の特定を困難なものとするプライバシー保護加工が施されているので、元のカレント画像よりも情報が減っている。そのため、真画像から、犯罪等の、通報対象事象が発生しているか否かを一般人が判断することは難しい。これに対し、本発明の第3実施形態に係る監視システム100では、追認端末装置3のユーザに対象端末装置3のユーザが通報した真画像の動画ファイルを第三者による真偽の検証として確認させることができるため、通報対象事象が発生しているか否かをより確実に判断することができる。
なお、本発明の第3実施形態に係る監視システム100では、真画像そのものを監視対象画像としており、複数枚の真画像を追認端末装置3に送信するとは、つまり、複数枚の監視対象画像を追認端末装置3に送信することである。真画像を用いて真画像とは異なる監視対象画像を生成する場合には、複数枚の監視対象画像を追認端末装置3に送信する代わりに、その複数枚の監視対象画像の生成に用いられた複数枚の真画像を追認端末装置3に送信する構成としてもよい。
(第4実施形態)
第4実施形態では、図13に示すように、監視の専門家や施設所有者の端末装置35を備え、図14に示すように、サーバ装置2の記憶装置6が元画像記憶部26を備え、図15に示すように、図5のステップS109とS110との間にステップS601、S602を備え図5のステップS113に代えてS603を備える点が第1実施形態と異なる。
第4実施形態では、図13に示すように、監視の専門家や施設所有者の端末装置35を備え、図14に示すように、サーバ装置2の記憶装置6が元画像記憶部26を備え、図15に示すように、図5のステップS109とS110との間にステップS601、S602を備え図5のステップS113に代えてS603を備える点が第1実施形態と異なる。
端末装置35は、通信網4を介して、サーバ装置2と各種データを互いに送受信可能となっている。また、サーバ装置2から映像データを受信して表示可能となっている。端末装置35としては、例えば、端末装置3と同様のスマートフォンを用いることができる。
元画像記憶部26は、後述するようにカレント画像を元画像として順次記憶して1つの動画ファイルを構成する。動画ファイルは、カレント画像を最新のフレームとして追加した時に予め定められた所定時間(例えば、2分)を超えるデータ量になったら最も古いフレームのデータを廃棄して常に所定時間以下の動画ファイルになるように制御する。
元画像記憶部26は、後述するようにカレント画像を元画像として順次記憶して1つの動画ファイルを構成する。動画ファイルは、カレント画像を最新のフレームとして追加した時に予め定められた所定時間(例えば、2分)を超えるデータ量になったら最も古いフレームのデータを廃棄して常に所定時間以下の動画ファイルになるように制御する。
ステップS601では、画像送信部9が、ステップS102で設定した配信モードが「真」であるか否かを判定する。つまり、ステップS109で送信した監視対象画像は偽画像に基づいて生成された画像ではないか(真画像のみを送信していたか)を判定する。そして、「真」であると判定した場合には(Yes)、真画像を送信していたと判定し、ステップS602に移行する。一方、「偽」であると判定した場合には(No)、監視対象画像は偽画像に基づいて生成された画像であると判定し、ステップS110に移行する。
ステップS602では、画像送信部9が、ステップS104で取得したカレント画像を元画像として元画像記憶部26に記憶させた後、ステップS110に移行する。
ステップS602では、画像送信部9が、ステップS104で取得したカレント画像を元画像として元画像記憶部26に記憶させた後、ステップS110に移行する。
ステップS603では、通報動作部13が、上述の外部通報動作に代わる新たな外部通報動作として、通報事象を発見した旨の発見状況情報を送信した端末装置3(対象端末装置3)に監視対象画像として送信していた真画像の生成に用いられた元画像の動画ファイルを先頭フレームから端末装置35に次々に送信し、すべてのフレームを送信し終えた後、ステップS101に戻る。すなわち、監視対象画像として送信していた真画像の生成に用いられた元画像(カレント画像)から時間を遡って連続する複数枚の元画像(カレント画像)を送信するようにした。これにより、真画像による映像を配信したにも関わらず、対象端末装置3から通報事象を発見した旨の発見状況情報を受信した場合に、端末装置35を持っている監視の専門家や施設所有者に、その真画像の生成に用いられた元画像を確認させることができる。
その際、監視の専門家や施設所有者から、通報対象となる事象が映っていない旨の返事があったら、対象端末装置3の通報事象を発見した旨の発見状況情報の送信は誤報であるから、対象端末装置3のユーザの習熟度を下げてもよい。一方、実際に、犯罪等の本物の通報対象事象が発生していたことが後日判明したら特別な褒賞を対象端末装置3のユーザに与えてもよい。
以上説明したように、本発明の第4実施形態に係る監視システム100では、通報動作部13は、ステップS111で監視対象画像は偽画像に基づいて生成された画像ではない(真画像のみを送信していた)と判定した場合、次の外部通報動作を行うようにした。通報事象を発見した旨の発見状況情報を送信して来た端末装置3に監視対象画像として送信していた真画像の生成に用いられた元画像(カレント画像)から時間を遡って連続する複数枚の元画像(カレント画像)を予め定められた特定の端末装置35に送信するのである。ここで、真画像は、人物の特定を困難なものとするプライバシー保護加工が施されているので、元の映像画像よりも情報が減っている。そのため、真画像から、犯罪等の通報対象事象が発生しているか否かを一般人が判断することは難しい。これに対し、本発明の第4実施形態に係る監視システム100では、端末装置35のユーザである監視の専門家や施設所有者に、プライバシー保護加工を施す前の映像データを確認させることができるため、通報対象事象が発生しているか否かをより確実に判断することができる。
(第5実施形態)
第5実施形態では、図16に示すように、サーバ装置2のプロセッサ5が対象施設選択部27を備え、図17に示すように、サーバ装置2の記憶装置6が負担金記憶部28を備え、図18に示すように、図5のステップS102に代えてステップS701、S702を備える点が、第1実施形態と異なる。
負担金記憶部28は、撮像装置1で撮像される所定空間を有する施設、つまり、監視対象となる施設(例えば、その所有者や管理者)が払った監視システム100の利用料の額の大小を判別できる情報(以下、「負担金情報」とも呼ぶ)を記憶している。負担金情報としては、例えば、施設が払った利用料の額が複数段階のランクのうちのいずれのランクであるかを表す情報、施設が支払った利用料の額の順位を表す情報を用いることができる。
第5実施形態では、図16に示すように、サーバ装置2のプロセッサ5が対象施設選択部27を備え、図17に示すように、サーバ装置2の記憶装置6が負担金記憶部28を備え、図18に示すように、図5のステップS102に代えてステップS701、S702を備える点が、第1実施形態と異なる。
負担金記憶部28は、撮像装置1で撮像される所定空間を有する施設、つまり、監視対象となる施設(例えば、その所有者や管理者)が払った監視システム100の利用料の額の大小を判別できる情報(以下、「負担金情報」とも呼ぶ)を記憶している。負担金情報としては、例えば、施設が払った利用料の額が複数段階のランクのうちのいずれのランクであるかを表す情報、施設が支払った利用料の額の順位を表す情報を用いることができる。
ステップS701では、対象施設選択部27が、複数の施設のうちから、画像を配信する一の対象の施設(以下、「対象施設」とも呼ぶ)を選択する。対象施設選択部27は、負担金記憶部28が記憶している負担金情報を参照し、複数の施設のうち、より高額の利用料を払った施設に設置されている撮像装置1の選択頻度がより高くなるよう選択する。
ステップS702では、画像送信部9が、ステップS104で生成される真画像、または偽映像記憶部14が記憶している偽映像のいずれに基づいて生成された画像を送信するのかを選択する。画像送信部9は、負担金記憶部28が記憶している対象施設の負担金情報を参照し、対象施設がより高額の利用料を払った施設である場合には、偽映像の選択頻度をより高くする。続いて、画像送信部9がこの選択に応じて配信モードを「真」または「偽」に設定する。配信モードを「偽」とした場合、端末装置3のユーザの習熟度に応じた難易度の偽映像を選択する。続いて、場面切替フラグをOFF状態に設定した後、ステップS103に移行する。
ステップS702では、画像送信部9が、ステップS104で生成される真画像、または偽映像記憶部14が記憶している偽映像のいずれに基づいて生成された画像を送信するのかを選択する。画像送信部9は、負担金記憶部28が記憶している対象施設の負担金情報を参照し、対象施設がより高額の利用料を払った施設である場合には、偽映像の選択頻度をより高くする。続いて、画像送信部9がこの選択に応じて配信モードを「真」または「偽」に設定する。配信モードを「偽」とした場合、端末装置3のユーザの習熟度に応じた難易度の偽映像を選択する。続いて、場面切替フラグをOFF状態に設定した後、ステップS103に移行する。
なお、ステップS104では、取得するカレント画像として、ステップS701で選択した対象施設に設置されている撮像装置1から出力される映像データの現在のフレームを用いるようにする。
また、例えば、ステップS106において、端末装置3に送信する偽映像として、偽輪郭線を背景画像に上書きしてなる画像を用いる場合には、偽映像記憶部14に、介護施設、幼稚園、バー等、撮像装置1が撮像する所定空間を有する施設の施設種類が設定された複数の偽輪郭線を記憶しておいてもよい。この場合、偽映像を送信すると選択されると、偽映像記憶部14が記憶している複数の偽映像のうち、ステップS701で選択された施設(対象施設)の施設種類の偽映像を用いるようにする。例えば、保母さんが園児を叩く偽映像の場合、対象施設が幼稚園であれば用いられるが、対象施設がバーであれば決して用いられないのである。
以上説明したように、本発明の第5実施形態に係る監視システム100では、サーバ装置2が、複数の施設のうちから、一の対象施設を選択する対象施設選択部27と、それぞれの施設が払った利用料の額の大小を判別できる情報である負担金情報を記憶している負担金記憶部28と、を備え、対象施設選択部27が、負担金記憶部28が記憶している負担金情報を参照し、より高額の利用料を払った施設に設置されている撮像装置1の選択頻度を高くするようにした。これにより、高額の利用料を払った施設の監視対象画像の配信頻度を他の施設よりも高くすることができ、監視をより強化することができる。
また、画像送信部9は、負担金記憶部28が記憶している当該施設が払った利用料を参照し、より高額の利用料を払った施設では、偽映像の選択頻度をより高くするようにした。これにより、高額の利用料を払った施設に対する端末装置3のユーザの監視スキルと監視意欲をより向上させることができる。なお、負担金情報を参照して対象施設を選択する機能と、負担金情報を参照して偽映像の選択頻度を決定する機能は独立しているので、対象施設の選択に負担金情報を参照しない場合でも、負担金情報を参照して偽映像の選択頻度を決定する機能は実装できる。
(変形例)
(1)なお、本発明の第5実施形態に係る監視システム100では、監視対象とする施設をサーバ装置2で選択する例を示したが、他の構成を採用することもできる。例えば、端末装置3のユーザに選択させる構成としてもよい。具体的には、端末装置3が、入力受付部18からの出力に基づき、端末装置3のユーザによる施設の選択操作に応じて、選択された施設を示す選択信号をサーバ装置2に送信する選択信号送信部(不図示)を備え、サーバ装置2の対象施設選択部27が、端末装置3から選択信号を取得し、取得した選択信号が示す施設を選択する構成としてもよい。これにより、端末装置3のユーザに、監視対象とする施設を選択させることができる。
この場合、端末装置3のユーザはより高額の利用料を払った施設を選択することで、ポイントが獲得できる偽映像が表示される頻度をより高くできるだけでなく、特定の施設を繰り返し選択することで監視スキルを向上して習熟度を高めることもできる。このため、高額の利用料を払った施設を多数の端末装置3のユーザに積極的に選択させることができ、高額の利用料を払った施設の監視をより強化することができる。
(1)なお、本発明の第5実施形態に係る監視システム100では、監視対象とする施設をサーバ装置2で選択する例を示したが、他の構成を採用することもできる。例えば、端末装置3のユーザに選択させる構成としてもよい。具体的には、端末装置3が、入力受付部18からの出力に基づき、端末装置3のユーザによる施設の選択操作に応じて、選択された施設を示す選択信号をサーバ装置2に送信する選択信号送信部(不図示)を備え、サーバ装置2の対象施設選択部27が、端末装置3から選択信号を取得し、取得した選択信号が示す施設を選択する構成としてもよい。これにより、端末装置3のユーザに、監視対象とする施設を選択させることができる。
この場合、端末装置3のユーザはより高額の利用料を払った施設を選択することで、ポイントが獲得できる偽映像が表示される頻度をより高くできるだけでなく、特定の施設を繰り返し選択することで監視スキルを向上して習熟度を高めることもできる。このため、高額の利用料を払った施設を多数の端末装置3のユーザに積極的に選択させることができ、高額の利用料を払った施設の監視をより強化することができる。
(2)また、例えば、端末装置3が、GPS受信機等の位置情報を取得する位置情報取得部(不図示)を備え、対象施設選択部27が、端末装置3から位置情報を取得し、複数の施設のうち端末装置3のユーザが所定時間内に到達できる施設の選択を禁止する構成としてもよい。これにより、監視システム100の悪用を防止することができる。
また、例えば、対象施設選択部27が、施設の選択後、予め定められた所定時間が経過したと判定した場合には、他の施設を自動的に選択する構成としてもよい。これにより、同じ施設の監視時間に制限を設けることができる。この場合、過去に選択したことがある施設の選択を予め定められた所定時間の間は禁止する。これにより、再び同じ施設を監視するときに、間隔を開けさせることができ、端末装置3のユーザによるストーカ行為を防止できる。
また、例えば、対象施設選択部27が、施設の選択後、予め定められた所定時間が経過したと判定した場合には、他の施設を自動的に選択する構成としてもよい。これにより、同じ施設の監視時間に制限を設けることができる。この場合、過去に選択したことがある施設の選択を予め定められた所定時間の間は禁止する。これにより、再び同じ施設を監視するときに、間隔を開けさせることができ、端末装置3のユーザによるストーカ行為を防止できる。
(3)また、例えば、端末装置3が、入力受付部18からの出力に基づき、端末装置3のユーザによる施設の選択順の入力操作に応じて、入力された選択順を示す選択順信号をサーバ装置2に送信する選択順信号送信部(不図示)を備え、対象施設選択部27が、端末装置3から選択順信号を取得し、取得した選択順信号が示す選択順に従い、施設を選択する構成としてもよい。これにより、パトロールのルートを端末装置3のユーザが設定でき、同じ施設を監視することで、端末装置3のユーザの監視スキル(犯罪等の発見能力)を向上できる。
(4)また、例えば、端末装置3が、入力受付部18からの出力に基づき、端末装置3のユーザによる操作に応じて、犯罪等の通報事象が発生していないが監視を継続する必要がある旨を示す警戒信号を送信する警戒信号送信部(不図示)を備え、サーバ装置2が、端末装置3から警戒信号を取得し、取得した警戒信号に基づき、施設に設定された、犯罪等の通報事象が発生していないが監視を継続する必要があるか否かを示すフラグを立たせるフラグ設定部(不図示)を備える。そして、対象施設選択部27が、警戒信号を送信してきた端末装置3の監視時間が終了したときまたは終了する所定時間前に、別の端末装置3を自動的に選出し、選出した別の端末装置3に、フラグが立っている撮像装置1を選択して監視させる。
(5)また、第5実施形態に係る監視システム100は、例えば、迷宮を探索してアイテムやキャラクターを集めるゲームと連動させる構成としてもよい。この場合、ユーザは、アイテムやキャラクターを通報事象として発見したことをサーバ装置2に通知する。迷宮内の各部屋のそれぞれに特定の撮像装置1を予め対応づけておき、部屋が開かれたときに、開かれた部屋に対応づけられている撮像装置1の画像を配信する。この場合、アイテムやキャラクターは、監視対象画像のうちの前景画像がない領域、つまり、人等の移動体が表示されていない領域に上書きして表示する。なお、アイテムやキャラクターは、動画または静止画として偽映像記憶部14に予め記憶しておく。動画または静止画を不揮発性メモリーに記録せずとも、同様の静止画をコンピュータグラフィックスを用いて動的に生成し、偽映像記憶部14を構成する揮発性メモリーに逐次記憶させてもよい。更に、犯罪等の通報事象が発生した場合と、アイテムやキャラクターを発見した場合とでは、サーバ装置2に対する通知方法を変えてもよい。例えば、犯罪を発見した場合と、アイテムやキャラクターと発見した場合とでは、画面上の異なる領域をタップやクリックする構成としてもよい。また、画面のタッチ等の監視者の動作を異なるものとしておいてもよい。また、例えば、複数段階の利用料を設定しておき、より高額の利用料を払った施設では、アイテムやキャラクターの出現頻度や珍しいアイテムやキャラクターの出現確率を高くするようにしてもよい。
(6)また、第5実施形態に係る監視システム100では、図19に示すように、各撮像装置1は、その撮像装置1の映像の監視状態を監視対象である所定空間に向けて報知する監視状態報知部29を備え、1つ以上の端末装置3に対して画像を送信しているか否かの状態をその撮像装置1の監視状態報知部29が報知する構成としてもよい。監視状態報知部29としては、例えば、監視中に点灯または明滅するLEDライト、監視中に「監視中」等のメッセージを表示する電光掲示板、監視中に送信中の監視対象画像を表示する液晶ディスプレイを用いることができる。
また、例えば、監視状態報知部29は、端末装置3に送信中の監視対象画像に対応する撮像装置1の監視状態報知部29が、その撮像装置1の映像を監視中である旨を報知する通常モードに加え、端末装置3のユーザが監視していないときにも、撮像装置1の映像を監視中である旨の報知をランダムに実行するダミー報知モードを有する構成としてもよい。これにより、犯罪者等を威嚇でき、犯罪等の発生を防止することができる。
また、撮像装置1の真画像を施設の混雑状況を伝える画像として本発明の監視システムの端末装置3とは異なる端末装置(以下、「混雑モニタ端末装置」とも呼ぶ)のブラウザや専用アプリで閲覧可能とし、混雑モニタ端末装置で真画像を表示している場合と、端末装置3で表示している場合とで、監視状態報知部29の報知パターン(例えば、色、明るさ、明滅リズム、明滅テンポ)を変更する構成としてもよい。これにより、本発明の監視システム100の端末装置3では、近い距離にある施設は監視できないので犯罪を計画している者は犯罪対象の施設の監視状態をリアルタイムに知ることはできないが、自らが混雑モニタ端末装置で当該施設を閲覧したときに監視状態報知部29によって報知される様子をリアルタイムに確認できるので、ダミー報知モードによる報知も本物の報知と信じざるを得ず、犯罪の抑止につながることになる。また、施設の所有者や管理者(例えば、店舗の店長)は、客が少ないときに混雑モニタ端末装置で閲覧中のユーザがいるとわかれば、撮像装置1に値引きのプラカードを映し、プラカードを見た混雑モニタ端末装置のユーザに画面のハードコピーを取らせることで、集客の値引きクーポンとすることができる。
また、監視状態報知部29は、監視対象画像の送信を開始してから所定時間後に報知を実行する構成としてもよい。例えば、監視対象画像の送信と同時、つまり、閲覧開始と同時に報知を実行すると、報知が行われていないことを確認して犯罪等が行われる可能性がある。それゆえ、監視対象画像の送信を開始してから所定時間後に報知を実行することで、例えば、閲覧開始と同時に報知を行う場合と異なり、報知が行われていなくても監視されている可能性があるため、報知が行われていないときの犯罪等の発生を抑制できる。
監視状態報知部29は、図20に示すように、監視対象画像の送信を開始してから所定時間後の時刻を報知開始時刻(以下、「点灯時刻」とも呼ぶ)とする。図20の報知遅延処理では、まず、ステップS801では、監視状態報知部29は、監視状態報知部29に対応する撮像装置1の映像を端末装置3で表示中であるか、つまり、端末装置3のユーザが閲覧中であるか否かを判定する。そして、閲覧中であると判定した場合には(Yes)、ステップS802に移行する。一方、閲覧中ではないと判定した場合には(No)、ステップS806に移行する。
監視状態報知部29は、図20に示すように、監視対象画像の送信を開始してから所定時間後の時刻を報知開始時刻(以下、「点灯時刻」とも呼ぶ)とする。図20の報知遅延処理では、まず、ステップS801では、監視状態報知部29は、監視状態報知部29に対応する撮像装置1の映像を端末装置3で表示中であるか、つまり、端末装置3のユーザが閲覧中であるか否かを判定する。そして、閲覧中であると判定した場合には(Yes)、ステップS802に移行する。一方、閲覧中ではないと判定した場合には(No)、ステップS806に移行する。
ステップS802では、監視状態報知部29は点灯時刻を設定済みであるか否かを判定する。そして、点灯時刻を設定済みであると判定した場合には(Yes)、ステップS804に移行する。一方、点灯時刻を設定していないまたは後述するように点灯時刻は消去された状態と判定した場合には(No)、ステップS803に移行する。
ステップS803では、監視状態報知部29は、現在の時刻から所定時間後の時刻を点灯時刻として設定した後、ステップS804に移行する。
ステップS804では、監視状態報知部29は、現在の時刻が、ステップS803で設定した点灯時刻を過ぎたか否かを判定する。そして、点灯時刻を過ぎたと判定した場合には(Yes)、監視状態の報知が許可されたと判定して、ステップS805に移行する。一方、点灯時刻を過ぎていないと判定した場合には(No)、ステップS801に戻る。
ステップS803では、監視状態報知部29は、現在の時刻から所定時間後の時刻を点灯時刻として設定した後、ステップS804に移行する。
ステップS804では、監視状態報知部29は、現在の時刻が、ステップS803で設定した点灯時刻を過ぎたか否かを判定する。そして、点灯時刻を過ぎたと判定した場合には(Yes)、監視状態の報知が許可されたと判定して、ステップS805に移行する。一方、点灯時刻を過ぎていないと判定した場合には(No)、ステップS801に戻る。
ステップS805では、監視状態報知部29は、LEDライト(閲覧灯)を点灯する等、撮像装置1の映像を監視中である旨の報知を開始した後、ステップS801に戻る。
一方、ステップS806では、監視状態報知部29は、撮像装置1の映像を監視が終わったにも関わらずLEDライト(閲覧灯)が点灯しているか否か、すなわち、監視が終了しているにも関わらず報知が実行中であるか否かを判定する。そして、監視が終了しているにも関わらず報知が実行中であると判定した場合には(Yes)、ステップS807に移行する。一方、報知が実行中ではないと判定した場合には(No)、ステップS801に戻る。
一方、ステップS806では、監視状態報知部29は、撮像装置1の映像を監視が終わったにも関わらずLEDライト(閲覧灯)が点灯しているか否か、すなわち、監視が終了しているにも関わらず報知が実行中であるか否かを判定する。そして、監視が終了しているにも関わらず報知が実行中であると判定した場合には(Yes)、ステップS807に移行する。一方、報知が実行中ではないと判定した場合には(No)、ステップS801に戻る。
ステップS807では、監視状態報知部29は、LEDライト(閲覧灯)を消灯する等、撮像装置1の映像を監視中である旨の報知を終了する。続いて、ステップS803で設定された点灯時刻の設定を解除、つまり、消去した後、ステップS801に移行する。
なお、ステップS807では、監視終了と同時にLEDライト(閲覧灯)を消灯しているが、点灯時と同様に監視終了から所定時間後に初めて消灯する構成としてもよい。
図20のフローチャートでは、閲覧が一旦開始されたがLEDライト(閲覧灯)を点灯する前にその閲覧が終了した場合、次回の閲覧開始と同時にLEDライト(閲覧灯)を点灯するという振る舞いになり遅延動作を実施できないが、これは稀なケースであって実運用上は問題にならない。
なお、ステップS807では、監視終了と同時にLEDライト(閲覧灯)を消灯しているが、点灯時と同様に監視終了から所定時間後に初めて消灯する構成としてもよい。
図20のフローチャートでは、閲覧が一旦開始されたがLEDライト(閲覧灯)を点灯する前にその閲覧が終了した場合、次回の閲覧開始と同時にLEDライト(閲覧灯)を点灯するという振る舞いになり遅延動作を実施できないが、これは稀なケースであって実運用上は問題にならない。
(7)また、例えば、複数の端末装置3として、GPS受信機等の位置情報を取得する位置情報取得部を備えるものを用い、アクティブユーザ記憶部23には、稼働中のすべての端末装置3から逐次各々の端末装置3の最新の位置情報を取得して記憶しておき、通報動作部13は、発見の対象となった監視対象画像は偽画像に基づいて生成された画像ではない(真画像のみを送信していた)にも関わらず通報事象を発見した旨の発見状況情報を受信したと判定した場合、撮像装置1の位置に近い位置に存在する1台以上の端末装置3に、通報事象の発生と撮像装置1の位置とを送信する。情報を受け取った端末装置3のユーザは、撮像装置(端末装置3がスマートフォンである場合にはスマートフォンが内蔵するカメラ)により、犯罪が発生した周辺の動画を撮影することができる。そのため、犯罪そのものの証拠映像は撮れないまでも、逃走経路を先回りして押さえ、逃走する犯人の映像をとらえる機会を増やすことができる。既存の監視カメラは固定されて移動できないが、本変形例によれば必要なときに必要な場所に監視カメラを配置することができる。
なお、情報を受け取った端末装置3が自動車を制御可能な装置である場合には、ユーザによる端末装置3への操作を待つことなく、自動で車載カメラによる撮影を開始する構成としてもよい。この場合、撮像装置1の位置情報を用いて、どの車載カメラを使うべきかを自動で選択する構成としてもよい。更に、自動車を自動運転することによって、車載カメラの方向を調整したり、予想される逃走ルートに自動車を移動させることもできる。
また、この逃走する犯人の映像を捉えるための逃走経路撮影システムは、上述の監視システム100から情報が送信された場合だけなく、例えば、音声認識技術を用いて助けを求める声や悲鳴を検知する警備システム、画像認識技術を用いて犯罪動作を検出する警備システム、警察情報等から犯罪の発生と位置情報を受けた場合にも、起動させてもよい。
また、この逃走する犯人の映像を捉えるための逃走経路撮影システムは、上述の監視システム100から情報が送信された場合だけなく、例えば、音声認識技術を用いて助けを求める声や悲鳴を検知する警備システム、画像認識技術を用いて犯罪動作を検出する警備システム、警察情報等から犯罪の発生と位置情報を受けた場合にも、起動させてもよい。
(8)また、例えば、図21に示すように、サーバ装置2が、複数の撮像装置1のうちから、一の撮像装置1を選択する撮像装置選択部30を備え、撮像装置選択部30が、複数の撮像装置1が出力する映像それぞれから人を検出し、一の撮像装置1が出力する映像から検出された人の数が1から2以上に増加した場合に、その一の撮像装置1を選択し、カレント画像取得部7が、選択された撮像装置1から出力される映像の現在のフレームをカレント画像とする構成としてもよい。これにより、例えば、深夜のバーにおいて女性が一人で店番をしているときに強盗に襲われるケースを検知する確率を高めることができる。あるいは、端末装置3による監視を行う代わりに、監視状態報知部29によってダミー報知を行ってもよい。
更に撮像装置1は音声取得部を備え、音声認識によって犯罪の発生が予想されるキーワードの発声または悲鳴を検出したか、あるいは音声による感情認識によって犯罪の発生が予想される感情の高ぶりを検出した場合に、その音声取得部を備えた一の撮像装置1を選択し、カレント画像取得部7が、選択された撮像装置1から出力される映像の現在のフレームをカレント画像とする構成としてもよい。
1…撮像装置、2…サーバ装置、3…端末装置、4…通信網、5…プロセッサ、6…記憶装置、7…カレント画像取得部、8…真画像生成部、9…画像送信部、10…通報受信部、11…通報判定部、12…習熟度設定部、13…通報動作部、14…偽映像記憶部、15…累積ポイント記憶部、16…プロセッサ、17…画像表示部、18…入力受付部、19…監視対象画像取得部、20…監視対象画像表示部、21…通報部、22…背景画像記憶部、23…アクティブユーザ記憶部、24…画像記憶部、25…端末装置、26…元画像記憶部、27…対象施設選択部、28…負担金記憶部、29…監視状態報知部、30…撮像装置選択部、100…監視システム
Claims (31)
- サーバ装置と、監視対象となる所定空間の映像を撮像し、撮像した映像を前記サーバ装置に出力する撮像装置と、を備える監視システムであって、
前記サーバ装置は、
前記映像の現在のフレームをカレント画像として取得するカレント画像取得部と、
前記カレント画像に、前記カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像を真画像として生成する真画像生成部と、
動画、静止画または静止画を生成するための情報を記憶し、監視者によって監視が適切に行われているか否かの判断に使用するための偽画像として前記動画の1フレームまたは前記静止画を取り出せる偽映像記憶部と、
前記真画像または前記偽画像のいずれか一方に基づいて生成した監視対象画像、またはその両方に基づいて生成した監視対象画像を端末装置に送信する画像送信部と、
前記端末装置のユーザが前記監視対象画像内に通報事象を発見したか否かを示す発見状況情報を前記端末装置から受信する通報受信部と、
通報事象を発見した旨の前記発見状況情報を受信したとき、前記発見の対象となった前記監視対象画像は、前記偽画像のみに基づいて生成された画像、または前記真画像と前記偽画像の両方に基づいて生成された画像であるか否かを判定する通報判定部と、を有する監視システム。 - 前記偽映像記憶部は、前記所定空間で通報対象となる事象である犯罪が発生した場合に前記撮像装置で得られる映像に似せて作成した偽映像を動画として記憶し、前記偽画像としてフレーム単位で偽映像を取り出せる請求項1に記載の監視システム。
- 前記偽映像は、前記プライバシー保護加工を施されてから前記偽映像記憶部に記憶される請求項2に記載の監視システム。
- 前記偽映像は、前記プライバシー保護加工を施されずに前記偽映像記憶部に記憶され、
前記監視対象画像は、前記偽画像に基づいて生成される場合に前記プライバシー保護加工を施される請求項2に記載の監視システム。 - 前記サーバ装置は、前記通報判定部で前記監視対象画像が前記偽画像に基づいて生成された画像であると判定した場合、通報事象を発見した旨の情報を送信すべき課題に的確に対応できた旨を前記端末装置に通知する請求項1から4のいずれか1項に記載の監視システム。
- 前記サーバ装置は、前記通報判定部で前記監視対象画像が前記偽画像に基づいて生成された画像であると判定した回数に応じて、前記端末装置のユーザに習熟度を設定する習熟度設定部を備える請求項1から5のいずれか1項に記載の監視システム。
- 前記偽映像記憶部は、難易度の異なる複数の偽映像を記憶しており、
前記画像送信部は、前記監視対象画像を前記偽画像に基づいて生成する場合、前記習熟度設定部が設定した前記端末装置のユーザの習熟度に応じた難易度の前記偽映像を選択する請求項6に記載の監視システム。 - 前記サーバ装置は、前記映像のうち、少なくとも1フレームを背景画像として記憶している背景画像記憶部を備え、
前記真画像生成部は、前記背景画像と前記カレント画像との差分に基づき前記カレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を該背景画像に上書きして前記真画像を生成し、
前記偽映像記憶部は、前記偽映像からフレーム毎に切り出した前景画像から抽出した輪郭線である偽輪郭線をフレーム毎に前記偽画像として記憶しており、
前記画像送信部は、前記真画像生成部で生成した真画像、または前記偽映像記憶部が記憶している偽輪郭線を前記背景画像に上書きしてなる送信用偽画像のいずれか一方を監視対象画像として送信する請求項7に記載の監視システム。 - 前記サーバ装置は、前記映像のうち、少なくとも1フレームを背景画像として記憶している背景画像記憶部を備え、
前記真画像生成部は、前記背景画像と前記カレント画像との差分に基づき前記カレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を該背景画像に上書きして前記真画像を生成し、
前記偽映像記憶部は、前記偽映像からフレーム毎に切り出した前景画像から抽出した輪郭線である偽輪郭線をフレーム毎に前記偽画像として記憶しており、
前記画像送信部は、前記真画像生成部で生成した真画像、または前記偽映像記憶部が記憶している偽輪郭線を前記真画像のうちの前景画像の輪郭線がない領域に上書きしてなる送信用偽画像のいずれか一方を監視対象画像として送信する請求項7に記載の監視システム。 - 前記サーバ装置は、前記通報判定部で前記発見の対象となった前記監視対象画像は前記偽画像に基づいて生成された画像ではないと判定した場合に、前記端末装置から通報事象を発見した旨の発見状況情報を受信したことを通報する外部通報動作を行う通報動作部を備える請求項1から9のいずれか1項に記載の監視システム。
- 前記通報動作部は、前記発見の対象となった前記監視対象画像は前記偽画像に基づいて生成された画像ではないと判定した場合、前記外部通報動作として、前記発見状況情報を送信した端末装置とは異なる端末装置に、該監視対象画像から時間を遡って連続する複数枚の前記監視対象画像または該複数枚の監視対象画像の生成に用いられた複数枚の前記真画像を送信する請求項10に記載の監視システム。
- 前記通報動作部は、前記発見の対象となった前記監視対象画像は前記偽画像に基づいて生成された画像ではないと判定した場合、前記外部通報動作として、予め定められた特定の端末装置に、該監視対象画像の生成に用いられた前記真画像の生成に用いられた前記カレント画像から時間を遡って連続する複数枚の前記カレント画像を送信する請求項10または11に記載の監視システム。
- 前記サーバ装置は、稼働中のすべての前記端末装置から逐次各々の位置情報を取得し、
前記通報動作部は、前記発見の対象となった前記監視対象画像は前記偽画像に基づいて生成された画像ではないと判定した場合、前記外部通報動作として、前記撮像装置の位置に近い位置に存在する1台以上の前記端末装置に、前記通報事象の発生と前記撮像装置の位置とを送信する請求項10に記載の監視システム。 - 前記撮像装置は、複数備えられ、
前記サーバ装置は、
前記所定空間を有する施設が払った利用料の額の大小を判別できる情報である負担金情報を記憶している負担金記憶部と、
複数の施設のうちから、一の対象施設を選択する対象施設選択部と、を備え、
前記カレント画像取得部は、前記対象施設に設置されている前記撮像装置から出力される映像データの現在のフレームをカレント画像として取得し、
前記対象施設選択部は、前記負担金記憶部が記憶している負担金情報を参照し、複数の施設のうち、より高額の利用料を払った施設に設置されている前記撮像装置の選択頻度がより高くなるように選択する請求項1から13のいずれか1項に記載の監視システム。 - 前記撮像装置は、複数備えられ、
前記サーバ装置は、
前記所定空間を有する施設が払った利用料の額の大小を判別できる情報である負担金情報を記憶している負担金記憶部と、
複数の施設のうちから、一の対象施設を選択する対象施設選択部と、を備え、
前記カレント画像取得部は、前記対象施設に設置されている前記撮像装置から出力される映像データの現在のフレームをカレント画像として取得し、
前記画像送信部は、前記負担金記憶部が記憶している前記対象施設の負担金情報を参照し、前記対象施設がより高額の利用料を払った施設である場合には、偽映像の選択頻度をより高くする請求項1から14のいずれか1項に記載の監視システム。 - 前記撮像装置は、複数備えられ、
前記サーバ装置は、複数の施設のうちから、一の対象施設を選択する対象施設選択部を備え、
前記カレント画像取得部は、前記対象施設に設置されている前記撮像装置から出力される映像データの現在のフレームをカレント画像として取得し、
前記対象施設選択部は、前記端末装置から位置情報を取得し、複数の施設のうち前記端末装置のユーザが所定時間内に到達できる施設の選択を禁止する請求項1から15のいずれか1項に記載の監視システム。 - 前記撮像装置は、複数備えられ、
各撮像装置は、該撮像装置の映像の監視状態を前記所定空間に向けて報知する監視状態報知部を備え、
前記端末装置に送信中の監視対象画像に対応する撮像装置の前記監視状態報知部が、該撮像装置の映像を監視中である旨を報知する請求項1から16のいずれか1項に記載の監視システム。 - 前記監視状態報知部は、前記端末装置に前記監視対象画像の送信を開始してから所定時間後に前記報知を実行する請求項17に記載の監視システム。
- 前記監視状態報知部は、前記端末装置に送信中の監視対象画像に対応する撮像装置の前記監視状態報知部が、該撮像装置の映像を監視中である旨を報知する通常モードに加え、前記撮像装置の映像を監視中である旨の報知を監視中でなくとも実行するダミー報知モードを有することを特徴とする請求項17または18に記載の監視システム。
- 前記撮像装置は、複数備えられ、
前記サーバ装置は、複数の撮像装置が出力する映像それぞれから人を検出し、一の撮像装置が出力する映像から検出された人の数が1から2以上に増加した場合に、該一の撮像装置を選択する撮像装置選択部を備え、
前記カレント画像取得部は、前記撮像装置選択部で選択された撮像装置から出力される映像の現在のフレームをカレント画像とする請求項1から19のいずれか1項に記載の監視システム。 - サーバ装置から受信した監視対象画像を端末装置に表示し、前記端末装置のユーザが前記監視対象画像内に通報事象を発見したか否かの状況を前記サーバ装置に対して発見状況情報として送信する監視システムであって、
前記監視対象画像は、真画像または偽画像のいずれか一方に基づいて生成された画像、またはその両方に基づいて生成された画像であって、
前記真画像は、監視対象となる所定空間を撮像装置で撮影した映像における現在のフレームをカレント画像とし、前記カレント画像に、前記カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施した画像であり、
前記偽画像は、監視者によって監視が適切に行われているか否かの判断に使用するための画像であって、動画からフレーム単位で取り出された画像または静止画であり、
前記発見状況情報が通報事象を発見した旨の情報であるときに、前記発見の対象となった前記監視対象画像は、前記偽画像のみに基づいて生成された画像、または前記真画像と前記偽画像の両方に基づいて生成された画像であるかを判定する監視システム。 - 前記偽画像は、前記所定空間で通報対象となる事象である犯罪が発生した場合に前記撮像装置で得られる映像に似せて作成した偽映像からフレーム単位で取り出された画像である請求項21に記載の監視システム。
- 前記監視対象画像が前記偽画像に基づいて生成された画像である場合、通報事象を発見した旨の情報を送信すべき課題に的確に対応できた旨が前記端末装置に通知される請求項21または22に記載の監視システム。
- 前記監視対象画像は、
前記所定空間を撮影した映像のうち、少なくとも1つのフレームから予め取得された背景画像と前記カレント画像との差分に基づき前記カレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を該背景画像に上書きしてなる画像である真画像、または、
偽映像からフレーム毎に切り出した前景画像から抽出した輪郭線である偽輪郭線を前記背景画像に上書きしてなる画像である請求項21から23のいずれか1項に記載の監視システム。 - 前記監視対象画像は、
前記所定空間を撮影した映像から予め取得された背景画像と前記カレント画像との差分に基づき前記カレント画像から切り出した前景画像の輪郭線を抽出し、抽出した輪郭線を該背景画像に上書きしてなる画像である真画像、または、
偽映像からフレーム毎に切り出した前景画像から抽出した輪郭線である偽輪郭線を前記真画像のうちの前記前景画像の輪郭線がない領域に上書きしてなる画像である請求項21または22に記載の監視システム。 - 監視対象となる所定空間の映像を撮像装置で撮像し、撮像した映像をサーバ装置に出力するステップ(a)と、
前記映像の現在のフレームをカレント画像として取得するステップ(b)と、
真画像または偽画像のいずれか一方に基づいて生成した監視対象画像、またはその両方に基づいて生成した監視対象画像を端末装置に送信するステップ(c)と、
前記端末装置のユーザが前記監視対象画像内に通報事象を発見したか否かの状況を発見状況情報として前記端末装置から前記サーバ装置に送信するステップ(d)と、
前記発見状況情報として通報事象を発見した旨の情報を受信したとき、前記発見の対象となった前記監視対象画像は、前記偽画像のみに基づいて生成された画像、または前記真画像と前記偽画像の両方に基づいて生成された画像であるか否かを判定するステップ(e)と、を有する監視方法であって、
前記真画像は、前記カレント画像に、前記カレント画像内の人物の特定を困難なものとするプライバシー保護加工を施して生成された画像であり、
前記偽画像は、監視者によって監視が適切に行われているか否かの判断に使用するための画像であって、動画からフレーム単位で取り出された画像または静止画である監視方法。 - 前記偽画像は、前記所定空間で通報対象となる事象である犯罪が発生した場合に前記撮像装置で得られる映像に似せて作成した動画である偽映像からフレーム単位で取り出された画像である請求項26に記載の監視方法。
- 前記ステップ(e)において、前記発見の対象となった前記監視対象画像が前記偽画像に基づいて生成された画像ではないと判定した場合に、前記端末装置から通報事象を発見した旨の発見状況情報を受信したことを通報する外部通報動作を行うステップを備える請求項27に記載の監視方法。
- 前記外部通報動作として、前記発見状況情報を送信した端末装置とは異なる端末装置に、前記監視対象画像から時間を遡って連続する複数枚の前記監視対象画像または該複数枚の監視対象画像の生成に用いられた複数枚の前記真画像を送信するステップを備える請求項28に記載の監視方法。
- 前記外部通報動作として、予め定められた特定の端末装置に、前記監視対象画像の生成に用いられた前記真画像の生成に用いられた前記カレント画像から時間を遡って連続する複数枚の前記カレント画像を送信するステップを備える請求項28または29に記載の監視方法。
- 前記外部通報動作として、稼働中のすべての前記端末装置から逐次各々の位置情報を取得し、前記撮像装置の位置に近い位置に存在する一以上の前記端末装置に、前記通報事象の発生と前記撮像装置の位置とを送信するステップを備える請求項28から30のいずれか1項に記載の監視方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017144747 | 2017-07-26 | ||
JP2017144747 | 2017-07-26 | ||
PCT/JP2018/028158 WO2019022209A1 (ja) | 2017-07-26 | 2018-07-26 | 監視システム及び監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019022209A1 JPWO2019022209A1 (ja) | 2020-07-30 |
JP6876804B2 true JP6876804B2 (ja) | 2021-05-26 |
Family
ID=65040189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019532870A Active JP6876804B2 (ja) | 2017-07-26 | 2018-07-26 | 監視システム及び監視方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10878688B2 (ja) |
JP (1) | JP6876804B2 (ja) |
WO (1) | WO2019022209A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257505B (zh) * | 2020-09-17 | 2023-07-04 | 昆明物理研究所 | 一种应用于红外全景系统的虚假目标识别方法及存储介质 |
JP7355769B2 (ja) * | 2021-01-19 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7416009B2 (ja) * | 2021-04-05 | 2024-01-17 | トヨタ自動車株式会社 | 車両の制御装置、車両の制御方法及び車両制御用コンピュータプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7479980B2 (en) | 1999-12-23 | 2009-01-20 | Wespot Technologies Ab | Monitoring system |
US6774905B2 (en) | 1999-12-23 | 2004-08-10 | Wespot Ab | Image data processing |
US6819353B2 (en) | 1999-12-23 | 2004-11-16 | Wespot Ab | Multiple backgrounds |
SE519700C2 (sv) * | 1999-12-23 | 2003-04-01 | Wespot Ab | Bilddatabehandling |
JP2004102522A (ja) * | 2002-09-06 | 2004-04-02 | Maki Logitech Co Ltd | 目視型遠隔監視システム |
JP2004258937A (ja) | 2003-02-26 | 2004-09-16 | Hitachi Ltd | セキュリティシステム |
JP2004287922A (ja) | 2003-03-24 | 2004-10-14 | Lifeline Kk | 監視システム |
JP2005333415A (ja) | 2004-05-20 | 2005-12-02 | Hitachi Omron Terminal Solutions Corp | 高信頼監視装置システムおよび監視サービス |
JP2008312026A (ja) | 2007-06-15 | 2008-12-25 | Mitsubishi Electric Corp | 監視カメラ装置 |
JP2009206617A (ja) | 2008-02-26 | 2009-09-10 | Nec Corp | 顔認証を用いた防犯システム |
JP2015070401A (ja) | 2013-09-27 | 2015-04-13 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP2015162157A (ja) | 2014-02-28 | 2015-09-07 | 株式会社ファーストエイブ | 防犯装置 |
JP6772609B2 (ja) * | 2015-09-25 | 2020-10-21 | ソニー株式会社 | 代表画像生成装置、代表画像生成方法及びプログラム |
JP6156665B1 (ja) | 2016-04-08 | 2017-07-05 | パナソニックIpマネジメント株式会社 | 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 |
US10911725B2 (en) * | 2017-03-09 | 2021-02-02 | Digital Ally, Inc. | System for automatically triggering a recording |
-
2018
- 2018-07-26 WO PCT/JP2018/028158 patent/WO2019022209A1/ja active Application Filing
- 2018-07-26 JP JP2019532870A patent/JP6876804B2/ja active Active
-
2020
- 2020-01-23 US US16/750,332 patent/US10878688B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2019022209A1 (ja) | 2020-07-30 |
US10878688B2 (en) | 2020-12-29 |
US20200168076A1 (en) | 2020-05-28 |
WO2019022209A1 (ja) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10878688B2 (en) | Monitoring system and monitoring method | |
JP7160154B2 (ja) | システム、異常判定装置及び方法 | |
US9451062B2 (en) | Mobile device edge view display insert | |
JP6887132B2 (ja) | 映像処理装置、映像処理システム及び映像処理方法 | |
CN107645653B (zh) | 一种摄像机跟踪拍摄的方法、装置、设备及存储介质 | |
EP3153976A1 (en) | Information processing device, photographing device, image sharing system, information processing method, and program | |
JP6402219B1 (ja) | 防犯システム、防犯方法、及びロボット | |
US20150088637A1 (en) | Information processing system, information processing method, and non-transitory computer readable storage medium | |
WO2008004578A1 (fr) | Système, dispositif et procédé de surveillance | |
JP6440327B2 (ja) | 防犯システム、防犯方法、及びロボット | |
JP2004021495A (ja) | 監視システムおよび監視方法 | |
CN108416235A (zh) | 显示界面防偷窥的方法、装置、存储介质及终端设备 | |
JP2010113313A (ja) | 電子広告装置、電子広告方法及びプログラム | |
JP2010122801A (ja) | 不審者撮影システム | |
CN115004269A (zh) | 监视装置、监视方法及程序 | |
JP2006245686A (ja) | 画像記録装置及び画像記録再生方法 | |
JP2007158496A (ja) | 地図連携映像監視方法及びその装置 | |
KR102168110B1 (ko) | 카메라 시스템 | |
JP2005301962A (ja) | 地域防犯支援システム | |
WO2018160080A1 (en) | Method and apparatus for gathering visual data using an augmented-reality application | |
JP2008217458A (ja) | 広告提供装置 | |
US20230162591A1 (en) | Interactive kiosk with emergency call module | |
CN108898779A (zh) | 一种火灾报警方法和系统 | |
CN110162949B (zh) | 控制图像显示的方法及装置 | |
JP2021164008A (ja) | 情報処理方法、情報処理装置、プログラム及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6876804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |