JP6644827B2 - ビデオ監視システム並びにビデオ監視方法 - Google Patents

ビデオ監視システム並びにビデオ監視方法 Download PDF

Info

Publication number
JP6644827B2
JP6644827B2 JP2018084044A JP2018084044A JP6644827B2 JP 6644827 B2 JP6644827 B2 JP 6644827B2 JP 2018084044 A JP2018084044 A JP 2018084044A JP 2018084044 A JP2018084044 A JP 2018084044A JP 6644827 B2 JP6644827 B2 JP 6644827B2
Authority
JP
Japan
Prior art keywords
video
target object
event
module
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018084044A
Other languages
English (en)
Other versions
JP2019022209A (ja
Inventor
子毅 劉
子毅 劉
清▲ゆ▼ 柯
清▲ゆ▼ 柯
振宙 陳
振宙 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pegatron Corp
Original Assignee
Pegatron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pegatron Corp filed Critical Pegatron Corp
Publication of JP2019022209A publication Critical patent/JP2019022209A/ja
Application granted granted Critical
Publication of JP6644827B2 publication Critical patent/JP6644827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は監視システムに関し、とくにビデオ監視システム並びにビデオ監視方法に関する。
一般的には、現在、従来の画像監視システム並びにビデオ監視システムでは、保安員又は工場の人員が監視領域へ出入りする物体を肉眼で監視するとともに、前記物体に不適切なイベントが発生しているか否かを判断して、対応すべき対策を取るに止まっている。しかしながら、人員の肉眼にのみに頼って判別する場合では、複数の物体及び前記物体に対応して生じ得る多種多様なイベントを効果的に同時に処理することはできない。
上記の状況に基づき、複数の物体及び前記物体に対応して生じ得る多種多様な事件を効果的に同時に処理することができるビデオ/画像監視システム並びにビデオ/画像監視方法を如何に設計するかということが、当業者が注力して開発する目標となっている。
本発明では、複数のビデオ撮像手段、複数の検知手段により、監視領域で撮像した複数のビデオストリームについて目標物体があるか否かを判別し、ビデオストリームに対応する検知データを用いて目標物体が目標を触発するか否かを判断して、更に目標物体、触発される目標イベントにより複数の分析モデルを通じて前記目標物体に対応する通知イベントを生成して、さらに判定した通知イベントに基づいて後続の警告動作、表示動作、認証動作又は制御動作を実行するか否かを判断することができ、そしてビデオ監視システムの配置により監視領域の監視効率を増進することができる、ビデオ監視システム並びにビデオ監視方法を提供する。
本発明の一つの実施例では、監視領域の監視に用いられるビデオ監視システムを提供する。このビデオ監視システムはビデオ撮像モジュールと、検知モジュールと、決定システムとを備える。前記ビデオ撮像モジュールは、前記監視領域に近接してそれぞれ設けられるとともに、各々が少なくとも前記監視領域の一部を含む画像を撮像することでビデオストリームを取得するための複数のビデオ撮像手段を有する。前記検知モジュールは、対応する前記複数のビデオ撮像手段にそれぞれ隣接して設けられるとともに、各々が前記監視領域を検知することで検知データを取得するための複数の検知手段を有しており、前記複数の検知データは前記複数のビデオ撮像手段が出力した前記複数のビデオストリームにそれぞれ対応する。前記決定システムは前記ビデオ撮像モジュール及び前記検知モジュールに接続される。前記決定システムは画像判別モジュールと、イベント判断モジュールと、分析モデルモジュールと、処理モジュールとを備える。画像判別モジュールは、前記複数のビデオ撮像手段の前記複数のビデオストリームを受取るとともに各々のビデオストリーム中に目標物体に符合する画像が存在するか否かを判断する。イベント判断モジュールは、前記画像判別モジュールに接続されるとともに前記複数の検知手段の前記複数の検知データを受取るものであり、もし前記画像判別モジュールが前記ビデオストリーム中の前記画像が前記目標物体であると判定したのであれば、前記イベント判断モジュールは前記ビデオストリームに対応する前記検知データに基づいて、前記ビデオストリーム中の前記目標物体が目標イベントを触発するか否かを判断する。分析モデルモジュールは前記画像判別モジュール及び前記イベント判断モジュールに接続されるとともに、前記分析モデルモジュールは前記複数のビデオ撮像手段にそれぞれ対応する複数の分析モデルを有し、且つ各々の分析モデルは所定の分析条件を有する。もし前記ビデオストリーム中の前記目標物体が前記目標イベントを触発すると判定したのであれば、前記イベント判断モジュールは前記目標物体を含む前記ビデオストリーム及び前記目標イベントを前記ビデオストリームが属する前記ビデオ撮像手段に対応する前記分析モデルに送信する。前記複数の分析モデルは各々の所定の分析条件、各々受取った前記目標物体を含む前記ビデオストリーム及び前記目標イベントに基づいて、前記目標物体に対応する複数の特徴値をそれぞれ出力する。処理モジュールは前記分析モデルモジュールに接続され、前記処理モジュールは前記複数の分析モデルにそれぞれ対応する複数のモデル重み値を有する。また、前記処理モジュールは前記複数の分析モデルが前記目標物体に対応して出力した前記複数の特徴値を受けるとともに、前記目標物体に対応する前記複数の特徴値及び前記複数の分析モデルに対応する前記複数のモデル重み値に基づいて、前記目標物体に対応する通知イベントを生成するのにも用いられる。
本発明の一つの実施例では、前記ビデオ監視システムに適用されるビデオ監視方法を提供しており、前記ビデオ監視方法は、少なくとも前記監視領域の一部を含む画像を撮像することで、複数のビデオストリームを取得するステップと、前記監視領域を検知することで、前記複数のビデオストリームにそれぞれ対応する複数の検知データを取得するステップと、各々のビデオストリーム中に目標物体に符合する物体の画像が存在するか否かを判断するステップと、もし前記ビデオストリーム中の前記画像が前記目標物体であると判定したのであれば、前記ビデオストリームに対応する前記検知データに基づいて、前記ビデオストリーム中の前記目標物体が目標イベントを触発するか否かを判断するステップと、もし前記ビデオストリーム中の前記目標物体が前記目標イベントを触発すると判定したのであれば、所定の分析条件、前記目標物体を含む前記ビデオストリーム及び前記目標イベントに基づいて、前記目標物体に対応する特徴値を出力するステップと、前記目標物体に対応する前記特徴値及びモデル重み値に基づいて、前記目標物体に対応する通知イベントを生成するステップと、を含む。
上記によれば、本発明の実施例で提供するビデオ監視システム及びビデオ監視方法では、監視領域から撮像した複数のビデオストリーム中の複数の目標物体を判別するとともに、ビデオストリームに対応する検知データを用いて目標物体が目標イベントを触発するか否かを判断して、そして、上記データを複数の分析モデルに入力するとともに、所定の分析条件に基づいて目標物体に対応する特徴値を取得して、さらに、前記複数の分析モデルにそれぞれ対応する複数のモデル重み値及び前記複数の特徴値に基づいて、前記目標物体に対応する通知イベントを生成することができる。これにより、更に行った通知イベントに基づいて、監視領域に対する制御、警告、認証及び表示を更に実行することで、効果的で且つ柔軟な監視管理を達成することができる。
本発明の上記特徴及び長所がより明確に理解できるようにするために、実施例を挙げるとともに図面を参照して、以下の通り詳細な説明を行う。
本発明の一つの実施例のビデオ監視システムのブロック図である。 本発明の一つの実施例のビデオ監視方法のフローチャートである。 本発明の他の実施例のビデオ監視システムのブロック図である。 本発明の他の実施例のビデオ監視システムの動作フローチャートである。
図1は本発明に係る一つの実施例のビデオ監視システムのブロック図である。この図1に示された実施例において、ビデオ監視システム10は、ビデオ撮像モジュール100と、決定システム200と、検知モジュール400とを備えており、決定システム200は、ビデオ撮像モジュール100及び検知モジュール400に接続される。図1には、ビデオ監視システム10の全ての構成要素及び配置関係を示されており、図2では、本発明の一つの実施例のビデオ監視方法のフローチャートが示されている。本実施例におけるビデオ監視方法は、図1のビデオ監視システム10に適用するものであって、以下の説明では図1及び図2を同時に参照されたい。これにより、前記ビデオ監視システム10における各手段を組み合わせる本発明のビデオ監視方法の詳細なステップが明らかになる。
前記ビデオ撮像モジュール100は、複数のビデオ撮像手段110(1)〜110(N)(画像データを撮像する機能を有する画像撮像手段、撮像機又はカメラとしてもよい)と、通信モジュール120とを備える。前記複数のビデオ撮像手段110(1)〜110(N)は、少なくとも監視領域の一部を含む画像をそれぞれ撮像することでビデオストリームを取得するのに用いられるものであり(ステップS21)、このうちNは正の整数である。前記監視領域とは、ビデオ監視システム10により監視される領域のことを指す。前記監視領域は、一つ又は複数の領域とすることができる。各ビデオ撮像手段は、レンズと、フォトセンサと、絞り等を備えることができる。レンズは、例えば標準レンズ、広角レンズ及びズームレンズ等である。フォトセンサは、例えば電荷結合素子(Charge Coupled Device,CCD)、相補型金属酸化膜半導体(Complementary Metal-Oxide Semiconductor,CMOS)素子又はその他の素子であり、レンズ及びフォトセンサ並びにそれらの組み合わせについては、ここでは制限を設けない。各ビデオ撮像手段は、複数の画像を連続的に撮像する、つまり、動的画像(ビデオストリーム、Video Streamとも言う)を撮像(取得)することができる。前記ビデオ撮像手段は、単一の静的画像を撮像してもよい。前記複数のビデオ撮像手段110(1)〜110(N)は、監視領域に近接してそれぞれ設けられており、異なるビデオ撮像手段110(1)〜110(N)は、前記監視領域に対して異なる角度を持って、少なくとも監視領域の一部を含む画像を撮像することでビデオストリームを取得する。例えば、ビデオ監視システム10が車両に配置される場合には、監視領域は車両周囲の空間のことを指す。例えば、ビデオ監視システム10が工場ゲートに配置される場合には、監視領域はゲート周囲の空間のことを指す。言い換えるならば、本発明のビデオ監視システム/ビデオ監視方法は、文字通り、複数の異なるビデオ撮像手段を用いることで、同時に、所望の監視領域を複数の角度で撮像したビデオ(画像)により監視管理を行うものである。
通信モジュール120は、複数のビデオ撮像手段110(1)〜110(N)に接続されるとともに、ビデオ撮像手段100は、撮像した複数のビデオストリームを通信モジュール120を介して送信(出力)することができる。例えば、通信モジュール120は、無線又は有線のネットワークを介してビデオ撮像モジュール100及び決定システム200に接続することができるが、本発明はこれに限定されない。
検知モジュール400は、複数の検知手段410(1)〜410(N)と、通信モジュール420とを備える。前記検知手段410(1)〜410(N)は、対応するビデオ撮像手段110(1)〜110(N)にそれぞれ隣接して設けられる。各検知手段410(1)〜410(N)は、監視領域を検知することで検知データを取得するのに用いられる(ステップS22)。前記検知手段410(1)〜410(N)は、例えば、赤外線センサ、重力センサ、近接センサ、放射線センサ、レーザセンサ、光センサ又は感熱センサ等であるが、本発明はこれに限定されない。本実施例において、検知手段が取得した検知データは、前記検知手段の対応するビデオ撮像手段が出力するビデオストリームに対応する。しかしながら、一つの実施例において、検知手段の個数はビデオ撮像手段の個数未満でもよく、しかも一つの検知データは、複数のビデオストリームに対応することができる。一つの実施例において、検知手段の個数はビデオ撮像手段の個数よりも多くてもよく、しかも複数の検知データは一つのビデオストリームに対応することができる。前記通信モジュール420は、前記複数の検知手段410(1)〜410(N)に接続されるとともに、検知モジュール400は、取得した複数の検知データを通信モジュール420を介して送信(出力)することができる。例えば、通信モジュール420は、無線又は有線のネットワークを介して決定システム200及び検知モジュール400に接続することができる。
決定システム200は、処理モジュール210と、通信モジュール220と、画像判別モジュール230と、イベント判断モジュール240と、分析モデルモジュール250とを備える。
画像判別モジュール230は、通信モジュール220及び処理モジュール210に接続されるとともに、通信モジュール120及び通信モジュール220を介して、複数のビデオ撮像手段110(1)〜110(N)が撮像した複数のビデオストリームを受取ることで画像判別を行うことができるものである。画像判別モジュール230は、各々のビデオストリーム中に目標物体に符合する画像が存在するか否かを判断するのに用いられる(ステップS23)。例えば、画像判別モジュール230は、機械学習の方式で、各々のビデオストリームに対して画像判別動作を行う。画像判別モジュール230は、所定の目標物体タイプに基づいて、各々のビデオストリームにて目標物体に符合する画像が存在するか否かを判断するとともに、各々の物体を分類する。例えば、ビデオストリーム中に、人、ゲート及びカードリーダの画像が現れたと仮定する。画像判別モジュール230は、前記ビデオストリーム中の画像には三つの物体の画像を有すると判別することができ、しかも、前記三つの物体を分類して、三つの物体をそれぞれ「人」に属するタイプ、「制御装置」に属するタイプ、及び「認証装置」に属するタイプとに類別化する。続いて、画像判別モジュール230は、所定の目標物体タイプに基づいて、前記物体が属するタイプが所定の目標物体タイプに符合するか否かを判断する。もし前記物体が属するタイプが所定の目標物体タイプに符合するのであれば、画像判別モジュール230は、前記物体は目標物体であると判定する(つまり、前記ビデオストリームには目標物体に符合する画像が存在する)。もし前記物体が属するタイプが所定の目標物体タイプに符合しないのであれば、画像判別モジュール230は、前記物体は目標物体ではないと判定する(つまり、前記ビデオストリームには目標物体に符合する画像が存在しない)。例えば、前記所定の目標物体タイプが「人」に属するタイプであると仮定する。もし画像判別モジュール230が、ビデオストリームの画像中の一つの物体が属するタイプが「人」のタイプであるならば、画像判別モジュール230は、この物体が目標物体であると判定する。一つの実施例において、画像判別モジュール230は、画像データベースを通じて、前記目標物体の画像に基づいて前記目標物体の身分情報を直接判別してもよい(例えば、直接「人」の目標物体に対して顔判別を行うことで、目標物体の名称又はコード番号を識別する)。前記目標物体の身分情報は、処理モジュール210に送信されることで、後続して生成する通知イベントを記録することができる。
イベント判断モジュール240は、画像判別モジュール230、処理モジュール210及び通信モジュール220に接続されている。イベント判断モジュール240は、検知手段410(1)〜410(N)の検知データを受け取るのに用いられており、もし画像判別モジュール230が一つのビデオストリームに目標物体に符合する画像が存在すると判定すると(つまり、画像判別モジュール230が一つのビデオストリーム中の画像が目標物体であると判定すると)、イベント判断モジュール240は、前記ビデオストリームに対応する検知データに基づいて、前記ビデオストリーム中の前記目標物体が一つの目標イベントを触発するか否かを判断する(ステップS24)。また、もしイベント判断モジュール240が、前記ビデオストリーム中における目標物体が目標イベントを触発すると判断したのであれば、イベント判断モジュール240は、触発される目標イベントが持続的に存在する時間の長さを一つの目標イベント時間として累計し始める。
例えば、一つの物体(例えば、人)が監視領域(例えば、ゲート)に進入し、且つ、ビデオ撮像手段110は少なくとも人の一部を含むビデオストリームをすでに撮像しており、しかも、前記ビデオストリームを画像判別モジュール230に出力したと仮定すると、画像判別モジュール230は、所定の目標物体タイプ(例えば、所定の目標物体タイプが「人」のタイプである)に基づいてビデオストリームにおける人の画像が目標物体に属すると判断する。そして、検知手段410が、監視領域(つまり、ゲート)付近に設けられ、且つ、前記ビデオ撮像手段110の位置付近に位置する赤外線センサであり、画像判別モジュール230が人の画像を目標物体であると判定するときには、前記ビデオ撮像手段110に対応する赤外線センサが、人(つまり、目標物体)として検知した検知データをイベント判断モジュール240に送信する。そして、イベント判断モジュール240では、前記赤外線センサの検知データに基づいて、現在、人(つまり、目標物体)がゲート(つまり、監視領域)付近で目標イベントを触発するか否かを判断する。つまり、イベント判断モジュール240が受取ったビデオストリームに対応する検知データは、前記ビデオストリームにおける目標物体が目標イベントを触発するか否かを判断するのに用いることができる。
イベント判断モジュール240は、前記「人がゲート付近にいる」ことが上記目標イベントに属すると判定することから、イベント判断モジュール240は、前記「人がゲート付近にいる」というこの目標イベントが、持続的に存在する時間の長さを目標イベント時間として累計し始めることができる。これに対して、もしイベント判断モジュール240が前記目標物体は目標イベントを触発することはないと判定したのであれば、イベント判断モジュール240は、対応する前記目標イベントについて時間の累計計算はしない。
ところで注意すべきは、もしステップS23を実行した後に全てのビデオストリーム中には目標物体に符合する物体はないのであれば(つまり、もし前記複数のビデオストリームの画像はいずれも前記目標物体ではない)、ステップS21に戻るとともにステップS21及びステップS22を新たに実行する、ということになる。もし、前記複数のビデオストリーム中の一つ又は複数のビデオストリームの一つの物体の画像が目標物体であると判定されたのであれば、ステップS24まで継続して、前記複数のビデオストリーム中の一つ又は複数のビデオストリームの目標物体が目標イベントを触発するか否かを判断する。
分析モデルモジュール250は、画像判別モジュール230、イベント判断モジュール240及び処理モジュール210に接続されるとともに、分析モデルモジュール250は、前記複数のビデオ撮像手段110(1)〜110(N)にそれぞれ対応する複数の分析モデル250(1)〜250(N)を有する。且つ、各々の分析モデル250(1)〜250(N)は、所定の分析条件を有しており、このうち、前記分析モデル250(1)〜250(N)の個数は、少なくとも前記複数のビデオ撮像手段110(1)〜110(N)の個数に等しい。本実施例において、もし、イベント判断モジュール240が一つのビデオストリーム中の目標物体が目標イベントを触発すると判断したのであれば(目標イベントを触発する前記目標物体の前記ビデオストリームはビデオ撮像手段を介して取得したものである)、イベント判断モジュール240は、目標物体を含むビデオストリーム及び目標イベントを、前記ビデオストリームが属するビデオ撮像手段に対応する分析モデルに送信する(ステップS25)。例えば、ビデオ撮像手段110(1)が取得したビデオストリームにより、目標物体が判別されたと仮定する。もし、イベント判断モジュール240が前記目標物体が目標イベントを触発すると判定したのであれば、イベント判断モジュール240は、前記目標物体を含む前記ビデオストリーム及び前記目標イベントをビデオ撮像手段110(1)の分析モデル250(1)に送信する。
本実施例において、もし、前記複数の分析モデル250(1)〜250(N)のうちの一つの分析モデルが、目標物体を含む前記ビデオストリーム及び前記目標イベントを受取ったのであれば、前記分析モデルは、前記分析モデルの所定の分析条件、受取った前記目標物体を含む前記ビデオストリーム及び前記目標物体が触発する前記目標イベントに基づいて、前記目標物体に対応する特徴値を出力する(ステップS26)。例えば、上記した例に引き続き、前記目標物体を含む前記ビデオストリーム及び前記目標イベントを受取る分析モデル250(1)は、受取った前記ビデオストリーム及び前記目標イベントに基づいて、前記目標物体に対応する特徴値を出力する。言い換えるならば、一つのビデオストリーム中の目標物体が目標イベントを触発すると、これに対応するビデオストリームに属する分析モデルは、このビデオストリーム及び対応する前記目標イベントに基づいて、特徴値の計算又は判断を行うことで、前記目標物体に対応する特徴値を出力する。
その他実施例において、前記複数の分析モデル250(1)〜250(N)は、更に、各々の所定の分析条件、各々の対応するビデオ撮像手段から受取った前記目標物体を含む前記ビデオストリーム及び前記目標イベントが対応して触発する前記目標イベントと前記目標イベントに対応する前記目標イベント時間とに基づいて、前記目標イベントに対応する複数の特徴値をそれぞれ出力することができる。
より詳細に言えば、本実施例では、各々異なる角度で設置されたビデオ撮像手段に対して、対応する分析モデルを配置する(一対一の関係)。これにより、対応する分析モデルを介して、異なるビデオ撮像手段が撮像した異なる角度のビデオストリーム及び対応する監視データに対して、複数の特徴値の計算を行い(各々の分析モデルは、受取った前記ビデオストリーム中の目標物体の画像と目標物体が触発する目標イベントとに基づいて、分析モデルが有する所定の分析条件によって特徴値を計算又は判断する)、さらに、異なるビデオ撮像手段に適切に基づいて、監視領域の所望の異なる監視特性に対して異なる分析モデルを組合わせることで、後続して複数の分析モデルにより取得した複数の特徴値をより正確にすることができる。
分析モデルモジュール250は、出力した特徴値を処理モジュール210に送信して、処理モジュール210は、受取った複数の特徴値により判断を行うことで、目標物体に対応する通知イベントを生成することができる。具体的には、処理モジュール210は、前記複数の分析モデルにそれぞれ対応する複数のモデル重み値を有しており、しかも、処理モジュール210は、複数の分析モデルから受取った複数の特徴値及び前記複数の分析モデルに対応する複数のモデル重み値に基づいて、前記目標物体に対応する通知イベントを生成することができる(ステップS27)。より詳細に言えば、処理モジュール210は、各々の分析モデルから受取った特徴値に、各々の分析モデルに対応する前記モデル重み値を乗算することで、各々の分析モデルに対応する重み付け後特徴値を得るとともに(つまり、一つの分析モデルから受取った特徴値に、前記分析モデルに対応するモデル重み値を乗算することで、前記分析モデルに対応する重み付け後特徴値を得る)、処理モジュール210が前記複数の重み付け後特徴値を加算することで、特徴値合計を得るとともに、前記特徴値合計に基づいて、前記通知イベントを判断する。簡単に言えば、処理モジュール210は、まず対応するモデル重み値により、受取った特徴値に対して重み付けを行って、更に全ての重み付け後特徴値を加算することで、特徴値合計を得る。
言及すべきは、本実施例において、異なるモデル重み値は、異なる分析モデルが生成した特徴値の参考価値を表すことができるということである。つまり、モデル重み値が大きいほど、生成された特徴値の参考価値は、最大となる。
より具体的には、処理モジュール210は、特徴値合計と一つ又は複数の決定しきい値とを比較して、特徴値合計及び前記決定しきい値との大きさ関係に基づいて、対応する通知イベントを判断することができる。例えば、もし特徴値合計が第1の決定しきい値よりも大きいのであれば、処理モジュール210は、第1の通知イベントを判定し、しかも、もし特徴値合計が第1の決定しきい値以下であれば、処理モジュール210は、第2の通知イベントを判定する。
前記通知イベントは、現時点の前記目標物体が前記監視領域に影響する危険レベルの値を表すのに用いることができる(例えば、最も危険である「100」から最も安全である「0」まで)。前記通知イベントは、前記危険レベルに対応してセキュリティシステム(例えば、下記する実行システム)に応用する複数の操作コマンド(例えば、外部装置「ゲート」を制御する制御コマンド)と、情報記録(例えば、前記通知イベントに対応する目標物体、目標イベントの関連参考データ)とを更に含むことができる。前記情報記録は、実行システムにより記録することができる。前記関連参考データは、例えば目標物体に対応する識別情報、目標イベントの存在期間/目標イベント時間である。
モデル重み値と分析モデルとの間の対応関係は、一対一の関係にある。すなわち、前記複数のモデル重み値のうちの一つは、前記複数の分析モデルのうちの一つのみに対応する(例えば、第1のモデル重み値は、第1の分析モデル250(1)に対応し、そして、第2のモデル重み値は、第2の分析モデル250(2)に対応する)。また、一つの実施例において、前記目標物体に対応する通知イベントを生成した後、処理モジュール210は、前記通知イベント、前記複数の分析モデルが出力した前記複数の特徴値及び前記通知イベントに対応するフィードバック信号に基づいて、各々の分析モデル250(1)〜250(N)が対応するモデル重み値を調整することができる。前記フィードバック信号は、例えば、各分析モデルに対応するモデル重み値を補助的に調整するのに用いられる、ビデオ監視システムの管理者が入力する信号である。他の実施例において、フィードバック信号は、機械学習の方式で、各分析モデルが出力した特徴値と現時点で生成した通知イベントとを比較することで、各分析モデルが対応するモデル重み値を調整してもよい。
また、他の実施例において、ビデオ監視システム10は、決定システム200に接続される実行システム500(セキュリティシステムとも呼ぶ)を更に備える。本実施例において、前記実行システム500は、警告モジュール510と、通信モジュール520と、制御モジュール530と、記録モジュール540と、表示モジュール550と、認証モジュール560とを備える。前記実行システム500は、通信モジュール520と通信モジュール220との間が、無線又は有線のネットワーク接続方式により決定システム200に接続される。
前記警告モジュール510は、処理モジュール210に接続されるとともに、受取った通知イベントに基づいて、警告が発せられたか否かを判断するのに用いられる。前記警告には、メッセージ警告、音声警告、ランプ警告、又はその他の形態の警告が含まれるが、本発明はこれらに限定されない。例えば、もし、処理モジュール210により判定された前記目標物体に対応する通知イベントが「違反」通知イベントであれば(例えば、現時点で前記目標物体が前記監視領域に影響する危険レベルの値は「100」であることを表す)、警告モジュール510は、アラーム音及び/又は発光・点滅及び/又は警告メッセージを発することで、関連人員(例えば、保安人員)に現時点で監視領域に現れる目標物体に違反の事実が発生したことを通知する。一つの実施例において、警告モジュール510は、「違反」通知イベントに基づいて、対応するビデオストリーム(表示モジュールにより赤枠を付加することができる)を直接に保安人員の監視装置(例えば、ディスプレイ付きの携帯機器又はコンピュータ端末)に送信するとともに、対応する警告メッセージ及び監視領域の関連情報(例えば、監視領域の識別情報、時間、地点又は/及び目標イベントを触発する目標物体の身分情報)を監視装置に送信する。また、もし、処理モジュール210により判定された前記目標物体に対応する通知イベントが「警戒」通知イベントであれば(例えば、現時点で前記目標物体が前記監視領域に影響する危険レベルの値は「60」であることを表す)、警告モジュール510は、注意音を発するとともに、注意メッセージを送信することで、関連人員に現時点で監視領域に現れる目標物体に警戒準備を行う必要性が発生したことを通知する。また、もし、処理モジュール210により判定された前記目標物体に対応する通知イベントが「安全」通知イベントであれば(例えば、現時点で前記目標物体が前記監視領域に影響する危険レベルの値は「0」であることを表す)、警告モジュール510は、警告/注意など一切の動作を発しない。
前記制御モジュール530は、処理モジュール210に接続されるとともに、受取った通知イベントに基づいて、外部装置を制御するのに用いられる。例えば、物体(例えば、人)が監視領域(例えば、ゲート)に進入したと仮定すると、人が目標物体であると判定される上、前記赤外線センサの検知データでは、現在、人がゲート付近にいるということに対して目標イベントを触発すると判定される。これにより、もし、処理モジュール210により判定された人に対応する通知イベントが「違反」通知イベントであり、しかも、前記「違反」通知イベントが通信モジュール520及び通信モジュール220を介して実行システム500に送信されたのであれば、実行システム500は、この通知イベントに基づいて制御信号を制御モジュール530に出力することができ、制御モジュール530では、この制御信号に基づいて対応するゲート(この実施例では外部装置として見なすことができる)を閉じて施錠するように動作を制御することができる。
記録モジュール540は、ビデオ撮像モジュール100が出力した前記複数のビデオストリーム、検知モジュール400が出力した前記複数の検知データ、決定システム200の前記目標物体に対応する前記通知イベント、及び前記目標物体が触発する前記目標イベントと対応する前記目標イベント時間を記録するのに用いられる。例えば、ビデオ監視システムの管理者は、必要性に応じて記録モジュール540を用いて記録されたビデオストリームにアクセスすることで、特定時間の監視領域の画像を検査することができ、そして、ビデオ監視システムの管理者は、記録モジュール540により、特定の通知イベントと対応する参考データを閲覧することができる。また、記録モジュール540は、データ記憶機能を有する何らかの装置としてもよい。その他実施例において、記録モジュール540は、決定システム200中に配設してもよい。
表示モジュール550は、複数のビデオ撮像手段が撮像した前記複数のビデオストリームを表示するのに用いられる。また、表示モジュール550は、処理モジュール210が生成した通知イベントに基づいて、対応するビデオストリーム中の前記目標物体に対応する位置の図形を表示することができる。例えば、「違反」通知イベントに符合する目標物体については、表示モジュール550は、対応するビデオストリーム(目標物体を有するビデオストリーム)中にて、前記目標物体に対応する位置を赤色ブロック図形で表示することができる。また、「警戒」通知イベントに符合する目標物体については、表示モジュール550は、対応するビデオストリーム中にて、前記目標物体に対応する位置を黄色ブロック図形で表示することができる。さらに、「安全」通知イベントに符合する目標物体については、表示モジュール550は、対応するビデオストリーム中にて、前記目標物体に対応する位置を緑色ブロック図形で表示することができる(又は対応するビデオストリーム中にて前記目標物体に対応する位置を図形表示しない)。注意すべきは、本発明は、上記異なる通知イベントに対応して表示する図形の形状又は色が、これらに限定されないということである。
認証モジュール560は、複数の識別情報を記録する識別情報データベースを備えている。認証モジュール560は、身分を認証するための装置(例えば、入口セキュリティ用のカードリーダ)としてもよい。その場合は、認証モジュール560は、認証プログラムを実行して、認証モジュール560が受取った認証情報が識別情報データベース中の前記複数の識別情報のうちの一つに符合するか否かを判断する。そして、もし、認証情報が前記複数の識別情報のうちの一つに符合すると判定したのであれば、認証モジュール560は、認証成功メッセージをイベント判断モジュール240に送信することで、イベント判断モジュール240では前記目標イベント時間の累計計算を中止する。反対に、もし、認証情報が前記複数の識別情報のうちのいずれか一つの識別情報に符合しないと判定したのであれば、認証モジュール560は、通信モジュール520を介して認証失敗メッセージをイベント判断モジュール240及び警告モジュール510に送信することができる。本発明では、認証プログラムを実施する方式は限定しない。例えば、認証モジュール560がゲートのカードリーダであると仮定すると、カードリーダがIDカードに記録されている認証情報を受取ったとき、カードリーダでは認証プログラムを実行して前記認証情報と識別情報データベース中の全ての識別情報とを比較することで、前記認証情報が識別情報データベース中の前記複数の識別情報のうちの一つに符合するか否かを判断して、さらに、前記目標物体が認証プログラムをパスするか否かを判断する。また例えば、認証モジュール560がゲートの暗証番号錠であると仮定すると、暗証番号錠に暗証番号(認証情報)が入力されたときに、暗証番号錠では認証プログラムを実行して前記暗証番号と、識別情報データベース中の全ての識別情報(識別情報データベース中に記録される一つ又は複数の所定暗証番号)とを比較する。これにより、前記暗証番号が識別情報データベース中の前記複数の所定暗証番号のうちの一つに符合するか否かを判断して、さらに、前記目標物体が認証プログラムをパスするか否かを判断する。言及すべきは、一つの実施例において、もし、画像判別モジュールですでに目標物体の身分情報を判別済みであれば、認証モジュール560では前記身分情報(前記身分情報は通知イベント中に記録してもよい)と受取った認証情報とを比較して、更なる認証プログラムを実行してもよい、ということである。
注意すべきは、その他の実施例において、実行システム500は、決定システム200中に統合してもよいということである。つまりは、実行システム500の全てのモジュールは、決定システム200中に配設することができる。また、その他の実施例において、ビデオ撮像モジュール100及び検知モジュール400もまた決定システム200中に統合してもよい。
一つの実施例において、ビデオ監視システム10は、時間同期モジュール(図示せず)を更に備えてもよい。前記時間同期モジュールは、ビデオ撮像手段110(1)〜110(N)、検知手段410(1)〜410(N)、決定システム200及び実行システム500のローカルタイムを同期させることができる。例えば、時間同期モジュール400は、ネットワーク・タイム・プロトコル(Network Time Protocol,NTP)の方式で、時間同期操作を行うことができる。これにより、ビデオ監視システム10における上記構成要素は、同一のローカルタイムに基づいて全ての操作を同期するので、判断/制御での時間差が生じることを減らすことができ、また、処理モジュール210が触発する目標イベントを判断する精度を向上させることができ、さらに、前記触発する目標イベントに対応する目標イベント時間を正確に累計することができる。
言及すべきは、本発明の各実施例において、通信モジュール(例えば、通信モジュール120、220、420、520)は、相互間で確立したリンクを介してデータ送信するのに用いられる。本実施例において、通信モジュールは、無線通信の方式でデータを送受信することができる。例えば、通信モジュールは、無線通信モジュール(図示せず)を備えるとともに、汎欧州デジタル移動電話方式(Global System for Mobile Communication,GSM:登録商標)システム、パーソナルハンディーフォンシステム(Personal Handy-phone System,PHS)、符号分割多元接続(Code Division Multiple Access,CDMA)システム、ワイファイ(Wireless Fidelity,WiFi)システム、ワイマックス(Worldwide Interoperability for Microwave Access,WiMAX)システム、第3世代移動通信システム(3G)、ロングタームエボリューション(Long Term Evolution, LTE)、赤外線(Infrared)送信、又はブルートゥース(bluetooth:登録商標)通信技術のうちの一つ又はこれらの組合わせをサポートするが、これらに限定されない。これ以外に、通信モジュールは有線通信モジュール(図示せず)を備えるとともに、有線通信の方式でデータを送受信してもよい。例えば、通信モジュール220は、光ファイバネットワークモジュールであり、光ファイバインターフェイス及び光ファイバを介して通信モジュール520に接続してもよい。確立された光ファイバネットワークにおいて、ビデオ撮像モジュール100、検知モジュール400、決定システム200と実行システム500との間では、データ/メッセージを相互に伝送することができる。本発明では、光ファイバの種類及び材質は限定しない。一つの実施例において、光ファイバは電力線と混合して使用してもよい。
以下では、図3、4をもって、別の角度から本発明が提供するビデオ監視システムを説明する。図3は、本発明の他の実施例に係り図示したビデオ監視システムのブロック図である。図4は、本発明の他の実施例に係り図示したビデオ監視システムの動作フローチャートである。
図3を参照されたい。例えば、ここで他の実施例において、ビデオ監視システム30のビデオ撮像モジュール320は、三つのビデオ撮像手段(例えば、第1のビデオ撮像手段321、第2のビデオ撮像手段322、第3のビデオ撮像手段323)を有しており、検知モジュール330は、三つのビデオ撮像手段(前記複数のビデオ撮像手段の周辺領域に設けられる)に対応する三つの検知手段(例えば、第1の検知手段331、第2の検知手段332、第3の検知手段333)を備えると仮定する。決定システム300は、画像判別モジュール340と、イベント判断モジュール350と、分析モデルモジュール360と、処理モジュール370とを備える。決定システム300は、ビデオ撮像モジュール320(画像判別モジュール340は、ビデオ撮像モジュール320に直接接続される)及び検知モジュール330(イベント判断モジュール350は、検知モジュール330に直接接続される)に接続される。このうち、画像判別モジュール340及びイベント判断モジュール350は、分析モデルモジュール360に接続されており、処理モジュール370は、分析モデルモジュール360に接続される。また、時間同期モジュール310は、ビデオ撮像モジュール320及び検知モジュール330に接続される。図3、図4を同時に参照されたい。スタートすると、時間同期モジュール310が時間同期動作を実行することで(ステップS41)、ビデオ撮像手段321〜323、検知手段331〜333及び決定システム200のローカルタイムを同期する。注意すべきは、上記ステップS41は省略してもよく、例えば、また他の実施例において、ビデオ監視システム30の各々の構成要素はいずれも同一基準のローカルタイムを引き続き使用する、ということである。例えば、各々の構成要素はいずれも同一のローカルタイムクロック又はネットワーククロックに接続される。
続いて、第1のビデオ撮像手段321、第2のビデオ撮像手段322、第3のビデオ撮像手段323は、前記監視領域に向けて異なる角度で、少なくとも監視領域の一部を含む画像をそれぞれ撮像することで、ビデオストリーム(Video Stream)を取得するとともに、第1のビデオ撮像手段321、第2のビデオ撮像手段322及び第3のビデオ撮像手段323は、取得したビデオストリーム(例えば、第1のビデオ撮像手段321は第1のビデオストリームを出力し、第2のビデオ撮像手段322は第2のビデオストリームを出力し、第3のビデオ撮像手段323は第3のビデオストリームを出力する)を画像判別モジュール340に送信することで、画像判別を行う(ステップS42)。続いて、画像判別モジュール340は、各々のビデオストリーム中における物体を判別し、及びビデオストリーム中の物体を分類するとともに、所定の目標物体タイプに基づいて、各々のビデオストリーム中に目標物体に符合する画像が存在するか否かを判断する(ステップS43)。同時に、第1の検知手段331、第2の検知手段332及び第3の検知手段333が、各々監視領域を検知し、第1の検知手段331からの第1の検知データ、第2の検知手段332からの第2の検知データ及び第3の検知手段333からの第3の検知データを取得するとともに、前記複数の検知データをイベント判断モジュール350に送信する(ステップS44)。
この例においては、画像判別モジュール340は、前記複数のビデオストリームの物体がいずれも目標物体であると判定したと仮定する。しかしながら、他の例においては、ステップS43において、画像判別モジュール340は、前記複数のビデオストリームの画像はいずれも前記目標物体ではないと判定し、しかも、動作手順をステップS41まで続ける。
もし、画像判別モジュール340がビデオストリーム中の画像が目標物体であると判定したのであれば、イベント判断モジュール350は、前記ビデオストリームに対応する検知データに基づいて前記ビデオストリームの前記目標物体が目標イベントを触発するか否かを判断する(ステップS45)。例えば、イベント判断モジュール350は、第1のビデオストリームに対応する第1の検知データに基づいて、第1のビデオストリームの目標物体が目標イベントを触発するか否かを判断する。この例においては、全部の第1、第2、第3のビデオストリームに対して、イベント判断モジュール350が第1、第2、第3のビデオストリームの目標物体がいずれも目標イベントを触発すると判定したと仮定する。もし、目標イベントを触発すると判定したのであれば、イベント判断モジュール350は、目標イベントが触発する目標イベントの目標イベント時間を計算するとともに、前記目標物体を含むビデオストリーム、判定された目標イベント及び前記目標イベントに対応する前記目標イベント時間を分析モデルモジュール360に送信する(ステップS46)。つまり、第1、第2、第3のビデオストリーム及び対応する目標イベントを、第1、第2、第3のビデオストリームが属する前記複数のビデオ撮像手段に対応する複数の分析モデル361、362、363にそれぞれ送信する。このうち、他の例においては、ステップS45にて、イベント判断モジュール350は目標イベントが触発されないと判定し(目標イベントは一切触発されない)、しかも、動作手順をステップS41まで続ける。
本実施例において、第1、第2、第3のビデオストリーム及び対応する目標イベントを分析モデル361、362、363に送信した後、上記した前記目標物体を含むビデオストリーム、目標イベント及び目標イベント時間(又はその他目標物体/目標イベントの参考データ)は、第1のビデオ撮像手段321に対応する第1の分析モデル361、第2のビデオ撮像手段322に対応する第2の分析モデル362、第3のビデオ撮像手段323に対応する第3の分析モデル363中にそれぞれ入力されることで、第1の分析モデル361、第2の分析モデル362、第3の分析モデル363が入力されたビデオストリーム、目標イベント、目標イベント時間(又はその他の目標物体/目標イベントの参考データ)に基づいて、前記目標物体に対応する第1の特徴値(例えば、第1の分析モデル361が第1の特徴値を出力する)、第2の特徴値、第3の特徴値(ステップS47)を処理モジュール370にそれぞれ出力する。続いて、処理モジュール370は第1の特徴値、第2の特徴値、第3の特徴値及び対応するモデル重み値が生成した特徴値合計に基づいて、目標物体に対応する通知イベントを生成する(ステップS48)。これにより、上記のように、生成した通知イベントは、後続の監視管理を行うのに再利用することができる(例えば、生成した通知イベントを実行システムに送信することによる)。
注意すべきは、処理モジュール370は通知イベントを生成した後に、処理モジュール370は判定された通知イベント、前記複数の分析モデルが出力した複数の特徴値及び通知イベントに対応するフィードバック信号に基づいて、フィードバック動作を実行することで、各々の分析モデルが対応するモデル重み値を調整する、ということである。つまりは、フィードバック動作により、処理モジュール370は、通知イベントの特徴値に割と近い分析モデルのモデル重み値の生成を増加する、又は通知イベントの特徴値に割と近くない分析モデルのモデル重み値の生成を低減することができる。これにより、異なる環境下での監視領域について、本実施例で提供するビデオ監視システム及びビデオ監視方法は、複数の分析モデルに対応する複数のモデル重み値をアクティブに調整して、より正確な分析モデルで最終的な通知イベントの判断(生成)結果を影響することができる。言及すべきは、上記では各三つのビデオ撮像手段、検知手段及び分析モデルを使用して例としたが、本発明ではビデオ撮像手段、検知手段及び分析モデルの個数は三つに限定されない。また、上記ビデオ監視システム30では毎回の通知イベントを生成する動作手順を図3の最上方の構成要素(例えば、時間同期モジュール)から最下方の構成要素(処理モジュール)までと見なすことができる。つまり、毎回ステップS48で生成する通知イベントは、いずれも先に実行したステップS41〜S47を通じて、しかもビデオ監視システム30はステップS41〜S48を繰り返して実行することで、ビデオ監視システムが対応する一つ又は複数の監視領域を持続的に監視する。
上記をまとめるに、本発明の実施例で提供するビデオ監視システム及びビデオ監視方法では、監視領域から撮像した複数のビデオストリーム中の複数の目標物体、目標物体が触発する目標イベント、対応する目標イベント時間又はその他目標物体に対応する参考データを判別するとともに、判別した上記参考データを複数の分析モデルに入力することで、複数の特徴値を取得して、ひいて前記複数の分析モデルにそれぞれ対応する複数のモデル重み値及び前記複数の特徴値に基づいて、通知イベントを行うことができる。これにより、更に、行った通知イベントに基づいて、監視領域に対する制御、警告及び表示を更に実行することで、効果的で且つ柔軟な監視管理を達成することができる。また、フィードバック動作により、毎回判定する通知イベントをモデル重み値にフィードバック・調整することで、その後判断する通知イベントがより正確になる。
本発明はすでに上記のとおり実施例を開示したが、これは本発明を限定するためのものではなく、当業者であれば、本発明の技術思想及び範囲内で、いくらかの変更及び付加を行うことは可能であるのは当然であるため、本発明の保護範囲は別紙の特許請求の範囲で限定されるものを基準とする。
本発明で提供するビデオ監視システム及びビデオ監視方法では、監視領域から撮像した複数のビデオストリーム中の複数の目標物体を判別するとともに、ビデオストリームに対応する検知データを用いて目標イベントが触発されるか否かを判断し、上記データを複数の分析モデルに入力して、所定の分析条件に基づいて目標物体に対応する特徴値を取得して、前記目標物体に対応する通知イベントを生成して、監視領域に対する制御、警告、認証及び表示を実行することで、効果的で且つ柔軟な監視管理を達成することができる。
10、30 ビデオ監視システム
100、320 ビデオ撮像モジュール
110(1)〜110(N)、321、322、323 ビデオ撮像手段
410(1)〜410(N)、331、332、333 検知手段
120、220、420、520 通信モジュール
200、300 決定システム
210、370 処理モジュール
230、340 画像判別モジュール
240、350 イベント判断モジュール
250、360 分析モデルモジュール
250(1)〜250(N)、361、362、363 分析モデル
400、330 検知モジュール
500 実行システム
510 警告モジュール
530 制御モジュール
540 記録モジュール
550 表示モジュール
560 認証モジュール
310 時間同期モジュール
S21、S22、S23、S24、S25、S26、S27 ビデオ監視方法の手順ステップ
S41、S42、S43、S44、S45、S46、S47、S48 ビデオ監視システムの動作手順ステップ

Claims (20)

  1. 監視領域を監視するためのビデオ監視システムであって、
    前記監視領域に近接してそれぞれ設けられるとともに、各々が少なくとも前記監視領域の一部を含む画像を撮像することでビデオストリームを取得するための複数のビデオ撮像手段を有するビデオ撮像モジュールと、
    対応する前記複数のビデオ撮像手段にそれぞれ隣接して設けられるとともに、各々が前記監視領域を検知することで検知データを取得するための複数の検知手段を有しており、前記複数の検知データは前記複数のビデオ撮像手段が出力した前記複数のビデオストリームにそれぞれ対応する、検知モジュールと、
    前記ビデオ撮像モジュール及び前記検知モジュールに接続される決定システムと、を備えており、前記決定システムは、
    前記複数のビデオ撮像手段の前記複数のビデオストリームを受取るとともに前記複数のビデオストリームの各々に目標物体に符合する画像が存在するか否かを判断する画像判別モジュールと、
    前記画像判別モジュールに接続されるとともに前記複数の検知手段の前記複数の検知データを受取るものであり、もし前記画像判別モジュールが前記ビデオストリーム中の前記画像が前記目標物体であると判定したのであれば、前記ビデオストリームに対応する前記検知データに基づいて、前記ビデオストリーム中の前記目標物体が目標イベントを触発するか否かを判断する、イベント判断モジュールと、
    前記画像判別モジュール及び前記イベント判断モジュールに接続されており、前記複数のビデオ撮像手段にそれぞれ対応する複数の分析モデルを有しており、且つ前記複数の分析モデルの各々は所定の分析条件を有しており、もし前記ビデオストリーム中の前記目標物体が前記目標イベントを触発すると判定したのであれば、前記イベント判断モジュールは、前記目標物体を含む前記ビデオストリーム及び前記目標イベントを前記ビデオストリームが属する前記ビデオ撮像手段に対応する前記分析モデルに送信する、分析モデルモジュールと、
    このうち、前記複数の分析モデルは各々の所定の分析条件、各々受取った前記目標物体を含む前記ビデオストリーム及び前記目標イベントに基づいて、前記目標物体に対応する複数の特徴値をそれぞれ出力し、
    前記分析モデルモジュールに接続されており、前記複数の分析モデルにそれぞれ対応する複数のモデル重み値を有しており、前記複数の分析モデルが出力した前記複数の特徴値を受取るとともに、前記複数の特徴値及び前記複数のモデル重み値に基づいて、前記目標物体に対応する通知イベントを生成するのにも用いられる、処理モジュールと、を備える、ことを特徴とするビデオ監視システム。
  2. 前記画像判別モジュールは所定の目標物体タイプに基づいて、前記複数のビデオストリームの各々にて目標物体に符合する画像が存在するか否かを判断する、請求項1に記載のビデオ監視システム。
  3. もし前記ビデオストリーム中における前記目標物体が前記目標イベントを触発すると判断したのであれば、前記イベント判断モジュールは前記目標イベントが持続的に存在する時間の長さを一つの目標イベント時間として累計し始めるものであり、
    このうち、前記複数の分析モデルは前記所定の分析条件の各々、各々受取った前記目標物体を含む前記ビデオストリーム、前記目標イベント及び前記目標イベントに対応する前記目標イベント時間に基づいて、前記複数の特徴値をそれぞれ出力する、請求項1又は請求項2に記載のビデオ監視システム。
  4. 前記処理モジュールは、前記複数の分析モデルの各々に対応する特徴値に前記分析モデルに対応する前記モデル重み値を乗算することで、前記複数の分析モデルの各々に対応する重み付け後特徴値を得るとともに、前記処理モジュールは前記複数の重み付け後特徴値を加算することで、特徴値合計を得て、ひいては前記特徴値合計に基づいて前記通知イベントを生成する、請求項1〜3のいずれか1項に記載のビデオ監視システム。
  5. 前記処理モジュールは前記通知イベント、前記複数の特徴値及び前記通知イベントに対応するフィードバック信号に基づいて、前記複数の分析モデルの各々に対応する前記モデル重み値を調整する、請求項1〜4のいずれか1項に記載のビデオ監視システム。
  6. 前記決定システムに接続される実行システムを更に備えており、前記実行システムは、
    受取った前記通知イベントに基づいて、外部装置を制御するための制御モジュールを備える、請求項3に記載のビデオ監視システム。
  7. 前記実行システムは、前記目標物体に対応する前記通知イベント及び前記目標物体が触発する前記目標イベント及び対応する前記目標イベント時間を記録するための記録モジュールを更に備える、請求項6に記載のビデオ監視システム。
  8. 前記実行システムは、前記複数のビデオ撮像手段の前記複数のビデオストリームを表示するとともに、前記通知イベントに基づいて、前記ビデオストリームの各々中にて前記目標物体に対応する位置の図形を表示するための表示モジュールを更に備える、請求項6に記載の範囲ビデオ監視システム。
  9. 前記実行システムは、受取った前記通知イベントに基づいて、警告を発するか否かを判断するための警告モジュールを更に備える、請求項6に記載のビデオ監視システム。
  10. 前記実行システムは、複数の識別情報を記録している識別情報データベースを備える認証モジュールを更に備えており、もし前記目標イベントが発生したのであれば、前記認証モジュールは認証プログラムを実行して、前記認証モジュールが受取った認証情報が前記複数の識別情報のうちの一つに符合するか否かを判断して、もし前記認証情報が前記識別情報に符合すると判定したのであれば、前記認証モジュールは認証成功メッセージを前記イベント判断モジュールに送信することで、前記イベント判断モジュールでは前記目標イベント時間の累計計算を中止する、請求項6に記載のビデオ監視システム。
  11. ビデオ監視システムが監視領域を監視するのに適用されるビデオ監視方法であって、前記ビデオ監視方法は、
    少なくとも前記監視領域の一部を含む画像を撮像することで、複数のビデオストリームを取得するステップと、
    前記監視領域を検知することで、前記複数のビデオストリームにそれぞれ対応する複数の検知データを取得するステップと、
    前記複数のビデオストリームの各々に目標物体に符合する画像が存在するか否かを判断するステップと、
    前記ビデオストリーム中の前記画像が前記目標物体であると判定したのであれば、前記ビデオストリームに対応する前記検知データに基づいて、前記ビデオストリーム中の前記目標物体が目標イベントを触発するか否かを判断するステップと、
    もし前記ビデオストリーム中の前記目標物体が前記目標イベントを触発すると判定したのであれば、所定の分析条件、前記目標物体を含む前記ビデオストリーム及び前記目標イベントに基づいて、前記目標物体に対応する特徴値を出力するステップと、
    前記目標物体に対応する特徴値及び分析モデルに対応するモデル重み値に基づいて、前記目標物体に対応する通知イベントを生成するステップと、を含む、ことを特徴とするビデオ監視方法。

  12. 前記複数のビデオストリームの各々に目標物体に符合する画像が存在するか否かを判断する前記ステップは、
    所定の目標物体タイプに基づいて、前記複数のビデオストリームの各々に目標物体に符合する画像が存在するか否かを判断するステップを含む、請求項11に記載のビデオ監視方法。
  13. もし前記ビデオストリーム中における前記目標物体が前記目標イベントを触発すると判定したのであれば、前記目標イベントが持続的に存在する時間の長さを一つの目標イベント時間として累計し始めるものであり、このうち、前記所定の分析条件、前記目標物体を含む前記ビデオストリーム、前記目標イベント及び前記目標イベントに対応する前記目標イベント時間に基づいて、前記目標物体に対応する前記特徴値を出力する、請求項11又は請求項12に記載のビデオ監視方法。
  14. 前記目標物体に対応する特徴値及び特徴値に対応するモデル重み値に基づいて、前記目標物体に対応する前記通知イベントを生成する前記ステップは、
    前記目標物体に対応する特徴値に前記分析モデルに対応する前記モデル重み値を乗算することで、重み付け後特徴値を得るとともに、前記複数の重み付け後特徴値の各々を加算することで、特徴値合計を得て、ひいては前記特徴値合計に基づいて前記通知イベントを生成するステップを含む、請求項11〜13のいずれか1項に記載のビデオ監視方法。
  15. 前記通知イベント、前記複数の特徴値及び前記通知イベントに対応するフィードバック信号に基づいて、対応する前記モデル重み値を調整するステップを更に含む、請求項11〜14のいずれか1項に記載のビデオ監視方法。
  16. 前記ビデオ監視方法は、
    受取った前記通知イベントに基づいて、外部装置を制御するステップを更に含む、請求項11〜15のいずれか1項に記載のビデオ監視方法。
  17. 前記ビデオ監視方法は、
    前記目標物体に対応する前記通知イベント及び前記目標物体が触発する前記目標イベント及び対応する前記目標イベント時間を記録するステップを更に含む、請求項13に記載のビデオ監視方法。
  18. 前記ビデオ監視方法は、
    前記複数のビデオストリームを表示するとともに、前記通知イベントに基づいて、前記複数のビデオストリームの各々中にて前記目標物体に対応する位置の図形を表示するステップを更に含む、請求項11〜17のいずれか1項に記載のビデオ監視方法。
  19. 前記ビデオ監視方法は、
    受取った前記通知イベントに基づいて、警告を発するか否かを判断するステップを更に含む、請求項11〜17のいずれか1項に記載のビデオ監視方法。
  20. 前記ビデオ監視方法は、
    認証プログラムを実行し、受取った認証情報が識別情報データベースの前記複数の識別情報のうちの一つに符合するか否かを判断し、もし前記認証情報が前記識別情報に符合すると判定したのであれば、認証成功メッセージを送信することで、前記目標イベント時間の累計計算を中止するステップを更に含む、請求項13に記載のビデオ監視方法。
JP2018084044A 2017-07-19 2018-04-25 ビデオ監視システム並びにビデオ監視方法 Active JP6644827B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106124081 2017-07-19
TW106124081A TWI639978B (zh) 2017-07-19 2017-07-19 視訊監控系統與視訊監控方法

Publications (2)

Publication Number Publication Date
JP2019022209A JP2019022209A (ja) 2019-02-07
JP6644827B2 true JP6644827B2 (ja) 2020-02-12

Family

ID=65018739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084044A Active JP6644827B2 (ja) 2017-07-19 2018-04-25 ビデオ監視システム並びにビデオ監視方法

Country Status (4)

Country Link
US (1) US10558863B2 (ja)
JP (1) JP6644827B2 (ja)
CN (1) CN109286780B (ja)
TW (1) TWI639978B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977924B2 (en) 2018-12-06 2021-04-13 Electronics And Telecommunications Research Institute Intelligent river inundation alarming system and method of controlling the same
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
CN110223208A (zh) * 2019-04-17 2019-09-10 广东康云科技有限公司 一种园区安全监管系统及方法
TWI716921B (zh) 2019-06-28 2021-01-21 華碩電腦股份有限公司 偵測裝置、偵測系統及偵測方法
CN112211496B (zh) * 2019-07-09 2022-11-01 杭州萤石软件有限公司 一种基于智能门锁的监控方法、系统及智能门锁
JP7239507B2 (ja) * 2020-01-30 2023-03-14 株式会社日立製作所 アラート出力タイミング制御装置、アラート出力タイミング制御方法、アラート出力タイミング制御プログラム
CN111274432B (zh) * 2020-02-06 2023-05-09 浙江大华技术股份有限公司 一种布控处理方法及装置
JP7355674B2 (ja) * 2020-02-18 2023-10-03 株式会社日立製作所 映像監視システムおよび映像監視方法
CN111753633B (zh) * 2020-03-30 2023-08-29 杭州海康威视数字技术股份有限公司 目标检测方法及装置
TWI781434B (zh) * 2020-08-20 2022-10-21 遠傳電信股份有限公司 門禁系統和門禁管理方法
CN112233267A (zh) * 2020-09-02 2021-01-15 广东飞企互联科技股份有限公司 一种消防设备监控方法和系统
CN112256757A (zh) * 2020-10-22 2021-01-22 苏州知瑞光电材料科技有限公司 材料制造关键环节分析方法及系统
CN112288975A (zh) * 2020-11-13 2021-01-29 珠海大横琴科技发展有限公司 一种事件预警的方法和装置
CN112672010A (zh) * 2020-12-17 2021-04-16 珍岛信息技术(上海)股份有限公司 一种基于人脸识别的视频生成系统
CN112701789A (zh) * 2020-12-24 2021-04-23 海南电网有限责任公司信息通信分公司 一种具有识别功能的电网视频安全监察系统
WO2022168626A1 (ja) * 2021-02-03 2022-08-11 パナソニックi-PROセンシングソリューションズ株式会社 人物検知サーバ、アラーム通知方法およびアラーム通知プログラム
JP7416009B2 (ja) 2021-04-05 2024-01-17 トヨタ自動車株式会社 車両の制御装置、車両の制御方法及び車両制御用コンピュータプログラム
CN113052125B (zh) * 2021-04-09 2022-10-28 内蒙古科电数据服务有限公司 一种施工现场违章图像识别告警方法
WO2022218001A1 (zh) * 2021-04-17 2022-10-20 华为云计算技术有限公司 视频分析方法及相关系统
TWI834993B (zh) * 2021-09-10 2024-03-11 台達電子工業股份有限公司 人員追蹤消毒系統及方法
CN113794865A (zh) * 2021-09-15 2021-12-14 云茂互联智能科技(厦门)有限公司 一种监控设备的管理方法和设备
TWI784718B (zh) * 2021-09-17 2022-11-21 和碩聯合科技股份有限公司 廠區告警事件處理方法與系統
CN114640608A (zh) * 2022-04-01 2022-06-17 上海商汤智能科技有限公司 测试方法及装置、电子设备及计算机可读存储介质
CN116385975B (zh) * 2023-04-18 2023-10-27 盐城工学院 一种基于目标检测的配电房安全监控系统及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344945A (ja) * 2001-05-11 2002-11-29 Toshiba Corp カメラ監視システム及び画像処理方法
KR100696728B1 (ko) * 2003-06-09 2007-03-20 가부시키가이샤 히다치 고쿠사이 덴키 감시정보송신장치 및 감시정보송신방법
JP3942606B2 (ja) * 2003-06-09 2007-07-11 株式会社日立国際電気 変化検出装置
JP4220322B2 (ja) * 2003-07-18 2009-02-04 株式会社日立製作所 侵入者監視方法及び装置
TW200725490A (en) 2005-12-20 2007-07-01 Taiwan Secom Co Ltd Surveillance system integrating entrance-guard and images, and method of conducting post-tracking or real-time monitoring using the same
AU2006201210A1 (en) * 2006-03-23 2007-10-11 Canon Information Systems Research Australia Pty Ltd Motion characterisation
JP2007267332A (ja) * 2006-03-30 2007-10-11 Victor Co Of Japan Ltd 映像監視装置
US8472448B2 (en) * 2006-07-21 2013-06-25 Intel Corporation Wireless adaptive packet control message apparatus, systems, and methods
CA2674311C (en) 2007-02-08 2015-12-29 Behavioral Recognition Systems, Inc. Behavioral recognition system
WO2008147915A2 (en) * 2007-05-22 2008-12-04 Vidsys, Inc. Intelligent video tours
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
JP2011234033A (ja) * 2010-04-26 2011-11-17 Panasonic Corp 監視カメラおよび監視システム
JP5674406B2 (ja) * 2010-09-30 2015-02-25 綜合警備保障株式会社 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
TWM403711U (en) 2010-10-22 2011-05-11 Utechzone Co Ltd Movable monitoring device
TWI432012B (zh) * 2010-11-02 2014-03-21 Acer Inc 調整立體眼鏡所接收之周遭環境亮度的方法、立體眼鏡與裝置
TW201308265A (zh) * 2011-08-10 2013-02-16 Chunghwa Telecom Co Ltd 網路監控方法及其系統
TWI493510B (zh) * 2013-02-06 2015-07-21 由田新技股份有限公司 跌倒偵測方法
TWM464777U (zh) 2013-06-10 2013-11-01 Wondereye Technology Corp 監控裝置
CN104079881B (zh) * 2014-07-01 2017-09-12 中磊电子(苏州)有限公司 监控装置与其相关的监控方法
WO2016042946A1 (ja) * 2014-09-19 2016-03-24 シャープ株式会社 監視システム
JP6500428B2 (ja) * 2014-12-22 2019-04-17 日本電気株式会社 動体検知装置、動体検知方法および動体検知プログラム
JP6406175B2 (ja) * 2015-08-27 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
TW201720345A (zh) * 2015-12-11 2017-06-16 富奇想股份有限公司 智慧鏡功能組件運作方法、智慧鏡功能組件與智慧鏡系統
CN106096789A (zh) 2016-06-22 2016-11-09 华东师范大学 一种基于机器学习技术的可自感知异常的工控安全防护与报警系统

Also Published As

Publication number Publication date
CN109286780B (zh) 2020-11-17
US20190026564A1 (en) 2019-01-24
JP2019022209A (ja) 2019-02-07
TWI639978B (zh) 2018-11-01
CN109286780A (zh) 2019-01-29
TW201909114A (zh) 2019-03-01
US10558863B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
JP6644827B2 (ja) ビデオ監視システム並びにビデオ監視方法
US9639937B2 (en) Apparatus and method for detecting event from plurality of photographed images
JP6469975B2 (ja) 映像監視装置、映像監視システムおよび映像監視方法
US20120076356A1 (en) Anomaly detection apparatus
JP6094903B2 (ja) 受信装置及び受信側画像処理方法
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
KR102358773B1 (ko) 객체 안내를 위한 스마트 안내판 장치, 그 장치를 포함한 시스템 및 방법
KR100927776B1 (ko) 위험 동작 발생 감시 시스템
JP2013013086A (ja) 映像モニタリングシステムの品質検査
KR102443785B1 (ko) 감시 시스템
JP2020161876A (ja) 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム
KR102077632B1 (ko) 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템
KR20210043960A (ko) IoT와 인공지능 기술을 이용한 행동인식 기반의 안전 감시 시스템 및 방법
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
JP2017033271A (ja) ウェアラブルカメラのユーザー認証方法
JP5580683B2 (ja) 通報装置
JP5520675B2 (ja) 通報装置
JP2012004720A (ja) 監視装置、及び監視システム
KR101425658B1 (ko) 감시카메라 시스템에 대한 해킹 및 오동작 감지 방법
KR101744184B1 (ko) 얼굴 인식을 이용한 자동신고 시스템 및 그 방법
KR102618508B1 (ko) 엣지 cctv를 이용한 객체 탐지 및 추적 시스템과 방법
JP2019033469A (ja) 撮像装置、制御方法及びプログラム
KR102527133B1 (ko) 영상 분석 대상 판별 서버 및 그 제어방법
JP5580679B2 (ja) 通報装置
CN210776835U (zh) 一种智慧监所无感人脸点名系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200108

R150 Certificate of patent or registration of utility model

Ref document number: 6644827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250