JPWO2017169593A1 - 監視システムおよび端末装置 - Google Patents
監視システムおよび端末装置 Download PDFInfo
- Publication number
- JPWO2017169593A1 JPWO2017169593A1 JP2018508896A JP2018508896A JPWO2017169593A1 JP WO2017169593 A1 JPWO2017169593 A1 JP WO2017169593A1 JP 2018508896 A JP2018508896 A JP 2018508896A JP 2018508896 A JP2018508896 A JP 2018508896A JP WO2017169593 A1 JPWO2017169593 A1 JP WO2017169593A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- area map
- terminal device
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本発明の監視システムは、撮像装置と端末装置を備えた監視システムであって、端末装置は平面エリアマップを3D化する3D処理部を備えており、撮像装置が撮像した画像データと3D処理部により3D化したエリアマップを重畳した座標対応付け画面を表示し、座標対応付け画面から指定した測定点と矩形領域を平面エリアマップ上に表示することを特徴とする。
Description
このような背景から、監視者の労力を減らすための様々な機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象(イベント)の発生を、画像処理技術を用いてリアルタイムに自動検知する等のより高度な検索機能を備えた映像監視システムが登場しつつある。
その映像監視システムの実現方法としては、例えば大型商業施設においてカメラ設置エリアごとの混雑状況を電子案内マップ上でピンポイント表示するなどがあった。その結果を用いた運用として、例えば、混雑の強度が高いエリアに警備員をたくさん配置するなどがあった。
本発明の目的は、カメラ画像にエリアマップを容易に関連付けして、監視の効率向上を図ることにある。
図1は本発明の一実施例に係る監視システムの構成を示すブロック図である。
図1において、監視システムは、撮像装置101、サーバ装置201、端末装置301、ネットワーク100で構成されている。
ネットワーク100は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線LAN(Local Area Network)等の通信を行う通信手段で、撮像装置101、サーバ装置201、端末装置301等を接続している。
撮像部106は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)素子等で被写体を撮影し、撮影した画像にデジタル処理を施し、ネットワーク100を介して出力する。
なお、サーバ装置201、端末装置301は、ネットワーク機能を有するPC(Personal Computer)でもよい。また、本構成では、サーバ装置201と端末装置301とが負荷分散しているが、一体でもよい。
要求受信部103は、ネットワーク100を介してサーバ装置201や端末装置301等から要求命令を受信し、その要求命令内容を解読し、装置内の各部に伝達する処理部である。
雲台制御部105は、要求受信部103で受信した要求内容に応じて雲台部107を制御する。
雲台部107は、雲台制御部105の制御情報に基づいて、パンとチルトの動作を行う。
画像受信部202は、ネットワーク100を介して撮像装置101や端末装置301等からの画像入力を行う処理部である。
システム運用支援部203は、撮像装置101への命令処理内容を作成する。
システム総合管理部205は、ネットワーク構成、各種プロセス設定等、監視システム全体の設定要素を管理する。
画像処理演算部206は、受信画像について特定の画像処理演算、例えば画角内要所の混雑度推定を行う。
データベース部207は、画像データ、画像処理演算結果、位置情報、時刻情報等と紐(関連)づけて格納(記憶)する。また、エリアマップの情報、各カメラの設置座標・IPアドレスも格納(記憶)する。
データベース管理部208は、データベース部207と端末装置301との間でのデータ入出力管理を行う。
エリアマップ表示部302は、データベース部207より読み込んだエリアマップをGUI(Graphical User Interface)アプリケーション上に表示する。
エリアマップ調整部303は、エリアマップの拡大、縮小、回転、切り出しを行う。
3D処理部304は、2次元平面で表現されたエリアマップの3次元表示とパン・チルト、ヨー・ピッチ・ロールの調整等を行う。
カメラ映像表示部305は、画像受信部306で受信した画像データをGUIアプリケーション上に表示する。
画像要求部307は、装置外部へ画像出力を要求する処理部であり、本例では撮像装置101へ画像データを要求する。
演算結果要求部308は、ネットワーク100を介して、データベース管理部208へ所定の条件(場所、時間等)を指定して所定の演算結果(例えば混雑度)を要求する。
演算結果受信部309は、演算結果要求部308の要求に応じた演算結果をデータベース部207から受信する。
演算結果表示部310は、演算結果受信部309が受信した演算結果をGUIアプリケーション上に表示する。
座標情報送信部311は、エリアマップとカメラ画像間での座標点フィッティング情報をサーバ装置201へ送信する。
画面操作検知部312は、外部入力デバイス401による操作受付けを行う。
外部出力デバイス部402は、表示装置等である。
図2は本発明の一実施例に係る監視システムの動作を説明するためのフローチャートである。
運用開始前に、各種装置接続を行う(2000)。
サーバ装置201は、初期設定として、ネットワーク構成、各種プロセス設定等をシステム総合管理部205に設定する(2201)。
端末装置301の準備としては、カメラ画像とエリアマップ間の測定点・矩形の座標対応付けを行う(2301)。本座標対応付け方法は、図3〜図6を用いて後述する。ここでは、エリアマップ上にカメラ位置と測定点・矩形が設定される。
図9は本発明の一実施例に係る端末装置のエリアマップを用いた撮像装置制御について説明するための図である。
図2において、撮像装置101は、撮像部106で撮影した画像データ(2121)を画像送信部102からネットワーク100を介してサーバ装置201の画像受信部202に送信する(2101)。
サーバ装置201の画像受信部202は撮像部106が撮影した画像データ(2121)を受信する(2202)。
画像処理演算部206は、画像受信部202が受信した画像データ(2121)に対して所定の画像処理演算を行い(2203)、演算結果をデータベース部207に出力する。
データベース部207は、演算結果を画像データ(2121)と紐づけて記憶(格納)する(2204)。
サーバ装置201は、この処理を繰り返してエリア内XY座標−測定時間T−画像処理演算値Vを蓄積(記憶)していく。
システム運用支援部203は、地点x1y1を中心とした単位円内の測定点・矩形で、現時間から単位時間t遡った範囲における平均画像処理演算値v1がしきい値vt以上である地点の情報を演算により算出する(2206)。
要求受信部103は、要求(2212)の内容を解読(2103)し、(2104)の処理に進む。
要求受信部103は、要求内容を適用(2104)させるため、解読した内容に従って、画角制御部104には画角情報を送り、雲台制御部105には撮影方向情報を送る。画角制御部104は画角情報に従って図示していないレンズ部を制御し、雲台制御部105は撮影方向情報に従って雲台部107を制御する。
なお、特定人物検知(例えば、特許文献2参照)、特定物体検索(例えば、特許文献3参照)と連動した監視システムにおいては、画角内の人物数や物体、行動数も確率的に増えることにより、特定人物・物体・行動発見を発報する機会も増える。このように、画角固定カメラよりも、画像処理検知・検索システムのより効果的な運用に結び付けることができる。
図2において、端末装置301は、実装されたGUIアプリケーション上でエリアマップ表示部302によるエリアマップ表示を行う(2302)。
なお、エリアマップ上には、すでにカメラ設置座標が登録されているものとする。
また、各々のカメラ設置座標とカメラIPアドレスを紐(関連)づけた情報は、サーバ装置201のデータベース部207に格納(記憶)されているものとする。
演算結果要求部308は、画面操作検知部312が検知したカメラ座標点に該当するカメラのIP(Internet Protocol)アドレスをサーバ装置201のデータベース管理部208へ要求する。データベース管理部208は、データベース部207に格納(記憶)しているIPアドレスを読み出して端末装置301の演算結果受信部309に返送する。
そして、カメラ画像要求部307は、画像要求(2311)をネットワーク100を介して演算結果受信部309が受信したIPアドレスの撮像装置101に要求する(2304)。
画像送信部102は、撮像部106が撮影した画像データ(2132)をネットワーク100を介して端末装置301の画像受信部306に送信する(2106)。
カメラ映像表示部305は、画像データ(2132)を表示する(2306)。これを繰り返すことで連続的な映像(動画)となる。
図3は本発明の一実施例に係る端末装置の動作を説明するためのフローチャートである。
図4は本発明の一実施例に係る端末装置の座標対応付け画面を説明するための図である。
図3において、端末装置301は、実装されているGUIのアプリケーションを起動(3001)し、エリア表示部302の機能を用いて、図4の座標対応付け画面4001にエリアマップ2302を表示する。
エリアマップ2302は、線分から構成され、各々の線分とマップ内座標には高さ情報が紐(関連)づけられている。
端末装置301は、エリアマップ2302内の対応付けカメラが選択(測定点・矩形付与カメラ選択3003)されると、演算結果要求部308がカメラ映像をカメラ映像表示部305に表示させるため、画面操作検知部312が検知したカメラ座標点に該当するカメラのIPアドレスをサーバ装置201のデータベース管理部208へ要求する。データベース管理部208は、データベース部207に格納(記憶)しているIPアドレスを読み出して端末装置301の演算結果受信部309に返送する。
そして、カメラ画像要求部307は、画像要求(2311)をネットワーク100を介して演算結果受信部309が受信したIPアドレスの撮像装置101に要求する(2304)。
画像送信部102は、撮像部106が撮影した画像データ(2132)をネットワーク100を介して端末装置301の画像受信部306に送信する(2106)。
端末装置301の画像受信部306は、画像データ(2132)を受信する(2305)と、カメラ表示部305に送る。
カメラ映像表示部305は、画像データ(2132)(要求した時点での静止フレーム)を表示する(2306)。
図5は本発明の一実施例に係る端末装置のエリアマップ調整部と3D処理部を説明するための図である。
端末装置301は、図5のエリアマップ2302上の領域5011が領域選択(3004)されると、エリアマップ調整部303がマウス等の操作に従いエリアマップの拡大、縮小、回転、切り出しを平面領域5100に対して実施する(平面領域変形3005)。
3D処理部304は、例えば、パン・チルト、ヨー・ピッチ・ロールの調整ボタン(操作群)5020などの操作に従い、3D化したエリアマップ(5101)をカメラ画像に近づけるためのフィッティング(3008)を行う。
図6は本発明の一実施例に係る端末装置の測定点と矩形の付与を説明するための座標対応付け画面の図である。
図6において、端末装置301は、立体の特定区画における立体エリアマップ上に、カメラ画像をフローティング6001、半透明表示させ、フィッティング3008を実施し、フィッティング完了後、カメラ画像上における測定点・矩形を立体エリアマップ上に描画(測定点・矩形付与3009)することで、幾何学演算により描画結果を平面エリアマップ上へ落とす(床面投射3010)。
図7は本発明の一実施例に係る端末装置の測定点と矩形の平面エリア上の描画について説明するための図である。
図7において、端末装置301は、例えば、(A)立体エリアマップ上で描画した点・矩形がカメラ焦点距離の垂直平面7002に描かれた場合に、カメラ201のレンズ中心と各点を結んだ線7004を床面まで伸ばしたときに床と交差した各点7007を平面エリアマップ上に投射する。図7ではカメラ奥行方向をイメージしているが、左右方向について同様に実施する。
サーバ装置201のデータベース部207は、受信した座標情報(2321)を格納(記憶)する。
図8は本発明の一実施例に係る端末装置のカメラ画像とエリアマップ間の座標対応付けの幾何学計算概念を説明するための図である。
図8において、端末装置301は、フィッティング時、カメラ201のレンズ中心点から鉛直に伸びる垂線ベクトル角8007から、エリアマップ基準ベクトル角8008に対するヨー・ピッチ・ロール角、レンズの左下点・右下点に対応する各々の床面点間距離8006から、パン・チルトの度合いも自動幾何学計算し、サーバ装置201のデータベース部207に送信する。
サーバ装置201のデータベース部207は、受信したパン・チルトの度合いを格納(記憶)する。
例えば、エリアマップの情報をサーバ装置ではなく、端末装置に記憶させてもよい。
Claims (3)
- 撮像装置と端末装置を備えた監視システムにおいて、
前記端末装置は、平面エリアマップを3D化する3D処理部を備えており、前記撮像装置が撮像した画像データと前記3D処理部により3D化したエリアマップを重畳した座標対応付け画面を表示し、前記座標対応付け画面から指定した測定点と矩形領域を平面エリアマップ上に表示することを特徴とする監視システム。 - 請求項1に記載の監視システムにおいて、
前記測定点における混雑度を算出する制御装置を備えており、
前記制御装置は、前記混雑度に基づいた制御の要求を前記撮像装置へ送信することを特徴とする監視システム。 - 画像データを受信する画像受信部と、平面エリアマップを3D化する3D処理部と、表示部を備えており、
前記表示部は、前記画像受信部により受信した画像データと前記3D処理部により3D化したエリアマップとを重畳した座標対応付け画面を表示し、
さらに前記表示部は、前記座標対応付け画面から指定した測定点と矩形領域を平面エリアマップ上に表示する ことを特徴とする端末装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065705 | 2016-03-29 | ||
JP2016065705 | 2016-03-29 | ||
PCT/JP2017/009249 WO2017169593A1 (ja) | 2016-03-29 | 2017-03-08 | 監視システムおよび端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017169593A1 true JPWO2017169593A1 (ja) | 2019-02-14 |
JP6483326B2 JP6483326B2 (ja) | 2019-03-13 |
Family
ID=59963062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508896A Active JP6483326B2 (ja) | 2016-03-29 | 2017-03-08 | 監視システムおよび端末装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190080179A1 (ja) |
JP (1) | JP6483326B2 (ja) |
WO (1) | WO2017169593A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111343431B (zh) * | 2020-03-13 | 2021-10-15 | 温州大学大数据与信息技术研究院 | 基于图像矫正的机场目标检测系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286685A (ja) * | 2004-03-30 | 2005-10-13 | Hitachi Ltd | 画像生成装置、システムまたは画像合成方法。 |
JP2005303537A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 画像処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3532492B2 (ja) * | 1999-06-25 | 2004-05-31 | 株式会社ザナヴィ・インフォマティクス | 道路交通情報提供システム、情報提供装置、およびナビゲーション装置 |
DE102011115739A1 (de) * | 2011-10-11 | 2013-04-11 | Daimler Ag | Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen |
-
2017
- 2017-03-08 US US16/084,335 patent/US20190080179A1/en not_active Abandoned
- 2017-03-08 WO PCT/JP2017/009249 patent/WO2017169593A1/ja active Application Filing
- 2017-03-08 JP JP2018508896A patent/JP6483326B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286685A (ja) * | 2004-03-30 | 2005-10-13 | Hitachi Ltd | 画像生成装置、システムまたは画像合成方法。 |
JP2005303537A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017169593A1 (ja) | 2017-10-05 |
JP6483326B2 (ja) | 2019-03-13 |
US20190080179A1 (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024032829A (ja) | 監視システム、監視方法および監視プログラム | |
KR101613112B1 (ko) | 비디오 획득 방법, 장치, 및 시스템 | |
US9665776B2 (en) | System and method for 2D occupancy sensing | |
CN103377471B (zh) | 物体定位方法和装置、最优摄像机对确定方法和装置 | |
KR101933153B1 (ko) | 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치 | |
CN113115000B (zh) | 地图生成方法及装置、电子设备和存储介质 | |
CN113910224B (zh) | 机器人跟随的方法、装置及电子设备 | |
JP2019211337A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JPWO2017038450A1 (ja) | 監視システム、監視ネットワーク構築方法、およびプログラム | |
TWI556651B (zh) | 具攝影機自動調派功能之3d影像監控系統及其監控方法 | |
KR101338496B1 (ko) | 도로 감시 방법 | |
CA2866957C (en) | Video obtaining method, device, and system | |
JP6032283B2 (ja) | 監視カメラ管理装置、監視カメラ管理方法およびプログラム | |
JP6483326B2 (ja) | 監視システムおよび端末装置 | |
KR102374357B1 (ko) | 밀집 통제를 위한 영상 감시 장치 | |
KR20150019230A (ko) | 복수의 카메라를 이용한 객체 추적 방법 및 장치 | |
JP2018107587A (ja) | 監視システム | |
KR101670247B1 (ko) | Cctv 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법 | |
CN112866631B (zh) | 一种区域确定方法、系统、装置及电子设备 | |
KR101572800B1 (ko) | 3차원 공간 모델에 대한 카메라 제어 시스템 | |
JP6581280B1 (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
JP6875965B2 (ja) | 制御装置、制御方法、プログラム、及び監視システム | |
CN106856558B (zh) | 具有摄影机自动调派功能的3d影像监控系统及其监控方法 | |
KR20190022397A (ko) | 위치 추적 시스템 | |
KR102250873B1 (ko) | 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180911 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180928 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6483326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |