JP7157330B2 - 監視装置、監視方法および監視プログラム - Google Patents
監視装置、監視方法および監視プログラム Download PDFInfo
- Publication number
- JP7157330B2 JP7157330B2 JP2018221703A JP2018221703A JP7157330B2 JP 7157330 B2 JP7157330 B2 JP 7157330B2 JP 2018221703 A JP2018221703 A JP 2018221703A JP 2018221703 A JP2018221703 A JP 2018221703A JP 7157330 B2 JP7157330 B2 JP 7157330B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- analysis
- data stream
- receiving unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
[第1の実施の形態]
第1の実施の形態を説明する。
第1の実施の形態の監視装置10は、複数のデータストリームをリアルタイムに解析する監視システムに用いられる。例えば、監視装置10は、複数の監視カメラにより得られた複数の画像データストリームをリアルタイムに解析して、道路上の車両などの物体を認識する交通監視システムに用いられる。監視装置10を、情報処理装置やコンピュータと言うこともできる。監視装置10は、クライアント装置でもよいしサーバ装置でもよい。
次に、第2の実施の形態を説明する。
図2は、第2の実施の形態の情報処理システムの例を示す図である。
監視サーバ100は、バスに接続されたCPU(Central Processing Unit)101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、FPGA104、画像信号処理部105、入力信号処理部106、媒体リーダ107および通信インタフェース108を有する。
監視サーバ100は、回路情報記憶部121、解析結果記憶部122、FPGA構成部123、映像データ転送部124および解析結果抽出部125を有する。回路情報記憶部121および解析結果記憶部122は、例えば、RAM102またはHDD103の記憶領域を用いて実装される。FPGA構成部123、映像データ転送部124および解析結果抽出部125は、例えば、CPU101が実行するプログラムを用いて実装される。
FPGA構成部123は、ユーザからの指示に応じてFPGA104の回路構成を変更する。映像データを解析する解析アルゴリズムは、監視カメラ31~34の設置位置を変更した場合や解析アルゴリズムを改良した場合などに更新されることがある。その場合、新たな解析アルゴリズムに対応する回路情報が回路情報記憶部121に格納され、ユーザから更新要求が入力される。すると、FPGA構成部123は、FPGA104に新たな回路情報を転送し、FPGA104に更新要求を入力して動的再構成を行う。
FPGA104は、FPGAインタフェース131、制御部132、回路情報メモリ133、複数の解析部、複数の受信部および配線部136を有する。複数の解析部には、解析部134(解析部#0)、解析部134-1(解析部#1)、解析部134-2(解析部#2)および解析部134-3(解析部#3)が含まれる。複数の受信部には、受信部135(受信部#0)、受信部135-1(受信部#1)、受信部135-2(受信部#2)および受信部135-3(受信部#3)が含まれる。複数の解析部、複数の受信部および配線部136は、回路情報に基づいて形成される。
ここでは説明を簡単にするため、監視カメラ31,32の2台の監視カメラで道路20を撮影しており、解析部134,134-1の2つの解析部を用いて監視カメラ31,32の映像データを並列に解析している場合を考える。
通常時には、受信部135は監視カメラ31から映像データのフレームを順次受信する。受信部135-1は監視カメラ32から映像データのフレームを順次受信する。受信部135-2は監視カメラ33から映像データのフレームを順次受信する。受信部135-3は監視カメラ34から映像データのフレームを順次受信する。
図8は、映像データの第1の間引き例を示す図である。
ここでは説明を簡単にするため、図6と同様に、監視カメラ31,32の2台の監視カメラで道路20を撮影しており、解析部134,134-1の2つの解析部を用いて監視カメラ31,32の映像データを並列に解析している場合を考える。
受信部135は、監視カメラ31からフレーム161を受信する。受信部135-1は、監視カメラ32からフレーム163を受信する。間引き処理として領域間引きを行う場合、受信部135は、フレーム161の中央から、フレーム161の半分のサイズの画像領域162を抽出する。例えば、フレーム161のサイズが横1920ピクセル×縦1080ピクセルである場合、画像領域162はフレーム161の中央の横1920ピクセル×縦540ピクセルの画像領域である。同様に、受信部135-1は、フレーム163の中央から、フレーム163の半分のサイズの画像領域164を抽出する。
図10は、FPGA再構成の手順例を示すフローチャートである。
(S10)制御部132は、1つの解析部の更新を示す更新要求を受信する。更新する解析部に適用する回路情報は、既に回路情報メモリ133に書き込まれている。
(S12)制御部132は、更新対象の解析部#Xに対応する受信部#Xから、更新対象でない各解析部への配線が既に存在しているか判断する。配線がある場合はステップS14に進み、配線が無い場合はステップS13に進む。
(S14)制御部132は、受信部#X以外の受信部、すなわち、更新対象でない解析部に対応する受信部を、その受信部が受信する映像データの1/Nだけ間引くよう設定する。例えば、その受信部が受信するフレームをN個に1個間引くよう設定する。
(S17)制御部132は、回路情報メモリ133から更新された回路情報を読み出し、読み出した回路情報を解析部#Xに適用する。すなわち、制御部132は、動的再構成により、読み出した回路情報に基づいて解析部#Xの回路領域を書き換える。
(S19)制御部132は、更新した解析部#Xに対応する受信部#Xを、受信部#Xが受信する映像データの振り分けを解除するよう設定する。これにより、受信部#Xが受信したフレームは全て解析部#Xに出力される。
11,12 解析部
13,14 受信部
15 制御部
16,17 データストリーム
18 更新要求
Claims (8)
- 入力されたデータを解析する第1の解析部および第2の解析部と、
第1のデータストリームのデータを受信し、受信した前記第1のデータストリームのデータを前記第1の解析部に出力する第1の受信部と、
第2のデータストリームのデータを受信し、受信した前記第2のデータストリームのデータを前記第2の解析部に出力する第2の受信部と、
前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する制御部と、
を有する監視装置。 - 前記第1のデータストリームおよび前記第2のデータストリームはそれぞれ、複数のフレームを含む画像データストリームであり、前記間引き処理は、前記画像データストリームの前記複数のフレームのうち一部のフレームを削除することを含む、
請求項1記載の監視装置。 - 前記第1のデータストリームおよび前記第2のデータストリームはそれぞれ、複数のフレームを含む画像データストリームであり、前記間引き処理は、前記画像データストリームの各フレームから一部の画像領域を削除することを含む、
請求項1記載の監視装置。 - 前記第1の解析部、前記第2の解析部、前記第1の受信部および前記第2の受信部は、プログラマブルデバイス上に形成されており、前記出力先の変更は、前記第1の受信部と前記第2の解析部との間に配線を追加することを含む、
請求項1記載の監視装置。 - 前記第2の受信部への指示では、前記第2の受信部から前記第2の解析部に出力される前記第2のデータストリームのデータを所定割合だけ減少させ、
前記出力先の変更では、前記第1の受信部から前記第1の解析部への前記第1のデータストリームのデータの出力を停止させ、前記第1のデータストリームのデータのうち前記所定割合のデータを前記第1の受信部から前記第2の解析部に出力させる、
請求項1記載の監視装置。 - 前記第1の解析部および前記第2の解析部を含む複数の解析部と、前記第1の受信部および前記第2の受信部を含む前記複数の解析部に対応する複数の受信部とを有しており、
前記所定割合は、解析部の個数に応じて決定される、
請求項5記載の監視装置。 - 監視装置が実行する監視方法であって、
前記監視装置が有する第1の受信部から前記監視装置が有する第1の解析部に、前記第1の受信部で受信された第1のデータストリームのデータを出力させ、
前記監視装置が有する第2の受信部から前記監視装置が有する第2の解析部に、前記第2の受信部で受信された第2のデータストリームのデータを出力させ、
前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する、
監視方法。 - コンピュータに、
前記コンピュータが有する第1の受信部から前記コンピュータが有する第1の解析部に、前記第1の受信部で受信された第1のデータストリームのデータを出力させ、
前記コンピュータが有する第2の受信部から前記コンピュータが有する第2の解析部に、前記第2の受信部で受信された第2のデータストリームのデータを出力させ、
前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する、
処理を実行させる監視プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221703A JP7157330B2 (ja) | 2018-11-27 | 2018-11-27 | 監視装置、監視方法および監視プログラム |
US16/600,598 US11042956B2 (en) | 2018-11-27 | 2019-10-14 | Monitoring apparatus and monitoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221703A JP7157330B2 (ja) | 2018-11-27 | 2018-11-27 | 監視装置、監視方法および監視プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088658A JP2020088658A (ja) | 2020-06-04 |
JP7157330B2 true JP7157330B2 (ja) | 2022-10-20 |
Family
ID=70769967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221703A Active JP7157330B2 (ja) | 2018-11-27 | 2018-11-27 | 監視装置、監視方法および監視プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11042956B2 (ja) |
JP (1) | JP7157330B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181105A (ja) * | 2019-04-25 | 2020-11-05 | キヤノン株式会社 | 投影装置およびその制御方法 |
WO2021157315A1 (ja) * | 2020-02-05 | 2021-08-12 | 株式会社ソニー・インタラクティブエンタテインメント | グラフィックプロセッサ及び情報処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006109489A (ja) | 1998-10-27 | 2006-04-20 | Hitachi Maxell Ltd | 画像データを含むディジタルデータの記録とコピーを同時に行う方法及び装置 |
JP2008236353A (ja) | 2007-03-20 | 2008-10-02 | Mitsubishi Electric Corp | カメラ異常検知装置 |
JP2017139631A (ja) | 2016-02-04 | 2017-08-10 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP2018136737A (ja) | 2017-02-22 | 2018-08-30 | ホーチキ株式会社 | 代替システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61113314A (ja) * | 1984-11-08 | 1986-05-31 | Nec Corp | サンプル値間引きデイジタルフイルタ− |
US5193000A (en) * | 1991-08-28 | 1993-03-09 | Stereographics Corporation | Multiplexing technique for stereoscopic video system |
US6301246B1 (en) * | 1998-08-17 | 2001-10-09 | Siemens Information And Communication Networks, Inc. | Silent monitoring in a voice-over-data-network environment |
GB2359185B (en) | 1998-10-27 | 2003-02-19 | Hitachi Maxell | Information recording method and system,image compression/decompression system,system control method,and monitoring system including part or all of them |
JP2006094543A (ja) | 1998-10-27 | 2006-04-06 | Hitachi Maxell Ltd | 画像データを含むディジタルデータを記録する方法及び装置 |
JP2001014801A (ja) | 1998-10-27 | 2001-01-19 | Hitachi Maxell Ltd | 情報記録方法及びシステム、画像圧縮/伸張システム、システム制御方法、及び、これらの一部又は全部を有する監視システム |
JP3994787B2 (ja) * | 2002-04-25 | 2007-10-24 | 株式会社日立製作所 | 監視カメラシステム |
US7297118B2 (en) * | 2003-06-12 | 2007-11-20 | Ge Medical Systems Global Technology Company | Ultrasound method and apparatus for multi-line acquisition |
US20120229460A1 (en) * | 2011-03-12 | 2012-09-13 | Sensio Technologies Inc. | Method and System for Optimizing Resource Usage in a Graphics Pipeline |
JP2017004502A (ja) | 2015-06-15 | 2017-01-05 | 株式会社リコー | 情報システムおよびアップデート方法 |
JP2017201756A (ja) * | 2016-05-06 | 2017-11-09 | 富士通株式会社 | 制御装置、レート制御方法、および、ネットワークシステム |
JP7162412B2 (ja) | 2016-11-29 | 2022-10-28 | マクセル株式会社 | 検知認識システム |
JP6855906B2 (ja) * | 2017-04-25 | 2021-04-07 | 富士通株式会社 | スイッチプログラム、スイッチング方法及び情報処理装置 |
WO2019021344A1 (ja) * | 2017-07-24 | 2019-01-31 | オリンパス株式会社 | 画像処理装置および撮像装置 |
-
2018
- 2018-11-27 JP JP2018221703A patent/JP7157330B2/ja active Active
-
2019
- 2019-10-14 US US16/600,598 patent/US11042956B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006109489A (ja) | 1998-10-27 | 2006-04-20 | Hitachi Maxell Ltd | 画像データを含むディジタルデータの記録とコピーを同時に行う方法及び装置 |
JP2008236353A (ja) | 2007-03-20 | 2008-10-02 | Mitsubishi Electric Corp | カメラ異常検知装置 |
JP2017139631A (ja) | 2016-02-04 | 2017-08-10 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP2018136737A (ja) | 2017-02-22 | 2018-08-30 | ホーチキ株式会社 | 代替システム |
Also Published As
Publication number | Publication date |
---|---|
US11042956B2 (en) | 2021-06-22 |
JP2020088658A (ja) | 2020-06-04 |
US20200167888A1 (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210142146A1 (en) | Intelligent image sensor stack | |
WO2021232229A1 (zh) | 虚拟场景生成方法、装置、计算机设备和存储介质 | |
JP2021179971A (ja) | 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
US20180218221A1 (en) | Systems and methods for object tracking and classification | |
US20160133297A1 (en) | Dynamic Video Summarization | |
CN109740420A (zh) | 车辆违法识别方法及相关产品 | |
JP7157330B2 (ja) | 監視装置、監視方法および監視プログラム | |
CN111597953A (zh) | 多路图像处理方法、装置及电子设备 | |
EP3890312A1 (en) | Distributed image analysis method and system, and storage medium | |
CN109800684B (zh) | 一种视频中对象的确定方法及装置 | |
JP4110323B2 (ja) | 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
CN111488866B (zh) | 基于深度学习的入侵物识别方法、装置及电子设备 | |
CN109800685A (zh) | 一种视频中对象的确定方法及装置 | |
KR102238610B1 (ko) | 딥러닝 객체 검출기의 추론 정보를 이용한 정지객체 검출 방법 | |
CN111523529B (zh) | 基于乘客出行轨迹的轨道交通疫情防控系统及方法 | |
CN109886234B (zh) | 目标检测方法、装置、系统、电子设备、存储介质 | |
CN111681267A (zh) | 基于图像识别的轨道防侵入方法 | |
CN112215042A (zh) | 一种车位限位器识别方法及其系统、计算机设备 | |
KR102594804B1 (ko) | 메모리 연동 가능한 계층적 구조 기반의 이벤트 검출 방법 및 장치 | |
JP7403606B1 (ja) | 管理装置、管理方法及び管理プログラム | |
Huang et al. | Discovering traffic anomaly propagation in urban space using traffic change peaks | |
JP7379260B2 (ja) | 逆走車検知装置、逆走車検知方法及び逆走車検知プログラム | |
CN114639037B (zh) | 确定高速服务区的车辆饱和的方法及电子设备 | |
CN113543045B (zh) | 处理单元、相关装置和张量运算方法 | |
KR102564039B1 (ko) | 프레임간 유사도에 기초하여, 신경망 학습을 위한 프레임 데이터를 생성하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210820 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |