JP6735469B2 - ログ収集装置、監視カメラ、およびログ収集方法 - Google Patents
ログ収集装置、監視カメラ、およびログ収集方法 Download PDFInfo
- Publication number
- JP6735469B2 JP6735469B2 JP2016057033A JP2016057033A JP6735469B2 JP 6735469 B2 JP6735469 B2 JP 6735469B2 JP 2016057033 A JP2016057033 A JP 2016057033A JP 2016057033 A JP2016057033 A JP 2016057033A JP 6735469 B2 JP6735469 B2 JP 6735469B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- log
- compression
- text
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
- Information Transfer Between Computers (AREA)
Description
まず、本実施の形態に係るログ生成装置およびログ収集装置を含むログ生成システムの概要について説明する。
次に、各装置の構成について説明する。
ここで、圧縮辞書の内容およびその共有化の仕方について説明する。
次に、各装置の動作について説明する。
以上説明したように、本実施の形態に係るログ収集サーバ400は、ログ生成装置200からテキストログを受信するログ受信部410と、受信されたテキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成する辞書生成部440と、を有する。また、ログ収集サーバ400は、ログ生成装置200に対し、生成された圧縮辞書を送信して、当該圧縮辞書の送信後に送信されるテキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部460と、当該圧縮辞書の送信後に受信されたテキストログに対して圧縮辞書を使用して伸張処理を行う伸張処理部420とを有する。
なお、ログ生成装置200は、監視カメラに限定されるものではなく、テキストログを生成する他の各種装置であってもよい。
本開示に係るログ収集装置は、ログ生成装置からテキストログを受信するログ受信部と、受信された前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書を生成する辞書生成部と、前記ログ生成装置に対し、生成された前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部と、当該圧縮辞書の送信後に受信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う伸張処理部と、を有する。
200 ログ生成装置
210 ログ生成部
220 圧縮処理部
230 ログ送信部
240 辞書受信部
250 装置側辞書格納部
300 通信ネットワーク
400 ログ収集サーバ
410 ログ受信部
420 伸張処理部
430 ログ格納部
440 辞書生成部
450 辞書格納部
460 辞書送信部
Claims (8)
- 監視カメラからテキストログを受信するログ受信部と、
前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書として共通辞書と装置辞書とを生成する辞書生成部と、
前記監視カメラに対し、前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部と、
当該圧縮辞書の送信後に受信した前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う伸張処理部と、
を有し、
前記辞書生成部は、
複数の前記監視カメラから送信された前記テキストログに基づいて前記共通辞書を生成し、前記監視カメラ毎に、当該監視カメラから送信された装置名称を含む前記テキストログに基づいて前記装置辞書を生成し、
前記伸張処理部は、
前記監視カメラ毎に、前記共通辞書と当該監視カメラの前記装置辞書とを使用して前記伸張処理を行う、
ログ収集装置。 - 前記ログ受信部は、
前記複数の監視カメラのそれぞれから前記テキストログを受信し、
前記辞書送信部は、
前記監視カメラ毎に前記圧縮辞書を送信し、前記複数の監視カメラのいずれに対して前記圧縮辞書を送信したかを示す辞書共有化情報を管理し、
前記伸張処理部は、
前記辞書共有化情報を参照して、前記監視カメラ毎に、当該監視カメラから送信された前記テキストログに対して前記圧縮辞書を使用して伸張処理を行うか否かを決定する、
請求項1に記載のログ収集装置。 - 前記辞書生成部は、
前記複数の監視カメラから送信された前記テキストログに基づいて前記圧縮辞書を生成および更新し、更新前の前記圧縮辞書および更新後の前記圧縮辞書を保持し、
前記辞書送信部は、
前記監視カメラに対し、更新後の前記圧縮辞書を送信して、更新前の前記圧縮辞書に置き換えて前記更新後の圧縮辞書を使用することを指示し、前記更新前の圧縮辞書と前記更新後の圧縮辞書とを区別して前記辞書共有化情報に記録し、
前記伸張処理部は、
前記監視カメラ毎に、当該監視カメラから送信された前記テキストログに対して前記更新前の圧縮辞書および前記更新後の圧縮辞書のいずれを使用するかを決定する、
請求項2に記載のログ収集装置。 - 受信された前記テキストログおよび/または前記伸張処理が行われた後の前記テキストログを蓄積するログ格納部、を有し、
前記辞書生成部は、
蓄積された前記テキストログに基づいて、定期的に前記圧縮辞書を更新し、
前記辞書送信部は、
前記監視カメラに対し、前記圧縮辞書が更新される毎に、更新後の前記圧縮辞書を送信して、更新前の前記圧縮辞書に置き換えて前記更新後の圧縮辞書を使用することを指示する、
請求項1に記載のログ収集装置。 - 監視カメラであって、
テキストログを生成するログ生成部と、
前記テキストログをログ収集装置へ送信するログ送信部と、
前記ログ収集装置から、テキスト圧縮を行うための圧縮辞書を受信する辞書受信部と、
前記圧縮辞書を使用した圧縮処理を、当該圧縮辞書の受信後に送信される前記テキストログに対して行う圧縮処理部と、を有し、
前記圧縮辞書には、複数の監視カメラから送信されたテキストログに基づいて生成された共通辞書と、当該監視カメラから送信された装置名称を含む前記テキストログに基づいて生成された装置辞書とが含まれる、
監視カメラ。 - 監視カメラからテキストログを受信する受信ステップと、
前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書として共通辞書と装置辞書とを生成する生成ステップと、
前記監視カメラに対し、前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する送信ステップと、
当該圧縮辞書の送信後に受信した前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う処理ステップと、を有し、
前記生成ステップでは、複数の前記監視カメラから送信された前記テキストログに基づいて前記共通辞書を生成し、前記監視カメラ毎に、当該監視カメラから送信された装置名称を含む前記テキストログに基づいて前記装置辞書を生成し、
前記処理ステップでは、前記監視カメラ毎に、前記共通辞書と当該監視カメラの前記装置辞書とを使用して前記伸張処理を行う、
ログ収集方法。 - 監視カメラからテキストログを受信するログ受信部と、
前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書として共通辞書と装置辞書とを生成する辞書生成部と、
前記監視カメラに対し、前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する辞書送信部と、
当該圧縮辞書の送信後に受信した前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う伸張処理部と、
を有し、
前記辞書生成部は、
複数の前記監視カメラから送信された前記テキストログに基づいて前記共通辞書を生成し、前記監視カメラ毎に、当該監視カメラから送信された前記テキストログに基づいて前記装置辞書を生成し、
前記伸張処理部は、
前記監視カメラ毎に、前記共通辞書と当該監視カメラの前記装置辞書とを使用して前記伸張処理を行う、
ログ収集装置。 - 監視カメラからテキストログを受信する受信ステップと、
前記テキストログに基づいて、テキスト圧縮を行うための圧縮辞書として共通辞書と装置辞書とを生成する生成ステップと、
前記監視カメラに対し、前記圧縮辞書を送信して、当該圧縮辞書の送信後に送信される前記テキストログに対して当該圧縮辞書を使用した圧縮処理を行うことを指示する送信ステップと、
当該圧縮辞書の送信後に受信した前記テキストログに対して前記圧縮辞書を使用して伸張処理を行う処理ステップと、を有し、
前記生成ステップでは、複数の前記監視カメラから送信された前記テキストログに基づいて前記共通辞書を生成し、前記監視カメラ毎に、当該監視カメラから送信された前記テキストログに基づいて前記装置辞書を生成し、
前記処理ステップでは、前記監視カメラ毎に、前記共通辞書と当該監視カメラの前記装置辞書とを使用して前記伸張処理を行う、
ログ収集方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057033A JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
EP17769941.0A EP3435236B1 (en) | 2016-03-22 | 2017-03-09 | Log collection device, log generation device, and log collection method |
US16/085,410 US10469101B2 (en) | 2016-03-22 | 2017-03-09 | Log collection device, log generation device, and log collection method |
PCT/JP2017/009411 WO2017163896A1 (ja) | 2016-03-22 | 2017-03-09 | ログ収集装置、ログ生成装置、およびログ収集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057033A JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017173982A JP2017173982A (ja) | 2017-09-28 |
JP6735469B2 true JP6735469B2 (ja) | 2020-08-05 |
Family
ID=59901227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016057033A Active JP6735469B2 (ja) | 2016-03-22 | 2016-03-22 | ログ収集装置、監視カメラ、およびログ収集方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10469101B2 (ja) |
EP (1) | EP3435236B1 (ja) |
JP (1) | JP6735469B2 (ja) |
WO (1) | WO2017163896A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6958311B2 (ja) * | 2017-12-12 | 2021-11-02 | 富士通株式会社 | 情報処理装置、情報処理システムおよびプログラム |
US11023420B1 (en) * | 2018-03-29 | 2021-06-01 | EMC IP Holding Company LLC | Real-time compression of log data |
US11847558B2 (en) * | 2018-05-04 | 2023-12-19 | EMC IP Holding Company LLC | Analyzing storage systems using machine learning systems |
US11151089B2 (en) * | 2018-10-29 | 2021-10-19 | EMC IP Holding Company LLC | Compression of log data using pattern recognition |
JP6873346B2 (ja) * | 2019-02-28 | 2021-05-19 | 三菱電機株式会社 | 通信装置、通信システム、通信方法及び通信プログラム |
CN112333769B (zh) * | 2019-08-05 | 2022-10-11 | 华为技术有限公司 | 一种通信方法和装置 |
JP7301024B2 (ja) * | 2020-06-18 | 2023-06-30 | Toa株式会社 | 情報提供システム及び情報提供方法 |
CN113282552B (zh) * | 2021-06-04 | 2022-11-22 | 上海天旦网络科技发展有限公司 | 流量统计日志的相似性向量化方法及系统 |
CN113377553B (zh) * | 2021-06-23 | 2024-03-22 | 浙江素泰智能电子有限公司 | 一种基于压缩字典的在线传输压缩机制 |
DE102022003682A1 (de) * | 2022-10-05 | 2024-04-11 | Mercedes-Benz Group AG | Verfahren zur Kompression und Dekompression von Log-Dateien und informationstechnisches System |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4558302A (en) | 1983-06-20 | 1985-12-10 | Sperry Corporation | High speed data compression and decompression apparatus and method |
US6606040B2 (en) | 2001-02-13 | 2003-08-12 | Mosaid Technologies, Inc. | Method and apparatus for adaptive data compression |
JP4548184B2 (ja) | 2005-03-31 | 2010-09-22 | 富士通株式会社 | 圧縮規則生成方法、圧縮通信装置及びプログラム |
JP2007087186A (ja) | 2005-09-22 | 2007-04-05 | Fuji Xerox Co Ltd | ログ収集システムおよび方法 |
US8572218B2 (en) * | 2009-12-10 | 2013-10-29 | International Business Machines Corporation | Transport data compression based on an encoding dictionary patch |
US20120296983A1 (en) | 2011-05-17 | 2012-11-22 | Microsoft Corporation | Managing compression dictionaries |
US9031997B2 (en) * | 2011-10-25 | 2015-05-12 | International Business Machines Corporation | Log file compression |
GB2496385B (en) * | 2011-11-08 | 2014-03-05 | Canon Kk | Methods and network devices for communicating data packets |
JP5906906B2 (ja) * | 2012-03-30 | 2016-04-20 | 富士通株式会社 | ログ管理方法、ログ管理システムおよび情報処理装置 |
JP5959426B2 (ja) | 2012-12-10 | 2016-08-02 | 株式会社東芝 | 衛星通信システム、移動局、移動局監視方法及び移動局監視プログラム |
KR101624711B1 (ko) * | 2013-12-24 | 2016-05-26 | (주)에프씨아이 | 부동소수점 방식을 이용한 데이터 압축/복원 방법 및 장치 |
-
2016
- 2016-03-22 JP JP2016057033A patent/JP6735469B2/ja active Active
-
2017
- 2017-03-09 EP EP17769941.0A patent/EP3435236B1/en active Active
- 2017-03-09 WO PCT/JP2017/009411 patent/WO2017163896A1/ja active Application Filing
- 2017-03-09 US US16/085,410 patent/US10469101B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017173982A (ja) | 2017-09-28 |
EP3435236A1 (en) | 2019-01-30 |
EP3435236B1 (en) | 2020-04-29 |
EP3435236A4 (en) | 2019-03-13 |
WO2017163896A1 (ja) | 2017-09-28 |
US10469101B2 (en) | 2019-11-05 |
US20190089371A1 (en) | 2019-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6735469B2 (ja) | ログ収集装置、監視カメラ、およびログ収集方法 | |
CN109040252B (zh) | 文件传输方法、系统、计算机设备和存储介质 | |
US8624983B2 (en) | Digital information input apparatus | |
US9609402B2 (en) | Optical transmittal storage networks | |
JP2001325139A (ja) | 情報処理システム、情報処理装置、撮像システム、情報処理方法、記憶媒体 | |
CN106156037B (zh) | 数据处理方法、装置及系统 | |
JP7261317B2 (ja) | 圧縮データの記憶及び取得の最適化 | |
CN101533416A (zh) | 一种音视频文件管理方法及系统 | |
JP6172296B2 (ja) | 通信装置、通信方法、および、通信プログラム | |
JP4756003B2 (ja) | データ圧縮転送装置、データ圧縮転送システム、データ圧縮転送方法、およびデータ圧縮転送プログラム | |
KR101218087B1 (ko) | 하둡 맵리듀스에서 바이너리 형태의 데이터 분석을 위한 입력포맷 추출방법 및 이를 이용한 바이너리 데이터의 분석방법 | |
JP5682436B2 (ja) | バックアッププログラム、情報処理装置、情報処理端末、バックアップ方法 | |
US9059729B1 (en) | Statistical compressibility determination system and method | |
JP6455541B2 (ja) | 通信システム | |
US9426173B2 (en) | System and method for elimination of spam in a data stream according to information density | |
CN109977121B (zh) | 一种大数据快速存储系统 | |
CN112532700A (zh) | 一种传输数据的方法及相关设备 | |
US8836466B2 (en) | Monitoring system, device, monitoring method, and monitoring program | |
JP7318729B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
JP4893843B2 (ja) | データファイル管理装置およびコンピューター読み取り可能なデータファイル管理用記録媒体 | |
JP2017134539A (ja) | 中継装置、ルータ、配信システム、中継方法及び中継プログラム | |
KR100993945B1 (ko) | 관리 대상 장비의 수집정보 갱신을 위한 망 관리 장치 및그 방법 | |
JP2024021104A (ja) | 情報処理装置、および情報処理方法 | |
CN118509439A (zh) | 一种数据传输的方法、设备和计算机可读存储介质 | |
CN114398341A (zh) | 一种Sybase ASE数据库删除数据恢复方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190319 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200624 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6735469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |