JP6451359B2 - 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 - Google Patents
通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 Download PDFInfo
- Publication number
- JP6451359B2 JP6451359B2 JP2015019091A JP2015019091A JP6451359B2 JP 6451359 B2 JP6451359 B2 JP 6451359B2 JP 2015019091 A JP2015019091 A JP 2015019091A JP 2015019091 A JP2015019091 A JP 2015019091A JP 6451359 B2 JP6451359 B2 JP 6451359B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- packet
- data
- port number
- compression rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 104
- 238000000034 method Methods 0.000 title claims description 40
- 238000007906 compression Methods 0.000 claims description 462
- 230000006835 compression Effects 0.000 claims description 433
- 230000001186 cumulative effect Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 39
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 description 131
- 238000013144 data compression Methods 0.000 description 72
- 238000012937 correction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000005549 size reduction Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
また、1つの態様では、通信記録装置が提供される。この通信記録装置は、記憶部と演算部とを有する。記憶部は、送信元装置から宛先装置へ送信されたパケットを記憶する。演算部は、受信したパケットに含まれるポート番号に応じてパケットを圧縮するか否かを決定し、圧縮すると決定したパケットを圧縮し、記憶部に格納する。演算部は、パケットの圧縮実績として圧縮前サイズの累計値と圧縮後サイズの累計値とをポート番号毎に記録し、圧縮実績からポート番号毎に圧縮率を求め、ポート番号毎の圧縮率に応じて圧縮するか否かを決定し、圧縮前サイズの累計値と圧縮後サイズの累計値とを所定周期で減少させる。
[第1の実施の形態]
図1は、第1の実施の形態の通信記録装置を示す図である。第1の実施の形態で例示するシステムは、通信記録装置1、送信元装置2および宛先装置3を含む。送信元装置2および宛先装置3は、ネットワーク4に接続されている。通信記録装置1、送信元装置2および宛先装置3は、通信プロトコルにTCP/IPを利用する。
演算部1bは、受信したパケット6aに含まれるポート番号に応じてパケットを圧縮するか否かを決定する。演算部1bは、圧縮すると決定したパケットを圧縮し、記憶部1aに格納する。演算部1bは、パケット毎に圧縮してもよいし、セッション単位に複数のパケットをまとめて圧縮してもよい。セッションは、パケット内のアドレスやポート番号などの組による通信の識別単位である。演算部1bは、圧縮しないと決定したパケットを、圧縮せずに記憶部1aに格納する。
図2は、第2の実施の形態の通信記録システムを示す図である。第2の実施の形態の通信記録システムは、キャプチャサーバ100、ストレージサーバ200,200a,200bを含む。キャプチャサーバ100は、ストレージサーバ200,200a,200bと所定のケーブルを介して接続されている。キャプチャサーバ100は、スイッチを介して、ストレージサーバ200,200a,200bと接続されてもよい。
(S11)入力データ処理部120は、データを受信する。データは、前述のように、あるセッションに分類される複数のパケットの集合である。したがって、データの受信は、あるセッションに分類される複数のパケットを受信することに相当する。入力データ処理部120は、受信した複数のパケットをセッション毎に分類することで、セッション毎のデータを得る。
(S16)データ圧縮部130は、ステップS15における生成値がランダム圧縮割合より小さいか否かを判定する。ランダム圧縮割合よりも小さい場合、処理をステップS17に進める。ランダム圧縮割合以上である場合、処理をステップS19に進める。圧縮制御テーブル113の例によれば、ランダム圧縮割合は1%(=0.01)である。したがって、データ圧縮部130は、生成値が0の場合にランダム圧縮割合(0.01)よりも小さいと判定し、処理をステップS17に進める。他方、生成値が0.01以上の場合にランダム圧縮割合(0.01)以上であると判定し、処理をステップS19に進める。
(S19)データ圧縮部130は、圧縮量管理テーブル112を更新する。具体的には、データを圧縮した場合、データ圧縮部130は、累計データ量および累計圧縮データ量の両方に今回の圧縮前データサイズを加算する。他方、データを圧縮しなかった場合、データ圧縮部130は、累計データ量のみに今回の圧縮前データサイズを加算する。
(S21)圧縮率管理部140は、データ圧縮部130から圧縮前後のデータサイズの通知を受け付ける。この通知には、セッション情報も含まれる。ステップS21は、図10のステップS18に対応するステップである。
(S31)圧縮率管理部140は、一定時間毎にステップS32の処理を繰り返し実行する。繰り返す時間間隔は、圧縮率補正テーブル114に登録された補正間隔である。
このように、圧縮率は時間帯とともに変動することが考えられるので、圧縮率管理部140は、一定時間毎に圧縮率管理テーブル111の全登録値に定数を乗算して圧縮率が減衰するよう補正する。圧縮率補正テーブル114の例によれば、1時間毎に圧縮前サイズの累計値を1割減らし、圧縮率も1割減るように圧縮後サイズの累計値を補正する。
圧縮率管理テーブル111aを用いる場合、図10のステップS13において、圧縮率管理部140は、プロトコル、宛先IPアドレスおよびポート番号に対応する圧縮率をデータ圧縮部130に提供する。データ圧縮部130は、当該圧縮率に応じて、データを圧縮するか否かを決定する。また、圧縮率管理部140は、図11のステップS22において、プロトコル、宛先IPアドレスおよびポート番号で識別されるレコードに、圧縮前後の累計データサイズを記録する。
以下、第3の実施の形態を説明する。前述の第2の実施の形態と相違する事項を主に説明し、共通する事項の説明を省略する。
(S41)圧縮率管理部140は、データ圧縮部130から圧縮前後のデータサイズの通知を受け付ける。この通知には、セッション情報も含まれる。ステップS41は、図10のステップS18に対応するステップである。
以下、第4の実施の形態を説明する。前述の第2,第3の実施の形態と相違する事項を主に説明し、共通する事項の説明を省略する。
受信部220は、キャプチャサーバ100からデータを受信する。当該データは、前述のようにキャプチャサーバ100により受信された複数のパケットが、セッション毎、所定サイズ毎にまとめられたデータ(複数のパケットを連ねたデータ)を含み、キャプチャサーバ100により追加されたメタデータを含む。
このように、データ圧縮部230および圧縮率管理部240をストレージサーバ200に設けてもよい。この場合、図10で例示したデータ圧縮部130の手順を、データ圧縮部230により実行する。図11,12で例示した圧縮率管理部140の手順を、圧縮率管理部240により実行する。
(付記1) 送信元装置から宛先装置へ送信されたパケットを記憶する記憶部と、
受信した前記パケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、圧縮すると決定した前記パケットを圧縮し、前記記憶部に格納する演算部と、
を有する通信記録装置。
(付記7) 前記演算部は、前記圧縮実績として圧縮前サイズの累計値と圧縮後サイズの累計値とをポート番号毎に記録し、前記圧縮前サイズの累計値と圧縮後サイズの累計値とを所定周期で減少させる、付記3乃至5の何れか1つに記載の通信記録装置。
受信した前記パケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、圧縮すると決定した前記パケットを圧縮し、前記記憶装置に格納する情報処理装置と、
を有する通信記録システム。
受信したパケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、
圧縮すると決定した前記パケットを圧縮し、記憶部に格納する、
処理を実行させる通信記録プログラム。
受信したパケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、
圧縮すると決定した前記パケットを圧縮し、記憶部に格納する、
通信記録方法。
1a 記憶部
1b 演算部
2 送信元装置
3 宛先装置
4 ネットワーク
5 タップ
6,6a パケット
T1 テーブル
Claims (5)
- 送信元装置から宛先装置へ送信されたパケットを記憶する記憶部と、
受信した前記パケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、圧縮すると決定した前記パケットを圧縮し、前記記憶部に格納する演算部と、
を有し、
前記演算部は、非圧縮とするポート番号のパケットも間欠的に圧縮して圧縮率を求め、圧縮率の変化に応じて当該ポート番号のパケットを圧縮対象に変更する、
通信記録装置。 - 送信元装置から宛先装置へ送信されたパケットを記憶する記憶部と、
受信した前記パケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、圧縮すると決定した前記パケットを圧縮し、前記記憶部に格納する演算部と、
を有し、
前記演算部は、前記パケットの圧縮実績として圧縮前サイズの累計値と圧縮後サイズの累計値とをポート番号毎に記録し、前記圧縮実績からポート番号毎に圧縮率を求め、ポート番号毎の圧縮率に応じて圧縮するか否かを決定し、前記圧縮前サイズの累計値と前記圧縮後サイズの累計値とを所定周期で減少させる、
通信記録装置。 - 送信元装置から宛先装置へ送信されたパケットを記憶する記憶装置と、
受信した前記パケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、圧縮すると決定した前記パケットを圧縮し、前記記憶装置に格納する情報処理装置と、
を有し、
前記情報処理装置は、非圧縮とするポート番号のパケットも間欠的に圧縮して圧縮率を求め、圧縮率の変化に応じて当該ポート番号のパケットを圧縮対象に変更する、
通信記録システム。 - コンピュータに、
受信したパケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、
圧縮すると決定した前記パケットを圧縮し、記憶部に格納し、
非圧縮とするポート番号のパケットも間欠的に圧縮して圧縮率を求め、圧縮率の変化に応じて当該ポート番号のパケットを圧縮対象に変更する、
処理を実行させる通信記録プログラム。 - コンピュータが、
受信したパケットに含まれるポート番号に応じて前記パケットを圧縮するか否かを決定し、
圧縮すると決定した前記パケットを圧縮し、記憶部に格納し、
非圧縮とするポート番号のパケットも間欠的に圧縮して圧縮率を求め、圧縮率の変化に応じて当該ポート番号のパケットを圧縮対象に変更する、
通信記録方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015019091A JP6451359B2 (ja) | 2015-02-03 | 2015-02-03 | 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 |
US15/012,899 US9848066B2 (en) | 2015-02-03 | 2016-02-02 | Communication recording apparatus, system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015019091A JP6451359B2 (ja) | 2015-02-03 | 2015-02-03 | 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016144060A JP2016144060A (ja) | 2016-08-08 |
JP6451359B2 true JP6451359B2 (ja) | 2019-01-16 |
Family
ID=56553497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015019091A Expired - Fee Related JP6451359B2 (ja) | 2015-02-03 | 2015-02-03 | 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9848066B2 (ja) |
JP (1) | JP6451359B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170257796A1 (en) * | 2016-03-07 | 2017-09-07 | Mediatek Inc. | Selective Uplink Only Header Compression Mechanism |
JP6750417B2 (ja) * | 2016-09-15 | 2020-09-02 | 富士通株式会社 | パケット制御プログラム、パケット制御装置及びパケット制御システム |
US11202050B2 (en) * | 2016-10-14 | 2021-12-14 | Lg Electronics Inc. | Data processing method and device for adaptive image playing |
CN114780501A (zh) * | 2021-01-22 | 2022-07-22 | 伊姆西Ip控股有限责任公司 | 数据处理方法、电子设备和计算机程序产品 |
CN114816222A (zh) * | 2021-01-22 | 2022-07-29 | 伊姆西Ip控股有限责任公司 | 数据压缩方法、电子设备和计算机程序产品 |
JP2022138624A (ja) * | 2021-03-10 | 2022-09-26 | 株式会社オートネットワーク技術研究所 | 車載装置、車載システム、情報処理方法、及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5657452A (en) * | 1995-09-08 | 1997-08-12 | U.S. Robotics Corp. | Transparent support of protocol and data compression features for data communication |
JPH10294769A (ja) * | 1997-04-17 | 1998-11-04 | Furukawa Electric Co Ltd:The | 中継装置 |
US6624761B2 (en) * | 1998-12-11 | 2003-09-23 | Realtime Data, Llc | Content independent data compression method and system |
JP2001111432A (ja) * | 1999-10-04 | 2001-04-20 | Seiko Epson Corp | データ圧縮制御装置、データ圧縮制御方法、印刷情報形成装置、印刷システム及びプログラムを記録した記録媒体 |
US7362780B2 (en) * | 2002-12-11 | 2008-04-22 | Nokia Corporation | Avoiding compression of encrypted payload |
US7420992B1 (en) * | 2005-03-17 | 2008-09-02 | Packeteer, Inc. | Adaptive network traffic compression mechanism including dynamic selection of compression algorithms |
JP4699893B2 (ja) * | 2005-12-19 | 2011-06-15 | 三菱スペース・ソフトウエア株式会社 | パケット解析システム、パケット解析プログラム、パケット解析方法及びパケット取得装置 |
US8417833B1 (en) * | 2006-11-29 | 2013-04-09 | F5 Networks, Inc. | Metacodec for optimizing network data compression based on comparison of write and read rates |
US8908700B2 (en) * | 2007-09-07 | 2014-12-09 | Citrix Systems, Inc. | Systems and methods for bridging a WAN accelerator with a security gateway |
WO2010042578A1 (en) * | 2008-10-08 | 2010-04-15 | Citrix Systems, Inc. | Systems and methods for real-time endpoint application flow control with network structure component |
CN102405631B (zh) * | 2009-02-20 | 2015-02-18 | 思杰系统有限公司 | 用于中间设备压缩通过远程显示协议传递的数据的系统和方法 |
US8792491B2 (en) * | 2010-08-12 | 2014-07-29 | Citrix Systems, Inc. | Systems and methods for multi-level quality of service classification in an intermediary device |
US9130864B2 (en) * | 2011-06-27 | 2015-09-08 | Citrix Systems, Inc. | Prioritizing classes of network traffic to provide a predetermined quality of service |
JP6051549B2 (ja) * | 2012-03-16 | 2016-12-27 | 株式会社リコー | 通信制御システム、制御装置、プログラムおよび電子情報ボード |
US8867447B2 (en) * | 2012-08-28 | 2014-10-21 | Verizon Patent And Licensing Inc. | Dynamic header compression based on attributes of traffic |
-
2015
- 2015-02-03 JP JP2015019091A patent/JP6451359B2/ja not_active Expired - Fee Related
-
2016
- 2016-02-02 US US15/012,899 patent/US9848066B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9848066B2 (en) | 2017-12-19 |
US20160227001A1 (en) | 2016-08-04 |
JP2016144060A (ja) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6451359B2 (ja) | 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 | |
US11936764B1 (en) | Generating event streams based on application-layer events captured by remote capture agents | |
US9843598B2 (en) | Capture triggers for capturing network data | |
US10404556B2 (en) | Methods and computer program products for correlation analysis of network traffic in a network device | |
US8868727B2 (en) | Methods and computer program products for storing generated network application performance data | |
JP4967014B2 (ja) | ストリームデータ処理装置及び方法 | |
US9621441B2 (en) | Methods and computer program products for analysis of network traffic by port level and/or protocol level filtering in a network device | |
US20080147673A1 (en) | High-throughput extract-transform-load (ETL) of program events for subsequent analysis | |
JP6455135B2 (ja) | パケット抽出装置、パケット抽出プログラムおよびパケット抽出方法 | |
US11003513B2 (en) | Adaptive event aggregation | |
US20150331917A1 (en) | Recording medium having stored therein transmission order determination program, transmission order determination device, and transmission order determination method | |
US11233886B2 (en) | Storage medium and packet analyzing device | |
CN114697205A (zh) | 日志处理方法及装置 | |
CN112541825B (zh) | 基于区块链的交易处理方法及装置、电子设备 | |
JP7318729B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
US20100023479A1 (en) | Hexadecimal file fast decompression method | |
CN103457773A (zh) | 一种终端客户体验管理的方法及装置 | |
US20210400068A1 (en) | Communication information integration system, communication information integration method, communication information integration apparatus, terminal apparatus, and computer readable recording medium | |
CN118476201A (zh) | 用于软件负载平衡器的链接分组跟踪 | |
JP2018142158A (ja) | データ収集システムおよびデータ収集システムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6451359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |