JP6687104B2 - データ送信プログラム、データ送信方法及びデータ送信装置 - Google Patents
データ送信プログラム、データ送信方法及びデータ送信装置 Download PDFInfo
- Publication number
- JP6687104B2 JP6687104B2 JP2018508320A JP2018508320A JP6687104B2 JP 6687104 B2 JP6687104 B2 JP 6687104B2 JP 2018508320 A JP2018508320 A JP 2018508320A JP 2018508320 A JP2018508320 A JP 2018508320A JP 6687104 B2 JP6687104 B2 JP 6687104B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- compression
- unit
- transmitted
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/166—IP fragmentation; TCP segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Description
1a クライアント
1b クライアントアプリケーション
1c サーバ
1d サーバアプリケーション
2 送信部
3 WAN
4 受信部
5a,5b TCPアプリ
21 切替情報記憶部
22 効果判定情報記憶部
23 プロキシ部
24 データ最適化部
25 トランスポート最適化部
25a 通信バッファ
26a TCPデータバッファ
26b TCPデータバッファ
31 ハッシュ情報記憶部
32 チャンク記憶部
33 分割部
34 重複判定部
35 重複除去部
36 圧縮部
41 トランスポート最適化部
42 データ最適化部
43 プロキシ部
51 チャンク情報記憶部
52 重複復元部
53 解凍部
60 コンピュータ
61 メインメモリ
62 CPU
63 LANインタフェース
64 HDD
65 スーパーIO
66 DVI
67 ODD
Claims (8)
- コンピュータに、
取得した第1のデータを分割して第2のデータを生成し、
送信済データの識別情報を記憶する記憶部を参照して、前記第2のデータが送信済であるか否かを判定し、送信済でないと判定した場合に前記第2のデータを圧縮して送信し、
前記第2のデータを圧縮して送信している際に、前記圧縮による圧縮効果が所定基準よりも小さい場合、前記第2のデータを圧縮せずに送信し、
前記第2のデータを圧縮せずに送信している際に、前記圧縮効果が変化したか否かを判定し、変化したと判定した場合、前記第2のデータの圧縮を再開し、前記第2のデータを圧縮して送信する
処理を実行させることを特徴とするデータ送信プログラム。 - 前記コンピュータに、
前記第2のデータが送信済である場合、前記第2のデータの識別情報を前記情報処理装置に送信する
処理を実行させることを特徴とする請求項1に記載のデータ送信プログラム。 - 前記コンピュータに、
前記第2のデータを圧縮した場合に圧縮されたデータのサイズが前記第2のデータよりも小さくない回数に基づいて、前記第2のデータを前記情報処理装置に送信する
処理を実行させることを特徴とする請求項1又は2に記載のデータ送信プログラム。 - 前記コンピュータに、
前記第2のデータを圧縮するか否かを、通信の空き帯域と通信バッファに溜まっているデータの量と圧縮処理に要する時間との全てに基づいて判定し、圧縮すると判定した場合に前記第2のデータを圧縮して前記情報処理装置に送信する
処理を実行させることを特徴とする請求項1〜3のいずれか一つに記載のデータ送信プログラム。 - 前記圧縮効果が変化したか否かの判定は、新たに取得した前記第1のデータのサイズが0か否かに基づいて行う
ことを特徴とする請求項1〜4のいずれか一つに記載のデータ送信プログラム。 - 前記第2のデータを圧縮せずに送信している際に、新たに第1のデータを取得した場合には、新たに取得した前記第1のデータを分割して生成した第2のデータのうちで送信済でないと判定した第2のデータの全てを圧縮しない
ことを特徴とする請求項1〜4のいずれか一つに記載のデータ送信プログラム。 - コンピュータが、
取得した第1のデータを分割して第2のデータを生成し、
送信済データの識別情報を記憶する記憶部を参照して、前記第2のデータが送信済であるか否かを判定し、送信済でないと判定した場合に前記第2のデータを圧縮して送信し、
前記第2のデータを圧縮して送信している際に、前記圧縮による圧縮効果が所定基準よりも小さい場合、前記第2のデータを圧縮せずに送信し、
前記第2のデータを圧縮せずに送信している際に、前記圧縮効果が変化したか否かを判定し、変化したと判定した場合、前記第2のデータの圧縮を再開し、前記第2のデータを圧縮して送信する
処理を実行することを特徴とするデータ送信方法。 - 取得した第1のデータを分割して第2のデータを生成する分割部と、
送信済データの識別情報を記憶する記憶部を参照して、前記第2のデータが送信済であるか否かを判定する判定部と、
前記判定部により送信済でないと判定された場合、前記第2のデータを圧縮して送信する送信部と
を有することと、
前記送信部は、
前記第2のデータを圧縮して送信している際に、前記圧縮による圧縮効果が所定基準よりも小さい場合、前記第2のデータを圧縮せずに送信し、
前記第2のデータを圧縮せずに送信している際に、前記圧縮効果が変化したか否かを判定し、変化したと判定した場合、前記第2のデータの圧縮を再開し、前記第2のデータを圧縮して送信すること
を特徴とするデータ送信装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/060845 WO2017168730A1 (ja) | 2016-03-31 | 2016-03-31 | データ送信プログラム、データ送信方法及びデータ送信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017168730A1 JPWO2017168730A1 (ja) | 2018-12-27 |
JP6687104B2 true JP6687104B2 (ja) | 2020-04-22 |
Family
ID=59962817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508320A Active JP6687104B2 (ja) | 2016-03-31 | 2016-03-31 | データ送信プログラム、データ送信方法及びデータ送信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10637969B2 (ja) |
JP (1) | JP6687104B2 (ja) |
WO (1) | WO2017168730A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200050607A1 (en) * | 2017-07-31 | 2020-02-13 | Splunk Inc. | Reassigning processing tasks to an external storage system |
JP7024578B2 (ja) * | 2018-04-24 | 2022-02-24 | 富士通株式会社 | 通信装置、通信制御方法、および通信制御プログラム |
CN113993104B (zh) * | 2021-10-26 | 2023-12-26 | 中汽创智科技有限公司 | 一种数据传输方法、装置、设备及存储介质 |
US20230216690A1 (en) * | 2021-12-30 | 2023-07-06 | Gm Cruise Holdings Llc | Data transfer acceleration via content-defined chunking |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05145437A (ja) | 1991-11-21 | 1993-06-11 | Hitachi Ltd | データ伝送システム |
US7412462B2 (en) * | 2000-02-18 | 2008-08-12 | Burnside Acquisition, Llc | Data repository and method for promoting network storage of data |
US7370120B2 (en) * | 2001-12-07 | 2008-05-06 | Propel Software Corporation | Method and system for reducing network latency in data communication |
JP4218256B2 (ja) * | 2002-05-02 | 2009-02-04 | 富士ゼロックス株式会社 | データ転送方法及びシステム |
JP3857611B2 (ja) * | 2002-05-20 | 2006-12-13 | 富士通株式会社 | データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置 |
DE102004063812A1 (de) * | 2004-12-30 | 2006-07-13 | Francotyp-Postalia Ag & Co. Kg | Verfahren zum Aufbereiten von Daten für das Laden in eine Datenverarbeitungseinrichtung |
US20080104269A1 (en) * | 2006-10-30 | 2008-05-01 | Research In Motion Limited | Method and apparatus for web browser page fragmentation |
US7453379B2 (en) * | 2007-03-12 | 2008-11-18 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
US7619545B2 (en) * | 2007-03-12 | 2009-11-17 | Citrix Systems, Inc. | Systems and methods of using application and protocol specific parsing for compression |
US7827237B2 (en) * | 2007-03-12 | 2010-11-02 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
JP2010020416A (ja) * | 2008-07-08 | 2010-01-28 | Panasonic Corp | データ転送方法およびデータ転送装置 |
CN102469142A (zh) * | 2010-11-16 | 2012-05-23 | 英业达股份有限公司 | 重复数据删除程序的数据传输方法 |
US8538926B2 (en) * | 2011-03-08 | 2013-09-17 | Rackspace Us, Inc. | Massively scalable object storage system for storing object replicas |
US8510267B2 (en) * | 2011-03-08 | 2013-08-13 | Rackspace Us, Inc. | Synchronization of structured information repositories |
US9294589B2 (en) * | 2011-06-22 | 2016-03-22 | Telefonaktiebolaget L M Ericsson (Publ) | Header compression with a code book |
US9363339B2 (en) * | 2011-07-12 | 2016-06-07 | Hughes Network Systems, Llc | Staged data compression, including block level long range compression, for data streams in a communications system |
US20130141259A1 (en) * | 2011-12-05 | 2013-06-06 | Samsung Electronics Co., Ltd. | Method and system for data compression |
JP5867222B2 (ja) * | 2012-03-26 | 2016-02-24 | コベルコ建機株式会社 | 稼動情報送信装置及びこれを備えた建設機械並びにこれを備えた情報管理システム |
US8724693B2 (en) * | 2012-05-11 | 2014-05-13 | Oracle International Corporation | Mechanism for automatic network data compression on a network connection |
CN103973730B (zh) * | 2013-01-29 | 2016-10-19 | 腾讯科技(深圳)有限公司 | 一种实现数据共享的方法、终端及系统 |
US9567847B2 (en) * | 2013-10-02 | 2017-02-14 | Hannes Wedemeyer | Method of data volume reduction for transmission on a limited communications channel |
JP5739079B1 (ja) * | 2014-03-04 | 2015-06-24 | エヌ・ティ・ティレゾナント・テクノロジー株式会社 | 動画圧縮装置および動画圧縮伸長システム |
WO2016130557A1 (en) * | 2015-02-09 | 2016-08-18 | Bigdatabio, Llc | Systems, devices, and methods for encrypting genetic information |
US10063444B2 (en) * | 2016-02-29 | 2018-08-28 | Red Hat, Inc. | Network traffic capture analysis |
-
2016
- 2016-03-31 WO PCT/JP2016/060845 patent/WO2017168730A1/ja active Application Filing
- 2016-03-31 JP JP2018508320A patent/JP6687104B2/ja active Active
-
2018
- 2018-09-25 US US16/140,763 patent/US10637969B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20190028571A1 (en) | 2019-01-24 |
US10637969B2 (en) | 2020-04-28 |
JPWO2017168730A1 (ja) | 2018-12-27 |
WO2017168730A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10637969B2 (en) | Data transmission method and data transmission device | |
RU2581551C2 (ru) | Способ оптимизации хранения и передачи данных | |
US8599048B2 (en) | Systems and methods for compression of logical data objects for storage | |
US20150006475A1 (en) | Data deduplication in a file system | |
US9176977B2 (en) | Compression/decompression accelerator protocol for software/hardware integration | |
JP6308446B2 (ja) | 記憶システム内のデータ・バックアップのための方法および装置 | |
US10185496B2 (en) | System and apparatus for removing duplicate in data transmission | |
US20220291852A1 (en) | Devices, System and Methods for Optimization in Deduplication | |
US11853550B2 (en) | System and method for data compaction and security using multiple encoding algorithms | |
CN113296709A (zh) | 用于去重的方法和设备 | |
US20230393737A1 (en) | System and method for multiple pass data compaction utilizing delta encoding | |
US7305387B2 (en) | Method and apparatus for managing data object size in a multi-user environment | |
US10673768B2 (en) | Managing data compression | |
JP7075077B2 (ja) | バックアップサーバ、バックアップ方法、プログラム、ストレージシステム | |
US20240020006A1 (en) | System and method for compaction of floating-point numbers within a dataset | |
US20180113874A1 (en) | Information processing apparatus, information processing method and recording medium with information processing program | |
US20170201602A1 (en) | Network utilization improvement by data reduction based migration prioritization | |
JP7024578B2 (ja) | 通信装置、通信制御方法、および通信制御プログラム | |
CN112685219A (zh) | 用于备份数据的方法、设备和计算机程序产品 | |
US11977525B2 (en) | Method to optimize ingest in dedupe systems by using compressibility hints | |
US20230315288A1 (en) | System and method for data compaction and security using multiple encoding algorithms with pre-coding and complexity estimation | |
JP6257221B2 (ja) | 通信装置及びデータ転送制御方法 | |
CN116601593A (zh) | 数据压缩装置、数据存储装置和用于数据压缩和重复数据删除的方法 | |
CN118244968A (zh) | 用于对数据进行去重复的方法、设备和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6687104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |