JPWO2017168730A1 - データ送信プログラム、データ送信方法及びデータ送信装置 - Google Patents
データ送信プログラム、データ送信方法及びデータ送信装置 Download PDFInfo
- Publication number
- JPWO2017168730A1 JPWO2017168730A1 JP2018508320A JP2018508320A JPWO2017168730A1 JP WO2017168730 A1 JPWO2017168730 A1 JP WO2017168730A1 JP 2018508320 A JP2018508320 A JP 2018508320A JP 2018508320 A JP2018508320 A JP 2018508320A JP WO2017168730 A1 JPWO2017168730 A1 JP WO2017168730A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- compression
- chunk
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/166—IP fragmentation; TCP segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
1a クライアント
1b クライアントアプリケーション
1c サーバ
1d サーバアプリケーション
2 送信部
3 WAN
4 受信部
5a,5b TCPアプリ
21 切替情報記憶部
22 効果判定情報記憶部
23 プロキシ部
24 データ最適化部
25 トランスポート最適化部
25a 通信バッファ
26a TCPデータバッファ
26b TCPデータバッファ
31 ハッシュ情報記憶部
32 チャンク記憶部
33 分割部
34 重複判定部
35 重複除去部
36 圧縮部
41 トランスポート最適化部
42 データ最適化部
43 プロキシ部
51 チャンク情報記憶部
52 重複復元部
53 解凍部
60 コンピュータ
61 メインメモリ
62 CPU
63 LANインタフェース
64 HDD
65 スーパーIO
66 DVI
67 ODD
Claims (7)
- コンピュータに、
取得した第1のデータを分割して該第1のデータよりも小さいサイズの第2のデータを生成し、
送信済データの識別情報を記憶する記憶部を参照して、生成した前記第2のデータが送信済であるか否かを判定し、
前記第2のデータが送信済でない場合、前記第2のデータを圧縮して該第2のデータよりも小さいサイズの第3のデータを生成し、
生成した前記第3のデータを、指定された情報処理装置に送信する
処理を実行させることを特徴とするデータ送信プログラム。 - 前記コンピュータに、
前記第2のデータが送信済である場合、前記第2のデータの識別情報を前記情報処理装置に送信する
処理を実行させることを特徴とする請求項1に記載のデータ送信プログラム。 - 前記コンピュータに、
前記第2のデータを圧縮した場合に圧縮されたデータのサイズが前記第2のデータよりも小さくない回数に基づいて、前記第2のデータを前記情報処理装置に送信する
処理を実行させることを特徴とする請求項1又は2に記載のデータ送信プログラム。 - 前記コンピュータに、
前記第1のデータの種別が変化したか否かを判定し、変化したと判定した場合には、前記第2のデータを圧縮して前記情報処理装置に送信する
処理を実行させることを特徴とする請求項3に記載のデータ送信プログラム。 - 前記コンピュータに、
通信の空き帯域、通信バッファに溜まっているデータの量及び圧縮処理に要する時間に基づいて、前記第2のデータを圧縮して前記情報処理装置に送信する
処理を実行させることを特徴とする請求項3に記載のデータ送信プログラム。 - コンピュータが、
取得した第1のデータを分割して該第1のデータよりも小さいサイズの第2のデータを生成し、
送信済データの識別情報を記憶する記憶部を参照して、生成した前記第2のデータが送信済であるか否かを判定し、
前記第2のデータが送信済でない場合、前記第2のデータを圧縮して該第2のデータよりも小さいサイズの第3のデータを生成し、
生成した前記第3のデータを、指定された情報処理装置に送信する
処理を実行することを特徴とするデータ送信方法。 - 取得した第1のデータを分割して該第1のデータよりも小さいサイズの第2のデータを生成する分割部と、
送信済データの識別情報を記憶する記憶部を参照して、前記分割部により生成された前記第2のデータが送信済であるか否かを判定する判定部と、
前記判定部により前記第2のデータが送信済でないと判定された場合、前記第2のデータを圧縮して該第2のデータよりも小さいサイズの第3のデータを生成する圧縮部と、
前記圧縮部により生成された前記第3のデータを、指定された情報処理装置に送信する送信部と
を有することを特徴とするデータ送信装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/060845 WO2017168730A1 (ja) | 2016-03-31 | 2016-03-31 | データ送信プログラム、データ送信方法及びデータ送信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017168730A1 true JPWO2017168730A1 (ja) | 2018-12-27 |
JP6687104B2 JP6687104B2 (ja) | 2020-04-22 |
Family
ID=59962817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508320A Active JP6687104B2 (ja) | 2016-03-31 | 2016-03-31 | データ送信プログラム、データ送信方法及びデータ送信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10637969B2 (ja) |
JP (1) | JP6687104B2 (ja) |
WO (1) | WO2017168730A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200050607A1 (en) * | 2017-07-31 | 2020-02-13 | Splunk Inc. | Reassigning processing tasks to an external storage system |
JP7024578B2 (ja) * | 2018-04-24 | 2022-02-24 | 富士通株式会社 | 通信装置、通信制御方法、および通信制御プログラム |
CN113993104B (zh) * | 2021-10-26 | 2023-12-26 | 中汽创智科技有限公司 | 一种数据传输方法、装置、设备及存储介质 |
US20230216690A1 (en) * | 2021-12-30 | 2023-07-06 | Gm Cruise Holdings Llc | Data transfer acceleration via content-defined chunking |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003338761A (ja) * | 2002-05-20 | 2003-11-28 | Fujitsu Ltd | データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置 |
JP2010020416A (ja) * | 2008-07-08 | 2010-01-28 | Panasonic Corp | データ転送方法およびデータ転送装置 |
CN102469142A (zh) * | 2010-11-16 | 2012-05-23 | 英业达股份有限公司 | 重复数据删除程序的数据传输方法 |
JP2013200713A (ja) * | 2012-03-26 | 2013-10-03 | Kobelco Contstruction Machinery Ltd | 稼動情報送信装置及びこれを備えた建設機械並びにこれを備えた情報管理システム |
WO2015132885A1 (ja) * | 2014-03-04 | 2015-09-11 | エヌ・ティ・ティレゾナント・テクノロジー株式会社 | 動画圧縮装置および動画圧縮伸長システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05145437A (ja) | 1991-11-21 | 1993-06-11 | Hitachi Ltd | データ伝送システム |
US7412462B2 (en) * | 2000-02-18 | 2008-08-12 | Burnside Acquisition, Llc | Data repository and method for promoting network storage of data |
US7370120B2 (en) * | 2001-12-07 | 2008-05-06 | Propel Software Corporation | Method and system for reducing network latency in data communication |
JP4218256B2 (ja) * | 2002-05-02 | 2009-02-04 | 富士ゼロックス株式会社 | データ転送方法及びシステム |
DE102004063812A1 (de) * | 2004-12-30 | 2006-07-13 | Francotyp-Postalia Ag & Co. Kg | Verfahren zum Aufbereiten von Daten für das Laden in eine Datenverarbeitungseinrichtung |
US20080104269A1 (en) * | 2006-10-30 | 2008-05-01 | Research In Motion Limited | Method and apparatus for web browser page fragmentation |
US7619545B2 (en) * | 2007-03-12 | 2009-11-17 | Citrix Systems, Inc. | Systems and methods of using application and protocol specific parsing for compression |
US7827237B2 (en) * | 2007-03-12 | 2010-11-02 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
US7453379B2 (en) * | 2007-03-12 | 2008-11-18 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
US8538926B2 (en) * | 2011-03-08 | 2013-09-17 | Rackspace Us, Inc. | Massively scalable object storage system for storing object replicas |
US8510267B2 (en) * | 2011-03-08 | 2013-08-13 | Rackspace Us, Inc. | Synchronization of structured information repositories |
EP2724505B1 (en) * | 2011-06-22 | 2015-08-12 | Telefonaktiebolaget LM Ericsson (PUBL) | Header compression with a code book |
US9363339B2 (en) * | 2011-07-12 | 2016-06-07 | Hughes Network Systems, Llc | Staged data compression, including block level long range compression, for data streams in a communications system |
US20130141259A1 (en) * | 2011-12-05 | 2013-06-06 | Samsung Electronics Co., Ltd. | Method and system for data compression |
US8724693B2 (en) * | 2012-05-11 | 2014-05-13 | Oracle International Corporation | Mechanism for automatic network data compression on a network connection |
CN103973730B (zh) * | 2013-01-29 | 2016-10-19 | 腾讯科技(深圳)有限公司 | 一种实现数据共享的方法、终端及系统 |
US9567847B2 (en) * | 2013-10-02 | 2017-02-14 | Hannes Wedemeyer | Method of data volume reduction for transmission on a limited communications channel |
WO2016130557A1 (en) * | 2015-02-09 | 2016-08-18 | Bigdatabio, Llc | Systems, devices, and methods for encrypting genetic information |
US10063444B2 (en) * | 2016-02-29 | 2018-08-28 | Red Hat, Inc. | Network traffic capture analysis |
-
2016
- 2016-03-31 JP JP2018508320A patent/JP6687104B2/ja active Active
- 2016-03-31 WO PCT/JP2016/060845 patent/WO2017168730A1/ja active Application Filing
-
2018
- 2018-09-25 US US16/140,763 patent/US10637969B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003338761A (ja) * | 2002-05-20 | 2003-11-28 | Fujitsu Ltd | データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置 |
JP2010020416A (ja) * | 2008-07-08 | 2010-01-28 | Panasonic Corp | データ転送方法およびデータ転送装置 |
CN102469142A (zh) * | 2010-11-16 | 2012-05-23 | 英业达股份有限公司 | 重复数据删除程序的数据传输方法 |
JP2013200713A (ja) * | 2012-03-26 | 2013-10-03 | Kobelco Contstruction Machinery Ltd | 稼動情報送信装置及びこれを備えた建設機械並びにこれを備えた情報管理システム |
WO2015132885A1 (ja) * | 2014-03-04 | 2015-09-11 | エヌ・ティ・ティレゾナント・テクノロジー株式会社 | 動画圧縮装置および動画圧縮伸長システム |
Also Published As
Publication number | Publication date |
---|---|
WO2017168730A1 (ja) | 2017-10-05 |
JP6687104B2 (ja) | 2020-04-22 |
US20190028571A1 (en) | 2019-01-24 |
US10637969B2 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10637969B2 (en) | Data transmission method and data transmission device | |
US8456332B2 (en) | Systems and methods for compression of logical data objects for storage | |
US9824131B2 (en) | Regulating a replication operation | |
WO2006074064A2 (en) | Method and apparatus for managing data object size in a multi-user environment | |
US11960467B2 (en) | Data storage method, data obtaining method, and apparatus | |
JP6308446B2 (ja) | 記憶システム内のデータ・バックアップのための方法および装置 | |
US11853550B2 (en) | System and method for data compaction and security using multiple encoding algorithms | |
JP6304385B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、及び情報処理プログラム | |
US11733867B2 (en) | System and method for multiple pass data compaction utilizing delta encoding | |
CN113296709A (zh) | 用于去重的方法和设备 | |
US11928335B2 (en) | System and method for data compaction utilizing mismatch probability estimation | |
US11422978B2 (en) | System and method for data storage, transfer, synchronization, and security using automated model monitoring and training | |
US10673768B2 (en) | Managing data compression | |
US20240020006A1 (en) | System and method for compaction of floating-point numbers within a dataset | |
US9286055B1 (en) | System, method, and computer program for aggregating fragments of data objects from a plurality of devices | |
US20180113874A1 (en) | Information processing apparatus, information processing method and recording medium with information processing program | |
US20170201602A1 (en) | Network utilization improvement by data reduction based migration prioritization | |
JP7024578B2 (ja) | 通信装置、通信制御方法、および通信制御プログラム | |
CN112685219A (zh) | 用于备份数据的方法、设备和计算机程序产品 | |
US20240080040A1 (en) | System and method for data storage, transfer, synchronization, and security using automated model monitoring and training | |
US20230315288A1 (en) | System and method for data compaction and security using multiple encoding algorithms with pre-coding and complexity estimation | |
WO2016132538A1 (ja) | 通信システム、通信装置、情報処理方法、及び、情報処理プログラム | |
JP6257221B2 (ja) | 通信装置及びデータ転送制御方法 | |
CN114816222A (zh) | 数据压缩方法、电子设备和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6687104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |