JP7187809B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7187809B2 JP7187809B2 JP2018077621A JP2018077621A JP7187809B2 JP 7187809 B2 JP7187809 B2 JP 7187809B2 JP 2018077621 A JP2018077621 A JP 2018077621A JP 2018077621 A JP2018077621 A JP 2018077621A JP 7187809 B2 JP7187809 B2 JP 7187809B2
- Authority
- JP
- Japan
- Prior art keywords
- compressed data
- data
- network
- transmission data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 46
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 155
- 238000007906 compression Methods 0.000 claims description 100
- 230000006835 compression Effects 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 88
- 238000000034 method Methods 0.000 claims description 11
- 230000006837 decompression Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 17
- 230000000052 comparative effect Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6064—Selection of Compressor
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6064—Selection of Compressor
- H03M7/6082—Selection strategies
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6047—Power optimization with respect to the encoder, decoder, storage or transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
(1)トランスポート最適化:TCP(Transmission Control Protocol)/UDP(User Datagram Protocol)を改良し、遅延やパケットロスがある場合にもWAN帯域を有効活用可能する。
(2)データ最適化:送信データをWANに送る前に圧縮しておくことで、WAN上を流れるデータ容量を削減し、実効帯域を向上させる。
図1では、送信システム11のクライアント12から受信システム21のサーバ23に送信データを送信する場合について説明する。
前記算出部は、前記圧縮データのサイズについての前記送信データのサイズに対する比率を算出する。
前記判定部は、前記比率が閾値以上である場合には圧縮前の前記送信データを前記ネットワークに送信すると判定し、前記比率が前記閾値未満である場合には前記圧縮データを前記ネットワークに送信すると判定する。なお、前記閾値は、前記圧縮データを前記ネットワークから受信した場合に前記圧縮データを展開して前記送信データを復元する展開部についての前記復元された送信データの出力の速度で前記ネットワークの速度を除算した値を1から減算することによって得られる値である。
前記判定部は、圧縮前の前記送信データを前記ネットワークに送信すると判定した場合には、前記圧縮部による前記圧縮データの前記メモリへの記憶と、前記処理部による前記メモリからの前記圧縮データの読み出しとをスキップさせる。
最初に比較例のWAN高速化技術と問題点について説明する。
図2A:情報処理装置51は、CPU52、メインメモリ53、HDD(Hard Disk Drive)54、ネットワークIF(Interface)55、FPGA56、およびDDR(Double-Data-Rate Synchronous)メモリ57を有する。
図2E:WAN高速化アプリ59を実行するCPU52は、DDRメモリ57から圧縮データを読み出し、メインメモリ53に記憶する。
情報処理装置51において、FPGA56とDDRメモリ57の間のバス63またはCPU52とFPGA56の間のバス62が逼迫した際に性能が低下する。FPGA56が高並列処理をする場合、FPGA56内の演算機ごとのアクセスタイミングの揺れにより、一時的にバス62、63の負荷が大きくなる場合がある。それにより、情報処理装置51の性能が低下する場合がある。
情報処理装置101は、CPU111、メインメモリ121、HDD131、ネットワークIF141、FPGA151、およびDDRメモリ161を有する。情報処理装置101は、例えば、サーバ等のコンピュータである。
図5A~5Eでは、圧縮データが送信されない場合、すなわち圧縮されていない送信データが送信される場合を説明する。
上述のように、CPU111は、クライアントアプリ132を実行することにより、送信アプリ部112として動作し、WAN高速化アプリ133を実行することにより、メイン処理部113として動作する。
ステップS811において、圧縮部153は、メイン処理部113から送信データXの圧縮処理のリクエスト(圧縮リクエスト)を受信する。
ステップS821において、スキップ判定部152は、圧縮部153から圧縮データの利用可否の問い合わせを受信する。また、スキップ判定部152は、圧縮部153から送信データXのサイズおよび圧縮データのサイズを受信する。また、スキップ判定部152は、圧縮部153から圧縮率を受信してもよい。
スキップ判定部152は、生成された圧縮データのサイズを圧縮データが生成された時刻とともに記録しておく。そして、直近1秒で生成された圧縮データのサイズがFPGA151とDDRメモリ161間のバス191の速度*0.6より大きい場合、スキップ判定部152は、判定結果retを0に設定する。
スキップ判定部152は、送信側である情報処理装置101のデータの入力レートを記録しておく。データの入力レートは、CPU111がネットワークIF141を介して送信先に送信した所定時間(例えば1秒)当たりのデータのサイズである。
(付記1)
ネットワークと接続する情報処理装置であって、
送信データを圧縮して圧縮データを生成する圧縮部と
前記圧縮データのサイズに基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する判定部と、
を有する処理回路と、
前記判定部の判定結果に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信する処理部と、
を備える情報処理装置。
(付記2)
前記処理回路は、前記判定部の判定結果に基づいて、前記処理回路と接続するメモリに前記圧縮データを記憶する付記1記載の情報処理装置。
(付記3)
前記処理回路は、前記判定部が前記圧縮データを前記ネットワークに送信すると判定した場合のみ、前記メモリに前記圧縮データを記憶する付記2記載の情報処理装置。
(付記4)
前記圧縮データのサイズと前記送信データのサイズの比率を算出する算出部をさらに備え、
前記判定部は、前記比率に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記1乃至3のいずれか1項に記載の情報処理装置。
(付記5)
前記判定部は、所定期間内に生成された圧縮データのサイズおよび前記メモリと前記処理回路の間のバスの速度に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記1乃至3のいずれか1項に記載の情報処理装置。
(付記6)
ネットワークと接続する情報処理装置が、
送信データを圧縮して圧縮データを生成し、
前記圧縮データのサイズに基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定し、
前記判定の結果に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信する、
情報処理方法。
(付記7)
前記判定の結果に基づいて、前記処理回路と接続するメモリに前記圧縮データを記憶する付記6記載の情報処理方法。
(付記8)
前記圧縮データを前記ネットワークに送信すると判定された場合のみ、前記メモリに前記圧縮データを記憶する付記7記載の情報処理方法。
(付記9)
前記圧縮データのサイズと前記送信データのサイズの比率を算出し、
前記比率に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記6乃至8のいずれか1項に記載の情報処理方法。
(付記10)
前記判定する処理は、所定期間内に生成された圧縮データのサイズおよび前記メモリと前記処理回路の間のバスの速度に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記6乃至8のいずれか1項に記載の情報処理方法。
(付記11)
ネットワークと接続するコンピュータに、
送信データを圧縮して圧縮データを生成し、
前記圧縮データのサイズに基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定し、
前記判定の結果に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信する、
処理を実行させるプログラム。
(付記12)
前記コンピュータは、前記判定の結果に基づいて、前記処理回路と接続するメモリに前記圧縮データを記憶する付記11記載のプログラム。
(付記13)
前記コンピュータは、前記圧縮データを前記ネットワークに送信すると判定された場合のみ、前記メモリに前記圧縮データを記憶する付記12記載のプログラム。
(付記14)
前記コンピュータは、
前記圧縮データのサイズと前記送信データのサイズの比率を算出し、
前記比率に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記11乃至13のいずれか1項に記載のプログラム。
(付記15)
前記コンピュータは、前記判定する処理において、所定期間内に生成された圧縮データのサイズおよび前記メモリと前記処理回路の間のバスの速度に基づいて、前記圧縮データと圧縮前の前記送信データのいずれかを前記ネットワークに送信するかを判定する付記11乃至13のいずれか1項に記載のプログラム。
111 CPU
121 メインメモリ
131 HDD
132 クライアントアプリ
133 WAN高速化アプリ
141 ネットワークIF
151 FPGA
152 スキップ判定部
153 圧縮部
154 バッファ
161 DDRメモリ
171 メモリバス
181 バス
191 バス
Claims (3)
- ネットワークと接続する情報処理装置であって、
メモリと、
前記メモリと接続する処理回路であって、
送信データを圧縮して圧縮データを生成すると共に、生成した前記圧縮データを前記メモリに記憶させる圧縮部と、
前記圧縮データのサイズについての前記送信データのサイズに対する比率を算出する算出部と、
前記比率が閾値以上である場合には圧縮前の前記送信データを前記ネットワークに送信すると判定し、前記比率が前記閾値未満である場合には前記圧縮データを前記ネットワークに送信すると判定する判定部であって、前記閾値は、前記圧縮データを前記ネットワークから受信した場合に前記圧縮データを展開して前記送信データを復元する展開部についての前記復元された送信データの出力の速度で前記ネットワークの速度を除算した値を1から減算することによって得られる値である、前記判定部と、
を有する前記処理回路と、
前記メモリから前記圧縮データを読み出すと共に、前記判定部の判定結果に基づいて、前記圧縮データと、圧縮前の前記送信データとのいずれかを前記ネットワークに送信する処理部と、
を備え、
前記判定部は、圧縮前の前記送信データを前記ネットワークに送信すると判定した場合には、前記圧縮部による前記圧縮データの前記メモリへの記憶と、前記処理部による前記メモリからの前記圧縮データの読み出しとをスキップさせる、
情報処理装置。 - ネットワークと接続する情報処理装置が、
送信データを圧縮して圧縮データを生成し、
前記圧縮データのサイズについての前記送信データのサイズに対する比率を算出し、
前記比率が前記閾値未満である場合には、生成した前記圧縮データを記憶させておいたメモリから前記圧縮データを読み出して前記ネットワークに送信し、
前記比率が閾値以上である場合には、生成した前記圧縮データの前記メモリへの記憶と前記メモリからの前記圧縮データの読み出しとをスキップして、圧縮前の前記送信データを前記ネットワークに送信し、
前記閾値は、前記圧縮データを前記ネットワークから受信した場合に前記圧縮データを展開して前記送信データを復元する展開部についての前記復元された送信データの出力の速度で前記ネットワークの速度を除算した値を1から減算することによって得られる値である、
情報処理方法。 - ネットワークと接続するコンピュータに、
送信データを圧縮して圧縮データを生成し、
前記圧縮データのサイズについての前記送信データのサイズに対する比率を算出し、
前記比率が前記閾値未満である場合には、生成した前記圧縮データを記憶させておいたメモリから前記圧縮データを読み出して前記ネットワークに送信し、
前記比率が閾値以上である場合には、生成した前記圧縮データの前記メモリへの記憶と前記メモリからの前記圧縮データの読み出しとをスキップして、圧縮前の前記送信データを前記ネットワークに送信する、
処理を実行させ、
前記閾値は、前記圧縮データを前記ネットワークから受信した場合に前記圧縮データを展開して前記送信データを復元する展開部についての前記復元された送信データの出力の速度で前記ネットワークの速度を除算した値を1から減算することによって得られる値である、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077621A JP7187809B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法、およびプログラム |
US16/296,408 US10601444B2 (en) | 2018-04-13 | 2019-03-08 | Information processing apparatus, information processing method, and recording medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077621A JP7187809B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019186821A JP2019186821A (ja) | 2019-10-24 |
JP7187809B2 true JP7187809B2 (ja) | 2022-12-13 |
Family
ID=68160506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077621A Active JP7187809B2 (ja) | 2018-04-13 | 2018-04-13 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10601444B2 (ja) |
JP (1) | JP7187809B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021070422A1 (ja) | 2019-10-10 | 2021-04-15 | 住友電工ハードメタル株式会社 | 切削工具 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003338761A (ja) | 2002-05-20 | 2003-11-28 | Fujitsu Ltd | データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置 |
JP2015103077A (ja) | 2013-11-26 | 2015-06-04 | 富士通株式会社 | 演算処理装置、情報処理装置、及び、情報処理装置の制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04359315A (ja) | 1991-06-05 | 1992-12-11 | Matsushita Electric Ind Co Ltd | データ圧縮制御装置及びデータ復元制御装置 |
US6624761B2 (en) * | 1998-12-11 | 2003-09-23 | Realtime Data, Llc | Content independent data compression method and system |
JP2005301607A (ja) | 2004-04-09 | 2005-10-27 | Sony Corp | 情報処理装置、情報処理システムおよび情報処理方法 |
GB2539966B (en) * | 2015-07-03 | 2017-08-30 | Sisp Tech Ltd | Data processing method and apparatus |
US20170024278A1 (en) * | 2015-07-24 | 2017-01-26 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding data in memory system |
JP2017058858A (ja) | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 通信装置、通信方法およびコンピュータプログラム |
-
2018
- 2018-04-13 JP JP2018077621A patent/JP7187809B2/ja active Active
-
2019
- 2019-03-08 US US16/296,408 patent/US10601444B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003338761A (ja) | 2002-05-20 | 2003-11-28 | Fujitsu Ltd | データ圧縮プログラム、データ圧縮方法、およびデータ圧縮装置 |
JP2015103077A (ja) | 2013-11-26 | 2015-06-04 | 富士通株式会社 | 演算処理装置、情報処理装置、及び、情報処理装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US10601444B2 (en) | 2020-03-24 |
JP2019186821A (ja) | 2019-10-24 |
US20190319635A1 (en) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11025699B2 (en) | Method to determine optimal number of HTTP2.0 streams and connections for better QoE | |
KR102499335B1 (ko) | 신경망 데이터 처리 장치, 방법 및 전자 장비 | |
JP5123186B2 (ja) | 任意のフォーマットにおけるラージオブジェクトの通信のためのリモートプロトコルサポート | |
US11057628B2 (en) | Effective intra encoding for screen data | |
CN113285931B (zh) | 流媒体的传输方法、流媒体服务器及流媒体系统 | |
WO2014061481A1 (ja) | 適応的圧縮アルゴリズムを用いたデータ転送装置及びデータ転送システム | |
CN109040786B (zh) | 摄像头数据的传输方法、装置、系统及存储介质 | |
US10270877B2 (en) | Enhanced storage clients | |
WO2020026018A1 (zh) | 文件的下载方法、装置、设备/终端/服务器及存储介质 | |
US11316530B2 (en) | Adaptive compression for data services | |
US20110296109A1 (en) | Cache control for adaptive stream player | |
CN104283777A (zh) | 报文压缩的方法和装置 | |
JP7187809B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9875076B1 (en) | Remoting client having GPU off-loader | |
US7634599B2 (en) | Method for improving inline compression bandwidth for high speed buses | |
CN115643310B (zh) | 一种压缩数据的方法、装置和系统 | |
US10666381B2 (en) | Dynamically partitioning media streams | |
US9906331B2 (en) | Communication method, information processing apparatus and recording medium | |
CN116074197A (zh) | 一种传输方法及装置 | |
JP6113525B2 (ja) | 情報分割送信装置、情報分割送信方法および情報分割送信処理プログラム | |
CN106658154A (zh) | 一种视频截图方法、装置和设备以及视频处理方法、装置和设备 | |
KR20120038196A (ko) | 라우팅 장치 및 네트워크 장치 | |
CN116361254B (zh) | 图像存储方法、装置、电子设备和计算机可读介质 | |
JP6976786B2 (ja) | 通信装置および通信装置の制御方法 | |
WO2022137425A1 (ja) | 通信システム、サーバ、クライアント、サーバ制御方法、及びクライアント制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220329 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220329 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |