WO2013132990A1 - Data transfer device, data transfer method and data transfer program - Google Patents

Data transfer device, data transfer method and data transfer program Download PDF

Info

Publication number
WO2013132990A1
WO2013132990A1 PCT/JP2013/053671 JP2013053671W WO2013132990A1 WO 2013132990 A1 WO2013132990 A1 WO 2013132990A1 JP 2013053671 W JP2013053671 W JP 2013053671W WO 2013132990 A1 WO2013132990 A1 WO 2013132990A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
size
transfer
unit
transfer destination
Prior art date
Application number
PCT/JP2013/053671
Other languages
French (fr)
Japanese (ja)
Inventor
真澄 一圓
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014503738A priority Critical patent/JP6136077B2/en
Publication of WO2013132990A1 publication Critical patent/WO2013132990A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Definitions

  • the present invention relates to a data transfer device, a data transfer method, and a data transfer program.
  • Patent Document 1 and Patent Document 2 below disclose transfer systems that divide target data into a plurality of data and transfer the data to a plurality of servers, respectively.
  • the transfer source data is divided into equal sizes and transferred.
  • the processing time varies depending on the size of chunks distributed to each conversion processing unit. For example, when the size of the chunk is small, the conversion processing time of each chunk is shortened, so that the processing time variation in each conversion processing unit is small, and the processing is completed at approximately the same time.
  • the frequency at which chunks are divided increases, it takes time for the division transfer processing unit to divide and transfer the chunks, and the entire conversion and transfer processing takes a long time.
  • the chunk size is large, the frequency of dividing the chunk is reduced, so that the processing time of the divided transfer processing unit is shortened.
  • An advantage of some aspects of the invention is that it provides a data transfer device, a data transfer method, and a data transfer program capable of improving the processing efficiency of divided transfer processing. To do.
  • a data transfer apparatus is a data transfer apparatus that transfers data to be converted to a plurality of conversion nodes that convert data, and the transfer destination of the data from the conversion nodes
  • a transfer destination determination unit that determines a transfer destination node, a data reading unit that reads the data from the conversion source file, and the data reading unit that is read by the transfer destination node determined by the transfer destination determination unit.
  • a data transfer unit that transmits the data, a data size measurement unit that measures the size of the data transmitted to the transfer destination node by the data transfer unit, and a size of the data that is measured by the data size measurement unit Is greater than or equal to the division size set as the size of the data to be transmitted at one transfer to one transfer destination node
  • a division size determination unit that determines whether or not the size of the data is greater than or equal to the division size by the division size determination unit, and the data is read to the vicinity of the end of the file
  • a division size setting unit that sets a value of the division size to a value smaller than a current value, and the transfer destination determination unit uses the division size determination unit to determine that the size of the data is equal to or larger than the division size. Is determined, the next transfer destination node is determined.
  • a data transfer method is a data transfer method for transferring data to be converted to a plurality of conversion nodes that convert data, and the transfer destination of the data from the conversion nodes
  • a transfer destination determination step for determining a transfer destination node, a data read step for reading the data from the conversion source file, and a data read step for the transfer destination node determined in the transfer destination determination step.
  • a division size determination step for determining whether or not the division size is equal to or larger than a division size set as the size of the data; and in the division size determination step, the size of the data is determined to be equal to or larger than the division size; and
  • a partition size setting step for setting a value of the partition size to a value smaller than a current value when the data is read to near the end of the file, and the transfer destination determination step includes the partition size When it is determined in the determination step that the size of the data is equal to or larger than the division size, the next transfer destination node is determined.
  • the data transfer program causes a computer to execute each step included in the data transfer method.
  • the data transfer device 1 is a device that divides and sequentially transfers the data of the conversion source file 17 to a plurality of conversion devices 2 that convert data.
  • the conversion device 2 is a device that analyzes data received from the data transfer device 1 and converts the format and structure of the data. The data converted by each conversion device 2 is written in a storage unit of a data storage device (not shown) that collectively stores the converted data.
  • the data transfer device 1 divides and transfers the data of the conversion source file 17 to the plurality of conversion devices 2 while reading with the I / O performance.
  • the data transfer device 1 divides the chunk boundary so that it becomes a line feed. Thereby, the contents of the chunk can be unified into a format in which the contents of the data can be correctly interpreted by the conversion processing unit 22 of the conversion device 2.
  • the conversion processing unit 22 of the conversion device 2 executes the stream processing while absorbing the processing speed difference by the temporary holding unit 21 (buffer).
  • the processing performance deteriorates. Therefore, according to the present invention, the degradation of the processing performance is prevented by analyzing the chunk byte string when necessary, searching for a line break, and separating the conversion device 2 that transfers the line break at the boundary.
  • the data transfer device 1 physically includes, for example, a CPU, a storage device, and an input / output interface.
  • the storage device includes, for example, a ROM (Read Only Memory) and HDD (Hard Disk Drive) that store programs and data processed by the CPU, a RAM (Random Access Memory) mainly used as various work areas for control processing, and the like. including. These elements are connected to each other via a bus.
  • the CPU executes the program stored in the ROM, and processes the message received via the input / output interface, the data developed in the RAM, and the like, thereby realizing the function of each unit in the data transfer apparatus 1.
  • the data transfer device 1 includes a data reading unit 11, a data size measuring unit 12, a divided size determining unit 13, a divided size setting unit 14, a transfer destination determining unit 15, and a data transferring unit. 16.
  • the data reading unit 11 reads data from the conversion source file 17 in predetermined block units.
  • a block is a block of bytes.
  • the data size measuring unit 12 acquires the file size of the conversion source file 17.
  • the data size measuring unit 12 accumulates the size of the data read by the data reading unit 11 (hereinafter also referred to as “read data”).
  • the data size measuring unit 12 measures the size of data (hereinafter also referred to as “transmission data”) transmitted to the current conversion device 2 by the data transfer unit 16.
  • the division size determination unit 13 determines whether the size of the transmission data measured by the data size measurement unit 12 is equal to or larger than the division size.
  • the division size is a size (chunk size) of data transmitted to one conversion device 2 at one transfer. Before starting the data transfer process, a value that can achieve optimal transfer efficiency is set as the division size.
  • the division size setting unit 14 determines whether data has been read up to the vicinity of the end of the conversion source file 17. Determine whether. When the division size setting unit 14 determines that the data has been read to the vicinity of the end of the conversion source file 17, the division size setting unit 14 sets the division size value to a value smaller than the current value.
  • the division size setting unit 14 determines that the data has been read up to the vicinity of the end of the conversion source file 17 when the ratio of the read data to the file size is equal to or greater than the end vicinity threshold.
  • the above-mentioned ratio at which it can be determined that the vicinity of the end of the conversion source file 17 has been reached is set as the end vicinity threshold.
  • the transfer destination determination unit 15 sequentially determines a transfer destination node as a data transfer destination from the conversion device 2.
  • the data transfer unit 16 transmits the data read by the data reading unit 11 to the current transfer destination node determined by the transfer destination determination unit 15.
  • the data transfer unit 16 searches for a line break in the data read by the data reading unit 11. When the data transfer unit 16 finds a line break, the data transfer unit 16 transmits the data up to the line break point to the current transfer destination node, and the transfer destination node determined next by the transfer destination determination unit 15 from the line break point to the data ahead. Send to.
  • the data transfer unit 16 transmits the data read by the data reading unit 11 to the current transfer destination node when no line break is found.
  • the conversion device 2 includes a temporary holding unit 21 and a conversion processing unit 22.
  • the temporary holding unit 21 temporarily holds data received from the data transfer device 1.
  • the conversion processing unit 22 reads the data held in the temporary holding unit 21 and executes a predetermined conversion process.
  • the data size measurement unit 12 acquires the file size of the conversion source file 17 (step S101).
  • the division size setting unit 14 sets a near-end threshold value (step S102), sets a division size (step S103), sets a near-end processing flag to off (step S104), and turns off the division processing flag. (Step S105).
  • the transfer destination determination unit 15 determines a transfer destination node as a data transfer destination from the plurality of conversion devices 2 (step S106).
  • the data reading unit 11 reads data of a predetermined block from the conversion source file 17 (step S107).
  • step S108 determines whether or not the division processing flag is on. If this determination is YES (step S108; YES), the process proceeds to step S116 described later.
  • step S108 when it is determined in step S108 that the division processing flag is off (step S108; NO), the data transfer unit 16 determines the current transfer destination node determined by the transfer destination determination unit 15. The data read in step S107 is transmitted (step S109).
  • the data size measuring unit 12 measures the size of the data transmitted to the current transfer destination node (step S110).
  • the division size determination unit 13 determines whether the size of the data transmitted to the current transfer destination node is equal to or larger than the division size based on the data size measured in step S110 (Ste S111). If this determination is NO (step S111; NO), the process proceeds to step S113 described later.
  • step S111 if it is determined that the size of the data transmitted in the determination in step S111 is equal to or larger than the division size (step S111; YES), the division size setting unit 14 sets the division processing flag to ON (step S111). S112).
  • the division size setting unit 14 determines whether or not the ratio of the read data with respect to the file size of the conversion source file 17 is equal to or greater than a near-end threshold (step S113). If this determination is NO (step S113; NO), the process proceeds to step S115 described later.
  • step S113 when it is determined in step S113 that the ratio of the read data to the file size is equal to or greater than the end vicinity threshold (step S113; YES), the division size setting unit 14 sets the end vicinity processing flag to ON. (Step S114).
  • step S115 determines whether or not the end of the conversion source file 17 has been read. If this determination is NO (step S115; NO), the process proceeds to step S107. On the other hand, when this determination is YES (step S115; YES), this operation ends.
  • step S108 when it is determined in step S108 that the division flag is ON (step S108; YES), the data transfer unit 16 searches for a line feed in the data read in step S107. (Step S116) If there is no line feed (Step S117; NO), the process proceeds to Step S109.
  • step S117 when there is a line break (step S117; YES), the data transfer unit 16 transmits the data up to the line break to the current transfer destination node (step S118).
  • the transfer destination determination unit 15 determines the next transfer destination node from the plurality of conversion devices 2 (step S119).
  • the data transfer unit 16 transmits the data ahead of the line feed point to the transfer destination node determined in step S119 (step S120).
  • the division size setting unit 14 sets the division processing flag to off (step S121), and determines whether the near-end processing flag is on (step S122). If this determination is NO (step S122; NO), the process proceeds to step S107.
  • step S122 when it is determined in the determination in step S122 that the near end processing flag is on (step S122; YES), the division size setting unit 14 sets the value of the division size to a value smaller than the current value. (Step S123). Then, the process proceeds to step S107.
  • the data transfer apparatus 1 in the embodiment when the size of data transmitted to the current transfer destination node becomes equal to or larger than the division size, the data is transmitted while sequentially switching to the next transfer destination node.
  • the division size value can be set to a value smaller than the current value.
  • the data divided in a relatively large size can be sequentially transferred to the plurality of conversion devices 2, and data after the end of the conversion source file 17 can be transferred.
  • the data transfer device 1 in the embodiment when the data size is equal to or larger than the division size and the transfer destination node is switched, up to a line feed portion of the read data is transmitted to the current transfer destination node, Data ahead of the line feed can be transmitted to the transfer destination node determined next time.
  • the content of the divided data can be unified into a format that can correctly interpret the content of the data in the conversion device 2, and the conversion efficiency in the conversion device 2 can be improved.
  • a data transfer device that transfers data to be converted to a plurality of conversion nodes that convert data, and determines a transfer destination node that is a transfer destination of the data from the conversion nodes
  • a data transfer unit that transmits the data read by the data read unit to the transfer destination node determined by the transfer destination determination unit, a data read unit that reads the data from the conversion source file, and the transfer destination determination unit
  • a data size measuring unit that measures the size of the data transmitted to the transfer destination node by the data transfer unit, and the size of the data measured by the data size measuring unit is one transfer destination node
  • the division size for determining whether or not the size is larger than the division size set as the size of the data to be transmitted at one transfer.
  • the value of the division size is A division size setting unit that sets a value smaller than the value of the transfer destination, and the transfer destination determination unit, when the division size determination unit determines that the size of the data is greater than or equal to the division size, A data transfer apparatus characterized by determining the transfer destination node.
  • the data transfer unit determines that the size of the data is equal to or larger than the division size by the division size determination unit, the data transfer unit can execute a line break included in the data read by the data reading unit.
  • the transmission data is transmitted to the transfer destination node, and the data ahead of the line feed point is transmitted to the transfer destination node determined next by the transfer destination determination unit.
  • Data transfer device When the data transfer unit determines that the size of the data is equal to or larger than the division size by the division size determination unit, the data transfer unit can execute a line break included in the data read by the data reading unit.
  • the transmission data is transmitted to the transfer destination node, and the data ahead of the line feed point is transmitted to the transfer destination node determined next by the transfer destination determination unit. Data transfer device.
  • the ratio of the size of the data read by the data reading unit to the size of the file is equal to or greater than a near-end threshold that can be determined to have reached the end of the file. In this case, it is determined that the data has been read up to the vicinity of the end of the file.
  • a data transfer method for transferring data to be converted to a plurality of conversion nodes for converting data, and determining a transfer destination node as a transfer destination of the data from the conversion nodes A data transfer step for transmitting the data read in the data read step to the transfer destination node determined in the transfer destination determination step; a data read step for reading the data from the conversion source file; A data size measuring step of measuring the size of the data transmitted to the transfer destination node in the data transfer step, and the size of the data measured in the data size measuring step is one transfer destination node The size of the data to be transmitted at the time of one transfer
  • a division size setting step for setting a value of the division size to a value smaller than a current value when data is read, and the transfer destination determination step includes: A data transfer method
  • Appendix 5 A data transfer program for causing a computer to execute each step described in Appendix 4.
  • the data transfer device, data transfer method, and data transfer program according to the present invention are suitable for improving the processing efficiency of the divided transfer processing.

Abstract

The objective of the present invention is to improve processing efficiency of partitioning and transfer processing. The present invention is provided with: a transfer destination determination unit (15) which determines a transfer destination node to be a transfer destination of data from a conversion device (2); a data reader unit (11) which reads data from a source file (17); a data transfer unit (16) which transmits the read data to a transfer destination node; a data size measurement unit (12) which measures the size of the data that has been transmitted to the transfer destination node; a partition size assessment unit (13) which assesses whether or not the size of the measured data is greater than or equal to a partition size; and a partition size setting unit (14) which, if the size of the data is assessed to be greater than or equal to the partition size and the data has been read to near the end of the source file (17), sets the value of the partition size to a value smaller than the current value. The transfer destination determination unit (15) determines the next transfer destination node if the size of the data has been assessed to be greater than or equal to the partition size.

Description

データ転送装置、データ転送方法およびデータ転送プログラムData transfer device, data transfer method, and data transfer program
　本発明は、データ転送装置、データ転送方法およびデータ転送プログラムに関する。 The present invention relates to a data transfer device, a data transfer method, and a data transfer program.
　蓄積したデータを他のバッチ処理エンジン（分析、検索など）で利用する場合に、他のバッチ処理エンジンで処理し易いデータの形式や構造に変換して転送する必要がある。近年、できる限り早くバッチ処理の結果を出力したいというニーズが高まっており、データの変換転送処理を高速化することが求められている。これに応えるために、例えば、データの文字列解析などを行う変換処理部を並列化することで処理の高速化を実現することができる。下記特許文献１および特許文献２には、対象データを複数のデータに分割し、それぞれ複数のサーバに転送する転送システムが開示されている。 When using accumulated data in other batch processing engines (analysis, search, etc.), it is necessary to convert the data into a format and structure that can be easily processed by other batch processing engines. In recent years, there is an increasing need to output the results of batch processing as soon as possible, and there is a demand for speeding up data conversion and transfer processing. In order to respond to this, for example, the processing speed can be increased by parallelizing conversion processing units that perform character string analysis of data. Patent Document 1 and Patent Document 2 below disclose transfer systems that divide target data into a plurality of data and transfer the data to a plurality of servers, respectively.
特開２００８－２５０４７５号公報JP 2008-250475 A 特開２００７－１２２１６７号公報JP 2007-122167 A
　上記特許文献１および特許文献２に記載の転送システムでは、転送元データを均等なサイズで分割してそれぞれ転送している。複数の変換処理部を並列化した場合には、各変換処理部に分散させるチャンクのサイズによって処理時間が異なる。例えば、チャンクのサイズが小さい場合には、各チャンクの変換処理時間が短くなるため、各変換処理部での処理時間のばらつきが小さく、おおよそ同じ時間に処理が完了する。しかし、チャンクを分割する頻度が多くなるため、チャンクを分割して転送する分割転送処理部の処理に時間がかかり、変換転送処理全体としては、処理に要する時間が長くなってしまう。一方、チャンクのサイズが大きい場合には、チャンクを分割する頻度が少なくなるため、分割転送処理部の処理時間は短くなる。しかし、各チャンクの変換処理時間が長くなるため、各変換処理部での処理時間のばらつきが大きくなり、変換転送処理全体としては、処理時間の増大につながる。つまり、複数の変換処理部を並列化した場合には、転送元データを均等なサイズで分割しているだけでは、処理効率の向上に限界がある。 In the transfer systems described in Patent Document 1 and Patent Document 2, the transfer source data is divided into equal sizes and transferred. When a plurality of conversion processing units are parallelized, the processing time varies depending on the size of chunks distributed to each conversion processing unit. For example, when the size of the chunk is small, the conversion processing time of each chunk is shortened, so that the processing time variation in each conversion processing unit is small, and the processing is completed at approximately the same time. However, since the frequency at which chunks are divided increases, it takes time for the division transfer processing unit to divide and transfer the chunks, and the entire conversion and transfer processing takes a long time. On the other hand, when the chunk size is large, the frequency of dividing the chunk is reduced, so that the processing time of the divided transfer processing unit is shortened. However, since the conversion processing time of each chunk becomes long, the variation of the processing time in each conversion processing unit becomes large, leading to an increase in processing time as the whole conversion transfer processing. In other words, when a plurality of conversion processing units are arranged in parallel, there is a limit to improving the processing efficiency only by dividing the transfer source data by an equal size.
　本発明は、上述した課題を解決するためになされたものであり、分割転送処理の処理効率を向上させることができるデータ転送装置、データ転送方法およびデータ転送プログラムを提供することを目的の一つとする。 SUMMARY An advantage of some aspects of the invention is that it provides a data transfer device, a data transfer method, and a data transfer program capable of improving the processing efficiency of divided transfer processing. To do.
　本発明の一態様であるデータ転送装置は、データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送装置であって、前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定部と、前記データを変換元のファイルから読み込むデータ読込部と、前記転送先決定部により決定された前記転送先ノードに、前記データ読込部により読み込まれた前記データを送信するデータ転送部と、前記データ転送部により前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測部と、前記データサイズ計測部により計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定部と、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定部と、を備え、前記転送先決定部は、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する。 A data transfer apparatus according to an aspect of the present invention is a data transfer apparatus that transfers data to be converted to a plurality of conversion nodes that convert data, and the transfer destination of the data from the conversion nodes A transfer destination determination unit that determines a transfer destination node, a data reading unit that reads the data from the conversion source file, and the data reading unit that is read by the transfer destination node determined by the transfer destination determination unit. A data transfer unit that transmits the data, a data size measurement unit that measures the size of the data transmitted to the transfer destination node by the data transfer unit, and a size of the data that is measured by the data size measurement unit Is greater than or equal to the division size set as the size of the data to be transmitted at one transfer to one transfer destination node A division size determination unit that determines whether or not the size of the data is greater than or equal to the division size by the division size determination unit, and the data is read to the vicinity of the end of the file A division size setting unit that sets a value of the division size to a value smaller than a current value, and the transfer destination determination unit uses the division size determination unit to determine that the size of the data is equal to or larger than the division size. Is determined, the next transfer destination node is determined.
　本発明の一態様であるデータ転送方法は、データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送方法であって、前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定ステップと、前記データを変換元のファイルから読み込むデータ読込ステップと、前記転送先決定ステップにおいて決定された前記転送先ノードに、前記データ読込ステップにおいて読み込まれた前記データを送信するデータ転送ステップと、前記データ転送ステップにおいて前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測ステップと、前記データサイズ計測ステップにおいて計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定ステップと、前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定ステップと、を含み、前記転送先決定ステップは、前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する。 A data transfer method according to an aspect of the present invention is a data transfer method for transferring data to be converted to a plurality of conversion nodes that convert data, and the transfer destination of the data from the conversion nodes A transfer destination determination step for determining a transfer destination node, a data read step for reading the data from the conversion source file, and a data read step for the transfer destination node determined in the transfer destination determination step. A data transfer step for transmitting the data, a data size measurement step for measuring the size of the data transmitted to the transfer destination node in the data transfer step, and a size of the data measured in the data size measurement step. Is sent to one transfer destination node at the time of one transfer A division size determination step for determining whether or not the division size is equal to or larger than a division size set as the size of the data; and in the division size determination step, the size of the data is determined to be equal to or larger than the division size; and A partition size setting step for setting a value of the partition size to a value smaller than a current value when the data is read to near the end of the file, and the transfer destination determination step includes the partition size When it is determined in the determination step that the size of the data is equal to or larger than the division size, the next transfer destination node is determined.
　本発明の一態様であるデータ転送プログラムは、上記データ転送方法に含まれる各ステップをコンピュータに実行させる。 The data transfer program according to an aspect of the present invention causes a computer to execute each step included in the data transfer method.
　本発明によれば、分割転送処理の処理効率を向上させることができる。 According to the present invention, it is possible to improve the processing efficiency of the divided transfer processing.
実施形態におけるデータ転送装置の構成を例示する図である。It is a figure which illustrates the structure of the data transfer apparatus in embodiment. データを転送する際の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement at the time of transferring data. データを転送する際の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement at the time of transferring data. データを転送する際の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement at the time of transferring data.
　以下、添付図面を参照して、本発明に係るデータ転送装置、データ転送方法およびデータ転送プログラムの好適な実施形態について説明する。 Hereinafter, preferred embodiments of a data transfer device, a data transfer method, and a data transfer program according to the present invention will be described with reference to the accompanying drawings.
　まず、図１を参照して、実施形態におけるデータ転送装置を含むシステムについて説明する。データ転送装置１は、データを変換する複数の変換装置２に対して、変換元ファイル１７のデータを分割して順次転送する装置である。変換装置２は、データ転送装置１から受信したデータを解析し、そのデータの形式や構造を変換する装置である。なお、各変換装置２で変換されたデータは、変換後のデータを統括して格納するデータ格納装置（不図示）の格納部に書き込まれる。 First, a system including a data transfer apparatus according to the embodiment will be described with reference to FIG. The data transfer device 1 is a device that divides and sequentially transfers the data of the conversion source file 17 to a plurality of conversion devices 2 that convert data. The conversion device 2 is a device that analyzes data received from the data transfer device 1 and converts the format and structure of the data. The data converted by each conversion device 2 is written in a storage unit of a data storage device (not shown) that collectively stores the converted data.
　本実施形態では、特に、データベースなどからダンプした、サイズの大きなファイルを変換元ファイル１７とし、その変換元ファイル１７のデータをバッチ処理エンジン（分析、検索など）に変換転送するケースについて説明する。このようなケースでは、データの文字列解析などを行う変換処理部２２によるＣＰＵ（Central Processing Unit）リソースの使用がボトルネックとなり得る。したがって、本発明では、変換処理の高速化を実現するために、データ転送装置１の転送先として複数の変換装置２を並列して設けることを前提とする。 In this embodiment, a case where a large file dumped from a database or the like is used as the conversion source file 17 and the data of the conversion source file 17 is converted and transferred to a batch processing engine (analysis, search, etc.) will be described. In such a case, the use of a CPU (Central Processing Unit) resource by the conversion processing unit 22 that performs character string analysis of data or the like can be a bottleneck. Therefore, in the present invention, in order to realize high-speed conversion processing, it is assumed that a plurality of conversion devices 2 are provided in parallel as transfer destinations of the data transfer device 1.
　図１に示すデータ転送装置１と複数の変換装置２とを備えるシステムの概略について以下に説明する。データ転送装置１は、変換元ファイル１７のデータをＩ／Ｏ性能で読み込みながら複数の変換装置２に分割して転送する。データ転送装置１は、変換元ファイル１７のデータをチャンクに分割する際、チャンクの境界が改行箇所となるように分割する。これにより、変換装置２の変換処理部２２でデータの内容を正しく解釈できる形式にチャンクの内容を統一することができる。 An outline of a system including the data transfer device 1 and the plurality of conversion devices 2 shown in FIG. 1 will be described below. The data transfer device 1 divides and transfers the data of the conversion source file 17 to the plurality of conversion devices 2 while reading with the I / O performance. When the data transfer device 1 divides the data of the conversion source file 17 into chunks, the data transfer device 1 divides the chunk boundary so that it becomes a line feed. Thereby, the contents of the chunk can be unified into a format in which the contents of the data can be correctly interpreted by the conversion processing unit 22 of the conversion device 2.
　変換装置２の変換処理部２２は、一時保持部２１（バッファ）で処理速度差を吸収しながらストリーム処理を実行する。ここで、分割されたチャンクのデータを変換する場合、チャンクの全バイトストリームを解析すると処理性能が低下してしまう。したがって、本発明では、必要なときにチャンクのバイト列を解析して改行を探索し、その改行箇所を境にして転送する変換装置２を分けることで上記処理性能の低下を防ぐこととした。 The conversion processing unit 22 of the conversion device 2 executes the stream processing while absorbing the processing speed difference by the temporary holding unit 21 (buffer). Here, when converting the data of the divided chunks, if the entire byte stream of the chunk is analyzed, the processing performance deteriorates. Therefore, according to the present invention, the degradation of the processing performance is prevented by analyzing the chunk byte string when necessary, searching for a line break, and separating the conversion device 2 that transfers the line break at the boundary.
　以下に、本実施形態におけるデータ転送装置１の構成について詳細に説明する。 Hereinafter, the configuration of the data transfer apparatus 1 in the present embodiment will be described in detail.
　データ転送装置１は、物理的には、例えば、ＣＰＵと、記憶装置と、入出力インターフェースとを含む。記憶装置は、例えば、ＣＰＵで処理されるプログラムおよびデータを記憶するＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、主として制御処理のための各種作業領域として使用するＲＡＭ（Random Access Memory）等を含む。これらの要素は、互いにバスを介して接続する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、入出力インターフェースを介して受信されるメッセージや、ＲＡＭに展開されるデータ等を処理することで、データ転送装置１における各部の機能を実現する。 The data transfer device 1 physically includes, for example, a CPU, a storage device, and an input / output interface. The storage device includes, for example, a ROM (Read Only Memory) and HDD (Hard Disk Drive) that store programs and data processed by the CPU, a RAM (Random Access Memory) mainly used as various work areas for control processing, and the like. including. These elements are connected to each other via a bus. The CPU executes the program stored in the ROM, and processes the message received via the input / output interface, the data developed in the RAM, and the like, thereby realizing the function of each unit in the data transfer apparatus 1.
　データ転送装置１は、機能的には、例えば、データ読込部１１と、データサイズ計測部１２と、分割サイズ判定部１３と、分割サイズ設定部１４と、転送先決定部１５と、データ転送部１６とを有する。 Functionally, for example, the data transfer device 1 includes a data reading unit 11, a data size measuring unit 12, a divided size determining unit 13, a divided size setting unit 14, a transfer destination determining unit 15, and a data transferring unit. 16.
　データ読込部１１は、データを変換元ファイル１７から所定のブロック単位で読み込む。ブロックはバイト列の塊である。 The data reading unit 11 reads data from the conversion source file 17 in predetermined block units. A block is a block of bytes.
　データサイズ計測部１２は、変換元ファイル１７のファイルサイズを取得する。データサイズ計測部１２は、データ読込部１１によって読み込まれたデータ（以下、「読込データ」ともいう。）のサイズを累積する。データサイズ計測部１２は、データ転送部１６によって現在の変換装置２に対して送信されたデータ（以下、「送信データ」ともいう。）のサイズを計測する。 The data size measuring unit 12 acquires the file size of the conversion source file 17. The data size measuring unit 12 accumulates the size of the data read by the data reading unit 11 (hereinafter also referred to as “read data”). The data size measuring unit 12 measures the size of data (hereinafter also referred to as “transmission data”) transmitted to the current conversion device 2 by the data transfer unit 16.
　分割サイズ判定部１３は、データサイズ計測部１２によって計測された送信データのサイズが、分割サイズ以上であるか否かを判定する。分割サイズは、一つの変換装置２に対して一度の転送時に送信するデータのサイズ（チャンクサイズ）である。データ転送処理を開始する前に、最適な転送効率を実現可能な値を分割サイズに設定する。 The division size determination unit 13 determines whether the size of the transmission data measured by the data size measurement unit 12 is equal to or larger than the division size. The division size is a size (chunk size) of data transmitted to one conversion device 2 at one transfer. Before starting the data transfer process, a value that can achieve optimal transfer efficiency is set as the division size.
　分割サイズ設定部１４は、データサイズ計測部１２によって取得されたファイルサイズと、データサイズ計測部１２によって計測された読込データとに基づいて、変換元ファイル１７の終端付近までデータが読み込まれたか否かを判定する。分割サイズ設定部１４は、変換元ファイル１７の終端付近までデータが読み込まれたと判定した場合に、分割サイズの値を現在の値よりも小さな値に設定する。 Based on the file size acquired by the data size measurement unit 12 and the read data measured by the data size measurement unit 12, the division size setting unit 14 determines whether data has been read up to the vicinity of the end of the conversion source file 17. Determine whether. When the division size setting unit 14 determines that the data has been read to the vicinity of the end of the conversion source file 17, the division size setting unit 14 sets the division size value to a value smaller than the current value.
　具体的に、分割サイズ設定部１４は、ファイルサイズに対する読込データの割合が、終端付近閾値以上である場合に、変換元ファイル１７の終端付近までデータが読み込まれたと判定する。終端付近閾値には、変換元ファイル１７の終端付近に到達したと判定可能な上記割合を設定する。 Specifically, the division size setting unit 14 determines that the data has been read up to the vicinity of the end of the conversion source file 17 when the ratio of the read data to the file size is equal to or greater than the end vicinity threshold. The above-mentioned ratio at which it can be determined that the vicinity of the end of the conversion source file 17 has been reached is set as the end vicinity threshold.
　転送先決定部１５は、変換装置２の中からデータの転送先となる転送先ノードを順次決定する。 The transfer destination determination unit 15 sequentially determines a transfer destination node as a data transfer destination from the conversion device 2.
　データ転送部１６は、転送先決定部１５により決定された現在の転送先ノードに対して、データ読込部１１により読み込まれたデータを送信する。 The data transfer unit 16 transmits the data read by the data reading unit 11 to the current transfer destination node determined by the transfer destination determination unit 15.
　データ転送部１６は、分割サイズ判定部１３によりデータのサイズが分割サイズ以上であると判定された場合に、データ読込部１１により読み込まれたデータに改行が存在するかどうか探索する。データ転送部１６は、改行を見つけた場合に、改行箇所までのデータを現在の転送先ノードに送信し、改行箇所から先のデータを、転送先決定部１５により次に決定される転送先ノードに送信する。 When the division size determination unit 13 determines that the data size is equal to or larger than the division size, the data transfer unit 16 searches for a line break in the data read by the data reading unit 11. When the data transfer unit 16 finds a line break, the data transfer unit 16 transmits the data up to the line break point to the current transfer destination node, and the transfer destination node determined next by the transfer destination determination unit 15 from the line break point to the data ahead. Send to.
　データ転送部１６は、改行を見つけられなかった場合には、データ読込部１１により読み込まれたデータを現在の転送先ノードに送信する。 The data transfer unit 16 transmits the data read by the data reading unit 11 to the current transfer destination node when no line break is found.
　変換装置２は、一時保持部２１と、変換処理部２２とを有する。一時保持部２１は、データ転送装置１から受信したデータを一時的に保持する。変換処理部２２は、一時保持部２１に保持されているデータを読み込んで所定の変換処理を実行する。 The conversion device 2 includes a temporary holding unit 21 and a conversion processing unit 22. The temporary holding unit 21 temporarily holds data received from the data transfer device 1. The conversion processing unit 22 reads the data held in the temporary holding unit 21 and executes a predetermined conversion process.
　次に、図２～図４を参照して、データ転送装置１が変換装置２にデータを転送する際の動作について説明する。 Next, the operation when the data transfer device 1 transfers data to the conversion device 2 will be described with reference to FIGS.
　最初に、データサイズ計測部１２は、変換元ファイル１７のファイルサイズを取得する（ステップＳ１０１）。 First, the data size measurement unit 12 acquires the file size of the conversion source file 17 (step S101).
　続いて、分割サイズ設定部１４は、終端付近閾値を設定し（ステップＳ１０２）、分割サイズを設定し（ステップＳ１０３）、終端付近処理フラグをオフに設定し（ステップＳ１０４）、分割処理フラグをオフに設定する（ステップＳ１０５）。 Subsequently, the division size setting unit 14 sets a near-end threshold value (step S102), sets a division size (step S103), sets a near-end processing flag to off (step S104), and turns off the division processing flag. (Step S105).
　続いて、転送先決定部１５は、複数の変換装置２の中からデータの転送先となる転送先ノードを決定する（ステップＳ１０６）。 Subsequently, the transfer destination determination unit 15 determines a transfer destination node as a data transfer destination from the plurality of conversion devices 2 (step S106).
　続いて、データ読込部１１は、変換元ファイル１７から所定ブロックのデータを読み込む（ステップＳ１０７）。 Subsequently, the data reading unit 11 reads data of a predetermined block from the conversion source file 17 (step S107).
　続いて、データ転送部１６は、分割処理フラグがオンであるか否かを判定する（ステップＳ１０８）。この判定がＹＥＳである場合（ステップＳ１０８；ＹＥＳ）には、処理を後述するステップＳ１１６に移行する。 Subsequently, the data transfer unit 16 determines whether or not the division processing flag is on (step S108). If this determination is YES (step S108; YES), the process proceeds to step S116 described later.
　一方、上記ステップＳ１０８の判定で分割処理フラグがオフであると判定された場合（ステップＳ１０８；ＮＯ）に、データ転送部１６は、転送先決定部１５によって決定された現在の転送先ノードに対して、上記ステップＳ１０７で読み込まれたデータを送信する（ステップＳ１０９）。 On the other hand, when it is determined in step S108 that the division processing flag is off (step S108; NO), the data transfer unit 16 determines the current transfer destination node determined by the transfer destination determination unit 15. The data read in step S107 is transmitted (step S109).
　続いて、データサイズ計測部１２は、現在の転送先ノードに送信されたデータのサイズを計測する（ステップＳ１１０）。 Subsequently, the data size measuring unit 12 measures the size of the data transmitted to the current transfer destination node (step S110).
　続いて、分割サイズ判定部１３は、上記ステップＳ１１０で計測されたデータのサイズに基づいて、現在の転送先ノードに送信されたデータのサイズが、分割サイズ以上であるか否かを判定する（ステップＳ１１１）。この判定がＮＯである場合（ステップＳ１１１；ＮＯ）には、処理を後述するステップＳ１１３に移行する。 Subsequently, the division size determination unit 13 determines whether the size of the data transmitted to the current transfer destination node is equal to or larger than the division size based on the data size measured in step S110 ( Step S111). If this determination is NO (step S111; NO), the process proceeds to step S113 described later.
　一方、上記ステップＳ１１１の判定で送信されたデータのサイズが分割サイズ以上であると判定された場合（ステップＳ１１１；ＹＥＳ）に、分割サイズ設定部１４は、分割処理フラグをオンに設定する（ステップＳ１１２）。 On the other hand, if it is determined that the size of the data transmitted in the determination in step S111 is equal to or larger than the division size (step S111; YES), the division size setting unit 14 sets the division processing flag to ON (step S111). S112).
　続いて、分割サイズ設定部１４は、変換元ファイル１７のファイルサイズに対する読込データの割合が、終端付近閾値以上であるか否かを判定する（ステップＳ１１３）。この判定がＮＯである場合（ステップＳ１１３；ＮＯ）には、処理を後述するステップＳ１１５に移行する。 Subsequently, the division size setting unit 14 determines whether or not the ratio of the read data with respect to the file size of the conversion source file 17 is equal to or greater than a near-end threshold (step S113). If this determination is NO (step S113; NO), the process proceeds to step S115 described later.
　一方、上記ステップＳ１１３の判定でファイルサイズに対する読込データの割合が終端付近閾値以上であると判定された場合（ステップＳ１１３；ＹＥＳ）に、分割サイズ設定部１４は、終端付近処理フラグをオンに設定する（ステップＳ１１４）。 On the other hand, when it is determined in step S113 that the ratio of the read data to the file size is equal to or greater than the end vicinity threshold (step S113; YES), the division size setting unit 14 sets the end vicinity processing flag to ON. (Step S114).
　続いて、データ読込部１１は、変換元ファイル１７の終端まで読み込んだか否かを判定する（ステップＳ１１５）。この判定がＮＯである場合（ステップＳ１１５；ＮＯ）には、処理を上記ステップＳ１０７に移行する。一方、この判定がＹＥＳである場合（ステップＳ１１５；ＹＥＳ）には、本動作を終了する。 Subsequently, the data reading unit 11 determines whether or not the end of the conversion source file 17 has been read (step S115). If this determination is NO (step S115; NO), the process proceeds to step S107. On the other hand, when this determination is YES (step S115; YES), this operation ends.
　一方、上記ステップＳ１０８の判定で分割フラグがオンであると判定された場合（ステップＳ１０８；ＹＥＳ）に、データ転送部１６は、上記ステップＳ１０７で読み込まれたデータに改行が存在するかどうか探索し（ステップＳ１１６）、改行が存在しない場合（ステップＳ１１７；ＮＯ）には、処理を上記ステップＳ１０９に移行する。 On the other hand, when it is determined in step S108 that the division flag is ON (step S108; YES), the data transfer unit 16 searches for a line feed in the data read in step S107. (Step S116) If there is no line feed (Step S117; NO), the process proceeds to Step S109.
　一方、改行が存在する場合（ステップＳ１１７；ＹＥＳ）に、データ転送部１６は、改行箇所までのデータを現在の転送先ノードに送信する（ステップＳ１１８）。 On the other hand, when there is a line break (step S117; YES), the data transfer unit 16 transmits the data up to the line break to the current transfer destination node (step S118).
　続いて、転送先決定部１５は、複数の変換装置２の中から次の転送先ノードを決定する（ステップＳ１１９）。 Subsequently, the transfer destination determination unit 15 determines the next transfer destination node from the plurality of conversion devices 2 (step S119).
　続いて、データ転送部１６は、改行箇所から先のデータを、上記ステップＳ１１９で決定された転送先ノードに送信する（ステップＳ１２０）。 Subsequently, the data transfer unit 16 transmits the data ahead of the line feed point to the transfer destination node determined in step S119 (step S120).
　続いて、分割サイズ設定部１４は、分割処理フラグをオフに設定し（ステップＳ１２１）、終端付近処理フラグがオンであるか否かを判定する（ステップＳ１２２）。この判定がＮＯである場合（ステップＳ１２２；ＮＯ）には、処理を上記ステップＳ１０７に移行する。 Subsequently, the division size setting unit 14 sets the division processing flag to off (step S121), and determines whether the near-end processing flag is on (step S122). If this determination is NO (step S122; NO), the process proceeds to step S107.
　一方、上記ステップＳ１２２の判定で終端付近処理フラグがオンであると判定された場合（ステップＳ１２２；ＹＥＳ）に、分割サイズ設定部１４は、分割サイズの値を現在の値よりも小さな値に設定する（ステップＳ１２３）。そして、処理を上記ステップＳ１０７に移行する。 On the other hand, when it is determined in the determination in step S122 that the near end processing flag is on (step S122; YES), the division size setting unit 14 sets the value of the division size to a value smaller than the current value. (Step S123). Then, the process proceeds to step S107.
　上述したように、実施形態におけるデータ転送装置１によれば、現在の転送先ノードに送信されているデータのサイズが分割サイズ以上になると、次の転送先ノードに順次切り替えながらデータを送信することができ、切り替えたときに、変換元ファイル１７の終端付近までデータが読み込まれている場合には、分割サイズの値を現在の値よりも小さな値に設定していくことができる。 As described above, according to the data transfer apparatus 1 in the embodiment, when the size of data transmitted to the current transfer destination node becomes equal to or larger than the division size, the data is transmitted while sequentially switching to the next transfer destination node. When the data is read up to the vicinity of the end of the conversion source file 17 at the time of switching, the division size value can be set to a value smaller than the current value.
　これにより、変換元ファイル１７の終端付近までのデータを転送するときには、比較的大きなサイズで分割したデータを複数の変換装置２に順次転送することができ、変換元ファイル１７の終端付近以降のデータを転送するときには、徐々に小さなサイズで分割していき、その分割したデータを複数の変換装置２に順次転送することができる。それゆえに、データ転送装置１における分割転送処理の処理効率を向上させることができる。 As a result, when data up to the end of the conversion source file 17 is transferred, the data divided in a relatively large size can be sequentially transferred to the plurality of conversion devices 2, and data after the end of the conversion source file 17 can be transferred. Can be divided gradually into smaller sizes, and the divided data can be sequentially transferred to a plurality of conversion devices 2. Therefore, the processing efficiency of the divided transfer process in the data transfer apparatus 1 can be improved.
　また、実施形態におけるデータ転送装置１によれば、データのサイズが分割サイズ以上になり、転送先ノードを切り替える際に、読み込まれたデータのうち改行箇所までを現在の転送先ノードに送信し、改行箇所から先のデータを次回に決定される転送先ノードに送信することができる。 Further, according to the data transfer device 1 in the embodiment, when the data size is equal to or larger than the division size and the transfer destination node is switched, up to a line feed portion of the read data is transmitted to the current transfer destination node, Data ahead of the line feed can be transmitted to the transfer destination node determined next time.
　これにより、変換装置２においてデータの内容を正しく解釈できる形式に分割データの内容を統一することができ、変換装置２での変換効率を向上させることができる。 Thus, the content of the divided data can be unified into a format that can correctly interpret the content of the data in the conversion device 2, and the conversion efficiency in the conversion device 2 can be improved.
　なお、上述した実施形態は、単なる例示に過ぎず、実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。 It should be noted that the above-described embodiment is merely an example, and does not exclude various modifications and technical applications that are not explicitly described in the embodiment. That is, the present invention can be implemented by being modified into various forms without departing from the spirit of the present invention.
　上述した実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下のように限定するものではない。 Some or all of the above-described embodiments may be described as in the following supplementary notes, but the present invention is not limited to the following.
　（付記１）　データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送装置であって、前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定部と、前記データを変換元のファイルから読み込むデータ読込部と、前記転送先決定部により決定された前記転送先ノードに、前記データ読込部により読み込まれた前記データを送信するデータ転送部と、前記データ転送部により前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測部と、前記データサイズ計測部により計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定部と、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定部と、を備え、前記転送先決定部は、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する、ことを特徴とするデータ転送装置。 (Supplementary note 1) A data transfer device that transfers data to be converted to a plurality of conversion nodes that convert data, and determines a transfer destination node that is a transfer destination of the data from the conversion nodes A data transfer unit that transmits the data read by the data read unit to the transfer destination node determined by the transfer destination determination unit, a data read unit that reads the data from the conversion source file, and the transfer destination determination unit A data size measuring unit that measures the size of the data transmitted to the transfer destination node by the data transfer unit, and the size of the data measured by the data size measuring unit is one transfer destination node The division size for determining whether or not the size is larger than the division size set as the size of the data to be transmitted at one transfer. When the determination unit and the division size determination unit determine that the size of the data is equal to or greater than the division size and the data has been read to near the end of the file, the value of the division size is A division size setting unit that sets a value smaller than the value of the transfer destination, and the transfer destination determination unit, when the division size determination unit determines that the size of the data is greater than or equal to the division size, A data transfer apparatus characterized by determining the transfer destination node.
　（付記２）　前記データ転送部は、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定された場合に、前記データ読込部により読み込まれた前記データに含まれる改行箇所までの前記データを前記転送先ノードに送信し、前記改行箇所から先の前記データを、前記転送先決定部により次に決定される前記転送先ノードに送信する、ことを特徴とする付記１記載のデータ転送装置。 (Supplementary Note 2) When the data transfer unit determines that the size of the data is equal to or larger than the division size by the division size determination unit, the data transfer unit can execute a line break included in the data read by the data reading unit. The transmission data is transmitted to the transfer destination node, and the data ahead of the line feed point is transmitted to the transfer destination node determined next by the transfer destination determination unit. Data transfer device.
　（付記３）　前記分割サイズ設定部は、前記ファイルのサイズに対する前記データ読込部により読み込まれた前記データのサイズの割合が、前記ファイルの終端付近に到達したと判定可能な終端付近閾値以上である場合に、前記ファイルの終端付近まで前記データが読み込まれていると判定する、ことを特徴とする付記１または２記載のデータ転送装置。 (Supplementary Note 3) In the division size setting unit, the ratio of the size of the data read by the data reading unit to the size of the file is equal to or greater than a near-end threshold that can be determined to have reached the end of the file. In this case, it is determined that the data has been read up to the vicinity of the end of the file.
　（付記４）　データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送方法であって、前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定ステップと、前記データを変換元のファイルから読み込むデータ読込ステップと、前記転送先決定ステップにおいて決定された前記転送先ノードに、前記データ読込ステップにおいて読み込まれた前記データを送信するデータ転送ステップと、前記データ転送ステップにおいて前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測ステップと、前記データサイズ計測ステップにおいて計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定ステップと、前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定ステップと、を含み、前記転送先決定ステップは、前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する、ことを特徴とするデータ転送方法。 (Supplementary Note 4) A data transfer method for transferring data to be converted to a plurality of conversion nodes for converting data, and determining a transfer destination node as a transfer destination of the data from the conversion nodes A data transfer step for transmitting the data read in the data read step to the transfer destination node determined in the transfer destination determination step; a data read step for reading the data from the conversion source file; A data size measuring step of measuring the size of the data transmitted to the transfer destination node in the data transfer step, and the size of the data measured in the data size measuring step is one transfer destination node The size of the data to be transmitted at the time of one transfer A division size determination step for determining whether or not the division size is greater than or equal to the division size, and the division size determination step determines that the size of the data is equal to or greater than the division size and the vicinity of the end of the file A division size setting step for setting a value of the division size to a value smaller than a current value when data is read, and the transfer destination determination step includes: A data transfer method characterized by determining the next transfer destination node when it is determined that the size is equal to or larger than the division size.
　（付記５）　付記４に記載の各ステップをコンピュータに実行させるためのデータ転送プログラム。 (Appendix 5) A data transfer program for causing a computer to execute each step described in Appendix 4.
　この出願は、２０１２年３月６日に出願された日本出願特願２０１２－０４９２４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2012-049247 filed on March 6, 2012, the entire disclosure of which is incorporated herein.
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
　本発明に係るデータ転送装置、データ転送方法およびデータ転送プログラムは、分割転送処理の処理効率を向上させることに適している。 The data transfer device, data transfer method, and data transfer program according to the present invention are suitable for improving the processing efficiency of the divided transfer processing.
１…データ転送装置
２…変換装置
１１…データ読込部
１２…データサイズ計測部
１３…分割サイズ判定部
１４…分割サイズ設定部
１５…転送先決定部
１６…データ転送部
１７…変換元ファイル
２１…一時保持部
２２…変換処理部 DESCRIPTION OF SYMBOLS 1 ... Data transfer apparatus 2 ... Conversion apparatus 11 ... Data reading part 12 ... Data size measurement part 13 ... Divided size determination part 14 ... Divided size setting part 15 ... Transfer destination determination part 16 ... Data transfer part 17 ... Conversion source file 21 ... Temporary holding unit 22 ... conversion processing unit

Claims (5)

  1. 　データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送装置であって、
    　前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定部と、
    　前記データを変換元のファイルから読み込むデータ読込部と、
    　前記転送先決定部により決定された前記転送先ノードに、前記データ読込部により読み込まれた前記データを送信するデータ転送部と、
    　前記データ転送部により前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測部と、
    　前記データサイズ計測部により計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定部と、
    　前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定部と、を備え、
    　前記転送先決定部は、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する、
    　ことを特徴とするデータ転送装置。     A data transfer device that transfers data to be converted to a plurality of conversion nodes that convert data,
    A transfer destination determination unit that determines a transfer destination node that is a transfer destination of the data from the conversion node;
    A data reading unit for reading the data from the conversion source file;
    A data transfer unit for transmitting the data read by the data reading unit to the transfer destination node determined by the transfer destination determining unit;
    A data size measurement unit for measuring the size of the data transmitted to the transfer destination node by the data transfer unit;
    It is determined whether the size of the data measured by the data size measuring unit is equal to or larger than the division size set as the size of the data to be transmitted at one transfer to one transfer destination node. A division size determination unit;
    When the division size determination unit determines that the size of the data is equal to or larger than the division size and the data is read to the vicinity of the end of the file, the value of the division size is set to be greater than the current value. A division size setting section for setting a small value;
    The transfer destination determining unit determines the next transfer destination node when the division size determination unit determines that the size of the data is equal to or larger than the division size.
    A data transfer device.
  2. 　前記データ転送部は、前記分割サイズ判定部により前記データのサイズが前記分割サイズ以上であると判定された場合に、前記データ読込部により読み込まれた前記データに含まれる改行箇所までの前記データを前記転送先ノードに送信し、前記改行箇所から先の前記データを、前記転送先決定部により次に決定される前記転送先ノードに送信する、
    　ことを特徴とする請求項１記載のデータ転送装置。     The data transfer unit, when the division size determination unit determines that the size of the data is equal to or greater than the division size, the data transfer unit, the data up to the line break included in the data read by the data reading unit Sending to the forwarding destination node, and sending the data ahead of the line break point to the forwarding destination node determined next by the forwarding destination determination unit,
    The data transfer device according to claim 1.
  3. 　前記分割サイズ設定部は、前記ファイルのサイズに対する前記データ読込部により読み込まれた前記データのサイズの割合が、前記ファイルの終端付近に到達したと判定可能な終端付近閾値以上である場合に、前記ファイルの終端付近まで前記データが読み込まれていると判定する、
    　ことを特徴とする請求項１または２記載のデータ転送装置。     The division size setting unit, when the ratio of the size of the data read by the data reading unit to the size of the file is equal to or greater than a near-end threshold that can be determined to have reached the end of the file, It is determined that the data has been read up to near the end of the file.
    3. A data transfer apparatus according to claim 1, wherein the data transfer apparatus is a data transfer apparatus.
  4. 　データを変換する複数の変換ノードに対して、変換対象となるデータを転送するデータ転送方法であって、
    　前記変換ノードの中から前記データの転送先となる転送先ノードを決定する転送先決定ステップと、
    　前記データを変換元のファイルから読み込むデータ読込ステップと、
    　前記転送先決定ステップにおいて決定された前記転送先ノードに、前記データ読込ステップにおいて読み込まれた前記データを送信するデータ転送ステップと、
    　前記データ転送ステップにおいて前記転送先ノードに送信された前記データのサイズを計測するデータサイズ計測ステップと、
    　前記データサイズ計測ステップにおいて計測された前記データのサイズが、一つの前記転送先ノードに対して一度の転送時に送信する前記データのサイズとして設定されている分割サイズ以上であるか否かを判定する分割サイズ判定ステップと、
    　前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定され、かつ、前記ファイルの終端付近まで前記データが読み込まれている場合に、前記分割サイズの値を現在の値よりも小さな値に設定する分割サイズ設定ステップと、を含み、
    　前記転送先決定ステップは、前記分割サイズ判定ステップにおいて前記データのサイズが前記分割サイズ以上であると判定された場合に、次の前記転送先ノードを決定する、
    　ことを特徴とするデータ転送方法。     A data transfer method for transferring data to be converted to a plurality of conversion nodes for converting data,
    A transfer destination determining step for determining a transfer destination node to which the data is transferred from among the conversion nodes;
    A data reading step for reading the data from the conversion source file;
    A data transfer step of transmitting the data read in the data read step to the transfer destination node determined in the transfer destination determination step;
    A data size measuring step of measuring the size of the data transmitted to the transfer destination node in the data transfer step;
    It is determined whether the size of the data measured in the data size measurement step is equal to or larger than a division size set as the size of the data to be transmitted at one transfer to one transfer destination node. A division size determination step;
    When it is determined in the division size determination step that the size of the data is equal to or larger than the division size and the data has been read to the vicinity of the end of the file, the value of the division size is set to be greater than the current value. A division size setting step for setting to a small value,
    The transfer destination determination step determines the next transfer destination node when it is determined in the division size determination step that the size of the data is equal to or larger than the division size.
    A data transfer method characterized by the above.
  5. 　請求項４に記載の各ステップをコンピュータに実行させるためのデータ転送プログラム。 A data transfer program for causing a computer to execute each step according to claim 4.
PCT/JP2013/053671 2012-03-06 2013-02-15 Data transfer device, data transfer method and data transfer program WO2013132990A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014503738A JP6136077B2 (en) 2012-03-06 2013-02-15 Data transfer device, data transfer method, and data transfer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-049247 2012-03-06
JP2012049247 2012-03-06

Publications (1)

Publication Number Publication Date
WO2013132990A1 true WO2013132990A1 (en) 2013-09-12

Family

ID=49116474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/053671 WO2013132990A1 (en) 2012-03-06 2013-02-15 Data transfer device, data transfer method and data transfer program

Country Status (2)

Country Link
JP (1) JP6136077B2 (en)
WO (1) WO2013132990A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252394A (en) * 2005-03-14 2006-09-21 Sony Corp Information processing system, information processor and processing method and program
JP2011248537A (en) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> Distributed media processing device, method and program
US20110313973A1 (en) * 2010-06-19 2011-12-22 Srivas Mandayam C Map-Reduce Ready Distributed File System

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3923574B2 (en) * 1996-12-02 2007-06-06 株式会社日立製作所 Inspection apparatus and method having parallel data processing function
JP3732648B2 (en) * 1998-03-19 2006-01-05 富士通株式会社 Process allocation method
JP4654918B2 (en) * 2006-01-12 2011-03-23 株式会社日立製作所 Information processing apparatus and information processing system
JP5293670B2 (en) * 2010-03-31 2013-09-18 ブラザー工業株式会社 Information processing apparatus, information processing program, information processing method, and distribution system
JP2011215794A (en) * 2010-03-31 2011-10-27 Fujitsu Ltd Distributed storage system and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252394A (en) * 2005-03-14 2006-09-21 Sony Corp Information processing system, information processor and processing method and program
JP2011248537A (en) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> Distributed media processing device, method and program
US20110313973A1 (en) * 2010-06-19 2011-12-22 Srivas Mandayam C Map-Reduce Ready Distributed File System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASUMI ICHIEN: "Implementation of Chunk Placement Strategy and Preliminary Evaluation of Cluster Storage for Large-Scale Content Distribution Service", IEICE TECHNICAL REPORT, vol. 108, no. 180, 29 July 2008 (2008-07-29), pages 37 - 42 *

Also Published As

Publication number Publication date
JPWO2013132990A1 (en) 2015-07-30
JP6136077B2 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
US10831713B2 (en) Hardware acceleration for a compressed computation database
JP5768683B2 (en) Reception data processing method, communication apparatus, and program
US11216612B2 (en) Size-optimized data interchange method and system
JP4621747B2 (en) Communication control apparatus and information processing apparatus
US20020059169A1 (en) System for quickly collecting operational data for internet destinations
EP2538334A1 (en) Cache streaming system
CN108984103B (en) Method and apparatus for deduplication
US11831343B2 (en) System and method for data compression with encryption
US10826819B2 (en) System and method for data transmission in distributed computing environments
JP6136077B2 (en) Data transfer device, data transfer method, and data transfer program
US8825985B2 (en) Data transfer reduction in scale out architectures
JP6127900B2 (en) Packet processing apparatus, packet processing method, and packet processing program
US11700013B2 (en) System and method for data compaction and security with extended functionality
JP6326888B2 (en) Image processing apparatus, image forming apparatus, and image processing program
US20160085683A1 (en) Data receiving device and data receiving method
CN103999435B (en) For the apparatus and method of efficient network address translation and ALG process
US9736080B2 (en) Determination method, device and storage medium
US10078446B2 (en) Release requesting method and parallel computing apparatus
CN110912969A (en) High-speed file transmission source node, destination node device and system
WO2013065151A1 (en) Computer system, data transmission method, and data transmission program
TW202009722A (en) USB transmission system, USB device and host capable of USB transmission
JP7388561B2 (en) Computer system and arithmetic processing method
US9817706B2 (en) Non-transitory computer-readable recording medium having stored therein a communication algorithm determination program, communication algorithm determination method, and information processing device executing a communication algorithm determination program
KR101470590B1 (en) Plug-in multi pattern matching apparatus and method thereof
US20210349704A1 (en) Method, electronic device, and computer program product for installing application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13758174

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014503738

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13758174

Country of ref document: EP

Kind code of ref document: A1