WO2005003995A1 - データ配置方法及び装置 - Google Patents

データ配置方法及び装置 Download PDF

Info

Publication number
WO2005003995A1
WO2005003995A1 PCT/JP2004/008230 JP2004008230W WO2005003995A1 WO 2005003995 A1 WO2005003995 A1 WO 2005003995A1 JP 2004008230 W JP2004008230 W JP 2004008230W WO 2005003995 A1 WO2005003995 A1 WO 2005003995A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
computer
integer
partial data
assigned
Prior art date
Application number
PCT/JP2004/008230
Other languages
English (en)
French (fr)
Inventor
Junichi Nakajima
Moritaka Kimura
Tetsuro Kondo
Original Assignee
National Institute Of Information And Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute Of Information And Communications Technology filed Critical National Institute Of Information And Communications Technology
Priority to JP2005511313A priority Critical patent/JPWO2005003995A1/ja
Priority to US10/561,872 priority patent/US20060259534A1/en
Publication of WO2005003995A1 publication Critical patent/WO2005003995A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Definitions

  • the present invention relates to a method for arranging data stored in storage devices of a plurality of computers in a computer that is in charge of arithmetic processing, and an apparatus for implementing the method.
  • data is subject to cross-correlation calculations.
  • radio interferometers such as VLBI (Very Long Baseline Interferometry), signal analysis in the communication field, analysis of seismic waves, and analysis of electrocardiogram 'electromyogram' brain waves etc.
  • Computers are used to perform cross-correlation calculations in a wide variety of fields, including analysis of weather data and vibration analysis of structures.
  • the computer that processes the cross-correlation operation is generally a computer.
  • the general-purpose computer is a computer designed to execute various processes such as batch processing, real-time processing, and online processing by a program. I have.
  • a computer having a control circuit in which an arithmetic unit and a main storage device are cooperatively connected and which is capable of processing an arithmetic operation according to a predetermined procedure. ,.
  • a so-called personal computer is a general-purpose computer.
  • a general-purpose computer is a special-purpose computer, and although there is no clear definition, it is generally designed so that specific processing such as image processing and cross-correlation calculation processing can be performed efficiently.
  • Computer From another viewpoint, for example, a computer that directly executes a part of a predetermined procedure of arithmetic processing by hardware called an arithmetic device may be used.
  • the general-purpose Processing the cross-correlation calculation by the data may cause a problem such as a heavy load, for example, an extremely slow execution speed. Therefore, in such a case, it is general that the cross-correlation calculation processing is performed by a dedicated computer.
  • VLBI will be specifically described as an example.
  • VLBI receives and records radio waves from celestial bodies that are radio sources using radio telescopes of multiple VLBI stations. Radio waves (analog signals) from celestial bodies, which are common radio sources, are converted to digital signals using an atomic frequency standard and recorded on magnetic tape. Then, this magnetic tape is transported to the location of the correlator, and the digital signals recorded on each magnetic tape are synchronously reproduced, and the correlator calculates a correlation function between the synchronously reproduced digital signals. .
  • observation data converted to digital signals has been , Directly to the correlator. That is, at each VLBI station, the observation data converted into a digital signal is sent to the communication device without being recorded on the magnetic tape, and is directly transmitted to the correlator via the cable. In this way, a real-time cross-correlation calculation process is realized.
  • the correlator corresponds to the dedicated computer described above. Since the amount of digital signal data that can be recorded by VLBI observations reaches the data amount of gigabits per second, such a large-scale data amount is cross-correlated with a single general-purpose computer. Requires a special computer, a correlator.
  • the present invention is stored in a storage device of a computer having a plurality of stations.
  • the data arrangement method of the present invention uses the following means in order to solve the above problems.
  • n stations (n is a natural number of 2 or more) of computers PC, PC, PC, PC, PC, PC (i is 0
  • Computer PC is the k-th part of each computer PC
  • a data arrangement method is used in which the step of transferring the partial data assigned to the connected computer to the connected partner computer is repeated between the two connected computers.
  • n stations (n is a natural number of 2 or more) of computers PC (i can take an integer from 0 to n_l) are connected to the network.
  • each computer PC transmits data X (i is 0 to n-1
  • the data X in each computer PC has a partial data X (j) (where j can be an integer from 0 to n ⁇ 1), and has a storage device for storing n.
  • the k-th (k can be an integer from 0 to n-1) computer PC is responsible for the cross-correlation calculation of the k-th partial data X (k) in each computer PC. And further comprising the above concentrator or communication network.
  • a computer connected so as to be able to transfer data via a computer the step of transferring the partial data assigned to the computer between the computer sending data and the computer receiving data is repeated.
  • the same computer is not duplicated in the correspondence from the data sending computer to the data receiving computer, and the same correspondence is assigned without duplication through all the steps. In this case, it is also possible to repeat data exchange once every n times and simultaneously perform data exchange in all the computers, thereby improving the data transfer efficiency irrespective of the oddness or evenness of n.
  • a computer PC (i is an integer from 0 to n-1) of n stations (n is a natural number of 2 or more) may be connected to a concentrator having a switching function or a communication network depending on a network medium.
  • each computer PC has a storage device for storing data X (i can be an integer from 0 to n-1) to be subjected to a cross-correlation operation.
  • the data X on the PC is a partial data X (m ) (m can be an integer greater than or equal to 0) and can be divided into n or more blocks, and can be divided into blocks without duplication for each of n consecutive partial data.
  • the computer PC is responsible for the cross-correlation calculation of the k-th partial data of each block in each computer PC.
  • each pair of two computers connected so as to be able to transfer data via a device or a communication network each pair of the two computers connected to each other and the other computer connected to each other are connected to the other computer.
  • the data arrangement method repeats the step of transferring the assigned partial data.
  • the above-mentioned block (the block can be an integer of 0 or more) includes partial data up to the (nXa) th power (nXa + n-1), and the k-th block.
  • the computer PC may be in charge of the cross-correlation calculation of the (k + nX) th partial data X (k + nX) in each computer PC.
  • the above steps are repeated n ⁇ 1 times when n is an even number, and n times when n is an odd number, and the same computer is duplicated for each pair in each step.
  • the assignment of the same pair without duplication through all the steps may be repeated. By doing so, the most efficient data transfer becomes possible.
  • the computer PC (i can be an integer from 0 to n-1) of n stations (n is a natural number of 2 or more).
  • each computer PC Is connected to a concentrator having a switching function capable of full-duplex communication or a communication network by a network medium, each computer PC transmits data X (i) to be subjected to a cross-correlation calculation. Can take an integer from 0 to n-1).
  • the data X in each computer PC is a partial data X which is a unit data amount.
  • the computer PC is responsible for the cross-correlation calculation of the k-th partial data of each block in each computer PC. Further, the computer PC can transfer data via the concentrator or the communication network for each block. In the connected computers, when repeating the step of transferring the partial data assigned to the computer between the computer that sends the data and the computer that receives the data, in each step, the data sending computer sends the data to the data receiving computer.
  • the same computer is assigned to each computer without duplication, and the same correspondence is assigned without duplication through all steps, and the steps are assigned to n ⁇ 1 even if n is even or odd.
  • the data is time-series data obtained by observation with a radio telescope
  • the amount of data per unit time is large as in the case of the VLBI described in the above example.
  • computers PC (i can take an integer from 0 to n-1) of n stations (n is a natural number of 2 or more) have a switching function by a network medium.
  • each computer PC stores data X (i can be an integer from 0 to n-1) to be subjected to a cross-correlation operation.
  • the data X in each computer PC can be divided into n pieces of partial data X (j) (j can be an integer from 0 to n_l), and the k-th data (k is 0 , And an integer up to n-1).
  • the computer PC is in charge of the cross-correlation calculation of the k-th partial data x (k) in each computer PC.
  • the computers in charge of the two computers connected to each other are assigned to each other and connected to each other.
  • Data transfer means for repeating the step of transferring the partial data is provided.
  • a computer PC (i can take an integer from 0 to n-1) of n stations (n is a natural number of 2 or more) is connected to a concentrator having a switching function or a communication device depending on the network medium.
  • each computer PC has at least a storage device for storing data X (i can be an integer from 0 to n-1) to be subjected to the cross-correlation calculation.
  • the data X in each computer PC can be divided into n or more pieces of partial data X (m) (m can be an integer of 0 or more), which is a unit data amount, and n pieces of data are continuous.
  • the k-th (where k can be an integer from 0 to n-1) computer PC is the k-th partial data of each block in each computer PC. Is responsible for the cross-correlation calculation of Further
  • each pair of computers connected to each other is connected to each other.
  • a data transfer unit that repeats a step of transferring the partial data assigned to the computer.
  • n stations (n is a natural number of 2 or more) of computers PC (i can take an integer from 0 to n-1) are connected to the network.
  • each computer PC transmits data X (i is 0 to n-1) to be subjected to cross-correlation calculation.
  • the data X in each computer PC is divided into n pieces of partial data X (j) (j can be an integer from 0 to n-1).
  • the k-th (k can be an integer from 0 to n-1) PC
  • the computer PC is in charge of the cross-correlation calculation of the k-th partial data X (k) in each computer PC. Further, the computer PC is connected to the concentrator or the communication network so as to be able to transfer the data, and When repeating the step of transferring the partial data assigned to the computer between the sending computer and the receiving computer, In the step, the same computer is assigned without duplication of the same computer for the correspondence from the data sending computer to the data receiving computer, and all the steps are assigned without duplication. It is characterized by having a data transfer means that repeats n-1 times in any case of even and odd numbers.
  • n stations (n is a natural number of 2 or more) of computers PC (i can take an integer from 0 to n_l) are connected to the network.
  • each computer PC transmits data X (i is 0 to n- The data X ; in each computer PC is a partial data X (m) (where m can be an integer of 0 or more). ), Can be divided into n or more, and can be divided into blocks without duplication for every n consecutive partial data, and the k-th (k can be an integer from 0 to n ⁇ 1).
  • the computer PC of each block of each computer PC It is in charge of the cross-correlation calculation of the k-th partial data, and further, for each of the blocks, a computer connected to the concentrator or the communication network so as to be able to transfer data through a communication network.
  • a data transfer means that repeats the step n ⁇ 1 times, even if n is an even or odd number, while assigning the same correspondence without duplication through all the steps. It may be a feature.
  • the network medium may be configured to be capable of full-duplex communication, thereby contributing to a reduction in processing time.
  • the data arrangement method and apparatus of the present invention can be applied to each storage device of a computer of a plurality of stations even when the data amount is large, such as time-series data obtained by a radio telescope by VLBI observation.
  • the data to be subjected to the cross-correlation calculation stored in the sub-computer is divided into partial data for each computer in charge of the cross-correlation calculation and efficiently arranged, resulting in large It enables distributed processing of cross-correlation calculations on an inexpensive general-purpose computer without using a dedicated computer.
  • the transfer time in each step does not depend on the number of stations n, and the total number of steps is n or n-1 times as shown in Equations 1 and 2. Only needs to be done.
  • the data is divided into n or more pieces of partial data, which is a unit data amount, and further divided into blocks without duplication for every n consecutive pieces of partial data, and data arrangement is performed for each block.
  • the already collected data can be allocated to each station, and the cross-correlation calculation of the already collected data can be performed almost in parallel with the data collection.
  • the processing time for data arrangement can be reduced.
  • FIG. 1 is an explanatory diagram showing an example of a network configuration according to the present invention.
  • FIG. 2 is an explanatory diagram showing an example of a device configuration of a PC
  • FIG. 3 is an explanatory diagram showing an arrangement state of partial data stored in an external storage device of each PC before and after data arrangement according to the present invention in the case of n divisions
  • FIG. 4 is an explanatory diagram showing an arrangement state of partial data stored in an external storage device of each PC before and after data arrangement according to the present invention in a case of n division or more.
  • FIG. 5 is an explanatory diagram showing processing steps for exchanging data using a concentrator capable of full-duplex communication when the number of PC stations is odd.
  • FIG. 1 is a diagram illustrating an example of a network configuration according to the present invention
  • FIG. 2 is a diagram illustrating an example of a device configuration of a PC
  • FIG. before and after a diagram showing an arrangement situation of partial data stored in the external storage device of the! 3 C, 4, in the case of n or more split, before and after the data arrangement according to the invention, the external memory of the PC
  • FIG. 4 shows a diagram illustrating an arrangement state of partial data stored in the device.
  • the computer is a general-purpose computer, for example, a so-called personal computer (hereinafter, referred to as a PC).
  • a PC personal computer
  • the computer does not necessarily have to be a general-purpose computer but may be a dedicated computer or the like.
  • n is a natural number of 2 or more. That is, there are a plurality of PCs.
  • each PC is denoted by PC, PC, PC, PC, PC, PC using a subscript. Note that a subscript i that can take an integer of 0 force n_l
  • Each PC does not have to be approximately the same in the device configuration and performance. However, since each PC performs a cross-correlation calculation, it is preferable that each PC has a corresponding calculation performance.
  • the cable [3] is assumed to be capable of performing full-duplex communication that achieves a substantially double communication speed by simultaneously performing reception and transmission.
  • a cable capable of full-duplex communication is suitable for mutually transferring data between two PCs connected so that data can be transferred by this cable.
  • An example of a cable capable of full-duplex communication is a twisted pair cable of Ethernet (registered trademark).
  • an optical fiber may be used.
  • the above Ethernet includes Gigabit Ethernet (registered trademark) that realizes a communication speed of 1 Gbps (Gbit / sec: gigabit per second).
  • the cable [3] is not limited to a cable capable of full-duplex communication, and may be a cable capable of half-duplex communication that realizes reception and transmission separately.
  • a cable capable of half-duplex communication when data is mutually transferred between two PCs, for example, a PC and a PC, which are connected so that data can be transferred by a cable capable of half-duplex communication, Instead, for example, data may be transferred from the PC to the PC, and then to the PC.
  • a cable capable of full-duplex communication a cable capable of half-duplex communication is used because data transfer to a PC and PC can be performed almost simultaneously. This has the great advantage that the time required to complete the data transfer between the two PCs is about half that required.
  • the switching hub [2] is a hub having a switching function.
  • the physical address of the Ethernet (registered trademark) device connected to the port provided on the hub is stored, and the ports required for communication are directly connected to perform data transfer. Therefore, even when communication is performed between a plurality of PCs, data collision can be avoided.
  • the form (topology) of this network is a so-called star type. If the n-station PC is considered as each segment, the switching hub [2] can be said to be a multiport repeater because it is a segment relay device.
  • a mode in which a plurality of PCs are connected in a sta- tionary manner to the switching hub [2] via the cable [3] has been described.
  • a plurality of PCs are connected to the switching hub [2]. It may be configured to connect to a network, for example, the Internet.
  • data transfer is performed between multiple PCs.To prevent data collision, when transferring data between multiple PCs, all communication lines on the way are used. Or share some parts. Also, when transferring a relatively large amount of data, it is preferable that there is considerable room in the bandwidth of the communication line.
  • the storage device may be an external storage device [18] generally called a hard disk.
  • the external storage device [18] stores data [20] to be subjected to the cross-correlation calculation.
  • the data [20] stored in the external storage device [18] of the PC is X, P
  • the data [20] stored in the external storage device [18] of C is assigned to X, and the same applies to other PCs.
  • the data [20] stored in the external storage device [18] of the PC is denoted by X.
  • Each PC is connected to the arithmetic unit [12], the main storage unit [16], and the cable [3], and transfers the data [20] stored in the external storage unit [18] to another PC.
  • a transmission unit [11] that can transfer the data.
  • the arithmetic unit [12] includes a data control unit [15] for controlling data [20] stored in the external storage unit [18], an arithmetic unit [14] for processing a cross-correlation operation, and a transmission unit [11]. ] (See Fig. 2).
  • a program for controlling the order of data transfer with another PC or the like is stored in the external storage device [18], and the data transfer described later may be performed according to this order.
  • the data [20] stored in the external storage device [18] is transmitted to another PC via the transmission unit [11] under the control of the data control unit [15] of the arithmetic unit [12]. Can be forwarded.
  • Each data X can be divided into n parts. That is, X is the partial data X (0), X (1), X (2),
  • ⁇ ⁇ ⁇ , X ( ⁇ -2), X ( ⁇ -1) can be divided into ⁇ , and the same applies to other X.
  • X (j) the n-divided partial data of the data X stored in the external storage device [18] of the PC.
  • j can take an integer from 0 to n_l.
  • “dividable” in the present invention includes the case where continuous data X is divided into partial data X (j) as described above. Exactly
  • time series data obtained by VLBI analog signal data obtained by a radio telescope is appropriately converted into a digital signal by an atomic frequency standard and stored in an external storage device of a PC. Is stored.
  • the VLBI data sampling in this case is not such a simple one.
  • the time-series data stored in the external storage device may be, for example, data in which data for 4 seconds are collectively stored, or data in which data for 4 seconds are stored in one-second intervals. Good.
  • the data may be divided by a conventionally known method, for example, by using application software.
  • each partial data X (j) does not have to be approximately the same. However, it is generally preferred that they be approximately the same. That is, the data X is roughly divided into n equal parts. Also in this embodiment, unless otherwise specified, it is assumed that the image data is divided into approximately n equal parts.
  • Each PC is in charge of the cross-correlation calculation of the divided partial data as described above. Specifically, the PC is the PC 0th partial data X (0), the PC 0th partial data X (0),
  • the PC is in charge of the cross-correlation calculation of the 0th partial data X (0) of the PC.
  • PC is the first partial data of PC X (1)
  • the PC is the k-th partial data X (k) of the PC, the k-th partial data X (k) of the PC, k 0 0 1 1
  • the k-th PC is the k-th partial data k i stored in the external storage device [18] of the PC.
  • the kth partial data X (k) stored in the external iki storage device [18] of the PC must be placed on the kth PC. Must have, (fig.
  • Each PC is connected via a switching hub [2] so that data can be transferred in pairs of two stations. Then, in each pair, the mutual PC transfers the partial data assigned to the other PC. At this time, since the cable [3] can perform full-duplex communication, mutual data transfer can be performed simultaneously. Also, data transfer of each pair can be performed at the same time via the switching hub [2]. Then, by repeating this step while changing the combination of the two PCs in each pair, the arrangement is completed.
  • partial data is stored in the external storage device of the PC.
  • Data X (0), X (1), X (2), X (3) are stored in the external storage device of the PC as partial data X (0).
  • X (1), X (2), X (3) are stored in the external storage device of the PC as partial data X (0), X (1), X
  • Step 1 (PC, PC) (PC, PC)
  • Step 2 (PC, PC) (PC, PC)
  • each step should not include the same pair of PC combinations.
  • the number of pairs that can simultaneously transfer data in one step is increased as much as possible, and the number of steps is reduced as much as possible.
  • step 1 a PC and a PC, and a PC and a PC are connected via a switching hub [2].
  • the PC is responsible for the partial data X (1) assigned to the PC, and the PC is assigned the partial data X (0) assigned to the PC.
  • step 2 the PC and the PC, and the PC and the PC are connected via the switching hub [2].
  • the PC is responsible for the partial data X (3) assigned to the PC, and the PC is assigned the partial data X (0) assigned to the PC.
  • step 3 the PC and the PC, and the PC and the PC are connected via the switching hub [2].
  • X (1), X (1), X (1), X (1) are arranged on the PC, and X (2), X (2),
  • X (2) and X (2) are located on the PC, and X (3), X (3), X (3) and X (3) are located on the PC.
  • Data X (0), X (1), X (2), X (3), and X (4) are stored in the external storage device of the PC.
  • X (0), X (1), X (2), X (3), and X (4) store partial data in the PC external storage device.
  • X (0), X (1), X (2), X (3), and X (4) contain partial data X in the external storage device of the PC.
  • Step 1 (PC, PC) (PC, PC)
  • Step 2 (PC, PC) (PC, PC)
  • Step 3 (PC, PC) (PC, PC)
  • Step 4 (PC, PC) (PC, PC)
  • Step 5 (PC, PC) (PC, PC)
  • each pair in each step does not include the same PC. Also, each step should not include the same pair of PC combinations.
  • step 1 PC and PC, PC and PC
  • the PC is responsible for the partial data X (1) assigned to the PC, and the PC is assigned the partial data X (0) assigned to the PC.
  • step 2 the PC and the PC, and the PC and the PC are connected via the switching hub [2].
  • the PC is responsible for the partial data X (2) assigned to the PC, and the PC is assigned the partial data X (0) assigned to the PC.
  • the data is transferred to each other, and the PC transfers the partial data X (4) assigned to the PC, and the PC
  • Step 3 the PC and the PC, and the PC and the PC are connected via the switching hub [2].
  • PC Is the partial data X (3) assigned to the PC
  • the PC is the partial data X (0) assigned to the PC
  • step 5 PC and PC, PC and PC
  • X (2), X (2), X (2), X (2), X (2) are arranged, and on the PC, X (3), X (3), X (3), X (3)
  • X (3) and X (3) are arranged on the PC, and X (4) X (4), X (4), X (4) and X (4) are arranged on the PC.
  • each pair in each step does not include the same PC, and each step has Is the number of steps required to complete the data placement under the condition that no pairs of the same PC combination are included. Is divided by the number of pairs that can be combined in a single step.
  • the number of steps required to complete the data arrangement is n—1 and if n is an odd number,
  • partial data X (m) which is the unit data amount of i i, can be divided into n or more is described. Since there is basically no difference between the PC and the network configuration, here, the method of dividing and transferring each data X will be described.
  • each data X can be divided into n or more partial data.
  • each data X is, for example, X is a partial data X i 0 0 each of which is q [bit].
  • Data can be divided into n or more, such as X (0), X (1), X (2), ..., and the same for other X
  • 1 1 1 i can be divided into n or more partial data X (0), X (1), X (2),.
  • the partial data obtained by dividing the PC data X is X (m) (m is an integer of 0 or more)
  • m can be an integer of n ⁇ 1 or more.
  • the data amount of X (m) is q [bit] for m of the difference in the distance.
  • “dividable” in the present invention refers to the case where continuous data X is divided into partial data X (m) and It is assumed that X is a set of partial data X (m).
  • the data amount of each partial data X (m) does not have to be approximately the same. However, it is generally preferred that they be approximately the same. For example, the data amount of each partial data X (m) is set to be approximately the same as the data transfer amount that can be transferred per unit time of the cable [3].
  • each PC the partial data divided as described above is divided into blocks without duplication for each of n consecutive partial data.
  • the ith block consists of partial data X (0), ⁇ (1), ..., ⁇ ( ⁇ -2), ⁇ ( ⁇ -1)
  • the first block is defined as partial data X ( ⁇ ), X ( ⁇ + 1), ..., X (2 ⁇ _2), X (2 ⁇ _1)
  • the ⁇ -th block ( ⁇ can be an integer greater than or equal to 0) is composed of partial data X ( ⁇ ) ⁇ ), X ( ⁇ + 1),. , X ( ⁇ a + ⁇ — 2), X ( ⁇ a + ⁇ — 1)
  • the 0th block is composed of partial data X (0), X (1), ..., X (n-2), X (niiiii-1 1), The first block is divided into partial data X ( ⁇ ), ⁇ ( ⁇ + 1), " ⁇ , ⁇ (2 ⁇ iii
  • the ⁇ -th block is composed of partial data ⁇ ⁇ ⁇ X ⁇ ), X ( ⁇ ⁇ +1), ..., X ( ⁇ a + ⁇ _2), X ( ⁇ a + ⁇ _1) force iii
  • the above block division is not indispensable, and it is sufficient to divide the block without duplication for every continuous n partial data.
  • the 0th block is X (0), X (1) ii
  • the first block is X (2) X (n + 1)
  • the second block is X (n + 2) — X (2n iiii
  • the number of partial data of the 0th block is two, not n or more.
  • the PC's Is the partial data X ( ⁇ ⁇ ), X ( ⁇ ⁇ +1), ⁇ , X (nX a + n— 2), X (nX a + n— 1 iiii
  • the final block may not always have n partial data.
  • the method of data arrangement in such a case will be described later in ⁇ When the number of partial data is less than n>.
  • Each PC is in charge of the cross-correlation calculation of the partial data of each block divided as described above.
  • the PC calculates the partial data X (0), X (
  • the PC uses the 0th block for each block.
  • the PC that is the k-th PC is (k + nX k i
  • (C) is responsible for the cross-correlation operation of the (x) th partial data X (k + nX ⁇ ), and this partial data X (k + nX ⁇ ) is included in the ⁇ th block.
  • the (k + nXh) th part stored in the PC's external storage device [18] must be stored in the kth PC
  • the data X (k + kiin x ⁇ ) must be located (see Fig. 4).
  • each block since each block includes n pieces of continuous partial data, the method described in the case of n division may be applied to each block.
  • n_l data arrangement of X (n)-X (2n_l), data arrangement of X (2n) -X (3n-1)
  • the data arrangement is performed for each block. (Specific details are described in the case of n division for each block.)
  • the number of partial data of a certain block may be less than the number of pieces.
  • Step 1 (PC, PC) (PC, PC)
  • Step 2 (PC, PC) (PC, PC)
  • Step 3 (PC, PC) (PC, PC)
  • the first step is to pair (PC, PC) with the X (
  • step 3 pair (PC, PC), P
  • n or more partial data which is the unit data amount
  • VLBI observation is performed and data is connected.
  • the data already stored in the external storage device can be divided into partial data, and data can be allocated to each station on a block-by-block basis as needed.
  • the cross-correlation operation of the already collected data can be performed.
  • Equations 1 and 2 in the case of n stations, the theoretical number of steps required to complete data transfer is the required power. The problem is whether to combine them.
  • n 6
  • the following pair combination is considered.
  • Step 1 (PC, PC) (PC, PC) (PC, PC) (PC, PC)
  • Step 2 (PC, PC) (PC, PC) (PC, PC) (PC, PC)
  • Step 3 (PC, PC) (PC, PC) (PC, PC) (PC, PC)
  • each pair in each step does not include the same PC and each step does not include the same PC combination pair.
  • at least three steps are required, for example:
  • Step 4 (PC, PC) (PC, PC)
  • Step 5 (PC, PC) (PC, PC)
  • n points are equally spaced on the circumference (equivalent to creating a regular n-sided polygon), and each point is numbered from 0 to n-1 in a clockwise order, for example. Assign a number.
  • the n points on this circumference correspond to the PC.
  • finding the pair to be combined and the specific combination of PCs in the pair at each step of n times (this number is clear from Equation 2) is equally spaced on the circumference. All diagonals that can be drawn between the points struck are represented by one diagonal group force S.
  • One diagonal can be drawn from one point, and (n-1) two diagonals Is the same as separating into n groups of diagonals, conversely, conversely, do not draw multiple diagonals from each point from as many points as possible in one step Under these conditions, a diagonal line is drawn, and this operation is repeated n times. You just have to ask.
  • step 1 (above, the numbers of the steps are indicated by round numbers below, and for convenience of notation, they are indicated by simple numbers).
  • n At one point, draw a diameter line from point 0 through the center of the circle and make a pair at each of the two points symmetrical to that line.
  • This (n-1) / 2 pair power ⁇ pairs combined in step 1 and each pair is a specific combination of PCs in the pair.
  • the specific combination of the pair combined in step 1 and the PC in the pair is (pc, PC) (PC, PC) (PC, PC).
  • step 2 at n—1 points other than the point numbered 1, a diameter line passing through the center of the circle is drawn from the point 1 and each of the two points symmetrical to the line is drawn.
  • n—1 Z pairs are pairs to be combined in step 2, and each pair is a specific combination of PCs in the pair.
  • the specific combination of the pair combined in Step 2 and the PC in the pair is (PC, PC) (PC, PC) (PC, PC).
  • step R (R is a natural number)
  • step R At n-1 points other than those marked with, draw a diameter line passing through the center of the circle from point R-1 and make a pair at each of the two points symmetrical to that line.
  • step R At n-1 points other than those marked with, draw a diameter line passing through the center of the circle from point R-1 and make a pair at each of the two points symmetrical to that line.
  • (n-1) / 2 pairs are pairs to be combined in step R, and each pair is a specific combination of PCs in the pair.
  • drawing a diameter line passing through the center of the circle from point R—1 and creating a pair at each of two points symmetrical to that line can be performed at each of n points.
  • the number of loops is n.
  • n is an even number, it can be considered as a union of n ⁇ 1 PCs and one station PC.
  • n is an even number
  • n-1 which is, of course, an odd number
  • the partial data X (0), X (1), X (2), X (3), and X (4) are stored in the external storage device of the PC.
  • the minute data X (0), X (1), X (2), X (3), and X (4) are partially stored in the external storage device of the PC.
  • data transfer is performed in each of the following steps.
  • Step 4 pc ⁇ PC
  • i is a number indicating the station number of the PC and is an integer from 1 to 4. If the value of i + 1 etc. exceeds 4, the index is returned to the value 1 after subtracting 4.
  • the data arrangement method and apparatus of the present invention can be applied to each storage device of a computer of a plurality of stations even if the data amount is large, such as time-series data obtained by a radio telescope by VLBI observation.
  • the data to be subjected to the cross-correlation calculation stored in the computer is divided into partial data for each computer that is in charge of the cross-correlation calculation and is efficiently arranged. Enables distributed processing of cross-correlation calculations on a general-purpose computer.
  • the transfer time in each step does not depend on the number n of stations, and the total number of steps can be n or n-1 as shown in Equations 1 and 2.
  • the data is divided into n or more pieces of partial data, which is the unit data amount, and further divided into pieces.
  • n-one steps can be performed irrespective of the odd or even number of n, and the processing time for data arrangement can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Small-Scale Networks (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)

Description

明 細 書
データ配置方法及び装置
技術分野
[0001] 本発明は、複数の計算機の記憶装置に格納されたデータを、演算処理を担当する 計算機に配置させる方法と、その方法を実施する装置に関する。とくに、データが、 相互相関演算の対象となるものである。
^景技術
[0002] 現在、 VLBI (Very Long Baseline Interferometry:超長基線電波干渉計) などの電波干渉計の観測解析、通信分野における信号解析、地震波の解析、心電 図 '筋電図'脳波等の解析、気象データの解析、構造物の振動解析など広く様々な 分野で相互相関演算が計算機によって処理されている。
[0003] 相互相関演算を処理する計算機は、一般的には、コンピュータである。
相互相関演算の対象となるデータ量が比較的小規模であるならば、近年の汎用コ ンピュータの高性能化に伴レ、、汎用コンピュータを用いて相互相関演算を処理する ことが可能である。
[0004] ここで、汎用コンピュータとは、明確な定義は無いものの、一般的には、バッチ処理 、リアルタイム処理、オンライン処理など様々な処理をプログラムによって実行可能に 設計されているコンピュータと解されている。別の観点力、ら説述すれば、演算装置と 主記憶装置が協働可能に接続され、所定の手順によって演算が処理されるような制 御回路を備えたコンピュータとレ、つてもょレ、。
例えば、いわゆるパーソナルコンピュータは、汎用コンピュータである。
[0005] 一方、汎用コンピュータに対するのが専用コンピュータであり、同じく明確な定義は 無いものの、一般的には、例えば画像処理や相互相関演算処理など特定の処理を 効率的に行えるように設計されているコンピュータのことである。別の観点から説述す れば、例えば、演算処理の所定の手順の一部を演算装置というハードウェアで直接 実行するコンピュータといってもよい。
[0006] 相互相関演算の対象となるデータ量が比較的大規模の場合には、汎用コンビユー タによって相互相関演算を処理するには負担が大きぐ例えば実行速度が極端に遅 くなるなどの問題が生じうる。そこで、このような場合には、専用コンピュータによって 相互相関演算処理をさせることが一般的である。
[0007] ここで、 VLBIを例に具体的に説述することにする。
VLBIでは、複数の VLBI局の電波望遠鏡によって、電波源である天体からの電波 を受信'記録する。共通の電波源である天体からの電波(アナログ信号)を、原子周 波数標準器を用いてデジタル信号に変換して磁気テープに記録するのである。そし て、この磁気テープを相関器の所在地に搬送し、各磁気テープに記録されたデジタ ル信号を同期再生させ、相関器によって、同期再生されたデジタル信号間の相関関 数を計算するのである。また、必ずしも磁気テープを相関器の所在地に搬送しなけ ればならないものではなぐ近年、ネットワーク媒体であるケーブルの単位時間当たり のデータ転送量の増大などに伴い、デジタル信号に変換された観測データを、直接 相関器に転送することが行われている。即ち、各 VLBI局において、デジタル信号に 変換された観測データを磁気テープに記録することなくこの観測データを通信装置 に送り、ケーブルを介して直接相関器に転送するのである。このようにして、およそ実 時間の相互相関演算処理が実現されている。
なお、ここで説述したのは、 VLBIの概要であって本発明と関連のある部分であり、 実際はこのような単純なものではない。
[0008] この相関器が既述の専用コンピュータに相当するものである。 VLBIの観測によつ て記録可能なデジタル信号のデータ量は、 1秒当たりギガビット単位のデータ量に達 するため、このような大規模のデータ量を単独の汎用コンピュータで相互相関演算処 理するには負担が大きく、専用コンピュータである相関器を用レ、て処理するのである
[0009] このように、専用コンピュータを用レ、て相互相関演算を行うことは現在一般的である ものの、専用コンピュータの開発には、多大な労力とコストがかかる。
[0010] そこで、近年の汎用コンピュータの高性能化に着眼し、複数の汎用コンピュータに 相互相関演算を分散処理させることで、専用コンピュータに比肩するほどの相互相 関演算処理を実現することが考えられる。なぜなら、 1台の汎用コンピュータで大規 模なデータ量の相互相関演算処理をさせようとすると、既述のとおり、実行速度が極 端に遅くなる、データの記憶装置から読み込みがバスを圧迫して破綻するなどの大き な問題を生じるからである。
[0011] ところで、複数の汎用コンピュータに相互相関演算を分散処理させるにあたっては
、データ量が大規模であればあるほど、相互相関演算の対象となるデータを、いかに して複数の汎用コンピュータに配置するかが問題になる。
[0012] 無論、ある 1局の汎用コンピュータの記憶装置にデータが格納されているだけの場 合には、このデータを適宜他の汎用コンピュータに分配するだけなので格別の問題 は生じないが、複数局の汎用コンピュータの記憶装置にデータが格納されている場 合には効率的なデータの配置が求められるのである。 発明の開示
発明が解決しょうとする課題
[0013] そこで本発明は、上記の問題点に鑑み、複数局の計算機の記憶装置に格納される
、相互相関演算の対象となるデータを、効率的に複数局の計算機に配置する方法と 装置を提供することを課題とする。
課題を解決するための手段
[0014] 本発明のデータ配置方法は、上記課題の解決を図るため、次の手段を用いる。
即ち、 n局(nは 2以上の自然数)の計算機 PC、 PC、 PC、 · · ·、 PC 、 PC (iを 0
0 1 2 n-2 n-1 力 n— 1までの整数を取りうるものとして PCと表記する。)が、ネットワーク媒体によつ て、スイッチング機能を有する集線装置または通信ネットワークに接続されるネットヮ ーク構成において、各計算機 PC、 PC、 PC、■·■、 PC 、 PC は、相互相関演算の
0 1 2 n-2 n-1
対象となるデータ X、Χ、Χ、 · · ·、Χ 、X (iは 0から η_1までの整数を取りうるものと
0 1 2 n-2 n-1
して Xと表記する。)が格納される記憶装置を備え、各計算機 PCにおける上記デー タ Xは、部分データ X (0)、 X ( 1 )、 X (2)、■·■、 X (n-2)、 X (n-1 ) (jを 0から n_lま i i i i i i
での整数を取りうるものとして X (j)と表記する。 )に n分割可能であり、 k番目(kは 0か
I
ら n-1までの整数を取りうる。)の計算機 PCは、各計算機 PCにおける k番目の部分
k i
データ x (k)の相互相関演算を担当するものであって、さらに、上記集線装置または
I
通信ネットワークを介してデータ転送可能に接続された計算機 2局ずつの各ペアに おいて、接続された 2局の計算機の間で相互に、接続された相手方計算機に対して 、該計算機の担当する部分データを転送するステップを繰り返すデータ配置方法と するのである。
[0015] そして、上記ステップを、 nが偶数の場合には n— 1回、 nが奇数の場合には n回繰り 返すとともに、各ステップにおいて、上記各ペアに同一の計算機を重複することなぐ 且つ、全てのステップをとおして同一のペアを重複することなく割り当てるものとしても よい。このようにすることによって、最も効率の良いデータの転送が可能になる。
[0016] また、集線装置に全二重通信可能なものを用いることによって、 n局 (nは 2以上の 自然数)の計算機 PC (iは 0から n_lまでの整数を取りうる。)が、ネットワーク媒体によ つて、全二重通信可能なスイッチング機能を有する集線装置または通信ネットワーク に接続されるネットワーク構成において、 各計算機 PCは、相互相関演算の対象と なるデータ X (iは 0から n-1までの整数を取りうる。)が格納される記憶装置を備え、 各計算機 PCにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数 を取りうる。)に n分割可能であり、 k番目(kは 0から n-1までの整数を取りうる。)の計 算機 PCは、各計算機 PCにおける k番目の部分データ X (k)の相互相関演算を担 当するものであって、さらに、上記集線装置または通信ネットワークを介してデータ転 送可能に接続された計算機において、データを送る側の計算機とデータを受ける側 の計算機の間で、該計算機の担当する部分データを転送するステップを繰り返すに あたり、各ステップにおいて、データ送り側計算機からデータ受け側計算機への対応 に同一の計算機を重複することなぐ且つ、全てのステップをとおして同一の対応を 重複することなく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n 一 1回繰り返して、全ての計算機 で同時にデータ交換を行レ、、 nの奇偶に関わら ずデータ転送効率を向上させてもよい。
[0017] あるいは、 n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りう る。)が、ネットワーク媒体によって、スイッチング機能を有する集線装置または通信ネ ットワークに接続されるネットワーク構成において、各計算機 PCは、相互相関演算の 対象となるデータ X (iは 0から n-1までの整数を取りうる。)が格納される記憶装置を 備え、各計算機 PCにおける上記データ Xは、単位データ量である部分データ X (m ) (mは 0以上の整数を取りうる。)に n個以上分割可能であり、かつ、連続する n個の 部分データごとに重複することなくブロック区分可能であって、 k番目(kは 0から n— 1 までの整数を取りうる。)の計算機 PCは、各計算機 PCにおける各ブロックの k番目 の部分データの相互相関演算を担当するものであって、さらに、上記ブロックごとに、 上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で相互に、接続された相 手方計算機に対して、該計算機の担当する部分データを転送するステップを繰り返 すデータ配置方法とするのである。
[0018] また、上記ひ番目(ひは 0以上の整数を取りうる。)のブロックには、 n X ひ番目力 ( n X a + n— 1 )番目までの部分データを含み、 k番目の計算機 PCは、各計算機 PC における(k +n X ひ)番目の部分データ X (k+ n X ひ)の相互相関演算を担当する ものとしてもよレ、。このようにすることによって、例えば、データが、実験等の観測によ つて収集される時系列データである場合に、データ収集を行いながら、一方で時間 進行に伴って収集された時系列データをブロックごとに順次データ配置を行って、相 互相関演算処理を行うことが可能になる。
[0019] 上記ブロックごとに、上記ステップを、 nが偶数の場合には n— 1回、 nが奇数の場合 には n回繰り返すとともに、各ステップにおいて、上記各ペアに同一の計算機を重複 することなぐ且つ、全てのステップをとおして同一のペアを重複することなく割り当て ることを繰り返すようにしてもよい。このようにすることによって、最も効率の良いデータ の転送が可能になる。
[0020] またさらに、集線装置に全二重通信可能なものを用いることによって、 n局 (nは 2以 上の自然数)の計算機 PC (iは 0から n-1までの整数を取りうる。)が、ネットヮ ーク媒体によって、全二重通信可能なスイッチング機能を有する集線装置または通 信ネットワークに接続されるネットワーク構成において、各計算機 PCは、相互相関演 算の対象となるデータ X (iは 0から n-1までの整数を取りうる。)が格納される記憶装 置を備え、各計算機 PCにおける上記データ Xは、単位データ量である部分データ X
(m) (mは 0以上の整数を取りうる。 )に n個以上分割可能であり、かつ、連続する n個 の部分データごとに重複することなくブロック区分可能であり、 k番目(kは 0から n— 1 までの整数を取りうる。)の計算機 PCは、各計算機 PCにおける各ブロックの k番目 の部分データの相互相関演算を担当するものであって、さらに、上記ブロックごとに、 上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算機 において、データを送る側の計算機とデータを受ける側の計算機の間で、該計算機 の担当する部分データを転送するステップを繰り返すにあたり、各ステップにおいて 、データ送り側計算機からデータ受け側計算機への対応に同一の計算機を重複す ることなく、且つ、全てのステップをとおして同一の対応を重複することなく割り当てる とともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回繰り返して、全ての計 算機 PCで同時にデータ交換を行って、 nの奇偶に関わらず、データ転送効率を向 上させてもよい。
[0021] とくに、計算機を汎用計算機とすることで、高価な専用計算機を用いることなぐ専 用計算機を用いた場合に比肩するほどの相互相関演算処理を実現することが可能と なる。
[0022] ネットワーク媒体を全二重通信可能なものとすることで、データ転送可能に接続され た 2局の計算機の間で相互に、データ転送をおよそ同時に行えるので、データ配置 を完了する時間を短縮できる。
[0023] また、上記データが、電波望遠鏡による観測によって得られる時系列データである 場合には、上記例に挙げた VLBIの場合のように、単位時間当たりのデータ量が膨 大であるので、本発明の方法によるデータ配置方法を適用することで、各局への効 率的なデータ配置による相互相関演算の分散処理が可能になる。
[0024] 本発明のデータ配置装置は、 n局 (nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。)が、ネットワーク媒体によって、スイッチング機能を有する集 線装置または通信ネットワークに接続されるネットワーク構成において、各計算機 PC は、相互相関演算の対象となるデータ X (iは 0から n— 1までの整数を取りうる。)が格 納される記憶装置を少なくとも備え、各計算機 PCにおける上記データ Xは、部分デ ータ X (j) (jは 0から n_lまでの整数を取りうる。)に n分割可能であり、 k番目(kは 0力、 ら n-1までの整数を取りうる。)の計算機 PCは、各計算機 PCにおける k番目の部分 データ x (k)の相互相関演算を担当するものであって、さらに、上記集線装置または 通信ネットワークを介してデータ転送可能に接続された計算機 2局ずつの各ペアに おいて、接続された 2局の計算機の間で相互に、接続された相手方計算機に対して 、該計算機の担当する部分データを転送するステップを繰り返すデータ転送手段を 備えることを特徴とする。
[0025] あるいは、 n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取 りうる。)が、ネットワーク媒体によって、スイッチング機能を有する集線装置または通 信ネットワークに接続されるネットワーク構成において、各計算機 PCは、相互相関演 算の対象となるデータ X (iは 0から n-1までの整数を取りうる。)が格納される記憶装 置を少なくとも備え、各計算機 PCにおける上記データ Xは、単位データ量である部 分データ X (m) (mは 0以上の整数を取りうる。 )に n個以上分割可能であり、かつ、連 続する n個の部分データごとに重複することなくブロック区分可能であり、 k番目(kは 0から n-1までの整数を取りうる。)の計算機 PCは、各計算機 PCにおける各ブロック の k番目の部分データの相互相関演算を担当するものであって、さらに
、上記ブロックごとに、 上記集線装置または通信ネットワークを介してデータ転送可 能に接続された計算機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で 相互に、接続された相手方計算機に対して、該計算機の担当する部分データを転送 するステップを繰り返すデータ転送手段を備えることを特徴としてもよい。
[0026] また、全二重通信可能な集線装置を用いることによって、 n局 (nは 2以上の自然数) の計算機 PC (iは 0から n— 1までの整数を取りうる。)が、ネットワーク媒体によって、全 二重通信可能なスイッチング機能を有する集線装置または通信ネットワークに接続さ れるネットワーク構成において、各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n - 1までの整数を取りうる。)が格納される記憶装置を備え、各計算機 P Cにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数を取りうる。 ) に n分割可能であり、 k番目(kは 0から n-1までの整数を取りうる。 )の計算機 PCは
、各計算機 PCにおける k番目の部分データ X (k)の相互相関演算を担当するもので あって、さらに、上記集線装置または通信ネットワークを介してデータ転送可能に接 続された計算機において、データを送る側の計算機とデータを受ける側の計算機の 間で、該計算機の担当する部分データを転送するステップを繰り返すにあたり、各ス テツプにおいて、データ送り側計算機からデータ受け側計算機への対応に同一の計 算機を重複することなぐ且つ、全てのステップをとおして同一の対応を重複すること なく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回繰り返 すデータ転送手段を備えることを特徴としてもょレヽ。
[0027] 同様に、全二重通信可能な集線装置を用いることによって、 n局 (nは 2以上の自然 数)の計算機 PC (iは 0から n_lまでの整数を取りうる。)が、ネットワーク媒体によって 、全二重通信可能なスイッチング機能を有する集線装置または通信ネットワークに接 続されるネットワーク構成において、各計算機 PCは、相互相関演算の対象となるデ ータ X (iは 0から n— 1までの整数を取りうる。)が格納される記憶装置を備え、各計算 機 PCにおける上記データ X;は、単位データ量である部分データ X (m) (mは 0以上 の整数を取りうる。 )に n個以上分割可能であり、かつ、連続する n個の部分データご とに重複することなくブロック区分可能であり、 k番目(kは 0から n— 1までの整数を取り うる。)の計算機 PCは、各計算機 PCにおける各ブロックの k番目の部分データの相 互相関演算を担当するものであって、さらに、上記ブロックごとに、上記集線装置また は通信ネットワークを介してデータ転送可能に接続された計算機において、データを 送る側の計算機とデータを受ける側の計算機の間で、該計算機の担当する部分デ ータを転送するステップを繰り返すにあたり、各ステップにおいて、データ送り側計算 機からデータ受け側計算機への対応に同一の計算機を重複することなぐ且つ、全 てのステップをとおして同一の対応を重複することなく割り当てるとともに、該ステップ を、 nが偶数奇数いずれの場合にも n— 1回繰り返すデータ転送手段を備えることを特 徴としてもよい。
[0028] ネットワーク媒体を全二重通信可能なもので構成して、処理時間の短縮に寄与させ てもよい。
発明の効果
[0029] 本発明のデータ配置方法及び装置は、例えば、 VLBI観測によって電波望遠鏡で 得られる時系列データのようにデータ量が大規模な場合であっても、複数局の計算 機の各記憶装置に格納された相互相関演算の対象となるデータを、相互相関演算 を担当する計算機ごとに部分データに分割して効率的に配置するので、コストの大き い専用コンピュータを利用せずに、安価な汎用コンピュータでの相互相関演算の分 散処理を可能にする。また、このデータ配置方法及び装置は、各ステップにおける転 送時間が局数 nに依存せず、さらに、総ステップ数は数 1、数 2に示したとおり、 n回ま たは n— 1回で済む。
[0030] また、データを、単位データ量である部分データに n個以上分割し、さらに連続する n個の部分データごとに重複することなくブロック区分して、ブロックごとにデータ配置 を行うことで、データ収集を行いながら、既に収集されたデータの各局への配置が可 能になり、データ収集におよそ並行して、既に収集されたデータの相互相関演算が できることになる。
[0031] とくに、ネットワーク媒体または集線装置を全二重通信可能なもので構成することで 、データ配置の処理時間を短縮できる。
図面の簡単な説明
[0032] [図 1]本発明におけるネットワーク構成の一例を示す説明図
[図 2]PCの装置構成例を示す説明図
[図 3]n分割の場合に、本発明によるデータ配置の前後の、各 PCの外部記憶装置に 格納される部分データの配置状況を示す説明図
[図 4]n分割以上の場合に、本発明によるデータ配置の前後の、各 PCの外部記憶装 置に格納される部分データの配置状況を示す説明図
[図 5]PCの局数が奇数の場合に、全二重通信可能な集線装置を用いて、データ交換 を行う処理ステップを示す説明図
符号の説明
[0033] 1 PC
2 スイッチングハブ
3 ケープノレ
発明を実施するための最良の形態
[0034] 本発明の実施形態を図面に基づいて説明するが、以下の具体例は本発明を限定 するものではない。実施形態は、本発明の趣旨から逸脱しない限り適宜変更可能な ものである。 [0035] 図 1に、本発明におけるネットワーク構成の一例を示す図を、図 2に、 PCの装置構 成例を示す図を、図 3に、 n分割の場合に、本発明によるデータ配置の前後の、各!3 Cの外部記憶装置に格納される部分データの配置状況を示す図を、図 4に、 n分割 以上の場合に、本発明によるデータ配置の前後の、各 PCの外部記憶装置に格納さ れる部分データの配置状況を示す図を示す。
[0036] 本実施形態例においては、計算機は汎用コンピュータ、例えばいわゆるパーソナ ルコンピュータ(personal computer:以下、 PCと表記する。)とする。なお、本発明 の方法においては、必ずしも計算機は汎用コンピュータでなければならないものでは なぐ専用コンピュータなどであってもよい。
[0037] 本実施形態例では、 PC〔1〕は、 n局あるものとする。ここで、 nは 2以上の自然数で ある。即ち、 PCは複数局ある。各 PCを識別するために、添字を用いて、各 PCを、 P C、 PC、 PC、 ·■·、 PC 、 PC と表記する。なお、 0力 n_lの整数を取りうる添字 i
0 1 2 n- 2 n- 1
を用いて PCと表記しても特段の断りが無い限り同じことを意味するものとする。また、
i
図 1では符号の煩雑を避けるため、符号による識別はしていない。
[0038] 各 PCは、その装置構成 ·性能において、およそ同じにしなければならないものでは ない。し力 ながら、各 PCは相互相関演算を行うので、相応の演算性能を有すること が好ましい。
[0039] 各 PCは、スイッチング機能を有する集線装置であるスイッチングハブ〔2〕に、ネット ワーク媒体であるケーブル〔3〕を介して接続される(図 1参照)。図 1では、 n= 6、即ち 、 PC〔1〕が 6局の場合を例示している。
[0040] ケーブル〔3〕は、受信と送信を同時に行うことで実質的に 2倍の通信速度を実現す る全二重通信が可能なものとする。全二重通信可能なケーブルは、このケーブルに よってデータ転送可能に接続された 2局の PC間でデータを相互に転送するのに好 適である。全二重通信が可能なケーブルとしては、例えばイーサネット(Ethernet : 登録商標)のツイストペアケーブルが挙げられる。また、その他にも例えば光ファイバ であってもよい。ケーブル〔3〕の通信速度は高速であるほど好ましい。例えば既述の VLBIでは、 1秒あたりギガビット単位のデータ量となるので、できるだけ短時間にデ ータ転送を実現するためには、高速の通信速度が求められるからである。上述のィ ーサネット(登録商標)では、 lGbps (Gbit/sec:ギガビット毎秒)の通信速度を実現 するギガビット'イーサネット(登録商標)が挙げられる。
[0041] なお、ケーブル〔3〕は、全二重通信が可能なものであることに限定されるものではな ぐ受信と送信を各別に実現する半二重通信可能なものでもよい。半二重通信可能 なケーブルを用いる場合には、半二重通信可能なケーブルによってデータ転送可能 に接続された 2局の PC、例えば PCと PCとの間でデータを相互に転送する場合、ま ず、例えば PC力ら PCへ、次いで、 PC力ら PCへとデータを転送すればよい。 し力 ながら、全二重通信可能なケーブルの場合には、 PC力 PCへのデータ転 送と、 PC力 PCへのデータ転送がおよそ同時に行えるため、半二重通信可能なケ 一ブルを用いた場合に比して、相互の PCでデータ転送を終了する時間がおよそ半 分で済むという大きな利点がある。
[0042] スイッチングハブ〔2〕は、スイッチング機能を有するハブである。ハブに設けられた ポートに接続されたイーサネット(登録商標)デバイスの物理アドレスを記憶し、通信 に必要とされるポート同士を直結してデータ転送を行う。従って、複数の PC間で通信 を行う場合でも、データのコリジョンを回避できる。
[0043] スイッチングハブ〔2〕に n局の PCがケーブル〔3〕を介して接続することでネットヮー クを構成する力 このネットワークの形態(トポロジー)は、いわゆるスター型である。 n 局の PCを各セグメントとみれば、スイッチングハブ〔2〕は、セグメントの中継装置なの で、マルチポート'リピータといえる。
[0044] 以上においては、複数の PCがケーブル〔3〕を介して、スイッチングハブ〔2〕にスタ 一型に接続する形態を説述したが、他の実施形態としては、複数の PCが通信ネット ワーク、例えばインターネットに接続する構成でもよい。この場合には、後述のように 複数の PC間でデータの転送を相互に行うので、データのコリジョンを防止するため に、複数の PC間でデータ転送をする際に、途中の通信回線の全部または一部を共 有することは避けなければならない。また、比較的大規模なデータ量を転送する場合 には、通信回線における帯域に相当の余裕があることが好ましレ、。
[0045] また、既存のインターネットなどの通信ネットワークを利用する場合には、回線の通 信速度が異なるものが種々混在してレ、るのが通常である力 できるだけ通信速度の 速い回線を利用するのが好ましい。
[0046] 各 は、記憶装置を備える。記憶装置は、一般的にハードディスクと称される外部 記憶装置〔18〕でよい。この外部記憶装置〔18〕には、相互相関演算の対象となるデ ータ〔20〕が格納される。 PCの外部記憶装置〔18〕に格納されるデータ〔20〕を X、 P
0 0
Cの外部記憶装置〔18〕に格納されるデータ〔20〕を X、その他の PCについても同
1 1
様で、 PCの外部記憶装置〔18〕に格納されるデータ〔20〕を Xと表記することにする
[0047] また、各 PCは、演算装置〔12〕、主記憶装置〔16〕及びケーブル〔3〕と接続して外 部記憶装置〔18〕に格納されるデータ〔20〕を他の PCへと転送することのできる伝送 部〔11〕などを備える。演算装置〔12〕には、外部記憶装置〔18〕に格納されたデータ 〔20〕の制御などを行うデータ制御部〔15〕、相互相関演算を処理する演算部〔14〕、 伝送部〔11〕を制御する伝送制御部〔13〕などが備わる(図 2参照)。図示はしていな いが、外部記憶装置〔18〕に、他の PCとのデータ転送の順番などを制御するプログ ラムを格納し、この順番に従って、後述のデータ転送が行われるようにしてもよレ、。ま た、外部記憶装置〔18〕に格納されるデータ〔20〕は、演算装置〔12〕のデータ制御部 〔15〕の制御の下、伝送部〔11〕を介して、他の PCへと転送され得る。
[0048] 各データ Xは、 n分割可能である。即ち、 Xは、部分データ X (0)、 X (1)、 X (2)、
i 0 0 0 0
•· 、Χ (η-2)、Χ (η-1)の η個に分割でき、 Xは、部分データ X (0)、 X (1)、 X (2)
0 0 1 1 1 1
、 · · ·、 X (η— 2)、 X (η— 1)の η個に分割でき、その他の Xについても同様で、部分デ
1 1 i
ータ X (0)、 X (1)、 X (2)、 · · ·、 X (n-2)、 X (n— 1)の n個に分割できるものとする。こ のように、 PCの外部記憶装置〔18〕に格納されるデータ Xの n分割された部分データ を X (j)と表記することにする。ここで、 jは 0から n_lまでの整数を取りうるものとする。
[0049] なお、ここで「分割可能」なる表現を用いているが、本発明における「分割可能」とは 、連続したデータ Xを部分データ X (j)に分割する場合を含むことは上述のとおりであ
i
つて、さらに、データ Xが部分データ X (j)の集合体である場合も含むものとする。
[0050] 具体的に VLBIにおいて得られる時系列データを例にとると、電波望遠鏡によって 得られるアナログ信号のデータは、適宜、原子周波数標準器によってデジタル信号 に変換されて、 PCの外部記憶装置に格納される。勿論、既述したとおりであるが、実 際の VLBIのデータサンプリングはこのような単純なものではなぐここでは、本発明 の関連を有する概要を示すにすぎない。この外部記憶装置に格納された時系列デ ータは、例えば 4秒間のデータが一括して格納されるものでもよいし、 1秒間ごとに区 切って 4秒間分のデータが格納されるものでもよい。そして、電波望遠鏡が 4局、即ち PC力 局とすると、前者の場合には、 4秒分のデータを、 0秒から 1秒まで、 1秒から 2 秒まで、 2秒から 3秒まで、 3秒から 4秒までの 4つの部分データに分割すればよい。 一方後者の場合には、 1秒間ごとの 4つの部分データ力 4秒間のデータが構成され ているので、そもそも分割されているといえるのである力 このような場合であっても、 概念的には 4秒間のデータが各 1秒間の部分データに分割されたものといえるので、 このような場合も「分割可能」という表現に含めるのである。
[0051] データの分割方法は、従来公知の方法でよぐ例えばアプリケーションソフトウェア を用いて分割するものであってよレ、。
[0052] 各部分データ X (j)は、そのデータ量はおよそ同じにしなければならないものではな レ、。しかし、一般的には、およそ同じとするのが好適である。つまり、データ Xをお よそ n等分割するのである。本実施例においても、特段の断りが無い限り、およそ n等 分割したものとする。
[0053] 各 PCは、上記のように分割された部分データの相互相関演算を担当する。具体的 には、 PCは、 PCの 0番目の部分データ X (0)、 PCの 0番目の部分データ X (0)、
0 0 0 1 1
PCの 0番目の部分データ X (0)、…、 PC の 0番目の部分データ X (0)、 PC の
2 2 n-2 n-2 n - 1
0番目の部分データ X (0)の各部分データの相互相関演算を担当するのである。
n-1
つまり、 PCは、 PCの 0番目の部分データ X (0)の相互相関演算を担当するのであ
0 i i
る。
[0054] 同様にして、 PCは、 PCの 1番目の部分データ X (1)、 PCの 1番目の部分データ
1 0 0 1
X (1)、 PCの 1番目の部分データ X (1)、 ·■·、 PC の 1番目の部分データ X (1)、
1 2 2 n-2 n-2
PC の 1番目の部分データ X (1)の各部分データの相互相関演算を担当するの
11 - 1 n-1
である。つまり、 PCの 1番目の部分データ X (l)の相互相関演算を担当するのである
[0055] 二のことは、各 PCについて妥当し、 0から n— 1までの整数を取りうる kを用いると、 k 番目の PCは、 PCの k番目の部分データ X (k)、 PCの k番目の部分データ X (k)、 k 0 0 1 1
PCの k番目の部分データ X (k)、…、 PC の k番目の部分データ X (k)、 PC の
2 2 n-2 n-2 n - 1 k番目の部分データ X (k)の各部分データの相互相関演算を担当するのである。
n-1
つまり、 k番目の PCは、 PCの外部記憶装置〔18〕に格納される k番目の部分データ k i
X (k)の相互相関演算を担当するのである。
[0056] このように、 k番目の PCで、各 PCの外部記憶装置〔18〕に格納される k番目の部 k i
分データ X (k)の相互相関演算を行えるようにするには、 k番目の PCに、 PCの外部 i k i 記憶装置〔18〕に格納される k番目の部分データ X (k)を配置しなければならなレ、(図
I
3参照)。
[0057] この配置方法を以下に説述する。
各 PCを、スイッチングハブ〔2〕を介して、 2局ずつのペアで、データ転送可能に接 続する。そして、各ペアにおいて、相互の PCは、相手方 PCが担当する部分データを 転送する。このとき、ケーブル〔3〕は、全二重通信可能なので、相互のデータ転送を 同時に行える。また、各ペアのデータ転送もスイッチングハブ〔2〕を介することで同時 に行える。そして、このステップを、各ペアにおける 2局の PCの組み合わせを変えて 繰り返すことで、配置が完了する。
[0058] ここで、 PCが 4局の場合と 5局の場合で、具体的に説明する。
まず、 PCが 4局、即ち n=4の場合力も説明する。
4局の PC、 PC、 PC、 PCにおいて、各 PCの外部記憶装置〔18〕には、データが
0 1 2 3
格納され 4つの部分データに分割される。即ち、 PCの外部記憶装置には、部分デ
0
ータ X (0)、 X (1)、 X (2)、 X (3)が、 PCの外部記憶装置には、部分データ X (0)
0 0 0 0 1 1
、 X (1)、 X (2)、 X (3)が、 PCの外部記憶装置には、部分データ X (0)、 X (1)、 X
1 1 1 2 2 2
(2)、 X (3)が、 PCの外部記憶装置には、部分データ X (0)、 X (1)、 X (2)、 X (3
2 2 3 3 3 3 3
)が格納されている。
[0059] そして、次のステップの各ペアでデータ転送を行う。ペアは、括弧で表記するものと する。
ステップ 1: (PC、 PC ) (PC、 PC )
0 1 2 3
ステップ 2 : (PC、 PC ) (PC、 PC )
0 3 1 2 ステップ 3 : (PC、 PC ) (PC、 PC )
0 2 1 3
必ずこの順番によるものではなぐ適宜入れ替えても良い。
[0060] ここで、各ステップにおける各ペアには、同じ PCが含まれないようにするのが良い。
また、各ステップには、同じ PCの組み合わせのペアが含まれないようにするのが良い 。つまり、できるだけ 1回のステップで同時にデータ転送できるペアの組み合わせを 多くし、かつ、ステップの回数をできるだけ少なくなるようにするのである。
[0061] まず、ステップ 1では、 PCと PC、 PCと PCとをスイッチングハブ〔2〕を介して接続
0 1 2 3
することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PCは、
0 1 2 3 0
PCが担当する部分データ X (1)を、 PCは、 PCが担当する部分データ X (0)を相
1 0 1 0 1 互にデータ転送し、 PCは、 PCが担当する部分データ X (3)を、 PCは、 PCが担
2 3 2 3 2 当する部分データ X (2)を相互にデータ転送する。
3
[0062] 次に、ステップ 2では、 PCと PC、 PCと PCとをスイッチングハブ〔2〕を介して接続
0 3 1 2
することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PCは、
0 3 1 2 0
PCが担当する部分データ X (3)を、 PCは、 PCが担当する部分データ X (0)を相
3 0 3 0 3 互にデータ転送し、 PCは、 PCが担当する部分データ X (2)を、 PCは、 PCが担
1 2 1 2 1 当する部分データ X (1)を相互にデータ転送する。
2
[0063] 次いで、ステップ 3では、 PCと PC、 PCと PCとをスイッチングハブ〔2〕を介して接
0 2 1 3
続することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PC
0 2 1 3 0 は、 PCが担当する部分データ X (2)を、 PCは、 PCが担当する部分データ X (0)
2 0 2 0 2 を相互にデータ転送し、 PCは、 PCが担当する部分データ X (3)を、 PCは、 PCが
1 3 1 3 1 担当する部分データ X (1)を相互にデータ転送する。
3
[0064] これらのステップが終了すると、 PCには、 X (0)、 X (0)、 X (0)、 X (0)が配置さ
0 0 1 2 3
れ、 PCには、 X (1)、 X (1)、 X (1)、 X (1)が配置され、 PCには、 X (2)、 X (2)、
1 0 1 2 3 2 0 1
X (2)、 X (2)が配置され、 PCには、 X (3)、 X (3)、 X (3)、 X (3)が配置されたこ
2 3 3 0 1 2 3
とになる。なお、データ転送は、一般的には、データをコピーして転送するので、各 P Cには、元の部分データ X (j)は残ったままである。
[0065] 次に、 PCが 5局、即ち n= 5の場合を説明する。
5局の PC、 PC、 PC、 PC、 PCにおいて、各 PCの外部記憶装置には、データが
0 1 2 3 4 格納され 5つの部分データに分割される。即ち、 PCの外部記憶装置には、部分デ
0
ータ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部分デー
0 0 0 0 0 1
タ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部分データ
1 1 1 1 1 2
X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部分データ X
2 2 2 2 2 3 3
(0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部分データ X (0
3 3 3 3 4 4
)、X (1)、X (2)、X (3)、X (4)が格納されている。
4 4 4 4
[0066] そして、次のステップの各ペアでデータ転送を行う。
ステップ 1: (PC、 PC ) (PC、 PC )
0 1 2 4
ステップ 2: (PC、 PC ) (PC、 PC )
0 2 3 4
ステップ 3: (PC、 PC ) (PC、 PC )
0 3 1 2
ステップ 4: (PC、 PC ) (PC、 PC )
0 4 1 3
ステップ 5: (PC、 PC ) (PC、 PC )
1 4 2 3
必ずこの順番によるものではなぐ適宜入れ替えても良い。
[0067] ここでも、各ステップにおける各ペアには、同じ PCが含まれないようにするのが良い 。また、各ステップには、同じ PCの組み合わせのペアが含まれないようにするのが良
[0068] まず、ステップ 1では、 PCと PC、 PCと PC
0 1 2 4
することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PCは、
0 1 2 4 0
PCが担当する部分データ X (1)を、 PCは、 PCが担当する部分データ X (0)を相
1 0 1 0 1 互にデータ転送し、 PCは、 PCが担当する部分データ X (4)を、 PCは、 PCが担
2 4 2 4 2 当する部分データ X (2)を相互にデータ転送する。
4
[0069] 次に、ステップ 2では、 PCと PC、 PCと PCとをスイッチングハブ〔2〕を介して接続
0 2 3 4
することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PCは、
0 2 3 4 0
PCが担当する部分データ X (2)を、 PCは、 PCが担当する部分データ X (0)を相
2 0 2 0 2 互にデータ転送し、 PCは、 PCが担当する部分データ X (4)を、 PCは、 PCが担
3 4 3 4 3 当する部分データ X (3)を相互にデータ転送する。
4
[0070] 次いで、ステップ 3では、 PCと PC、 PCと PCとをスイッチングハブ〔2〕を介して接
0 3 1 2
続することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PC は、 PCが担当する部分データ X (3)を、 PCは、 PCが担当する部分データ X (0)
3 0 3 0 3 を相互にデータ転送し、 PCは、 PCが担当する部分データ X (2)を、 PCは、 PCが
1 2 1 2 1 担当する部分データ X ( 1 )を相互にデータ転送する。
2
[0071] 次いで、ステップ 4では、 PCと PC、 PCと PC
0 4 1 3
続することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PC
0 4 1 3 0 は、 PCが担当する部分データ X (4)を、 PCは、 PCが担当する部分データ X (0)
4 0 4 0 4 を相互にデータ転送し、 PCは、 PCが担当する部分データ X (3)を、 PCは、 PCが
1 3 1 3 1 担当する部分データ X ( 1 )を相互にデータ転送する。
3
[0072] 次いで、ステップ 5では、 PCと PC、 PCと PC
1 4 2 3
続することで、 PCと PC、 PCと PCとは相互に同時にデータ転送可能になる。 PC
1 4 2 3 1 は、 PCが担当する部分データ X (4)を、 PCは、 PCが担当する部分データ X ( 1 )
4 1 4 1 4 を相互にデータ転送し、 PCは、 PCが担当する部分データ X (3)を、 PCは、 PCが
2 3 2 3 2 担当する部分データ X (2)を相互にデータ転送する。
3
[0073] これらのステップが終了すると、 PCには、 X (0)、 X (0)、 X (0)、 X (0)、 X (0)が
0 0 1 2 3 4 配置され、 PCには、 X ( 1 )、 X ( 1 )、 X ( 1 )、 X ( 1 )、 X ( 1 )が配置され、 PCには、
1 0 1 2 3 4 2
X (2)、 X (2)、 X (2)、 X (2)、 X (2)が配置され、 PCには、 X (3)、 X (3)、 X (3)
0 1 2 3 4 3 0 1 2
、 X (3)、 X (3)が配置され、 PCには、 X (4) X (4)、 X (4)、 X (4)、 X (4)が配
3 4 4 0 1 2 3 4 置されたことになる。なお、データ転送は、一般的には、データをコピーして転送する ので、各 pcには、元の部分データ X 0)は残ったままである。
[0074] 以上、 n= 4と n= 5の場合について例示した力 一般的に、 n局の場合において、 各ステップにおける各ペアには、同じ PCが含まれないようにするとともに、各ステップ には、同じ PCの組み合わせのペアが含まれないようにするとの条件の下で、データ の配置を完了するのに必要なステップの回数は、 n個の中から 2個のものを取り出す 組み合わせの数を、 1回のステップで組み合わせ可能なペアの数で除することによつ て得られる。
従って、 nが偶数の場合には、
[0075] [数 1] „C2 n(n - l) 2
'- ·— = n - l
n 2 n
2
[0076] なので、データの配置を完了するのに必要なステップの回数は n— 1回であり、 nが奇 数の場合は、
[0077] [数 2]
„C2 n(n - l) 2
=— ^ '-■ = n
« -丄 2 n - 1
2
[0078] なので、データの配置を完了するのに必要なステップの回数は n回となる。
[0079] このようにして、 n局の場合に、データの転送を完了するのに必要なステップの理論 的な回数は求められるが、実際、この理論的な回数でデータ配置を完了させることの できる、各ステップのペアとペアの PCの具体的な組み合わせも必ず存在する。従つ て、本発明の方法は PC力 ^、かなる局数であっても実施可能である。なお、 n局の場 合における、各ステップのペアとペアの PCの組み合わせを求める方法は、別に後述 する。
[0080] 以上では、各データ Xを n分割した場合について説述した力 次に、各データ Xを、
i i 単位データ量である部分データ X (m)に n分割以上可能な場合について説述する。 なお、 PCやネットワーク構成については基本的には異ならないので、ここでは、各デ ータ Xの分割と転送方法にっレ、て説述するものとする。
[0081] 単位データ量を、例えば、 q [bit]として、各データ Xを n個以上の部分データに分 割可能であるとする。
[0082] 具体的には、各データ Xは、例えば、 Xは、それぞれが q [bit]である部分データ X i 0 0
(0)、X ( 1)、X (2)、…と n個以上に分割でき、 Xは、それぞれ力 ¾ [bit]である部分
0 0 1
データ X (0)、X ( 1)、X (2)、…と n個以上に分割でき、その他の Xについても同様
1 1 1 i で、 q [bit]である部分データ X (0)、 X ( 1 )、 X (2)、…と n個以上に分割できるものと する。換言すれば、 PCのデータ Xが分割された部分データを X (m) (mは勿論 0以 上の整数である。)とすれば、 mは n— 1以上の整数を取りうるものであって、さらに、レヽ ずれの mに対しても、 X (m)のデータ量は q [bit]であるということである。 [0083] なお、ここで「分割可能」なる表現を用いている力 既述のとおり、本発明における「 分割可能」とは、連続したデータ Xを部分データ X (m)に分割する場合およびデータ Xが部分データ X (m)の集合体である場合も含むものとする。
[0084] 各部分データ X (m)は、そのデータ量はおよそ同じにしなければならないものでは ない。しかし、一般的には、およそ同じとするのが好適である。例えば、各部分データ X (m)のデータ量を、ケーブル〔3〕の単位時間当たりに転送可能なデータ転送量と およそ同じとするのである。
[0085] 次に、各 PCにおいて上記のように分割された部分データを、連続する n個の部分 一、、 ータごとに重複することなくブロック区分する。
具体的には、 PCにおける n個以上の部分データ X (0)、X (1)、X (2)、…を、 0
0 0 0 0
番目のブロックを、部分データ X (0)、Χ (1)、 ···、Χ (η— 2)、Χ (η— 1)カゝらなるもの
0 0 0 0
とし、 1番目のブロックを、部分データ X (η)、 X (η+1)、 ···、 X (2η_2)、 X (2η_1)
0 0 0 0 力 なるものとし、同様にして、 α番目(αは 0以上の整数を取りうる。)のブロックは、 部分データ X (ηΧ α)、 X (ηΧ α +1)、 ···、 X (ηΧ a +η— 2)、 X (ηΧ a +η— 1)
0 0 0 0
からなるものとするのである。
[0086] 他の PCにおいても同様であって、 PCにおける n個以上の部分データ X (0)、 X (1 i i i
)、 X (2)、…を、 0番目のブロックを、部分データ X (0)、 X (1)、 ···、 X (n-2)、 X (n i i i i i 一 1)からなるものとし、 1番目のブロックを、部分データ X (η)、Χ(η+1)、 "·、Χ(2η i i i
_2)、Xi(2n-l)力 なるものとし、同様にして、 α番目のブロックは、部分データ Χ^η X α)、 X (ηΧ α +1)、 ···、 X (ηΧ a +η_2)、 X (ηΧ a +η_1)力らなるものとする i i i
のである。
[0087] 上記のようなブロック区分は必須のものではなぐ連続する n個の部分データごとに 重複することなくブロック区分すればよレ、。例えば、 0番目のブロックを、 X (0)、 X (1) i i とし、 1番目のブロックを X (2) X (n+1)とし、 2番目のブロックを X (n + 2)— X (2n i i i i
+ 1)、…とするものでもよレ、。ところで、このようなブロック区分では、 0番目のブロック の部分データの個数が n個以上ではなぐ 2個となる。このことは、既述のブロック区 分でも同様のことが言える。つまり、既述のブロック区分では、 PCのひ番目のブロック は、部分データ X (ηΧ α)、 X (ηΧ α +1)、 ···、 X (nX a +n— 2)、 X (nX a +n— 1 i i i i
)からなるとしたが、最終のブロックでは、必ずしも n個の部分データが存在しない場 合もある。このような場合におけるデータ配置の方法は後記の <部分データの個数 が n個未満の場合 >で説述する。
[0088] 各 PCは、上記のようにブロック区分された各ブロックの部分データの相互相関演算 を担当する。
具体的には、 PCは、各ブロックごとに、 0番目のブロックの部分データ X (0)、 X (
0 0 1
0)、 '··、Χ (0)、Χ (0)、 1番目のブロックの部分データ X (η)、Χ (η)、 '··、Χ (η
11 - 2 η-1 0 1 η-2
)、Χ (η)、 2番目のブロックの部分データ X (2η), X (2η)、 '··、Χ (2η), X (2η η-1 0 1 η-2 η - 1
)、…の相互相関演算を担当する。また、 PCは、各ブロックごとに、 0番目のブロック
1
の部分データ X (1)、X (1)、 '··、χ (1)、Χ (1)、 1番目のブロックの部分データ
0 1 11-2 η-1
X (η+1)、 X (η+1)、■·■、 X (η+1)、 X (η+1)、 2番目のブロックの部分デー
0 1 η-2 η-1
タ X (2η+1)、Χ (2η+1)、 · 、Χ (2η+1)、Χ (2η+1)、…の相互相関演算を
0 1 η-2 η-1
担当する。他の PCでも同様であり、 k番目の PCである PCは、各ブロックごとに、 0番
k
目のブロックの部分データ X (k)、 X (k)、 ···、 X (k)、 X (k)、 1番目のブロックの
0 1 n-2 n-1
部分データ X (n + k)、 X (n + k)、 ···、 X (n + k)、X (n+k)、 2番目のブロックの
0 1 n-2 n-1
部分データ X (2n + k)、X (2n + k)、 ·'·、Χ (2n + k)、X (2n + k)、…の相互相
0 1 n-2 n-1
関演算を担当する。換言すれば、 k番目の PCである PCは、各 PCにおける(k+nX k i
ひ)番目の部分データ X (k + nX α)の相互相関演算を担当するものであって、この 部分データ X(k+nX α)は、 α番目のブロックに含まれるものである。
[0089] このように、 k番目の PCで、 PCの外部記憶装置〔18〕に格納される(k+nX α)番
k i
目の部分データ X (k + nX a )の相互相関演算を行えるようにするには、 k番目の P Cに、 PCの外部記憶装置〔18〕に格納される(k+nXひ)番目の部分データ X (k+ k i i nX α)を配置しなければならなレヽ(図 4参照)。
[0090] このデータ配置の方法は、各の各ブロックには、 n個の連続する部分データが含ま れるので、各ブロックごとに、 n分割の場合で説明した方法を適用すればよい。つまり 、各 PC間で、 X (0)— X.(n_l)のデータ配置、 X (n)一 X (2n_l)のデータ配置、 X (2n) -X (3n— 1)のデータ配置のように、各ブロックごとにデータ配置を行うのである (具体的な詳細は、 n分割の場合の説明が各ブロックごとに妥当する。)。
[0091] <部分データの個数が n個未満の場合 >
既述のとおり、あるブロックの部分データの個数力 個未満になる場合がある。この ような場合の、このブロックにおけるデータ配置の方法を以下に具体例を示して説述 する。要すれば、部分データの個数力 個の場合と同様であるが、ここでは、 n=4の 場合で、 0番目のブロックの部分データの個数が 2個の場合で説明する。
[0092] データ配置前の各 PCにおける 0番目のブロックの部分データの配置の状況は以下 となる。
PC :X (0)、 X (1)
0 0 0
PC :X (0)、 X (1)
1 1 1
PC :X (0)、 X (1)
2 2 2
PC :X (0)、 X (1)
3 3 3
[0093] ここで、 n=4の場合の既述のステップは、
ステップ 1: (PC、 PC ) (PC、 PC )
0 1 2 3
ステップ 2 : (PC、 PC ) (PC、 PC )
0 3 1 2
ステップ 3 : (PC、 PC ) (PC、 PC )
0 2 1 3
である。
そこで、このステップに従えばよぐステップ 1では、ペア(PC、 PC )で、 PCの X (
0 1 0 0
1)と PCの X (0)を相互にデータ転送し、ペア(PC、 PC )では何もしなレ、。ステップ
1 1 2 3
2では、ペア(PC、 PC )で、 PC力ら PCへ X (0)をデータ転送し、ペア(PC、 PC )
0 3 3 0 3 1 2 で、 PC力ら PCへ X (1)をデータ転送する。ステップ 3では、ペア(PC、 PC )で、 P
2 1 2 0 2
C力ら PCへ X (0)をデータ転送し、ペア(PC、 PC )で、 PC力ら PCへ X (1)をデ
2 0 2 1 3 3 1 3 ータ転送するのである。
[0094] このように、あた力も n個の部分データがある場合の如ぐ同様のステップを繰り返せ ばよぐペアの相手方 PCの担当する部分データの存在しない場合には、いわば半 二重通信のように一方からのデータ転送のみを行えばよいのである。
[0095] このように、データを、単位データ量である n個以上の部分データに分割して、さら に部分データをブロック区分することによって、例えば、 VLBI観測を行いデータを継 続的に収集 ·格納しながら、既に外部記憶装置に格納されたデータを部分データに 分割して、適宜ブロックごとに各局へのデータ配置を行うことができるので、観測にお よそ並行して、既に収集されたデータの相互相関演算ができることになる。
[0096] < PCのペアの組み合わせ方 >
数 1、数 2に示したように、 n局の場合に、データの転送を完了するのに必要なステ ップの理論的な回数は求められる力 具体的に、各ステップにおけるペアをどのよう にして組み合わせるかが問題となる。
n= 6の場合を具体的に例示する。
n=6の場合で、最初の 3回のステップにおけるペアの組み合わせとして、例えば、 次のようなペアの組み合わせを考える。
ステップ 1: (PC、 PC ) (PC、 PC ) (PC、 PC )
0 1 2 3 4 5
ステップ 2 : (PC、 PC ) (PC、 PC ) (PC、 PC )
0 5 1 2 3 4
ステップ 3 : (PC、 PC ) (PC、 PC ) (PC、 PC )
0 3 1 4 2 5
[0097] この場合に、各ステップにおける各ペアには、同じ PCが含まれないようにするととも に、各ステップには、同じ PCの組み合わせのペアが含まれないようにするとの条件の 下、続くステップのペアの組み合わせを考えると、例えば次のように最低 3回のステツ プが必要になる。
ステップ 4 : (PC、 PC ) (PC、 PC )
0 4 1 3
ステップ 5 : (PC、 PC ) (PC、 PC )
0 2 1 5
ステップ 6: (PC、 PC ) (PC、 PC )
2 4 3 5
[0098] つまり、数 1に示したように、 n=6の場合には 5回で完了できるはずのところ、各ステ ップのペアとペアの PCの組み合わせ方によってはこの場合のように計 6回のステップ が必要となってしまう。ステップの回数が増えれば、通常、データを配置するのに掛 かる時間が長くなるので効率が悪い。これは、各ステップにおけるペアとペアにおけ る PCを任意に組み合わすことによっては、必ずしも理論的な回数ではデータの配置 を完了することができず、効率の良いデータの配置が行えないことを示している。
[0099] そこで、 n局の場合に、理論的な回数でデータの配置を完了するための、各ステツ プにおいて組み合わせるペアとペアにおける PCの具体的な組み合わせを求める方 法を以下に説述する。
[0100] 局数 nが 2の場合は自明なので、 3以上の場合を考えればょレ、。
まず、 nが奇数の場合、円周上に等間隔で n個の点を打ち(正 n角形をつくることに 同じ)、各点に、例えば時計回りに順番に、 0から n-1までの番号を付ける。この円周 上の n個の点が PCに対応するのである。つまり、 nが奇数の場合に、 n回(この回数 は数 2から明らかである。 )の各ステップにおいて組み合わせるペアとペアにおける P Cの具体的な組み合わせを求めることは、円周上に等間隔に打たれた各点の間で引 くことのできる総ての対角線を、 1個の対角線群力 S1つの点から複数の対角線を引くこ とのなレ、 (n— 1) 2個の対角線で構成される、 n個の対角線群に分離することに同じで あって、逆に言えば、できるだけ 1回のステップで多くの点から、各点からは複数の対 角線を引いてはならないという条件の下、対角線を引く操作を行い、この操作を n回 繰り返すことで、円周上に等間隔に打たれた各点の間で、重複する対角線なくしてい わゆるダイアモンドパターンを描ききる方法を求めればよいことになる。
[0101] まず、ステップ 1 (以上では、ステップの番号は丸数字で示していた力 以下では、 表記の都合上、単なる数字で示すものとする。)では、 0番が付された点以外の n— 1 個の点において、 0番の点から円の中心を通る直径線を引き、その線に対称な各 2点 でペアをつくる。この(n— 1) /2個のペア力 \ステップ 1において組み合わせるペアで あり、この各ペアが、ペアにおける PCの具体的な組み合わせとなるのである。具体的 には、例えば n= 7の場合、ステップ 1において組み合わせるペアとペアにおける PC の具体的な組み合わせは、(pc、 PC ) (PC、 PC ) (PC、 PC )となる。
1 6 2 5 3 4
[0102] 次に、ステップ 2では、 1番が付された点以外の n— 1個の点において、 1番の点から 円の中心を通る直径線を引き、その線に対称な各 2点でペアをつくる。この(n— 1)Z 2個のペアが、ステップ 2において組み合わせるペアであり、この各ペアが、ペアにお ける PCの具体的な組み合わせとなるのである。具体的には、例えば n= 7の場合、ス テツプ 2において組み合わせるペアとペアにおける PCの具体的な組み合わせは、(P C、 PC ) (PC、 PC ) (PC、 PC )となる。
2 0 3 6 4 5
[0103] 以下同様にして、各ステップにおいて組み合わせるペアとペアにおける PCの具体 的な組み合わせを求めることができる。即ち、ステップ R (Rは自然数)では、 R— 1番 が付された点以外の n— 1個の点において、 R— 1番の点から円の中心を通る直径線 を引き、その線に対称な各 2点でペアをつくる。この(n— 1) /2個のペアが、ステップ Rにおいて組み合わせるペアであり、この各ペアが、ペアにおける PCの具体的な組 み合わせとなるのである。そして、 R— 1番の点から円の中心を通る直径線を引き、そ の線に対称な各 2点でペアをつくることを、 n個の各点で行えばよいので、全部のステ ップの回数は nとなる。
[0104] 次に、 nが偶数の場合には、 n— 1個の PCと 1局の PCとの和集合と考えればよい。
換言すれば、 nが偶数の場合には、 n-1 (勿論これは奇数である。)の場合に適用す る上記方法において、各ステップにおいて対角線が引けずに必ず余る 1点と、 1局の PC即ちここでは円周外の 1点とを線で結ぶものと考えればよく(この具体的な PCの 組み合わせが 1つ増えることによって、各ステップにおけるペアは (n— 1— 1) /2 + 1 =nZ2個となる。)、全部のステップの回数は n— 1となる。
[0105] 以上のようにして、各ステップにおいて組み合わせるペアとペアにおける PCの具体 的な組み合わせが求められるのである力 無論、このステップの順番とおりでなけれ ばならなレ、ものではなぐ適宜入れ替えてもよレ、。
また、ここに示した各ステップのペアとペアの PCの組み合わせを求める方法によつ て得られる組み合わせだけしかありえないというものではなレ、。し力しながら、この付 録に示した方法に依れば、 PCの局数がいかなる場合であっても、理論的な回数で データの配置を完了することが可能な各ステップのペアの組み合わせが容易に必ず 得られるのであって、特に局数が大きい場合に有益である。
[0106] く全二重通信可能な集線装置を用いる場合 > 以上においては、複数の PCが ケーブル〔3〕を介して、スイッチングハブ〔2〕に接続する形態を説述した。集線装置と してのスイッチングハブ〔2〕に、全二重通信可能なものを用いて、全ての計算機 PC で同時にデータ交換を行うと、 PCの局数 nの奇偶に関わらず、データ転送効率を向 上させることが可能になる。
[0107] 図 5は、 PCの局数が奇数、 n= 5の場合に、全二重通信可能な集線装置を用いて 、データ交換を行う処理ステップを示す図である。
前記と同様、 5局の PC、 PC、 PC、 PC、 PCにおいて、各 PCの外部記憶装置に
0 1 2 3 4 は、データが格納され 5つの部分データに分割される。即ち、 PCの外部記憶装置に
0
は、部分データ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には
0 0 0 0 0 1
、部分データ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、
1 1 1 1 1 2
部分データ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部
2 2 2 2 2 3
分データ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が、 PCの外部記憶装置には、部分
3 3 3 3 3 4
データ X (0)、 X (1)、 X (2)、 X (3)、 X (4)が格納されている。
4 4 4 4 4
[0108] データの送り側の PCとデータの受け側の PCの間で、該 PCの担当する部分データ を転送するステップを前記と同様に繰り返す。
図示のように、次のステップの各対応でデータ転送を行う。
ステップ 1 : PC→ PC
i i+1
ステップ 2: PC→ PC
i i+2
ステップ 3 : PC→ PC
i i+3
ステップ 4: pc → PC
i i+4
必ずこの順番によるものではなぐ適宜入れ替えても良い。
iは、 PCの局番を示す数であり 1から 4までの整数である。 i+ 1等が 4を超えた場合 は、 4を減じた値 1に戻って指標する。
PCの局数力 ¾= 5の場合に限らず、奇数の場合一般で同様である。
[0109] これによると、 PCの局数 nが奇数であっても、ステップを n-1回繰り返すことによつ て、短時間で効率よく処理できる。
産業上の利用可能性
[0110] 本発明のデータ配置方法及び装置は、例えば、 VLBI観測によって電波望遠鏡で 得られる時系列データのようにデータ量が大規模な場合であっても、複数局の計算 機の各記憶装置に格納された相互相関演算の対象となるデータを、相互相関演算 を担当する計算機ごとに部分データに分割して効率的に配置するので、コストの大き い専用コンピュータを利用せずに、安価な汎用コンピュータでの相互相関演算の分 散処理を可能にする。また、各ステップにおける転送時間が局数 nに依存せず、さら に、総ステップ数は数 1、数 2に示したとおり、 n回または n— 1回で済む。
[0111] また、データを、単位データ量である部分データに n個以上分割し、さらに連続する n個の部分データごとに重複することなくブロック区分して、ブロックごとにデータ配置 を行うことで、データ収集を行いながら、既に収集されたデータの各局への配置が可 能になり、データ収集におよそ並行して、既に収集されたデータの相互相関演算が できることになる。
とくに、ネットワーク媒体または集線装置を全二重通信可能なもので構成することで 、 nの奇偶に関わらず n— 1回のステップで済ませることができ、データ配置の処理時 間を短縮できる。

Claims

請求の範囲
[1] n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。 )が、ネ
i
ットワーク媒体によって、スイッチング機能を有する集線装置または通信ネットワーク に接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を
1 I
取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数 を取りうる。)に n分割可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける k番目の部分データ X (k)の相互相関演算を担当するものであって、
さらに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で相互に、接続された 相手方計算機に対して、該計算機の担当する部分データを転送するステップを繰り 返す、
ことを特徴とするデータ配置方法。
[2] 上記ステップを、 nが偶数の場合には n— 1回、 nが奇数の場合には n回繰り返すととも に、
各ステップにおいて、上記各ペアに同一の計算機を重複することなぐ且つ、全て のステップをとおして同一のペアを重複することなく割り当てる、
請求項 1に記載のデータ配置方法。
[3] n局(nは 2以上の自然数)の計算機 PC (iは 0から n_lまでの整数を取りうる。 )が、ネ
i
ットワーク媒体によって、全二重通信可能なスイッチング機能を有する集線装置また は通信ネットワークに接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を
i i
取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数
1 1 1
を取りうる。)に n分割可能であり、 k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける k番目の部分データ X (k)の相互相関演算を担当するものであって、
さらに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機において、データを送る側の計算機とデータを受ける側の計算機の間で、該計算 機の担当する部分データを転送するステップを繰り返すにあたり、
各ステップにおいて、データ送り側計算機からデータ受け側計算機への対応に同 一の計算機を重複することなぐ且つ、全てのステップをとおして同一の対応を重複 することなく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回 繰り返す、
ことを特徴とするデータ配置方法。
[4] n局(nは 2以上の自然数)の計算機 PC (iは 0から n_lまでの整数を取りうる。 )が、ネ
i
ットワーク媒体によって、スイッチング機能を有する集線
装置または通信ネットワークに接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を 取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、単位データ量である部分データ X (m) (m
1 1 1 は 0以上の整数を取りうる。)に n個以上分割可能であり、かつ、連続する n個の部分 データごとに重複することなくブロック区分可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける各ブロックの k番目の部分データの相互相関演算を担当するものであって、 さらに、上記ブロックごとに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で相互に、接続された 相手方計算機に対して、該計算機の担当する部分データを転送するステップを繰り 返す、
ことを特徴とするデータ配置方法。
[5] 上記ひ番目(ひは 0以上の整数を取りうる。)のブロックには、 n X ひ番目力 (n X ひ +n— 1)番目までの部分データを含み、
k番目の計算機 PCは、各計算機 PCにおける(k + n X α )番目の部分データ X (k k i i
+ n X α )の相互相関演算を担当するものである、
請求項 4に記載のデータ配置方法。
[6] 上記ブロックごとに、
上記ステップを、 nが偶数の場合には n— 1回、 nが奇数の場合には n回繰り返すとと もに、
各ステップにおいて、上記各ペアに同一の計算機を重複することなぐ且つ、全て のステップをとおして同一のペアを重複することなく割り当てることを繰り返す、 請求項 4または 5に記載のデータ配置方法。
[7] n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。 )が、ネ
i
ットワーク媒体によって、全二重通信可能なスイッチング機能を有する集線装置また は通信ネットワークに接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を
i i
取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、単位データ量である部分データ X (m) (m
1 1 1 は 0以上の整数を取りうる。)に n個以上分割可能であり、かつ、連続する n個の部分 データごとに重複することなくブロック区分可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける各ブロックの k番目の部分データの相互相関演算を担当するものであって、 さらに、上記ブロックごとに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機において、データを送る側の計算機とデータを受ける側の計算機の間で、該計算 機の担当する部分データを転送するステップを繰り返すにあたり、
各ステップにおいて、データ送り側計算機からデータ受け側計算機への対応に同 一の計算機を重複することなぐ且つ、全てのステップをとおして同一の対応を重複 することなく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回 繰り返す、 ことを特徴とするデータ配置方法。
[8] 計算機が汎用計算機である、
請求項 1から 7いずれかに記載のデータ配置方法。
[9] ネットワーク媒体が全二重通信可能である、
請求項 1ないし 8いずれかに記載のデータ配置方法。
[10] 上記データが、電波望遠鏡による観測によって得られる時系列データである、
請求項 1から 9いずれかに記載のデータ配置方法。
[11] n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。 )が、ネ ットワーク媒体によって、スイッチング機能を有する集線装置または通信ネットワーク に接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を 取りうる。)が格納される記憶装置を少なくとも備え、
各計算機 PCにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数 を取りうる。)に n分割可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお ける k番目の部分データ X (k)の相互相関演算を担当するものであって、
さらに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で相互に、接続された 相手方計算機に対して、該計算機の担当する部分データを転送するステップを繰り 返すデータ転送手段を備える、
ことを特徴とするデータ配置装置。
[12] n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。 )力 ネ ットワーク媒体によって、スイッチング機能を有する集線装置または通信ネットワーク に接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を 取りうる。)が格納される記憶装置を少なくとも備え、
各計算機 PCにおける上記データ Xは、単位データ量である部分データ X (m) (m は 0以上の整数を取りうる。)に n個以上分割可能であり、かつ、連続する n個の部分 データごとに重複することなくブロック区分可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける各ブロックの k番目の部分データの相互相関演算を担当するものであって、 さらに、上記ブロックごとに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機 2局ずつの各ペアにおいて、接続された 2局の計算機の間で相互に、接続された 相手方計算機に対して、該計算機の担当する部分データを転送するステップを繰り 返すデータ転送手段を備える、
ことを特徴とするデータ配置装置。
[13] n局(nは 2以上の自然数)の計算機 PC (iは 0から n— 1までの整数を取りうる。 )が、ネ
i
ットワーク媒体によって、全二重通信可能なスイッチング機能を有する集線装置また は通信ネットワークに接続されるネットワーク構成において、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を
i i
取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、部分データ X (j) (jは 0から n— 1までの整数
1 1 1
を取りうる。)に n分割可能であり、
k番目(kは 0から n— 1までの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける k番目の部分データ X (k)の相互相関演算を担当するものであって、
さらに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機において、データを送る側の計算機とデータを受ける側の計算機の間で、該計算 機の担当する部分データを転送するステップを繰り返すにあたり、
各ステップにおいて、データ送り側計算機からデータ受け側計算機への対応に同一 の計算機を重複することなぐ且つ、全てのステップをとおして同一の対応を重複す ることなく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回繰 り返すデータ転送手段を備える、
ことを特徴とするデータ配置装置。
[14] n局(nは 2以上の自然数)の計算機 PC^iは 0から n— 1
までの整数を取りうる。)が、ネットワーク媒体によって、全二重通信可能なスィッチン グ機能を有する集線装置または通信ネットワークに接続されるネットワーク構成にお いて、
各計算機 PCは、相互相関演算の対象となるデータ X (iは 0から n-1までの整数を 取りうる。)が格納される記憶装置を備え、
各計算機 PCにおける上記データ Xは、単位データ量である部分データ X (m) (m は 0以上の整数を取りうる。)に n個以上分割可能であり、かつ、連続する n個の部分 データごとに重複することなくブロック区分可能であり、
k番目(kは 0から n_lまでの整数を取りうる。)の計算機 PCは、各計算機 PCにお
k i ける各ブロックの k番目の部分データの相互相関演算を担当するものであって、 さらに、上記ブロックごとに、
上記集線装置または通信ネットワークを介してデータ転送可能に接続された計算 機において、データを送る側の計算機とデータを受ける側の計算機の間で、該計算 機の担当する部分データを転送するステップを繰り返すにあたり、
各ステップにおいて、データ送り側計算機からデータ受け側計算機への対応に同 一の計算機を重複することなぐ且つ、全てのステップをとおして同一の対応を重複 することなく割り当てるとともに、該ステップを、 nが偶数奇数いずれの場合にも n— 1回 繰り返すデータ転送手段を備える、
ことを特徴とするデータ配置装置。
[15] 上記ネットワーク媒体が、全二重通信可能である、
請求項 11から 14のいずれかに記載のデータ配置装置。
PCT/JP2004/008230 2003-06-23 2004-06-11 データ配置方法及び装置 WO2005003995A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005511313A JPWO2005003995A1 (ja) 2003-06-23 2004-06-11 データ配置方法及び装置
US10/561,872 US20060259534A1 (en) 2003-06-23 2004-06-11 Data distribution method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-178321 2003-06-23
JP2003178321 2003-06-23

Publications (1)

Publication Number Publication Date
WO2005003995A1 true WO2005003995A1 (ja) 2005-01-13

Family

ID=33562242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/008230 WO2005003995A1 (ja) 2003-06-23 2004-06-11 データ配置方法及び装置

Country Status (3)

Country Link
US (1) US20060259534A1 (ja)
JP (1) JPWO2005003995A1 (ja)
WO (1) WO2005003995A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008044149A2 (en) 2006-10-12 2008-04-17 Institut Pasteur Shigella ipad protein and its use as a vaccine against shigella infection

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108512B2 (en) * 2006-09-01 2012-01-31 Massively Parallel Technologies, Inc. System and method for accessing and using a supercomputer
US10216692B2 (en) * 2009-06-17 2019-02-26 Massively Parallel Technologies, Inc. Multi-core parallel processing system
EP2458510B1 (en) * 2010-11-29 2014-05-07 NTT DoCoMo, Inc. Method and apparatus for performing a cross-correlation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175987A (ja) * 1992-12-01 1994-06-24 Kawasaki Heavy Ind Ltd 並列計算機のネットワークシステム
JP2000020501A (ja) * 1998-07-03 2000-01-21 Toshiba Corp 並列計算機システム及びその演算処理装置間の通信方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005068A1 (en) * 2000-12-28 2003-01-02 Nickel Ronald H. System and method for creating a virtual supercomputer using computers working collaboratively in parallel and uses for the same
US7590984B2 (en) * 2003-05-29 2009-09-15 International Business Machines Corporation System and method for balancing a computing load among computing resources in a distributed computing problem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175987A (ja) * 1992-12-01 1994-06-24 Kawasaki Heavy Ind Ltd 並列計算機のネットワークシステム
JP2000020501A (ja) * 1998-07-03 2000-01-21 Toshiba Corp 並列計算機システム及びその演算処理装置間の通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAJIMA J. ET AL.: "Real time kansoku shori ga kano na gigabit VLBI no sokan shori system", NTT R&D, vol. 50, no. 10, 10 October 2001 (2001-10-10), pages 816 - 823, XP002985388 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008044149A2 (en) 2006-10-12 2008-04-17 Institut Pasteur Shigella ipad protein and its use as a vaccine against shigella infection

Also Published As

Publication number Publication date
US20060259534A1 (en) 2006-11-16
JPWO2005003995A1 (ja) 2006-11-30

Similar Documents

Publication Publication Date Title
CN103034605B (zh) 实现可变宽度链路的方法及装置
US3692942A (en) Multiplexed information transmission system
CN102541814B (zh) 用于数据通信处理器的矩阵计算装置和方法
CN106685530A (zh) 用于采用波长不可知的端点的扁平化数据中心网络的方法和装置
US9025595B2 (en) Unified network architecture for scalable super-calculus systems
CN105760324A (zh) 数据处理装置和服务器
JPH11259441A (ja) 並列計算機における全対全通信方法
TW201503631A (zh) 增加基數之數位資料交換器、通訊交換器、以及相關元件與方法
US5742585A (en) Network for connecting a plurality of nodes using a plurality of channels
JPH02135939A (ja) データ通信方法及びネットワーク
CN1744742B (zh) 具有数据专用总线的无线机
CN106776461A (zh) 数据处理装置和服务器
US5432909A (en) Method and apparatus for redistributing multiple distributed data sets in a ring connected multiprocessor
CN101729423A (zh) 通用公共无线接口cpri端口间数据传输的方法及装置
CN102918815B (zh) 高级电信计算架构数据交换系统及交换板、数据交换方法
WO2005003995A1 (ja) データ配置方法及び装置
Price Real-time stream processing in radio astronomy
JPS6194437A (ja) マルチステージパケツト交換ネツトワーク
CN106227506A (zh) 一种内存压缩系统中的多通道并行压缩解压系统及方法
EP2147369A1 (en) Method of storing data, method of loading data and signal processor
JP6245360B2 (ja) 階層的並列分割ネットワークを用いる、コンピュータアーキテクチャシステム、コンピュータアーキテクチャデバイス、及び方法
CN113204423A (zh) 一种用于同步计算任务数据的方法、系统和可读介质
CN104898775A (zh) 计算装置、存储装置、网络交换设备及计算机体系架构
CN106657350A (zh) 数据复制方法及装置
CN205827367U (zh) 数据处理装置和服务器

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005511313

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006259534

Country of ref document: US

Ref document number: 10561872

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10561872

Country of ref document: US