KR100971052B1 - 데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및정보 처리 단말기 - Google Patents

데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및정보 처리 단말기 Download PDF

Info

Publication number
KR100971052B1
KR100971052B1 KR1020047000528A KR20047000528A KR100971052B1 KR 100971052 B1 KR100971052 B1 KR 100971052B1 KR 1020047000528 A KR1020047000528 A KR 1020047000528A KR 20047000528 A KR20047000528 A KR 20047000528A KR 100971052 B1 KR100971052 B1 KR 100971052B1
Authority
KR
South Korea
Prior art keywords
data
recording
probability
packet
information processing
Prior art date
Application number
KR1020047000528A
Other languages
English (en)
Other versions
KR20050012214A (ko
Inventor
야스시 가따야마
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050012214A publication Critical patent/KR20050012214A/ko
Application granted granted Critical
Publication of KR100971052B1 publication Critical patent/KR100971052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H04L1/0042—Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/3761—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35 using code combining, i.e. using combining of codeword portions which may have been transmitted separately, e.g. Digital Fountain codes, Raptor codes or Luby Transform [LT] codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0064—Concatenated codes
    • H04L1/0066—Parallel concatenated codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0071—Use of interleaving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/005—Iterative decoding, including iteration between signal detection and decoding operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5603—Access techniques

Abstract

n개의 노드(201), (202), …(20n)와, 각 노드에의 데이터의 기록을 지시 제어하는 기록 명령 장치(10)와, 각 노드에 기록된 데이터를 판독하는 송신 명령 장치(30)를 갖고, 이들이 네트워크를 통하여 접속된 분산형 스토리지 시스템에 있어서, 기록 명령 장치(10)는, p개의 블록으로 이루어지는 데이터에 부호화율 q/p의 FEC 부호화를 실시하여 q개의 블록을 갖는 데이터로 하고, 이 데이터에 노드가 기록하는 기록 확률 α를 부가하여 네트워크상으로 송출한다. 판독시에는 송신 명령 장치(30)에서, 데이터의 회신을 행하는 회신 확률 β가 부가된 데이터를 회신한다.
노드, 데이터, 지시 제어, 네트워크, 송신 명령 장치

Description

데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록 제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및 정보 처리 단말기{DATA STORING METHOD, DATA STORING SYSTEM, DATA RECORDING CONTROL APPARATUS, DATA RECORDING INSTRUCTING APPARATUS, DATA RECEIVING APPARATUS, AND INFORMATION PROCESSING TERMINAL}
본 발명은, 데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록 제어 장치, 데이터 수신 장치 및 정보 처리 단말기에 관한 것으로, 네트워크를 통하여 접속된 노드 사이에서 데이터를 분산하여 축적하는 데이터 축적 방법 및 데이터 축적 시스템에 관한 것이다. 또, 이 데이터 축적 시스템에 이용하기에 적합한 데이터 기록 제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및 정보 처리 단말기에 관한 것이다.
본 출원은, 일본국에서 2002년 5월 14일에 출원된 일본 특허 출원 번호2002-139232에 기초하여 우선권을 주장하는 것으로, 이 출원은 참조하는 것에 의해, 본 출원에 원용된다.
최근, 임의의 데이터를, 네트워크를 통하여 상호 접속된 다수의 정보 처리 단말기에 분산하여 기록하는 대규모 스토리지 시스템이 주목받고 있다. 이러한 분 산형 스토리지 시스템에 있어서, 데이터를 기록 관리하는 서버는 멀티캐스트 등에 의해 정보 처리 단말기나 그 밖의 서버에 데이터를 송신하여, 데이터를 정보 처리 단말기나 다른 서버에 구비된 로컬의 기록 매체에 기록하고 있다.
이 경우, 온디맨드로 데이터를 추출할 수 있도록 하기 위해서는, 기록 매체에 다량의 데이터를 기록해야한다. 예를 들면, 1개당 약 2GB의 데이터 용량이 되는 영화의 경우, 이러한 영상 데이터를 500개분 기록한다고 하면, 1테라바이트 이상의 용량이 필요하게 된다.
또한, 스트리밍에 의해 데이터를 제공하는 경우의 예로서, 서버가 데이터를 요구하고 있는 클라이언트에 대하여 유니캐스트로 데이터를 제공할 때에는, 에러가 없는 전송을 행하기 위해, 예를 들면 TCP/IP의 도착 완료 신호(ACK)와 같이 데이터의 재전송을 요구하는 프로토콜이 이용된다.
그런데, 이 방법은 서버측에 많은 부담이 되기 때문에, 고성능의 서버 1대를 이용했다고 해도, 현상태에서는 수백대의 클라이언트에만 서비스를 제공할 수 있다. 또한, UDP/IP와 같은 ACK를 이용하지 않는 프로토콜을 사용했다고 해도, 서비스 가능한 클라이언트의 수는 수천대 정도이다. 이와 같이, 스트리밍에 의해 데이터를 제공하려면, 서버측의 비용이 증대하여, 클라이언트의 수가 제한된다.
따라서 최근에는, 멀티캐스트 기술에 FEC(Forward Error Correction)를 이용하여, 데이터의 재전송을 요구하지 않고 복수개의 클라이언트에 데이터를 송신하는 방식이 제안되고 있다. 이것은, 서버가 멀티캐스트로 스트림을 반복하여 송신하고, 클라이언트는 이 스트림으로부터 필요한 신호를 선택하고, 선택한 데이터를 복호하여 재생하는 방식이다.
이 방식을 이용하여, 1개당 2GB가 되는 영화의 영상 데이터 500개분을 10분 이내로 송신하는 경우에는, 약 14.7기가비트/초의 전송 대역이 필요하다. 또한, 동량의 영상 데이터를 1분 이내로 송신하는 경우에는, 약 147기가비트/초의 전송 대역이 필요하게 된다. 이것은, 이론값이지만, 이러한 용량 및 전송 방식을 감당할 수 있는 서버는 비용이 많이 들어, 실현한다고해도 실용적이지 못하다. 또한, 복수개의 호스트에 데이터를 분산하여 기록하는 방식도 있지만, 이 시스템을 실현하려면, 거대한 데이터를 복수개의 서버로 관리해야만 하기 때문에, 데이터 관리나 데이터 통신을 위한 처리가 증대하게 된다.
<발명의 개시>
본 발명은, 상술한 바와 같은 종래의 실정을 감안하여 제안된 것으로, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 관리할 수 있는 데이터 축적 방법 및 데이터 축적 시스템, 및 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 기록함과 함께 기록 장소로부터 데이터를 추출하도록 제어하는 데이터 기록 제어 장치, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 기록하는 데이터 기록 명령 장치, 개개의 단말기에 분산하여 기록된 데이터를 수신하는 데이터 수신 장치 및 다량의 데이터를 분산하여 기록할 수 있는 정보 처리 단말기를 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해, 본 발명에 따른 데이터 축적 방법은 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산시켜 기록하는 데이터 축적 방법에 있어서, 블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 공정과, 제2 데이터를 패킷화하는 패킷화 공정과, 패킷화 공정에 의해 생성된 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 공정과, 패킷 및 기록 확률을 복수개의 정보 처리 단말기로 송신하는 송신 공정과, 정보 처리 단말기에 기록 확률에 기초하여 상기 패킷을 기록하는 기록 공정을 포함하고, 기록 확률로 복수개의 정보 처리 단말기의 어느 하나에 기록된 패킷을 판독하는 처리로서, 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 공정과, 회신 요구 데이터를 복수개의 정보 처리 단말기로 송신하는 송신 공정과, 복수개의 정보 처리 단말기에서 회신 확률에 기초하여 상기 패킷을 회신하는 회신 공정을 포함한다.
또한, 본 발명에 따른 데이터 축적 시스템은 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산시켜 기록하는 데이터 축적 시스템에서, 블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 수단과, 제2 데이터를 패킷화하는 패킷화 수단과, 패킷화 수단에 의해 생성된 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과, 기록 확률 및 회신 요구 데이터를 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단을 포함하는 데이터 기록 제어 장치와, 데이터 기록 제어 장치의 사이에서 패킷 및 기록 확률을 송수신하는 송수신 수단과, 패킷을 기록하는 기록 수단과, 수신한 패킷을 기록 확률에 기초하여 기록할지의 여부, 및 기록한 패킷을 회신 확률로 회신할지의 여부를 제어하는 제어 수단을 포함하는 복수개의 정보 처리 단말기를 구비하고, 이들이 네트워크에 의해 상호 접속되어 있다.
또한, 상술한 목적을 달성하기 위해, 본 발명에 따른 데이터 기록 제어 장치는 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산하여 기록하는 데이터 기록 제어 장치에서, 블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 수단과, 제2 데이터를 패킷화하는 패킷화 수단과, 패킷화 수단에 의해 생성된 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과, 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 수단과, 기록 확률을 포함하는 패킷 및 회신 요구 데이터를 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단과, 복수개의 단말기로부터 전송되는 패킷을 수신하는 수신 수단을 포함한다.
또한, 상술한 목적을 달성하기 위해, 본 발명에 따른 데이터 기록 명령 장치는 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산하여 기록하는 데이터 기록 명령 장치에서, 블록화된 제1 데이터를 부호화하고 블록화된 제2 데이터를 생성하는 부호화 수단과, 제2 데이터를 패킷화하는 패킷화 수단과, 패킷화 수단에 의해 생성된 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과, 기록 확률을 포함하는 패 킷을 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단을 포함한다.
또한, 본 발명에 따른 데이터 수신 장치는 네트워크를 통하여 접속된 복수개의 정보 처리 단말기로부터 데이터를 수신하는 데이터 수신 장치에서, 복수개의 정보 처리 단말기에 기록된 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 수단과, 회신 요구 데이터를 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단과, 복수개의 정보 처리 단말기로부터 전송되는 패킷을 수신하는 수신 수단을 포함한다.
또한, 본 발명에 따른 정보 처리 단말기는 네트워크로 접속된 외부 장치의 사이에서 패킷화된 데이터 및/또는 부호화된 블록 데이터를 송수신하는 송수신 수단과, 패킷을 기록하는 기록 수단과, 패킷에 부가된 기록 확률에 기초하여 상기 패킷을 기록할지의 여부, 및 기록한 패킷을 외부 장치로부터 전송되는 회신 확률로 회신할지의 여부를 제어하는 제어 수단을 포함한다.
본 발명의 상술한 하나의 측면 및 그 밖의 측면에 대해서는, 청구 범위에 기재되고, 또한 이하에서 도면을 참조하여 상세히 설명된다.
도 1은 본 발명의 분산형 스토리지 시스템의 구성을 도시하는 도면.
도 2는 기록 명령 장치의 내부 구성을 도시하는 도면.
도 3은 기록하는 데이터를 저장하는 패킷의 구성을 도시하는 도면.
도 4는 노드의 내부 구성을 도시하는 도면.
도 5는 송신 명령 장치의 내부 구성을 도시하는 도면.
도 6은 데이터의 송신을 요구하는 패킷의 구성을 도시하는 도면.
도 7은 노드로부터 회신되는 패킷의 구성을 도시하는 도면.
도 8A 및 도 8B는 패킷의 생성 공정을 도시하는 도면.
도 9는 기록하는 데이터를 포함하는 패킷의 송신 경로를 도시하는 도면.
도 10은 데이터의 회신을 요구하는 패킷의 송신 경로를 도시하는 도면.
도 11은 노드로부터 송신 명령 장치로 회신되는 패킷의 송신 경로를 도시하는 도면.
도 12A 및 도 12B는 노드로부터 송신된 패킷을 원래 데이터로 복원하는 공정을 도시하는 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 본 발명을 적응한 구체예에 대하여 도면을 참조하여 상세히 설명한다. 도 1은 네트워크를 구성하는 단말기에 데이터를 분산하여 기록하는 분산형 스토리지 시스템의 구체예를 도시하는 도면이다. 분산형 스토리지 시스템은, 그물눈과 같이 접속된 n개의 노드(201, 202, …, 20n-1, 20n)와, 각 노드에의 데이터의 기록을 지시 제어하는 기록 명령 장치(10)와, 각 노드에 기록된 데이터를 판독하는 송신 명령 장치(30)를 갖는다. 본 구체예에서는 기록 명령 장치(10)와, 노드(20)와, 송신 명령 장치(30)를 다른 장치로서 설명하지만, 이들 양 장치의 기능을 갖춘 기록 송신 명령 장치와 같은 장치이어도 된다. 또, 노드 각각에 기록 명령 장치(10)나 송신 명령 장치(30)로서의 기능을 장비할 수도 있다. 이 경우, 네트워크를 구성하 는 각 장치를 구별없이 사용할 수 있다.
또한, 도 1에서는 네트워크를 구성하는 라우터 등의 전송 제어 장치를 생략하고 있지만, 실제로는 노드(20)를 통과하는 패킷의 경로를 선택하는 라우터 등의 전송 제어 장치가 설치되어 있다. 전송 제어 장치는, 노드(20)는 별도로 설치되어 있어도 되며, 노드(20)가 전송 제어 장치와 같은 기능을 갖추고 있어도 된다.
이어서, 기록 명령 장치(10)에 대하여 설명한다. 도 2는, 기록 명령 장치(10)의 내부 구성을 도시하는 도면이다. 기록 명령 장치(10)는 FEC(Forward Error Collection) 부호화를 실시하는 FEC 인코더(11), 부호화한 데이터를 인터리브하는 인터리버(12), 인터리버(12)로부터 출력된 데이터를 패킷으로 변환하는 패킷 생성부(13), 및 네트워크와 접속하는 네트워크 인터페이스(14)를 갖고 있으며, 데이터 입력부(15)를 통하여 데이터가 입력된다.
FEC 인코더(11)는 FEC 부호화를 이용하여 입력된 데이터를 부호화한다. 여기서, FEC 부호화란, 톨네이드 부호화 방식, 리드 톨네이드 부호화 방식, 터보 부호 방식 등의 수신측에서 오류 정정을 행하는 부호화 방식의 총칭이며, FEC 인코더(11)는 데이터 입력부(15)로부터 입력된 데이터를 p 개의 블록으로 분할하고, 이 p 개의 블록에 FEC 부호화를 실시하여 q 개의 블록으로 변환하고 있다. 이 p 개의 블록으로부터 q 개의 블록에 부호화하는 것을 부호화율 q/p의 부호화라고 하고, 이 부호화율 q/p를 변경하는 것에 의해, 이 분산형 스토리지 시스템의 기록 효율이나 전송 효율을 변경할 수 있다.
인터리버(12)는 부호화된 데이터의 순서를 재배열한다. 인터리버(12)는 이 와 같이 인터리브하는 것에 의해 데이터를 분산시키고, 패킷의 소실에 의해 발생하는 버스트 에러가 랜덤 에러가 되도록 교체한다.
패킷 생성부(13)는 인터리버(12)로부터 송신된 데이터를 소정의 사이즈로 분할하고, 이 분할한 데이터에 제어 정보를 부가하여 패킷화한다. 도 3은, 패킷 생성부(13)에 의해 생성되는 패킷(40)의 구조를 도시하는 도면이다. 패킷(40)은, 헤더(41), 기록 확률 기술부(42), 페이로드(43), 후터(44)로 구성된다. 페이로드(43)에는, FEC 인코더(11)에 의해 변환된 송신 정보가 기술되어 있다. 헤더(41)와 후터(44)에는 데이터의 종류를 나타내는 데이터 ID, CRC(Cyclic Redundancy Check)의 체크 섬, 노드(20)의 GUID(Global Unique ID), 네트워크 어드레스 등의 제어 정보가 기술되어 있다.
기록 확률 기술부(42)에는, 후술하는 각 노드가 이 패킷을 기록하는 확률이 기술되어 있다. 노드의 제어부(22)는, 이 기록 확률α에 기초하여 패킷을 기록한다.
분산형 스토리지 시스템을 구성하는 모든 노드는, 이 기록 확률에 기초하여 패킷을 기록할지의 여부를 결정한다. 이에 의해, 분산형 스토리지 시스템을 구성하는 노드에 확률α로 데이터가 기록된다. 이 분산형 스토리지 시스템에서는, 노드의 수 n이 충분히 크고, 또한 복호된 블록 수 q가 충분히 큰 경우에, 각 노드에 균등한 확률로 데이터를 분산할 수 있다.
네트워크 인터페이스(14)는 패킷화된 데이터를 입력하고, 유니캐스트 또는 멀티캐스트로 각 노드(20)에 데이터를 송신한다.
이어서, 노드(20)의 구성에 대하여 설명한다. 도 4는, 노드(20)의 구성을 도시하는 도면이다. 노드(20)는 네트워크 인터페이스(21), 제어부(22), 기록부(23)를 갖고, 네트워크 인터페이스(21)를 통하여 네트워크와 접속하고 있다.
제어부(22)는 입력한 패킷(40)을 기록부(23)에 기록하는 기록 처리와, 다른 노드(20)로부터의 요구에 응하여 데이터를 회신하는 회신 처리를 실행한다.
기록 처리는 입력한 패킷(40)의 기록 확률α에 기초하여, 기록부(23)에 패킷(40)을 기록할지의 여부를 판정하는 처리로서, 상술한 바와 같이 분산형 스토리지 시스템을 구성하는 노드의 수 n이 충분히 크고, 또한 복호화된 블록의 개수 q가 충분히 큰 경우, 모든 노드에 패킷이 균등하게 기록되고, 분산형 스토리지 시스템 전체적으로 α의 확률로 데이터가 기록된다.
회신 처리는, 송신 명령 장치로부터 전송된 데이터의 송신 요구를 하는 패킷을 수신하면 개시하는 처리이다. 이 데이터 송신 요구 패킷의 데이터 구조에 대해서는 후술하겠지만, 이 패킷에는 데이터를 회신하는 확률β가 기술되어 있고, 제어부(22)는 기록된 데이터를 회신 확률β로 회신한다. 여기서, 데이터를 회신한다고 판정했을 때, 제어부(22)는 목적하는 데이터를 검색하여 회신 패킷을 생성한다.
이어서, 송신 명령 장치(30)에 대하여 설명한다. 도 5는 송신 명령 장치(30)의 구성을 도시하는 도면이다. 송신 명령 장치(30)는 네트워크를 통한 외부와의 데이터의 송수신을 행하는 네트워크 인터페이스(31), 노드에 데이터의 송신을 요구하는 데이터 요구부(32), 패킷으로 분할된 데이터를 결합하는 패킷 결합부(33), 디인터리버(34), FEC 디코더(35)를 갖고, 복호한 데이터는 응용 처리 부(36)에 입력되며, 모니터나 스피커(도시 생략) 등의 외부 기기로 출력하거나, 도시하지 않은 기록 장치에 저장되기도 한다.
데이터 요구부(32)는 분산형 스토리지 시스템을 구성하는 각 노드에 데이터를 요구하는 패킷을 송신한다. 도 6은 데이터를 요구하는 패킷(50)의 구성을 도시하는 도면이다. 패킷(50)은 헤더(51), 회신 확률 기술부(52), 요청 기술부(53), 후터(54)로 구성된다. 요청 기술부(53)에는 요구하는 데이터를 식별하기 위한 데이터 ID가 기록된다. 헤더(51)와 후터(54)에는 CRC의 체크 섬, 노드의 네트워크 어드레스나 GUID, 데이터의 순서를 나타내는 시퀀스 번호 등의 제어 정보가 기록된다.
회신 확률 기술부(52)에는 회신 확률β가 기술되어 있다. 회신 확률β는 패킷(50)을 수신한 노드가 데이터를 회신할지의 여부의 판정을 행하기 위한 변수이다. 이 변수에 기초하여, 데이터를 회신한다고 판정하는 노드도 있고, 데이터를 회신하지 않는다고 판정하는 노드도 있지만, 회신 확률β는 분산형 스토리지 시스템 전체를 매크로적으로 보았을 때의 값이고, 분산형 스토리지 시스템 전체에서는 각 노드의 데이터를 회신하는 확률이 β가 된다. 그 때문에, 분산형 스토리지 시스템에 n개의 노드(20)가 존재하는 경우에, 회신되는 패킷의 비율은 노드(20)의 개수 n과 회신 확률β를 곱한 값 n×β로 된다.
패킷 결합부(33)는 각 노드(20)로부터 회신된 패킷을 결합한다. 도 7은, 노드로부터 회신된 패킷(60)의 데이터 구조를 도시하는 도면이다. 도 7에 도시한 바와 같이 패킷(60)은 헤더(61), 페이로드(62), 후터(63)로 구성되고, 페이로드(62) 에는 송신하는 데이터가 저장되고, 헤더(61)와 후터(63)에는 CRC의 체크 섬이나 수신측의 노드의 네트워크 어드레스, 패킷의 순서를 나타내는 시퀀스 번호 등 제어 정보가 저장된다.
도 7의 패킷(60)을 수신하면, 패킷 결합부(33)는, 시퀀스 번호를 판독하고, 수신한 패킷(60)의 순서를 교체하여, 헤더(61)나 후터(63) 등의 제어 정보를 제거하여, 시퀀스 번호의 순으로 패킷을 결합한다.
디인터리버(34)는, 결합된 패킷에 디인터리브를 걸고, 데이터의 배열을 정렬시킨다. FEC 디코더(35)는 디인터리브된 데이터에 FEC 복호를 실시하여, 원래의 데이터를 복원시킨다.
FEC 디코더(35)에 의해 복호된 데이터는 응용 처리부(36)에 출력된다. 응용 처리부(36)는 복호된 데이터를 도시하지 않은 기록부에 보존시키거나, 모니터나 스피커 등의 입출력 인터페이스에 출력시킨다.
이와 같이, 본 구체예에서의 분산형 스토리지 시스템은, 기록 확률α로 각 노드에 데이터를 기록하고, 각 노드에 기록한 데이터를 회신 확률β로 회신시키는 시스템으로서, 기록 명령 장치(10)로부터 출력되는 원래 데이터는, α×n×β의 비율로 회신된다. 예를 들면, p 개의 블록을 q 개의 블록으로 부호화하면, q×α×n×β 개의 블록이 회신된다. 후술하는 논문 RIZZ097에 기재한 바와 같이, 이 회신된 블록의 개수가 복호 전의 블록의 개수 p보다도 많은 경우, 데이터는 복호 가능하다. 그 때문에, 회신되는 블록의 개수가 p 개보다 많아지도록, α, β, q/p의 값을 결정해 두면, 목적의 데이터를 복호할 수 있다.
이어서, 분산형 스토리지 시스템의 동작에 대하여, 도 8∼도 12에 따라 설명한다. 우선, 데이터의 기록 동작에 대하여 설명한다. 데이터를 기록할 때, 기록 명령 장치(10)는 데이터 입력부(15)로부터 목적의 데이터를 입력하고, 입력한 데이터를 FEC 인코더(11)에 출력한다.
FEC 인코더(11)는 도 8B에 도시한 바와 같이, 입력한 데이터를 p 개의 블록으로 분할한다. 그리고, 부호화율 q/p의 FEC 부호화를 실시하고, p 개의 블록으로 분할한 데이터를 q 개의 부호화 블록으로 변환한다.
상술한 바와 같이, FEC 부호화란, 톨네이드 부호화 방식, 리드 톨네이드 부호화 방식, 터보 부호화 방식 등의 수신측에서 오류 정정을 행하는 부호화 방식의 총칭이고, FEC 부호화를 이용하여, 임의의 데이터를 부호화율 q/p로 부호화한 경우, 논문 RIZZ097(http://www.iet.unipi.it/￣luigi/fec.html#fec.ps)에 발표된 바와 같이, p 개 이상의 부호화된 블록이 잔존하면, 몇개의 블록이 소실되어도, 원래 메시지를 복원할 수 있게 되어 있다.
FEC 부호화가 실시된 데이터는 인터리버(12)에 출력되고, 인터리버(12)는 부호화된 데이터의 순서를 재배열하여, 데이터를 분산시킨다. 인터리버(12)를 통과한 데이터는 패킷 생성부(13)에 출력된다. 패킷 생성부(13)는 분산된 데이터를 소정의 크기로 분할하고, 분할한 데이터에 헤더나 후터를 부가하여, 도 8B에 도시한 바와 같은 패킷(40)을 생성한다.
이와 같이, 생성된 패킷(40)은 네트워크 인터페이스(14)에 출력된다. 네트워크 인터페이스(14)는, 도 9에 도시한 바와 같이 유니캐스트 혹은 멀티캐스트를 이용하여, 패킷화한 데이터를 분산형 스토리지 시스템을 구성하는 각 노드로 송신한다.
기록 명령 장치(10)로부터 송신된 패킷(40)을 수신한 노드는 기록 처리를 개시하고, 패킷(40)의 기록 확률α을 판독하여, 패킷(40)을 기록할지의 여부의 판정을 행한다. 그리고, 기록한다고 판정된 경우에는 데이터를 기록부(22)에 기록하고, 기록하지 않는다고 판정한 경우에는 수신한 패킷(40)을 그 밖의 노드에 출력한다. 기록 확률α는, 분산형 스토리지 시스템 전체에서, 어느 정도의 데이터를 기록할지 나타내는 값이며, 송신 데이터가 q 개의 부호화 블록일 때, 분산형 스토리지 시스템 전체에는 qxα개의 데이터가 기록된다.
이어서, 데이터를 추출하는 처리에 대하여 설명한다. 데이터를 추출할 때, 송신 명령 장치(30)는 패킷(50)을 생성하고, 도 10에 도시한 바와 같이 유니캐스트 혹은 멀티캐스트를 이용하여, 각 노드에 패킷(50)을 출력한다.
패킷(50)을 수신한 노드는 회신 처리를 개시한다. 패킷(50)에는 통상의 제어 정보 외에, 데이터를 식별하는 데이터 ID, 패킷을 회신하는 회신 확률β 등이 기록되어 있고, 회신 처리에서는 패킷(50)의 회신 확률β에 기초하여 데이터를 회신할지의 여부를 판정한다. 여기서, 데이터를 회신한다고 판정한 경우, 노드의 제어부(22)는 데이터를 포함한 패킷(60)을 생성하고, 송신 명령 장치(30)에 회신한다. 또한, 데이터를 회신하지 않는다고 판정한 경우에는 노드의 제어부(22)는 아무것도 실행하지 않는다.
도 11은 각 노드로부터 송신 명령 장치(30)에 패킷이 송신되는 모양을 도시 한 도면이다. 도 11에 도시한 바와 같이, 분산형 스토리지 시스템에는 데이터를 회신하는 노드와 그렇지 않은 노드가 있지만, 전체적으로 보면 각 노드는 회신 확률β의 비율로 데이터를 회신하도록 되어 있고, 분산형 스토리지 시스템에 n개의 노드가 존재하면, n×β의 비율의 데이터가 회신된다. 상술한 바와 같이, 분산형 스토리지 시스템에는 기록 확률α에 기초하여 q×α의 데이터가 기록되어 있으므로, q×α×n×β 개의 데이터가 회신된다.
이어서, 도 12를 참조하여, 데이터의 복호화에 대하여 설명한다. 각 노드로부터 송신되는 데이터를 수신한 송신 명령 장치(30)는 수신한 데이터를 패킷 결합부(32)에 입력하고, 패킷의 결합을 행한다. 도 12A는 노드로부터 송신 명령 장치(30)에 회신되는 패킷(60)을 도시하는 도면이다. 도 12A에서 사선으로 그려진 개소가 데이터의 손실된 개소를 나타낸다. 분산형 스토리지 시스템에서는, 원래 데이터를 α×n×β의 확률로 회신하기 때문에, 도 12A에 도시한 바와 같이, 모든 패킷이 회신되는 것은 아니며, 몇개의 패킷의 소실이 발생하고 있다.
그러나, 이 데이터는 인터리브되어 있기 때문에, 디인터리브를 걸면, 버스트적인 데이터의 소실은 분산되어, 랜덤한 데이터의 소실로 변환된다. 이 데이터에 FEC 부호화를 실시하면, 도 12B에 도시하는 원래 데이터가 복원된다.
상술한 바와 같이, FEC 부호화에서는 부호화율 q/p로 데이터를 부호화한 경우, 부호화된 데이터가 p 블록이상 존재하면, 데이터를 복호할 수 있다. 송신한 q 개의 블록이 α×n×β의 비율로 회신되었을 때는 회신되는 데이터의 개수는 q×α×n×β이다. 이 개수 q×α×n×β가 p 개 이상이 되도록 q/p, α, β의 값을 설 정하면, 원래 데이터를 복원할 수 있다.
또한, 본 구체예에서의 분산형 스토리지 시스템은 p≥q×α×n×β를 충족하도록 부호화율 q/p, 기록 확률α, 회신 확률β를 설정하면 되므로, 상술한 식을 충족하는 범위에서 부호화율 q/p, 기록 확률α, 회신 확률β를 변경하는 것에 의해, 데이터의 기록 효율이나 전송 효율을 변경시킬 수 있다. 이하, q/p, α, β의 각 파라미터의 설정 예에 대하여 설명한다.
예를 들면, 매우 많은 회신 요구가 있는 데이터에 대하여, 기록 확률α의 값을 크게 하고, 회신 확률β의 값을 작게 하면, 각 노드로부터 송신되는 데이터가 적어져, 노드에서의 데이터의 검색 처리나 데이터의 송신 처리가 간략화된다.
또한, 기록 확률α의 값을 크게 하는 대신에, 부호화율 q/p의 값을 크게 하여, 회신 확률β를 작게 해도, 각 노드에서의 데이터의 검색 처리나 데이터의 송신 처리를 간략화할 수 있다.
또한, 부호화율 q/p를 작게 하고, 기록 확률α를 크게 하면, 송신하는 패킷의 수를 억제할 수 있다. 이것은, p가 충분히 클 때에 효과적이다. 또한, 기록 확률α을 작게 하고, 부호화율 q/p를 작게 함으로써, 동일한 패킷을 복수개의 노드에 기록하는 것을 피할 수 있다. 이것은, p가 충분히 작을 때에 효과가 있다.
또한, 회신 확률β를 크게 하고, 기록 확률α 또는 부호화율 q/p를 작게 하는 것에 의해, 분산형 스토리지 시스템 전체에 기록되는 부호화 데이터의 용량을 작게 할 수 있다. 또는, 데이터의 기록시, 출력시 또는 송신시 등에 패킷의 소실하는 확률을 a로 하면, a×n×α×q×β가 p보다도 충분히 크게 되도록 α, β, q/p의 값을 제어하는 것에 의해, 충분한 수의 데이터가 회신된다.
또한, 복수개의 노드로부터 회신되는 고유한 패킷의 개수를 수학적으로 추정하고, 기록 확률, 회신 확률, 또는 부호화율을 크게 함으로써, 고유한 패킷이 도착하는 확률을 높일 수 있다.
이상과 같이, 본 구체예에서의 분산형 스토리지 시스템은, 시스템을 구성하는 노드에 기록 확률α를 기술한 패킷(40)을 송신하는 것에 의해, 데이터를 분산하여 기록한다. 그리고, 노드에 기록된 데이터를 회신 확률β로 회신시키는 것에 의해, 데이터의 추출을 행한다. 이와 같이, 데이터를 분산하여 기록하면, 하나의 서버에 데이터 관리의 부하가 집중되지 않고, 데이터를 저장할 수 있다. 또, 본 구체예에서의 분산형 스토리지 시스템에서는, 하나의 데이터를 복수개의 노드가 공유하기 때문에, 시스템 전체에 필요하게 되는 데이터 용량이 적어도 된다.
또한, 복수개의 노드로부터 데이터를 수신하도록 하면, 하나의 서버에 트래픽이 집중되지 않게 되어, 안정된 통신량으로 데이터의 송수신을 행할 수 있다.
또한, α, β, q/p의 값을 변경하는 것에 의해, 전송 효율이나 기록하는 데이터량을 변경할 수 있다. 또한, 데이터의 기록시, 출력시, 송신시 등에 패킷이 소실될 때, 소실하는 확률 a를 고려하여, α, β, q/p의 파라미터의 값을 변경하고, 패킷이 소실해도 복호에 충분한 데이터를 추출하도록 할 수도 있다.
또한, 이 분산형 스토리지 시스템에서는 기록 확률과 회신 확률에 기초한 연산에 의해 데이터의 분산 기록 및 판독을 실행할 수 있기 때문에, 데이터의 관리가 단순하고, 캠코더나 휴대 전화 등의 처리 능력이 적은 가정용의 기기라도 이 시스 템에 적응할 수 있다. 또한, 캠코더나 휴대 전화 등의 처리 능력이 낮은 가정용 기기를 노드로서 이용할 수 있게 되기 때문에, 수백만대 규모의 분산형 스토리지 시스템을 용이하게 구축할 수 있다.
또한, 상기 분산 스토리지 시스템에서는 기록 명령 장치는 기록시키는 데이터와 기록 확률을 동일한 패킷으로 송신했지만, 기록시키는 데이터와 기록 확률을 상이한 패킷으로 송신하거나, 외부의 기록 장치에 기록하여, 각 정보 처리 노드로부터 참조하도록 해도 된다.
또, 상술한 구체예는 발명의 일례에 지나지 않으며, 본 발명의 요지를 포함하는 변형예는 본 발명에 포함되는 것으로 한다. 예를 들면, 노드로서는 캠코더, 퍼스널 비디오 레코더나 홈 게이트웨이 등이 생각되어지지만, 데이터를 기록하는 기록부와, 소정의 연산을 행하는 제어부와, 데이터의 송수신을 행하는 네트워크 인터페이스를 갖고 있으면 그 밖의 구성을 구비하는 장치라도 된다.
또한, 기록 확률α, 회신 확률β를 패킷 내에 기록했지만, 기록 확률α, 회신 확률β를 임의의 기록 장치, 혹은 패킷 등에 기록하고, 각 노드가 그 값을 참조하도록 해도 된다. 특히, FEC 부호화로서 리드 톨네이드 부호화 방식을 이용한 경우에는 인터리브 처리를 생략할 수도 있다.
또, 본 발명은 도면을 참조하여 설명한 상술한 실시예에 한정되는 것은 아니며, 첨부의 청구의 범위 및 그 주지를 이탈하지 않고, 다양한 변경, 치환 또는 그 동등한 것을 행할 수 있는 것은 당업자가 분명히 알 수 있다.
이상 상세히 설명한 바와 같이, 본 발명에 따른 데이터 축적 방법에 의하면, 제1 데이터를 부호화하여 얻은 제2 데이터를 패킷화하고, 개개의 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타내는 기록 확률을 생성하고, 기록 확률과 패킷을 복수개의 정보 처리 단말기로 송출하고, 이 기록 확률로 복수개의 정보 처리 단말기의 어느 하나에 기록된 패킷을 판독할 때에는, 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하여 회신 요구 데이터를 복수개의 정보 처리 단말기로 송신하고, 복수개의 정보 처리 단말기는 회신 확률에 기초하여 상기 패킷을 회신하는 것에 의해, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산시켜 기록함과 함께 기록 장소로부터 데이터를 추출하여 재구성할 수 있다.
또한, 본 발명에 따른 데이터 축적 시스템에 의하면, 제1 데이터를 부호화하여 얻은 제2 데이터를 패킷화하고, 개개의 패킷을 복수개의 정보 처리 단말기에 기록할지의 여부를 나타내는 기록 확률을 생성하고, 패킷 및 기록 확률을 송출하여, 이 기록 확률로 복수개의 정보 처리 단말기 중 어느 하나에 기록된 패킷을 판독할 때에는 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하여 회신 요구 데이터를 복수개의 정보 처리 단말기로 송신하고, 복수개의 정보 처리 단말기는, 회신 확률에 기초하여 상기 패킷을 회신하는 것에 의해, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 기록함과 함께 기록 장소로부터 데이터를 추출하여 재구성할 수 있다.
또한, 본 발명에 따른 데이터 기록 제어 장치에 의하면, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 기록함과 함께 기록 장소로부터 데이터를 추출하도록 제어하고, 이것을 재구성할 수 있다.
또한, 본 발명에 따른 데이터 기록 명령 장치에 의하면, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 부담을 주지 않으면서 다량의 데이터를 분산하여 기록할 수 있다.
또한, 본 발명에 따른 데이터 수신 장치에 의하면, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 개개의 단말기에 분산하여 기록된 데이터를 수신하여 재구성할 수 있다.
또한, 본 발명에 따른 정보 처리 단말기에 의하면, 복잡한 처리나 방대한 전송 대역을 필요로 하지 않고, 부담없이 다량의 데이터를 분산하여 기록할 수 있다.

Claims (22)

  1. 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산시켜 기록하는 데이터 축적 방법에 있어서,
    기록 명령 장치가 상기 복수개의 정보 처리 단말기에 데이터를 분산시켜 기록하는 기록 처리로서,
    상기 기록 명령 장치가, 블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 공정과,
    상기 기록 명령 장치가, 상기 제2 데이터를 패킷화하는 패킷화 공정과,
    상기 기록 명령 장치가, 상기 패킷화 공정에서 생성된 패킷을 상기 복수개의 정보 처리 단말기에서 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 공정과,
    상기 기록 명령 장치가, 상기 패킷 및 상기 기록 확률을 상기 복수개의 정보 처리 단말기로 송신하는 송신 공정과,
    상기 정보 처리 단말기가, 상기 기록 확률에 기초하여 해당 패킷을 기록하는 기록 공정을 포함하며,
    상기 기록 확률로 복수개의 정보 처리 단말기 중 어느 하나에 기록된 상기 패킷을 송신 명령 장치가 판독하는 처리로서,
    상기 송신 명령 장치가, 상기 복수개의 정보 처리 단말기에 있어서 상기 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 공정과,
    상기 송신 명령 장치가, 상기 회신 요구 데이터를 상기 복수개의 정보 처리 단말기로 송신하는 송신 공정과,
    상기 복수개의 정보 처리 단말기가, 상기 회신 확률에 기초하여 해당 패킷을 회신하는 회신 공정
    을 포함하는 것을 특징으로 하는 데이터 축적 방법.
  2. 제1항에 있어서,
    상기 기록 확률은, 상기 패킷에 포함되고, 상기 패킷과 함께 복수개의 정보 처리 단말기로 송신되는 것을 특징으로 하는 데이터 축적 방법.
  3. 제1항에 있어서,
    상기 기록 확률은, 상기 패킷과는 별도의 패킷으로 송신되는 것을 특징으로 하는 데이터 축적 방법.
  4. 제1항에 있어서,
    상기 회신 공정에서 회신되는 패킷 수가 상기 제1 데이터의 블록 수와 동일하거나 그 이상인 것을 특징으로 하는 데이터 축적 방법.
  5. 제4항에 있어서,
    상기 제1 데이터와 상기 제2 데이터의 비, 상기 기록 확률, 상기 회신 확률을 변경하여 상기 패킷의 분산을 제어하는 패킷 분산 제어 공정을 포함하는 것을 특징으로 하는 데이터 축적 방법.
  6. 제4항에 있어서,
    상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 패킷 분산 제어 공정을 더 포함하는 것을 특징으로 하는 데이터 축적 방법.
  7. 제6항에 있어서,
    상기 패킷 분산 제어 공정에서는, 상기 네트워크에 있어서의 데이터 손실 확률과, 상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 것을 특징으로 하는 데이터 축적 방법.
  8. 제4항에 있어서,
    상기 복수개의 정보 단말기가 응답하지 않을 확률과, 상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 패킷 분산 제어 공정을 더 포함하는 것을 특징으로 하는 데이터 축적 방법.
  9. 제1항에 있어서,
    상기 기록 확률 생성 공정 및 상기 회신 요구 데이터 생성 공정은,
    기록 확률, 회신 확률, 또는 부호화율을 크게 함으로써, 상기 회신 공정에서 회신되는 패킷이 중복되는 확률을 낮추는 것을 특징으로 하는 데이터 축적 방법.
  10. 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산시켜 기록하는 데이터 축적 시스템에 있어서,
    블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 수단과,
    상기 제2 데이터를 패킷화하는 패킷화 수단과,
    상기 패킷화 수단에 의해 생성된 패킷을 상기 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과,
    상기 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 수단과,
    상기 기록 확률 및 상기 회신 요구 데이터를 상기 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단
    을 포함하는 데이터 기록 제어 장치와,
    상기 데이터 기록 제어 장치와의 사이에서 상기 패킷 및 상기 기록 확률을 송수신하는 송수신 수단과,
    상기 패킷을 기록하는 기록 수단과,
    상기 수신한 패킷을 상기 기록 확률에 기초하여 기록할지의 여부, 및 기록한 패킷을 상기 회신 확률로 회신할지의 여부를 제어하는 제어 수단
    을 포함하는 복수개의 정보 처리 단말기를 구비하고,
    이들이 네트워크에 의해 상호 접속되어 있는 것을 특징으로 하는 데이터 축적 시스템.
  11. 제10항에 있어서,
    상기 기록 확률은, 상기 패킷에 포함되고, 상기 패킷과 함께 복수개의 정보 처리 단말기로 송신되는 것을 특징으로 하는 데이터 축적 시스템.
  12. 제10항에 있어서,
    상기 기록 확률은, 상기 패킷과는 별도의 패킷으로 송신되는 것을 특징으로 하는 데이터 축적 시스템.
  13. 제10항에 있어서,
    상기 데이터 기록 제어 장치에서의 수신 수단에 수신되는 패킷 수가 상기 제1 데이터의 블록 수와 동일하거나 그 이상인 것을 특징으로 하는 데이터 축적 시스템.
  14. 제13항에 있어서,
    상기 제1 데이터와 제2 데이터의 비, 상기 기록 확률, 상기 회신 확률을 변경하여 상기 패킷의 분산을 제어하는 패킷 분산 제어 수단을 포함하는 것을 특징으로 하는 데이터 축적 시스템.
  15. 제13항에 있어서,
    상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 패킷 분산 제어 수단을 더 포함하는 것을 특징으로 하는 데이터 축적 시스템.
  16. 제15항에 있어서,
    상기 패킷 분산 제어 수단은, 상기 네트워크에 있어서의 데이터 손실 확률과, 상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 것을 특징으로 하는 데이터 축적 시스템.
  17. 제13항에 있어서,
    상기 복수개의 정보 단말기가 응답하지 않을 확률과,
    상기 기록 확률과, 상기 회신 확률과, 상기 정보 처리 단말기의 개수와, 제2 데이터의 블록 수의 곱이 상기 제1 데이터의 블록 수와 동일하거나 그 이상으로 되도록 각 값을 변경하는 패킷 분산 제어 수단을 더 포함하는 것을 특징으로 하는 데이터 축적 시스템.
  18. 제10항에 있어서,
    상기 기록 확률 생성 수단 및 상기 회신 요구 데이터 생성 수단은,
    기록 확률, 회신 확률, 또는 부호화율을 크게 함으로써, 상기 복수개의 정보 처리 단말기가 회신하는 패킷이 중복되는 확률을 낮추는 것을 특징으로 하는 데이터 축적 시스템.
  19. 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산하여 기록하는 데이터 기록 제어 장치에 있어서,
    블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 수단과,
    상기 제2 데이터를 패킷화하는 패킷화 수단과,
    상기 패킷화 수단에 의해 생성된 패킷을 상기 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과,
    상기 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 수단과,
    상기 기록 확률을 포함하는 패킷 및 상기 회신 요구 데이터를 상기 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단과,
    상기 복수개의 정보 처리 단말기로부터 전송되는 패킷을 수신하는 수신 수단
    을 포함하는 것을 특징으로 하는 데이터 기록 제어 장치.
  20. 네트워크를 통하여 접속된 복수개의 정보 처리 단말기에 데이터를 분산하여 기록하는 데이터 기록 명령 장치에 있어서,
    블록화된 제1 데이터를 부호화하여 블록화된 제2 데이터를 생성하는 부호화 수단과,
    상기 제2 데이터를 패킷화하는 패킷화 수단과,
    상기 패킷화 수단에 의해 생성된 패킷을 상기 복수개의 정보 처리 단말기에 기록할지의 여부를 나타낸 기록 확률을 생성하는 기록 확률 생성 수단과,
    상기 기록 확률을 포함하는 패킷을 상기 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단
    을 포함하는 것을 특징으로 하는 데이터 기록 명령 장치.
  21. 네트워크를 통하여 접속된 복수개의 정보 처리 단말기로부터 데이터를 수신하는 데이터 수신 장치에 있어서,
    상기 복수개의 정보 처리 단말기에 기록된 패킷을 회신할지의 여부를 나타내는 회신 확률을 부가하여 회신 요구 데이터를 생성하는 회신 요구 데이터 생성 수단과,
    상기 회신 요구 데이터를 상기 복수개의 정보 처리 단말기에 대하여 송출하는 송신 수단과,
    상기 복수개의 정보 처리 단말기로부터 전송되는 패킷을 수신하는 수신 수단
    을 포함하는 것을 특징으로 하는 데이터 수신 장치.
  22. 네트워크로 접속된 외부 장치와의 사이에서 패킷화된 데이터를 송수신하는 송수신 수단과,
    상기 데이터를 기록하는 기록 수단과,
    상기 데이터를 그 데이터에 부가된 기록 확률에 기초하여 기록할지의 여부, 및 기록한 데이터를 상기 외부 장치로부터 전송되는 회신 확률로 회신할지의 여부를 제어하는 제어 수단
    을 포함하는 것을 특징으로 하는 정보 처리 단말기.
KR1020047000528A 2002-05-14 2003-05-07 데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및정보 처리 단말기 KR100971052B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002139232A JP4211282B2 (ja) 2002-05-14 2002-05-14 データ蓄積方法及びデータ蓄積システム、並びに、データ記録制御装置、データ記録指令装置、データ受信装置及び情報処理端末
JPJP-P-2002-00139232 2002-05-14
PCT/JP2003/005715 WO2003096200A1 (en) 2002-05-14 2003-05-07 Data storing method, data storing system, data recording control apparatus, data recording instructing apparatus, data receiving apparatus, and information processing terminal

Publications (2)

Publication Number Publication Date
KR20050012214A KR20050012214A (ko) 2005-01-31
KR100971052B1 true KR100971052B1 (ko) 2010-07-20

Family

ID=29416906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047000528A KR100971052B1 (ko) 2002-05-14 2003-05-07 데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및정보 처리 단말기

Country Status (7)

Country Link
US (1) US7444421B2 (ko)
EP (1) EP1505508B1 (ko)
JP (1) JP4211282B2 (ko)
KR (1) KR100971052B1 (ko)
CN (1) CN1533534B (ko)
AU (1) AU2003234779A1 (ko)
WO (1) WO2003096200A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391865B2 (en) 1999-09-20 2008-06-24 Security First Corporation Secure data parser method and system
JP2005167965A (ja) * 2003-11-12 2005-06-23 Matsushita Electric Ind Co Ltd パケット処理方法および装置
CN101375284B (zh) 2004-10-25 2012-02-22 安全第一公司 安全数据分析方法和系统
CN1328879C (zh) * 2005-01-26 2007-07-25 北京大学 基于数据分块冗余和虚拟化存储的在线备份方法
JP2007011500A (ja) * 2005-06-28 2007-01-18 Mitsubishi Electric Corp ホームゲートウェイ
WO2008054406A2 (en) 2005-11-18 2008-05-08 Orsini Rick L Secure data parser method and system
KR100772385B1 (ko) * 2005-12-07 2007-11-01 삼성전자주식회사 분산 스토리지 시스템 상에서 컨텐트를 송수신하는 방법 및장치
US7480848B2 (en) * 2006-02-10 2009-01-20 The Directv Group, Inc. Methods and apparatus to select tornado error correction parameters
CA2670597A1 (en) 2006-12-05 2008-06-12 Don Martin Improved tape backup method using a secure data parser
EP2416541A1 (en) 2008-02-22 2012-02-08 Security First Corporation Systems and methods for secure workgroup management and communication
JP5276461B2 (ja) * 2009-02-02 2013-08-28 パナソニック株式会社 ネットワークシステム
JP5108801B2 (ja) * 2009-02-02 2012-12-26 パナソニック株式会社 ネットワークシステム
AU2010249631B2 (en) 2009-05-19 2016-02-18 Security First Corp. Systems and methods for securing data in the cloud
WO2011068738A2 (en) 2009-11-25 2011-06-09 Orsini Rick L Systems and methods for securing data in motion
AU2011235075B2 (en) 2010-03-31 2015-10-01 Security First Corp. Systems and methods for securing data in motion
CN101860568A (zh) * 2010-05-27 2010-10-13 复旦大学 分布式存储系统中基于路由器加速的数据修复方法
US8601498B2 (en) 2010-05-28 2013-12-03 Security First Corp. Accelerator system for use with secure data storage
WO2012040231A2 (en) 2010-09-20 2012-03-29 Orsini Rick L Systems and methods for secure data sharing
JP5797769B2 (ja) * 2011-11-10 2015-10-21 株式会社スクウェア・エニックス データ送受信システム
EP2956887A1 (en) 2013-02-13 2015-12-23 Security First Corp. Systems and methods for a cryptographic file system layer
WO2016051512A1 (ja) 2014-09-30 2016-04-07 株式会社日立製作所 分散型ストレージシステム
WO2016081942A2 (en) 2014-11-21 2016-05-26 Security First Corp. Gateway for cloud-based secure storage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034291A1 (en) * 1997-12-24 1999-07-08 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
WO2000031945A1 (en) * 1998-11-20 2000-06-02 Network Alchemy, Inc. Method and apparatus for load distribution in a network
JP2000155712A (ja) * 1998-11-19 2000-06-06 Nippon Telegr & Teleph Corp <Ntt> 分散キャッシュ配送方法及び分散キャッシュ配送プログラムを記憶した媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485474A (en) 1988-02-25 1996-01-16 The President And Fellows Of Harvard College Scheme for information dispersal and reconstruction
JPH0364141A (ja) 1989-08-01 1991-03-19 Nec Corp パケット交換機の出線バッファ優先度制御方式
DE4323405A1 (de) * 1993-07-13 1995-01-19 Sel Alcatel Ag Zugangskontrollverfahren für einen Pufferspeicher sowie Vorrichtung zum Zwischenspeichern von Datenpaketen und Vermittlungsstelle mit einer solchen Vorrichtung
US5809090A (en) * 1996-03-04 1998-09-15 Glenayre Electronics, Inc. Digital diversity receiver system
US5886647A (en) * 1996-12-20 1999-03-23 Badger; Berkley C. Apparatus and method for wireless, remote control of multiple devices
US6345125B2 (en) * 1998-02-25 2002-02-05 Lucent Technologies Inc. Multiple description transform coding using optimal transforms of arbitrary dimension
US6237092B1 (en) * 1998-05-05 2001-05-22 International Business Machines Corp. Client-server system with central application management allowing an administrator to configure user and group contexts during application configuration without relaunching the application
JP3990813B2 (ja) * 1998-05-22 2007-10-17 キヤノン株式会社 符号化装置、符号化方法、ディジタル伝送装置、及びディジタル伝送システム
US6381629B1 (en) * 1999-08-30 2002-04-30 International Business Machines Corporation Technique for creating a unique item identification number in a multi-threaded/multi-process environment
US6414938B1 (en) * 2000-02-14 2002-07-02 Motorola, Inc. Method and system for retransmitting data packets in a communication system having variable data rates
US7054279B2 (en) * 2000-04-07 2006-05-30 Broadcom Corporation Method and apparatus for optimizing signal transformation in a frame-based communications network
US6898182B1 (en) * 2000-07-21 2005-05-24 Arris International, Inc Congestion control in a network device having a buffer circuit
KR100699470B1 (ko) * 2000-09-27 2007-03-26 삼성전자주식회사 멀티레이어 패킷 처리 장치
US6888824B1 (en) * 2000-10-20 2005-05-03 Cisco Technology, Inc. Random early detection (RED) algorithm using marked segments to detect congestion in a computer network
JP2002203057A (ja) * 2000-11-01 2002-07-19 Cec:Kk 付加価値データ倉庫システム
US6754624B2 (en) * 2001-02-13 2004-06-22 Qualcomm, Inc. Codebook re-ordering to reduce undesired packet generation
US8656246B2 (en) * 2001-04-16 2014-02-18 Qualcomm Incorporated Method and an apparatus for use of codes in multicast transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034291A1 (en) * 1997-12-24 1999-07-08 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
JP2000155712A (ja) * 1998-11-19 2000-06-06 Nippon Telegr & Teleph Corp <Ntt> 分散キャッシュ配送方法及び分散キャッシュ配送プログラムを記憶した媒体
WO2000031945A1 (en) * 1998-11-20 2000-06-02 Network Alchemy, Inc. Method and apparatus for load distribution in a network

Also Published As

Publication number Publication date
US7444421B2 (en) 2008-10-28
CN1533534A (zh) 2004-09-29
CN1533534B (zh) 2010-05-26
WO2003096200A1 (en) 2003-11-20
JP2003330619A (ja) 2003-11-21
AU2003234779A1 (en) 2003-11-11
KR20050012214A (ko) 2005-01-31
US20050076077A1 (en) 2005-04-07
JP4211282B2 (ja) 2009-01-21
EP1505508A4 (en) 2010-02-24
EP1505508B1 (en) 2012-08-22
EP1505508A1 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
KR100971052B1 (ko) 데이터 축적 방법 및 데이터 축적 시스템, 및 데이터 기록제어 장치, 데이터 기록 명령 장치, 데이터 수신 장치 및정보 처리 단말기
CA2359534C (en) Information additive group code generator and decoder for communication systems
US9350488B2 (en) Content delivery system with allocation of source data and repair data among HTTP servers
US7233264B2 (en) Information additive code generator and decoder for communication systems
CN103023813B (zh) 抖动缓冲器
KR101009326B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체
JP4172259B2 (ja) 情報処理装置および方法、並びにコンピュータ・プログラム
WO2013067219A2 (en) Content delivery system with allocation of source data and repair data among http servers
JP2011199647A (ja) 誤り訂正符号化装置及び方法及びプログラム及び誤り訂正復号化装置及び方法及びプログラム
Edmondsy et al. Priority Encoding Transmission
Wang et al. An Efficient Transmission Scheme for Media Content Distribution Platform
Akkor et al. A Reliable Multicast Transport Protocol for Satellite Communication Systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140707

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee