KR101677473B1 - 파일 처리 방법 및 장치, 그리고 저장 디바이스 - Google Patents
파일 처리 방법 및 장치, 그리고 저장 디바이스 Download PDFInfo
- Publication number
- KR101677473B1 KR101677473B1 KR1020147036585A KR20147036585A KR101677473B1 KR 101677473 B1 KR101677473 B1 KR 101677473B1 KR 1020147036585 A KR1020147036585 A KR 1020147036585A KR 20147036585 A KR20147036585 A KR 20147036585A KR 101677473 B1 KR101677473 B1 KR 101677473B1
- Authority
- KR
- South Korea
- Prior art keywords
- column
- matrix
- block
- raid
- data
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 276
- 238000004364 calculation method Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims description 56
- 238000007689 inspection Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000013500 data storage Methods 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 7
- 230000008520 organization Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0625—Power saving in storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Storage Device Security (AREA)
Abstract
Description
도 1a는 본 발명의 실시예에 따른 파일 처리 방법의 애플리케이션 시나리오 도면이다.
도 1b는 본 발명의 실시예에 따른 저장 디바이스(110)의 개략 구성도이다.
도 2a는 본 발명의 실시예에 따른 파일 처리 방법의 흐름도이다.
도 2b는 본 발명의 실시예에 따른 다른 파일 처리 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 파일 처리 방법에서 검사 블록을 삽입하는 방법의 흐름도이다.
도 4a, 도 4b, 및 도 4c는 본 발명의 실시예에 따른 저장될 파일의 데이터 블록의 배치 개략도이다.
도 4d는 본 발명의 실시예에 따른 파일 저장 구조의 개략도이다.
도 5는 본 발명의 실시예에 따른 파일 처리 방법에서 검사 블록을 삽입하는 다른 방법의 흐름도이다.
도 6a, 도 6b, 및 도 6d는 본 발명의 실시예에 따른 저장될 파일의 데이터 블록의 다른 배치 개략도이다.
도 6c는 본 발명의 실시예에 따른 다른 파일 저장 구조의 개략도이다.
도 7은 본 발명의 실시예에 다른 파일 저장 방법에서 RAID를 구성하는 디스크에 데이터를 기록하는 방법의 흐름도이다.
도 8은 본 발명의 실시예에 따른 또 다른 파일 처리 방법의 흐름도이다.
도 9는 본 발명의 실시예에 따른 저장될 파일의 데이터 블록의 또 다른 배치 개략도이다.
도 10은 본 발명의 실시예에 따른 파일 판독 방법의 개략 흐름도이다.
도 11은 본 발명의 실시예에 따른 파일 처리 장치의 개략 구성도이다.
Claims (20)
- 독립 디스크의 여분 배열(Redundant Array of Independent Disks, RAID)에 저장될 F개의 파일을 수신하는 단계 - 상기 RAID는 T개의 저장 장치로 구성되어 있고, F는 2 이상의 자연수이고, T는 3 이상의 자연수임 -;
상기 RAID의 스트립 크기(strip size)에 따라 상기 F개의 파일 각각을 하나 이상의 데이터 블록으로 분할하는 단계;
상기 F개의 파일의 데이터 블록에 따라 T개의 행(row)을 가지는 제1 행렬을 취득하는 단계 - 여기서, 서로 다른 행에 각 파일의 모든 데이터 블록이 나타나지 않도록, F개의 파일 각각의 모든 데이터 블록들은 상기 제1 행렬의 오직 하나의 행에만 위치하고, 상기 제1 행렬의 각 열(column)은 데이터 블록 및 대응하는 열의 데이터 블록을 계산함으로써 획득되는 검사 블록을 포함하며, 각 열의 2개의 데이터 블록은 동일한 파일에 속하지 않음 -; 및
상기 제1 행렬의 각 열의 데이터 블록과 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프(stripe)를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하는 단계
를 포함하는 파일 처리 방법. - 제1항에 있어서,
상기 F개의 파일의 데이터 블록에 따라 T개의 행을 가지는 제1 행렬을 취득하는 단계는,
상기 분할에 의해 취득되는 상기 F개의 파일의 데이터 블록을, D개의 행을 가지는 제2 행렬에 배치하는 단계 - 여기서, 상기 제2 행렬의 서로 다른 행에 각 파일의 모든 데이터 블록이 나타나지 않도록, F개의 파일 각각의 모든 데이터 블록들은 상기 제2 행렬의 오직 하나의 행에만 위치하고, D는 상기 RAID에서의 데이터 저장 장치의 수량임 -; 및
상기 제2 행렬의 각 열에 검사 블록을 각각 삽입하여 T개 행을 가지는 상기 제1 행렬을 취득하는 단계를 포함하고,
하나의 파일에 속하는 데이터 블록들은 상기 제2 행렬의 하나의 행에 위치하고, D는 상기 RAID에서의 데이터 저장 장치의 수량이며;
상기 삽입되는 검사 블록은, 상기 제1 행렬에서 상기 검사 블록이 위치하는 열의 데이터 블록에 따라 계산에 의해 취득되는, 파일 처리 방법. - 제2항에 있어서,
상기 RAID가 독립 검사 저장 장치를 포함하는 경우, 상기 제2 행렬의 각 열에 검사 블록을 각각 삽입하여 T개 행을 가지는 상기 제1 행렬을 취득하는 단계는,
상기 RAID의 독립 검사 저장 장치의 위치에 따라, 상기 제2 행렬에 검사 블록을 삽입하기 위한 위치를 결정하는 단계;
상기 RAID의 검사 알고리즘에 따라 상기 제2 행렬의 각 열의 데이터 블록에 대해 검사 계산을 수행하여, 각 열의 데이터 블록의 검사 블록을 취득하는 단계; 및
상기 검사 블록의 상기 결정된 위치에 따라 상기 제2 행렬의 각 열에, 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록을 삽입하여, T개의 행을 가지는 상기 제1 행렬을 취득하는 단계를 포함하는, 파일 처리 방법. - 제2항에 있어서,
상기 RAID가 독립 검사 저장 장치를 포함하지 않는 경우, 상기 제2 행렬의 각 열에 검사 블록을 각각 삽입하여 T개 행을 가지는 상기 제1 행렬을 취득하는 단계는,
상기 제2 행렬의 각 열에 검사 블록을 삽입하기 위한 위치 A[x, y]를 결정하는 단계 - 상기 제2 행렬은 N개의 열을 가지고, x 및 y는 모두 정수이고, x의 값은 0에서부터 D-1까지 점차 증가하고, y의 값은 0에서부터 N-1까지 점차 증가함 -;
상기 제2 행렬의 제x 행에서의 제y 열 내지 제(N-1) 열의 데이터 블록을, 제x 행에서의 제(y+1) 열 내지 제N 열의 위치로 순차 이동시키는 단계;
상기 RAID의 검사 알고리즘에 따라 제y 열의 데이터 블록에 대해 검사 계산을 수행하여 제y 열의 데이터 블록의 검사 블록을 취득하는 단계; 및
상기 제y 열의 데이터 블록의 검사 블록을 상기 제2 행렬의 제y 열에서의 위치 A[x, y]에 삽입하여 T개의 행을 가지는 상기 제1 행렬을 취득하는 단계를 포함하는, 파일 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 행렬의 각 열의 데이터 블록과 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하는 단계는,
상기 제1 행렬의 제y 열의 데이터 블록과, 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있는 경우, 상기 RAID를 구성하는 T개의 저장 장치에 상기 제y 열의 데이터 블록 및 상기 검사 블록을 기록하는 단계를 포함하고, 상기 제y 열은 상기 제1 행렬의 열 중 하나인, 파일 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 행렬이 M개의 열을 가지고, 상기 제1 행렬의 각 열의 데이터 블록과 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하는 단계는,
상기 제1 행렬의 제y 열의 데이터 블록과 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있지 않은 경우, 상기 제y 열에서의 부족한 데이터 블록의 수량을 판단하는 단계 - 상기 제y 열은 상기 제1 행렬의 열 중 하나임 -;
상기 제y 열에서 데이터 블록이 없는 위치를, 상기 제1 행렬의 제(M-1) 열 내지 제(y+1) 열로부터 선택된 수량의 데이터 블록으로 채우는 단계;
채운 후의 상기 제y 열의 데이터 블록에 따라 상기 제y 열의 검사 블록을 갱신하는 단계; 및
상기 제y 열의 데이터 블록과 상기 제y 열의 갱신된 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하는 단계를 포함하는, 파일 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 행렬의 각 열의 데이터 블록과 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하는 단계는,
상기 제1 행렬의 제y 열의 데이터 블록과 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있지 않은 경우, 상기 제y 열에서 데이터 블록이 없는 위치를 0(zero)으로 채우는 단계; 및
상기 0으로 채운 후의 상기 제y 열의 데이터 블록과 상기 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 저장 장치에 기록하는 단계를 포함하고, 상기 제y 열은 상기 제1 행렬의 열 중 하나인, 파일 처리 방법. - 제7항에 있어서,
호스트의 액세스 요청을 수신하는 단계 - 상기 액세스 요청은, 상기 RAID에 저장된 파일을 판독하는 데 사용되고, 상기 파일의 로컬 어드레스를 포함함 -;
상기 로컬 어드레스에 따라, 상기 파일의 데이터 블록이 저장되어 있는 물리 어드레스를 질의하는 단계;
상기 물리 어드레스에 따라, 상기 파일이 저장되어 있는 하나의 저장 장치를 결정하는 단계; 및
상기 저장 장치에 저장된 상기 파일의 데이터 블록을 호스트에 반환하는 단계를 더 포함하는 파일 처리 방법. - 독립 디스크의 여분 배열(Redundant Array of Independent Disks, RAID)에 저장될 F개의 파일을 수신하는 단계 - F는 2 이상의 자연수임 -;
상기 RAID의 스트립 크기에 따라, 상기 F개의 파일 각각을 하나 이상의 데이터 블록으로 분할하는 단계;
상기 F개의 파일의 데이터 블록을 1차원 배열 내에 배치하는 단계 - 상기 배열에서, 하나의 파일에 속하는 두 개의 인접한 데이터 블록 사이에는 D-1개 위치의 간격이 있고, D의 값은 상기 RAID에서의 데이터 저장 장치의 수량이며, F는 D보다 작지 않음 -; 및
상기 배열 내의 일련의 D개의 데이터 블록과 상기 일련의 D개의 데이터 블록에 따라 계산에 의해 취득되는 P개의 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 저장 장치에 기록하는 단계 - P의 값은 상기 RAID에서의 독립 검사 저장 장치의 수량임 -
를 포함하는 파일 처리 방법. - 제9항에 있어서,
호스트의 액세스 요청을 수신하는 단계 - 상기 액세스 요청은, 상기 RAID에 저장된 파일을 판독하는 데 사용되고, 상기 파일의 로컬 어드레스를 포함함 -;
상기 로컬 어드레스에 따라, 상기 파일의 데이터 블록이 저장되어 있는 물리 어드레스를 질의하는 단계;
상기 물리 어드레스에 따라, 상기 파일이 저장되어 있는 하나의 저장 장치를 결정하는 단계; 및
상기 저장 장치에 저장된 상기 파일의 데이터 블록을 상기 호스트에 반환하는 단계를 더 포함하는 파일 처리 방법. - 독립 디스크의 여분 배열(Redundant Array of Independent Disks, RAID)에 저장될 F개의 파일을 수신하도록 구성되어 있는 수신 모듈 - 상기 RAID는 T개의 저장 장치로 구성되어 있고, F는 2 이상의 자연수이고, T는 3 이상의 자연수임 -;
상기 RAID의 스트립 크기에 따라 상기 F개의 파일 각각을 하나 이상의 데이터 블록으로 분할하도록 구성되어 있는 분할 모듈;
상기 F개의 파일의 데이터 블록에 따라 T개의 행을 가지는 제1 행렬을 취득하도록 구성되어 있는 처리 모듈 - 여기서, 서로 다른 행에 각 파일의 모든 데이터 블록이 나타나지 않도록, F개의 파일 각각의 모든 데이터 블록들은 상기 제1 행렬의 오직 하나의 행에만 위치하고, 상기 제1 행렬의 각 열은 데이터 블록 및 대응하는 열의 데이터 블록을 계산함으로써 획득되는 검사 블록을 포함하며, 각 열의 2개의 데이터 블록은 동일한 파일에 속하지 않음 -; 및
상기 제1 행렬의 각 열의 데이터 블록과 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하도록 구성되어 있는 기록 모듈
을 포함하는 파일 처리 장치. - 제11항에 있어서,
상기 처리 모듈은,
분할에 의해 취득되는 상기 F개의 파일의 데이터 블록을, D개의 행을 가지는 제2 행렬에 배치하고;
상기 제2 행렬의 각 열에 검사 블록을 각각 삽입하여 T개 행을 가지는 상기 제1 행렬을 취득하도록, 구성되어 있고;
상기 제2 행렬의 서로 다른 행에 각 파일의 모든 데이터 블록이 나타나지 않도록, F개의 파일 각각의 모든 데이터 블록들은 상기 제2 행렬의 오직 하나의 행에만 위치하고, D는 상기 RAID에서의 데이터 저장 장치의 수량이며;
상기 삽입되는 검사 블록은, 상기 제1 행렬에서 상기 검사 블록이 위치하는 열의 데이터 블록에 따라 계산에 의해 취득되는, 파일 처리 장치. - 제12항에 있어서,
상기 RAID가 독립 검사 저장 장치를 포함하는 경우, 상기 처리 모듈은,
상기 RAID에서의 독립 검사 저장 장치의 위치에 따라, 상기 제2 행렬에 검사 블록을 삽입하기 위한 위치를 결정하고;
상기 RAID의 검사 알고리즘에 따라 상기 제2 행렬의 각 열의 데이터 블록에 대해 검사 계산을 수행하여, 각 열의 데이터 블록의 검사 블록을 취득하고;
상기 검사 블록의 결정된 위치에 따라 상기 제2 행렬의 각 열에, 상기 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록을 삽입하여 T개의 행을 가지는 상기 제1 행렬을 취득하도록, 구성되어 있는, 파일 처리 장치. - 제12항에 있어서,
상기 RAID가 독립 검사 저장 장치를 포함하지 않는 경우, 상기 처리 모듈은,
상기 제2 행렬의 각 열에 검사 블록을 삽입하기 위한 위치 A[x, y]를 결정하고;
상기 제2 행렬의 제x 행에서의 제y 열 내지 제(N-1) 열의 데이터 블록을, 제x 행에서의 제(y+1) 열 내지 제N 열의 위치로 순차 이동시키고;
상기 RAID의 검사 알고리즘에 따라 제y 열의 데이터 블록에 대해 검사 계산을 수행하여 제y 열의 데이터 블록의 검사 블록을 취득하고;
상기 제y 열의 데이터 블록의 검사 블록을 상기 제2 행렬의 제y 열에서의 위치 A[x, y]에 삽입하여 T개의 행을 가지는 상기 제1 행렬을 취득하도록, 구성되어 있고,
상기 제2 행렬은 N개의 열을 가지고, x 및 y는 모두 정수이고, x의 값은 0에서부터 D-1까지 점차 증가하고, y의 값은 0에서부터 N-1까지 점차 증가하는, 파일 처리 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 기록 모듈은,
상기 제1 행렬의 제y 열의 데이터 블록과 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있는 경우, 상기 RAID를 구성하는 T개의 저장 장치에 상기 제y 열의 데이터 블록 및 상기 검사 블록을 기록하도록 구성되어 있고, 상기 제y 열은 상기 제1 행렬의 열 중 하나인, 파일 처리 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 제1 행렬이 M개의 열을 가지고, 상기 기록 모듈은,
상기 제1 행렬의 제y 열의 데이터 블록과 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있지 않은 경우, 상기 제y 열에서의 부족한 데이터 블록의 수량을 판단하고 - 상기 제y 열은 제1 행렬의 열 중 하나임 -;
상기 제y 열에서 데이터 블록이 없는 위치를 상기 제1 행렬의 제(M-1) 열 내지 제(y+1) 열로부터 선택된 수량의 데이터 블록으로 채우고;
채운 후의 상기 제y 열의 데이터 블록에 따라 상기 제y 열의 검사 블록을 갱신하고;
상기 제y 열의 데이터 블록과 상기 제y 열의 갱신된 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 T개의 저장 장치에 기록하도록, 구성되어 있는, 파일 처리 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 기록 모듈은,
상기 제1 행렬의 제y 열의 데이터 블록과 상기 제y 열의 데이터 블록에 따라 계산에 의해 취득되는 검사 블록으로 이루어지는 스트라이프가 완전히 점유되어 있지 않은 경우, 상기 제y 열에서 데이터 블록이 없는 위치를 0(zero)으로 채우고;
상기 0으로 채운 후의 상기 제y 열의 데이터 블록과 상기 검사 블록으로 이루어지는 스트라이프를, 상기 RAID를 구성하는 저장 장치에 기록하도록, 구성되어 있고, 상기 제y 열은 상기 제1 행렬의 열 중 하나인, 파일 처리 장치. - 제17항에 있어서,
상기 수신 모듈은 호스트의 액세스 요청을 수신하도록 더 구성되어 있고, 상기 액세스 요청은, 상기 RAID에 저장된 파일을 판독하는 데 사용되고, 상기 파일의 로컬 어드레스를 포함하며;
상기 로컬 어드레스에 따라, 상기 파일의 데이터 블록이 저장되어 있는 물리 어드레스를 질의하고; 상기 물리 어드레스에 따라, 상기 파일이 저장되어 있는 하나의 저장 장치를 결정하고; 상기 저장 장치에 저장된 상기 파일의 데이터 블록을 호스트에 반환하도록, 구성되어 있는 판독 모듈을 더 포함하는 파일 처리 장치. - 삭제
- 삭제
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2013/081182 WO2015018065A1 (zh) | 2013-08-09 | 2013-08-09 | 一种文件处理方法、装置及存储设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150034139A KR20150034139A (ko) | 2015-04-02 |
KR101677473B1 true KR101677473B1 (ko) | 2016-11-18 |
Family
ID=50455934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147036585A KR101677473B1 (ko) | 2013-08-09 | 2013-08-09 | 파일 처리 방법 및 장치, 그리고 저장 디바이스 |
Country Status (8)
Country | Link |
---|---|
US (2) | US9483194B2 (ko) |
EP (1) | EP3026546A4 (ko) |
JP (1) | JP6069742B2 (ko) |
KR (1) | KR101677473B1 (ko) |
CN (1) | CN103733175B (ko) |
AU (1) | AU2013392019B2 (ko) |
CA (1) | CA2881618C (ko) |
WO (1) | WO2015018065A1 (ko) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328184A1 (en) * | 2015-05-07 | 2016-11-10 | Dell Products L.P. | Performance of storage controllers for applications with varying access patterns in information handling systems |
JP6690829B2 (ja) * | 2015-08-28 | 2020-04-28 | 国立大学法人 東京大学 | 計算機システム、省電力化方法及び計算機 |
CN105516548B (zh) * | 2015-11-27 | 2019-01-11 | 中央电视台 | 一种文件预读方法及装置 |
CN108701005B (zh) | 2016-02-18 | 2021-02-23 | 华为技术有限公司 | 数据更新技术 |
CN107168817B (zh) * | 2016-03-07 | 2020-05-08 | 华为技术有限公司 | 应用于存储阵列的数据修复方法与装置及存储设备 |
CN107203559B (zh) * | 2016-03-17 | 2021-01-01 | 华为技术有限公司 | 一种划分数据条带的方法和装置 |
CN111679787B (zh) | 2016-04-27 | 2023-07-18 | 慧荣科技股份有限公司 | 闪存装置、闪存控制器及闪存存储管理方法 |
US10019314B2 (en) | 2016-04-27 | 2018-07-10 | Silicon Motion Inc. | Flash memory apparatus and storage management method for flash memory |
US10152378B2 (en) * | 2016-10-04 | 2018-12-11 | Futurewei Technologies, Inc. | Data protection for a cold storage system |
CN107368391A (zh) * | 2017-07-21 | 2017-11-21 | 长沙曙通信息科技有限公司 | 一种基于快照新型容灾备份异步远程镜像实现方法 |
CN107357687A (zh) * | 2017-07-21 | 2017-11-17 | 长沙曙通信息科技有限公司 | 一种容灾备份新型重复数据删除实现方法 |
CN107360191B (zh) * | 2017-08-28 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 一种文件获取方法、装置及存储设备 |
US10684915B2 (en) * | 2018-07-25 | 2020-06-16 | EMC IP Holding Company LLC | Efficient packing of compressed data in storage system implementing data striping |
CN111338559B (zh) * | 2018-12-19 | 2023-11-10 | 深圳市茁壮网络股份有限公司 | 数据处理方法、用户模块、信息管理模块及系统 |
CN110471623B (zh) * | 2019-07-31 | 2023-12-29 | 深圳市博实结科技股份有限公司 | 硬盘文件写入方法、装置、计算机设备和存储介质 |
CN111142788B (zh) * | 2019-11-29 | 2021-10-15 | 浪潮电子信息产业股份有限公司 | 一种数据迁移方法、装置和计算机可读存储介质 |
CN113782025B (zh) * | 2021-09-27 | 2024-01-09 | 北京声智科技有限公司 | 语音识别方法、装置、终端及存储介质 |
JPWO2023084729A1 (ko) * | 2021-11-12 | 2023-05-19 | ||
CN114333917B (zh) * | 2021-12-30 | 2023-11-03 | 山东云海国创云计算装备产业创新中心有限公司 | 基于rdp纠删算法的数据纠错方法、装置、设备及介质 |
CN114168087B (zh) | 2022-02-11 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 校验数据生成方法、装置、设备及存储介质 |
WO2025001473A1 (zh) * | 2023-06-28 | 2025-01-02 | 华为技术有限公司 | 一种基于块存储的文件处理方法、系统及相关装置 |
WO2025001246A1 (zh) * | 2023-06-29 | 2025-01-02 | 华为云计算技术有限公司 | 一种数据存储方法和相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030120863A1 (en) * | 2001-12-26 | 2003-06-26 | Lee Edward K. | Self-healing log-structured RAID |
US20120151253A1 (en) * | 2010-12-14 | 2012-06-14 | Western Digital Technologies, Inc. | System and method for maintaining a data redundancy scheme in a solid state memory in the event of a power loss |
US20120159067A1 (en) * | 2010-12-18 | 2012-06-21 | Allen Kelton | System and method for handling io to drives in a raid system |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69431186T2 (de) * | 1993-06-03 | 2003-05-08 | Network Appliance, Inc. | Verfahren und Dateisystem zur Zuordnung von Datei-Blöcken zu Speicherplatz in einem RAID-Plattensystem |
US5878280A (en) * | 1993-09-23 | 1999-03-02 | Philips Electronics North America Corp. | Data buffering system for plural data memory arrays |
JPH07152498A (ja) * | 1993-12-01 | 1995-06-16 | Hitachi Ltd | 情報処理システム |
US5860090A (en) * | 1995-10-20 | 1999-01-12 | Informix Software, Inc. | Append-only storage in a disk array using striping and parity caching |
JPH11288359A (ja) * | 1998-04-02 | 1999-10-19 | Matsushita Electric Ind Co Ltd | ファイル管理システムおよび方法 |
US6311251B1 (en) * | 1998-11-23 | 2001-10-30 | Storage Technology Corporation | System for optimizing data storage in a RAID system |
JPH11288387A (ja) * | 1998-12-11 | 1999-10-19 | Fujitsu Ltd | ディスクキャッシュ装置 |
US7200715B2 (en) * | 2002-03-21 | 2007-04-03 | Network Appliance, Inc. | Method for writing contiguous arrays of stripes in a RAID storage system using mapped block writes |
JP2004145409A (ja) * | 2002-10-22 | 2004-05-20 | Hitachi Ltd | 記憶装置および記憶装置サブシステム |
US7237062B2 (en) | 2004-04-02 | 2007-06-26 | Seagate Technology Llc | Storage media data structure system and method |
US8521955B2 (en) * | 2005-09-13 | 2013-08-27 | Lsi Corporation | Aligned data storage for network attached media streaming systems |
CN101055509B (zh) * | 2006-04-14 | 2010-05-12 | 中兴通讯股份有限公司 | 高效流媒体数据读写系统 |
US8006111B1 (en) * | 2007-09-21 | 2011-08-23 | Emc Corporation | Intelligent file system based power management for shared storage that migrates groups of files based on inactivity threshold |
US20090204758A1 (en) | 2008-02-13 | 2009-08-13 | Dell Products, Lp | Systems and methods for asymmetric raid devices |
CN101976175B (zh) * | 2010-08-19 | 2011-12-14 | 北京同有飞骥科技股份有限公司 | 一种水平型分组并行集中校验的磁盘阵列的构建方法 |
US8327185B1 (en) | 2012-03-23 | 2012-12-04 | DSSD, Inc. | Method and system for multi-dimensional raid |
CN102880428B (zh) * | 2012-08-20 | 2015-09-09 | 华为技术有限公司 | 分布式独立磁盘冗余阵列的创建方法及装置 |
US8554997B1 (en) * | 2013-01-18 | 2013-10-08 | DSSD, Inc. | Method and system for mirrored multi-dimensional raid |
-
2013
- 2013-08-09 KR KR1020147036585A patent/KR101677473B1/ko active IP Right Grant
- 2013-08-09 CN CN201380001800.9A patent/CN103733175B/zh active Active
- 2013-08-09 JP JP2015530281A patent/JP6069742B2/ja active Active
- 2013-08-09 AU AU2013392019A patent/AU2013392019B2/en active Active
- 2013-08-09 WO PCT/CN2013/081182 patent/WO2015018065A1/zh active Application Filing
- 2013-08-09 CA CA2881618A patent/CA2881618C/en active Active
- 2013-08-09 EP EP13886152.1A patent/EP3026546A4/en not_active Withdrawn
-
2014
- 2014-12-12 US US14/568,502 patent/US9483194B2/en active Active
-
2015
- 2015-05-05 US US14/704,514 patent/US9417806B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030120863A1 (en) * | 2001-12-26 | 2003-06-26 | Lee Edward K. | Self-healing log-structured RAID |
US20120151253A1 (en) * | 2010-12-14 | 2012-06-14 | Western Digital Technologies, Inc. | System and method for maintaining a data redundancy scheme in a solid state memory in the event of a power loss |
US20120159067A1 (en) * | 2010-12-18 | 2012-06-21 | Allen Kelton | System and method for handling io to drives in a raid system |
Also Published As
Publication number | Publication date |
---|---|
AU2013392019A1 (en) | 2015-02-26 |
JP6069742B2 (ja) | 2017-02-01 |
JP2015528973A (ja) | 2015-10-01 |
CN103733175A (zh) | 2014-04-16 |
US20150100729A1 (en) | 2015-04-09 |
KR20150034139A (ko) | 2015-04-02 |
US9483194B2 (en) | 2016-11-01 |
CA2881618C (en) | 2017-04-18 |
CA2881618A1 (en) | 2015-02-12 |
EP3026546A1 (en) | 2016-06-01 |
EP3026546A4 (en) | 2016-08-17 |
AU2013392019B2 (en) | 2016-09-22 |
US20150234614A1 (en) | 2015-08-20 |
WO2015018065A1 (zh) | 2015-02-12 |
CN103733175B (zh) | 2015-05-27 |
US9417806B2 (en) | 2016-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101677473B1 (ko) | 파일 처리 방법 및 장치, 그리고 저장 디바이스 | |
KR101729636B1 (ko) | 파일 처리 방법 및 저장 디바이스 | |
US8316202B1 (en) | Networked raid in a virtualized cluster | |
CN111158587B (zh) | 基于存储池虚拟化管理的分布式存储系统及数据读写方法 | |
Mao et al. | POD: Performance oriented I/O deduplication for primary storage systems in the cloud | |
US9857994B2 (en) | Storage controller, control method, and computer product | |
US20150081969A1 (en) | Storage apparatus and control method thereof, and recording medium | |
CN114415968A (zh) | 存储系统及其数据写入方法 | |
CN106997277B (zh) | 高效利用回收的存储空间的方法及装置 | |
AU2015255198B2 (en) | File processing method and storage device | |
US20250068338A1 (en) | Power consumption reduction in storage system | |
CN117724997A (zh) | 具有改进的格式化处理的固态驱动器 | |
WO2015131492A1 (zh) | 文件分块方法、系统及文件处理系统 | |
PRANAY et al. | Leveraging Data Deduplication to Improve the Performance of Primary Storage system in the Cloud |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0105 | International application |
Patent event date: 20141226 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20141226 Comment text: Request for Examination of Application |
|
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160504 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20161021 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20161114 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20161114 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20191016 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20201015 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20240927 Start annual number: 9 End annual number: 9 |