KR20160123748A - 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법 - Google Patents

분산 파일 시스템에서의 파일 복제 제어 장치 및 방법 Download PDF

Info

Publication number
KR20160123748A
KR20160123748A KR1020150054305A KR20150054305A KR20160123748A KR 20160123748 A KR20160123748 A KR 20160123748A KR 1020150054305 A KR1020150054305 A KR 1020150054305A KR 20150054305 A KR20150054305 A KR 20150054305A KR 20160123748 A KR20160123748 A KR 20160123748A
Authority
KR
South Korea
Prior art keywords
replication
file
threads
identification information
queue
Prior art date
Application number
KR1020150054305A
Other languages
English (en)
Other versions
KR102377726B1 (ko
Inventor
차명훈
김영균
김홍연
최완
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150054305A priority Critical patent/KR102377726B1/ko
Publication of KR20160123748A publication Critical patent/KR20160123748A/ko
Application granted granted Critical
Publication of KR102377726B1 publication Critical patent/KR102377726B1/ko

Links

Images

Classifications

    • G06F17/30194—
    • G06F17/3007—
    • G06F17/30215—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

분산 파일 시스템에서 파일 복제 제어 장치 및 방법이 개시된다. 본 발명의
일실시예에 따른 분산 파일 시스템에서 파일 복제 제어 장치는 분산 파일 시스템을 구성하는 서버의 개수에 기반하여 복제 쓰레드들의 개수를 제어하고, 상기 복제 쓰레드들 각각에 파일 식별 정보를 삽입하는 복제 제어부; 및 상기 복제 쓰레드들이 상기 파일 식별 정보에 기반하여 상기 파일에 대한 복제를 수행하는 복제 수행부를 포함한다.

Description

분산 파일 시스템에서의 파일 복제 제어 장치 및 방법{APPARATUS FOR CONTROLLING REPRODUCTION OF FILE IN DISTRIBUTED FILE SYSTEM AND METHOD}
본 발명은 분산 파일 시스템에서의 파일을 복제하는 방법에 관한 것으로, 분산 파일 시스템 관리를 위한 다량의 내부 작업을 처리하는데 있어서, 그 작업을 처리하는 작업 쓰레드 수의 동적인 증가/감소에 따라 작업량을 재분배하기 위한 기술에 관한 것이다.
분산 파일 시스템은 다수의 서버들이 네트워크로 연결되어 있는 환경에서, 메타데이터는 별도로 관리되는 소수의 서버가 관리하고, 데이터는 다수의 데이터 서버에 분산 저장되는 구조이다. 일반적으로 다수의 서버들로 운용되는 분산 파일 시스템에서는 서버의 잦은 고장을 가정하고 시스템이 운영된다. 따라서, 분산파일시스템에 파일이 저장되면 그 원본 파일에 대한 복제본을 자동으로 만들고, 그 파일을 포함하고 있는 데이터 서버가 고장나더라도 여분의 복제본을 가진 서버가 살아 있기만 하면 그 파일의 데이터를 정상적으로 접근할 수 있게 된다.
이와 같은 자동 복제 기능을 지원하는 분산 파일 시스템에서, 메타데이터 서버에 복제 큐가 존재하고, 그 복제 큐에는 분산파일시스템에 신규 저장된 파일들의 정보가 삽입되는 환경에서는 다음과 같이 작업이 처리된다.
실제 복제 작업을 담당하는 다수의 복제 쓰레드들은 복제 큐에 삽입된 파일 정보들 중에서 각 쓰레드가 처리해야 할 파일들의 정보를 가져오며, 그렇게 복제 쓰레드에 이동된 파일 정보들은 복제 큐로부터 제거된다. 복제 쓰레드는 복제 큐로부터 가져온 파일 정보들을 기반으로 그 파일에 대한 복제본을 만드는 작업을 수행하며, 복제본 생성이 완료되면 그 복제 쓰레드로부터 그 파일 정보는 제거된다.
복제 작업을 담당하는 복제 쓰레드의 개수가 많을수록 복제 효율이 올라가기 때문에 분산 파일 시스템의 관리자는 상황에 따라 복제 쓰레드의 개수를 동적으로 증가시키거나 감소시킬 수 있다. 이와 같이 복제 쓰레드 수의 동적 변경이 발생하면, 기존에 복제 쓰레드가 복제큐로부터 가져왔던 파일 정보들이 다시 재배치되어야 한다. 이러한 재배치 작업은 통상적인 분산 시스템 환경에서 노드의 추가, 삭제에 따라 각 노드에 배치되었던 정보들을 변화된 노드 구성에 따라 재배치하는 작업과 유사하다.
한국 공개 특허 제 2011-0057125호는 데이터센터에서 증가하는 클라이언트의 요청을 적합한 호스트에 분배하기 위하여 로드 밸런스의 증설을 허용하며, 로드 밸런스 편입에 따라 부하 분산을 용이하게 위하여 인공지능 컴포넌트를 사용하는 방법을 제시하고 있고, 미국 공개 특허 제 2012-0290582호는 대량의 키 값을 분산 저장 관리하는데 있어서 병목 현상을 줄이기 위한 목적으로, 노드 리스트를 2개 이상 노드에 저장하고, 로드 밸런서를 두어, 라운드 로빈 방식으로 노드 리스트를 선택하는 방법을 제공하고 있다. 그러나, 한국 공개 특허 제 2011-0056125호 및 미국 공개 특허 제 2012-0290582호에서는 분산 파일 시스템에서 복제 대상 자원을 관리, 반납, 재분배함으로써 분산 파일 시스템의 복제 효율을 향상시키는 방법에 관한 내용은 언급하고 있지 않다.
따라서, 클라우드 시스템 등 분산 파일 시스템을 이용하는 현재의 추세를 볼 때, 분산 파일 시스템을 구성하는 서버의 개수가 동적으로 변화해도 복제의 효율을 크게 높일 수 있는 기술의 필요성이 대두되고 있다.
본 발명의 목적은 분산 파일 시스템을 구성하는 서버 개수의 변동이 있어, 복제 쓰레드가 동적으로 변화할 때, 효율적으로 파일 복제를 수행하게 하는 것이다.
또한, 본 발명의 목적은 분산 파일 시스템을 구성하는 서버의 개수의 변동이 있더라도 효율적인 작업 재분배가 가능하게 하는 것이다.
또한, 본 발명의 목적은 복제 쓰레드의 동적인 변화에도 복제 대상 자원의 관리를 효율적으로 수행하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 분산 파일 시스템에서의 파일 복제 제어 장치는 분산 파일 시스템을 구성하는 서버의 개수에 기반하여 복제 쓰레드들의 개수를 제어하고, 상기 복제 쓰레드들 각각에 파일 식별 정보를 삽입하는 복제 제어부; 및 상기 복제 쓰레드들이 상기 파일 식별 정보에 기반하여 상기 파일에 대한 복제를 수행하는 복제 수행부를 포함한다.
이 때, 상기 복제 제어부는 복제 쓰레드들의 개수의 변동을 감지하는 감지부; 상기 복제 쓰레드들의 개수의 변동이 감지된 경우, 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 복제큐에 반납하는 반납부; 및 상기 복제큐에 저장된 파일 식별 정보들을 상기 복제 쓰레드들에 삽입하는 삽입부를 포함할 수 있다.
이 때, 상기 반납부는 상기 복제큐에 상기 파일 식별 정보를 반납한 이후, 상기 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 삭제할 수 있다.
이 때, 상기 삽입부는 상기 복제 쓰레드들에 상기 파일 식별 정보를 삽입한 이후, 상기 복제큐에 저장된 상기 파일 식별 정보를 삭제할 수 있다.
또한, 본 발명의 일실시예에 따른 분산 파일 시스템에서의 파일 복제 제어 방법은 분산 파일 시스템을 구성하는 서버의 개수에 기반하여 복제 쓰레드들의 개수를 제어하는 단계; 상기 복제 쓰레드들 각각에 파일 식별 정보들의 일부분을 각각 삽입하는 단계; 및 상기 복제 쓰레드들이 상기 파일 식별 정보에 기반하여 상기 파일에 대한 복제를 수행하는 단계를 포함한다.
이 때, 상기 파일 식별 정보들의 일부분을 삽입하는 단계는 복제 쓰레드들의 개수의 변동을 감지하는 단계; 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 복제큐에 반납하는 단계; 및 상기 복제큐에 저장된 파일 식별 정보들을 상기 복제 쓰레드들에 삽입하는 단계를 포함할 수 있다.
이 때, 상기 복제큐에 반납하는 단계는 상기 복제큐에 상기 파일 식별 정보를 반납한 이후, 상기 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 삭제할 수 있다.
이 때, 상기 복제 쓰레드들에 삽입하는 단계는 상기 복제 쓰레드들에 상기 파일 식별 정보를 삽입한 이후, 상기 복제큐에 저장된 상기 파일 식별 정보를 삭제할 수 있다.
본 발명은 분산 파일 시스템을 구성하는 서버 개수의 변동이 있어, 복제 쓰레드가 동적으로 변화할 때, 효율적으로 파일 복제를 수행할 수 있다.
또한, 본 발명은 분산 파일 시스템을 구성하는 서버의 개수의 변동이 있더라도 효율적인 작업 재분배가 가능해지므로, 분산 파일 시스템을 좀 더 효과적으로 이용할 수 있다.
또한, 본 발명은 복제 쓰레드의 동적인 변화에도 복제 대상 자원의 관리를 효율적으로 수행할 수 있어, 복제 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 파일 복제 제어 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 복제제어부의 일실시예를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 복제큐, 복제쓰레드를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 파일 복제 제어 방법에서 복제큐와 복쓰레드간의 동작을 나타낸 동작 흐름도이다.
도 5는 본 발명의 일실시예에 따른 파일 복제 제어 방법을 나타낸 동작흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 파일 복제 제어 방법을 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 파일 복제 제어 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 파일 복제 제어 장치는 복제 제어부(110) 및 복제 수행부(120)로 구성되어 있다.
복제 제어부(110)는 분산 파일 시스템을 구성하는 서버의 개수에 기반하여 복제 쓰레드들의 개수를 제어하고, 상기 복제 쓰레드들 각각에 파일 식별 정보를 삽입한다.
이 때, 복제 쓰레드들의 개수를 제어하는 것은 분산 파일 시스템의 서버의 개수에 기반한다. 이는 분산 파일 시스템을 구성하는 서버의 개수가 커질수록 복제 하는 파일들의 개수가 늘어날 수 있고, 이로 인해 복제하는 파일의 개수가 늘어나게 되고, 따라서 복제를 수행하는 복제 쓰레드들의 개수가 늘어나기 때문이다. 반대로, 분산 파일 시스템을 구성하는 서버의 개수가 작아질수록 복제하는 파일들의 개수가 줄어들게 되고, 이로 인해 복제하는 파일의 개수가 작아지게 되고, 따라서 복제를 수행하는 복제 쓰레드의 개수가 줄어들기 때문이다.
이 때, 복제 제어부(110)가 존재하는 위치는 제한이 없다. 분산 파일 시스템에서 독립된 서버에 존재할 수도 있으며, 다수의 서버에 각각 존재할 수도 있다.
이 때, 복제 제어부(110)는 복제 쓰레드들의 개수의 변동을 감지할 수 있다.
이 때, 복제 제어부(110)는 복제 쓰레드들의 개수의 변동이 감지된 경우, 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 복제큐에 반납할 수 있다.
이 때, 반납된 파일 식별 정보는 복제큐에 저장될 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들과 추가된 복제 쓰레드들이 있는 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수 있다. 즉, 복제 쓰레드들의 개수가 늘어나게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수 있다.
또한, 복제 쓰레드들이 복제큐에 파일 식별 정보를 반납한 이후, 기존에 저장되있던 파일 식별 정보를 삭제할 수도 있다.
또한, 복제큐가 파일 식별 정보를 다시 복제 쓰레드들에 삽입하고 나서, 기존에 복제큐에 저장된 파일 식별 정보를 삭제할 수도 있다.
이 때, 복제큐는 기존의 복제 쓰레드들의 개수가 감소한 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수도 있다. 즉, 복제 쓰레드들의 개수가 줄어들게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수도 있다.
또한, 복제 쓰레드들이 복제큐에 파일 식별 정보를 반납한 이후, 기존에 저장되있던 파일 식별 정보를 삭제할 수도 있다.
또한, 복제큐가 파일 식별 정보를 다시 복제 쓰레드들에 삽입하고 나서, 기존에 복제큐에 저장된 파일 식별 정보를 삭제할 수도 있다.
복제 수행부(120)는 상기 복제 쓰레드들에 삽입된 상기 파일 식별 정보에 기반하여 상기 파일에 대한 복제를 수행한다.
도 2는 도 1에 도시된 복제제어부의 일실시예를 나타낸 블록도이다.
도 2를 참조하면 복제제어부(110)는 감지부(210), 반납부(220) 및 삽입부(230)로 구성되어 있다.
감지부(210)는 복제 쓰레드들의 개수의 변동을 감지한다.
이 때, 복제 쓰레드들의 개수가 변동하는 것은 분산 파일 시스템의 서버의 개수가 영향을 끼칠 수도 있다. 이는 분산 파일 시스템을 구성하는 서버의 개수가 커질수록 복제 하는 파일들의 개수가 늘어날 수 있고, 이로 인해 복제하는 파일의 개수가 늘어나게 되고, 따라서 복제를 수행하는 복제 쓰레드들의 개수가 늘어나기 때문이다. 반대로, 분산 파일 시스템을 구성하는 서버의 개수가 작아질수록 복제하는 파일들의 개수가 줄어들게 되고, 이로 인해 복제하는 파일의 개수가 작아지게 되고, 따라서 복제를 수행하는 복제 쓰레드의 개수가 줄어들기 때문이다.
반납부(220)는 감지부(210)에서 개수의 변동이 감지된 경우, 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 복제큐에 반납한다.
이 때, 기존의 복제 쓰레드들에 저장된 파일 식별 정보는 복제큐에 반납된 이후에 삭제될 수 있다.
이 때, 모든 복제 쓰레드들에는 파일 식별 정보가 남아있지 않을 수 있다.
이 때, 복제큐에 기존의 복제 쓰레드들에 저장된 파일 식별 정보가 모두 존재할 수 있다.
삽입부(230)는 반납부(220)에서 복제큐에 반납한 파일 식별 정보들을 복제 쓰레드들에 삽입할 수 있다.
이 때, 복제 쓰레드들에 파일 식별 정보를 삽입할 때, 복제 쓰레드가 처리할 수 있는 파일들의 식별 정보만을 삽입할 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들과 추가된 복제 쓰레드들이 있는 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수 있다. 즉, 복제 쓰레드들의 개수가 늘어나게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수 있다.
이 때, 복제큐에 반납한 파일 식별 정보들이 복제 쓰레드에 삽입된 이후에 복제큐에 존재하는 파일 식별 정보가 모두 삭제될 수도 있다.
이 때, 동적으로 복제 쓰레드의 개수가 변할 수도 있다. 이 경우, 도 2에 도시된 감지부(210)에서 다시 복제 쓰레드의 개수의 변동을 인식하고, 반납부(220) 및 삽입부(230)에서 이 과정을 반복할 수도 있다.
이 때, 복제큐는 기존의 복제 쓰레드들의 개수가 감소한 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수도 있다. 즉, 복제 쓰레드들의 개수가 줄어들게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수도 있다.
도 3은 본 발명의 일실시예에 따른 복제큐, 복제쓰레드를 나타낸 도면이다.
도 3을 참조하면, 도 3은 복제큐(301), 복제쓰레드들(302 내지 305) 및 파일 식별 정보(306 내지 312)로 구성되어 있다.
이 때, 복제 큐(301)는 파일 식별 정보들의 집합을 의미한다.
이 때, 복제 큐(301)은 파일 식별 정보(306 내지 312)를 포함하는 데이터임을 도 3에서 확인할 수 있다.
이 때, 복제 쓰레드들(302 내지 305)은 복제를 수행하는 흐름의 단위를 의미한다. 본 발명에서는 새로 추가된 파일에 대한 복제를 수행하는 프로세스 각각의 단위는 복제 쓰레드라고 표현하였다.
이 때, 복제 큐(301)는 복제 쓰레드들(302 내지 305)에 파일 식별 정보를 삽입할 때, 복제 쓰레드가 처리할 수 있는 파일들의 식별 정보만을 삽입할 수 있다.
도 3을 참조하여 설명하면 복제 쓰레드(302)에서 처리할 수 있는 파일 식별 정보 (306, 307)이 있으면, 복제 큐(301)는 복제 쓰레드(302)에 파일 식별 정보(306, 307)을 삽입하게 된다.
이 때, 복제 쓰레드(303)에서 처리할 수 있는 파일 식별 정보(308)이 있으면, 복제 큐(301)는 복제 쓰레드(303)에 파일 식별 정보(307)을 삽입하게 된다.
이 때, 복제 쓰레드(304)에서 처리할 수 있는 파일 식별 정보(309, 310)이 있으면, 복제 큐(301)는 복제 쓰레드(304)에 파일 식별 정보(309, 310)를 삽입하게 된다.
이 때, 파일 식별 정보(306 내지 312)는 복제될 파일의 정보를 의미한다.
이 때, 파일 식별 정보(306 내지 312)에 포함되는 파일의 정보의 종류는 제한이 없다. 예를 들어, 파일의 확장자명, 파일에 태그가 존재하는 경우 태그 정보 등이 파일 식별 정보에 포함될 수 있음은 자명하다.
이 때, 복제 쓰레드들(302 내지 305)은 동적으로 감소 또는 증가할 수도 있다.
이 때, 복제 쓰레드들(302 내지 305) 각각은 복제 큐(301)로부터 가져온 파일 식별 정보를 쓰레드 단위로 보유할 수도 있다.
도 4는 본 발명의 일실시예에 따른 파일 복제 제어 방법에서 복제큐와 복쓰레드간의 동작을 나타낸 동작 흐름도이다.
도 4를 참조하면, 먼저 복제 쓰레드들의 개수의 변화를 감지한다(S401).
이 때, 복제 쓰레드들의 개수가 변화하는 것은 분산 파일 시스템의 서버의 개수에 기반한다. 이는 분산 파일 시스템을 구성하는 서버의 개수가 커질수록 복제 하는 파일들의 개수가 늘어날 수 있고, 이로 인해 복제하는 파일의 개수가 늘어나게 되고, 따라서 복제를 수행하는 복제 쓰레드들의 개수가 늘어나기 때문이다. 반대로, 분산 파일 시스템을 구성하는 서버의 개수가 작아질수록 복제하는 파일들의 개수가 줄어들게 되고, 이로 인해 복제하는 파일의 개수가 작아지게 되고, 따라서 복제를 수행하는 복제 쓰레드의 개수가 줄어들기 때문이다.
또한, 복제 쓰레드에 저장된 모든 파일 식별 정보의 재삽입을 복제큐에 요청한다(S402).
또한, 재 삽입 요청된 파일 식별 정보들을 복제큐에 삽입 한다(S403).
이 때, 복제큐에 기존의 복제 쓰레드들에 저장된 파일 식별 정보가 모두 존재할 수 있다.
또한, 복제 쓰레드에 저장된 파일 식별 정보를 삭제한다(S404).
이 때, 모든 복제 쓰레드들에는 파일 식별 정보가 남아있지 않을 수 있다.
이 때, 복제 쓰레드에 저장된 파일 식별 정보를 삭제하는 것은, 복제 큐에서 복제 쓰레드로 다시 파일 식별 정보를 삽입 하기 때문이다.
또한, 파일 식별 정보를 복제 쓰레드들에 재삽입 할 수 있는 상태로 전환한다(S405).
또한, 복제 큐로부터 파일 식별 정보를 회수한다(S406).
이 때, 복제 쓰레드들에 파일 식별 정보를 삽입할 때, 복제 쓰레드가 처리할 수 있는 파일들의 식별 정보만을 삽입할 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들과 추가된 복제 쓰레드들이 있는 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수 있다. 즉, 복제 쓰레드들의 개수가 늘어나게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들의 개수가 감소한 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수도 있다. 즉, 복제 쓰레드들의 개수가 줄어들게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수도 있다.
도 5는 본 발명의 일실시예에 따른 파일 복제 제어 방법을 나타낸 동작흐름도이다.
도 5를 참조하면, 먼저, 저장된 파일에 대한 식별 정보가 복제큐에 삽입된다(S501).
또한, 복제 쓰레드가 처리 가능한 파일 식별 정보를 회수한다(S502).
또한, 복제 큐 내부에서 회수해간 파일 식별 정보를 삭제한다(S503).
또한, 파일 식별 정보를 복제 쓰레드 내부에 삽입한다(S504).
이 때, 복제 쓰레드들에 파일 식별 정보를 삽입할 때, 복제 쓰레드가 처리할 수 있는 파일들의 식별 정보만을 삽입할 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들과 추가된 복제 쓰레드들이 있는 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수 있다. 즉, 복제 쓰레드들의 개수가 늘어나게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들의 개수가 감소한 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수도 있다. 즉, 복제 쓰레드들의 개수가 줄어들게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수도 있다.
또한, 파일 식별 정보에 기반하여 파일 복제 명령을 송신한다(S505).
또한, 파일 복제 명령을 수신하고(S506), 파일 복제 후 원본 파일이 존재하는 서버 이외의 서버에 복제된 파일을 저장한다(S507).
또한, 복제가 완료된 복제 쓰레드 내부의 파일의 식별 정보를 삭제한다(S508).
이 때, 모든 복제 쓰레드들에는 파일 식별 정보가 남아있지 않을 수 있다.
도 6은 본 발명의 다른 실시예에 따른 파일 복제 제어 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 먼저, 복제 쓰레드들의 개수를 제어한다(S601).
이 때, 복제 쓰레드들의 개수를 제어하는 것은 분산 파일 시스템의 서버의 개수에 기반한다. 이는 분산 파일 시스템을 구성하는 서버의 개수가 커질수록 복제 하는 파일들의 개수가 늘어날 수 있고, 이로 인해 복제하는 파일의 개수가 늘어나게 되고, 따라서 복제를 수행하는 복제 쓰레드들의 개수가 늘어나기 때문이다. 반대로, 분산 파일 시스템을 구성하는 서버의 개수가 작아질수록 복제하는 파일들의 개수가 줄어들게 되고, 이로 인해 복제하는 파일의 개수가 작아지게 되고, 따라서 복제를 수행하는 복제 쓰레드의 개수가 줄어들기 때문이다.
또한, 복제 쓰레드들 각각에 파일 식별 정보를 삽입한다(S602).
이 때, 복제 쓰레드들의 개수의 변동이 감지된 경우, 기존의 복제 쓰레드들에 저장된 파일 식별 정보를 복제큐에 반납할 수 있다.
이 때, 반납된 파일 식별 정보는 복제큐에 저장될 수 있다.
이 때, 복제큐는 기존의 복제 쓰레드들과 추가된 복제 쓰레드들이 있는 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수 있다. 즉, 복제 쓰레드들의 개수가 늘어나게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수 있다.
또한, 복제 쓰레드들이 복제큐에 파일 식별 정보를 반납한 이후, 기존에 저장되있던 파일 식별 정보를 삭제할 수도 있다.
또한, 복제큐가 파일 식별 정보를 다시 복제 쓰레드들에 삽입하고 나서, 기존에 복제큐에 저장된 파일 식별 정보를 삭제할 수도 있다.
이 때, 복제큐는 기존의 복제 쓰레드들의 개수가 감소한 경우, 각각의 복제 쓰레드들이 처리할 수 있는 파일 식별 정보를 각각의 복제 쓰레드들에 삽입할 수도 있다. 즉, 복제 쓰레드들의 개수가 줄어들게 되면, 복제큐를 이용하여 다시 작업을 재분배할 수도 있다.
또한, 복제 쓰레드들이 복제큐에 파일 식별 정보를 반납한 이후, 기존에 저장되있던 파일 식별 정보를 삭제할 수도 있다.
또한, 복제큐가 파일 식별 정보를 다시 복제 쓰레드들에 삽입하고 나서, 기존에 복제큐에 저장된 파일 식별 정보를 삭제할 수도 있다.
또한, 파일 식별 정보에 기반한 파일 복제를 수행한다(S603).
이상에서와 같이 본 발명에 따른 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
301: 복제 큐
302, 303, 304, 305: 복제 쓰레드
306, 307, 308, 309, 310, 311, 312: 파일 식별 정보

Claims (1)

  1. 분산 파일 시스템을 구성하는 서버의 개수에 기반하여 복제 쓰레드들의 개수를 제어하고, 복제 큐를 이용하여 상기 복제 쓰레드들 각각에 파일 식별 정보를 삽입하는 복제 제어부; 및
    상기 복제 쓰레드들이 상기 파일 식별 정보에 기반하여 상기 파일에 대한 복제를 수행하는 복제 수행부
    를 포함하는 것을 특징으로 하는 파일 복제 제어 장치.
KR1020150054305A 2015-04-17 2015-04-17 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법 KR102377726B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150054305A KR102377726B1 (ko) 2015-04-17 2015-04-17 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150054305A KR102377726B1 (ko) 2015-04-17 2015-04-17 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160123748A true KR20160123748A (ko) 2016-10-26
KR102377726B1 KR102377726B1 (ko) 2022-03-24

Family

ID=57251490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150054305A KR102377726B1 (ko) 2015-04-17 2015-04-17 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102377726B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049266A (ko) 2017-11-01 2019-05-09 한국전자통신연구원 네트워크에서 메타데이터의 동기화를 제어하는 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010094951A (ko) * 2000-04-04 2001-11-03 포만 제프리 엘 다중 스레드를 이용하는 처리 시스템과 다중 스레드 이용방법, 다중 독립 스레드 실행 방법과 스레드 실행 제어장치, 스레드와 연계한 프리페치 버퍼 이용 방법, 및스레드 실행 콘트롤러
KR20040062393A (ko) * 2002-12-31 2004-07-07 인터내셔널 비지네스 머신즈 코포레이션 동적 쓰레드 풀 조정 방법
KR20040074627A (ko) * 2003-02-19 2004-08-25 마이크로소프트 코포레이션 복제 명령 분배 시스템 및 방법
KR20090006572A (ko) * 2007-07-12 2009-01-15 삼성전자주식회사 쓰레드 풀 관리 장치 및 방법
KR20090084881A (ko) * 2006-12-21 2009-08-05 인터내셔널 비지네스 머신즈 코포레이션 멀티프로세서 시스템 상에서 멀티스레드 프로그램으로부터의 메모리 액세스를 관리하기 위한 방법 및 시스템
KR100936238B1 (ko) * 2007-12-12 2010-01-12 한국전자통신연구원 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법
JP2013257798A (ja) * 2012-06-14 2013-12-26 Nec Corp データ収集システムおよびデータ収集方法
KR101374533B1 (ko) * 2013-04-17 2014-03-14 주식회사 엔써티 대용량 데이터에 대한 고성능 복제 및 백업 시스템과, 고성능 복제 방법
KR20140050903A (ko) * 2012-10-22 2014-04-30 주식회사 엔써티 데이터베이스의 실시간 백업 시스템, 데이터 복구 시스템 및 데이터 복구 방법
KR20140137573A (ko) * 2013-05-23 2014-12-03 한국전자통신연구원 데이터 분산 서비스 미들웨어의 쓰레드를 위한 메모리 관리 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010094951A (ko) * 2000-04-04 2001-11-03 포만 제프리 엘 다중 스레드를 이용하는 처리 시스템과 다중 스레드 이용방법, 다중 독립 스레드 실행 방법과 스레드 실행 제어장치, 스레드와 연계한 프리페치 버퍼 이용 방법, 및스레드 실행 콘트롤러
KR20040062393A (ko) * 2002-12-31 2004-07-07 인터내셔널 비지네스 머신즈 코포레이션 동적 쓰레드 풀 조정 방법
KR20040074627A (ko) * 2003-02-19 2004-08-25 마이크로소프트 코포레이션 복제 명령 분배 시스템 및 방법
KR20090084881A (ko) * 2006-12-21 2009-08-05 인터내셔널 비지네스 머신즈 코포레이션 멀티프로세서 시스템 상에서 멀티스레드 프로그램으로부터의 메모리 액세스를 관리하기 위한 방법 및 시스템
KR20090006572A (ko) * 2007-07-12 2009-01-15 삼성전자주식회사 쓰레드 풀 관리 장치 및 방법
KR100936238B1 (ko) * 2007-12-12 2010-01-12 한국전자통신연구원 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법
JP2013257798A (ja) * 2012-06-14 2013-12-26 Nec Corp データ収集システムおよびデータ収集方法
KR20140050903A (ko) * 2012-10-22 2014-04-30 주식회사 엔써티 데이터베이스의 실시간 백업 시스템, 데이터 복구 시스템 및 데이터 복구 방법
KR101374533B1 (ko) * 2013-04-17 2014-03-14 주식회사 엔써티 대용량 데이터에 대한 고성능 복제 및 백업 시스템과, 고성능 복제 방법
KR20140137573A (ko) * 2013-05-23 2014-12-03 한국전자통신연구원 데이터 분산 서비스 미들웨어의 쓰레드를 위한 메모리 관리 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049266A (ko) 2017-11-01 2019-05-09 한국전자통신연구원 네트워크에서 메타데이터의 동기화를 제어하는 장치 및 그 방법

Also Published As

Publication number Publication date
KR102377726B1 (ko) 2022-03-24

Similar Documents

Publication Publication Date Title
CN103354923B (zh) 一种数据重建方法、装置和系统
KR101597384B1 (ko) 분할되고 확장가능하며 사용가능한 구조적 저장소에서의 파티션 관리
US8307019B2 (en) File management method and storage system
CN104580439B (zh) 一种云存储系统中使数据均匀分布的方法
JP5065295B2 (ja) 異なる仮想マシン・イメージ間でファイルを共有するための方法、システム、およびコンピュータ読み取り可能媒体
US8495013B2 (en) Distributed storage system and method for storing objects based on locations
US11176102B2 (en) Incremental virtual machine metadata extraction
US20160197996A1 (en) Massively scalable object storage system
US20150199243A1 (en) Data backup method of distributed file system
EP2164006A2 (en) Scalable secondary storage systems and methods
WO2015107666A1 (ja) ストレージ装置及びストレージ装置のキャッシュ制御方法
US9984139B1 (en) Publish session framework for datastore operation records
KR100936238B1 (ko) 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법
US9369527B2 (en) File server, file server control method, and storage system
US10133757B2 (en) Method for managing data using in-memory database and apparatus thereof
US20190163773A1 (en) Redistributing table data in a database cluster
US8775775B1 (en) Dynamic prefetch throttling for multi-controller systems
US8489698B2 (en) Apparatus and method for accessing a metadata
JP4536034B2 (ja) 文書管理システム、計算機、文書管理方法、及びプログラム
JP2008158661A (ja) アクセス制御方法、アクセス制御装置、及びアクセス制御プログラム
US20230376357A1 (en) Scaling virtualization resource units of applications
KR20160123748A (ko) 분산 파일 시스템에서의 파일 복제 제어 장치 및 방법
US11163799B2 (en) Automatic rollback to target for synchronous replication
CN110442645B (zh) 数据索引方法及装置
US8909875B1 (en) Methods and apparatus for storing a new version of an object on a content addressable storage system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right