KR101255909B1 - 데이터 로컬리티를 보장하는 하둡 파일 시스템 - Google Patents

Abstract

본 발명은 네트웍 트래픽을 현저하게 줄일 수 있도록 클라이언트에서 파일을 요청하면 해당 파일이 있는 노드에서 처리할 수 있도록 데이터 로컬리티를 보장하는 하둡 파일 시스템에 관한 것으로,
이러한 하둡 파일 시스템은 소요 데이터 획득을 위한 데이터 요청정보를 전송하는 기능을 포함하는 클라이언트와; 상기 데이터 요청정보에 노드정보를 포함하고 있는지에 대한 여부를 확인한 후, 노드정보가 있으면 해당 노드가 구비된 하드웨어에, 노드정보가 없으면 임의의 하드웨어에 상기 데이터 요청정보를 전송하는 기능을 포함하는 로드 밸런서 서버와; 상기 데이터 요청정보를 처리하는 어플리케이션 서버와, 데이터가 저장된 노드를 포함하는 다수의 하드웨어들; 및 상기 다수의 하드웨어들의 노드에 저장된 데이터 정보를 관리하는 기능을 포함하는 글로벌 캐쉬 서버;를 포함하며,
상기 어플리케이션 서버는 노드에 상기 소요 데이터가 존재하는지에 대한 여부를 확인한 후, 소요 데이터가 있으면 상기 클라이언트에 해당 데이터를 전송하고, 소요 데이터가 없으면 소요 데이터가 저장된 노드를 검색하여 노드검색정보를 취득하고 이를 상기 글로벌 캐쉬 서버에 저장 및 데이터 요청정보에 포함시켜 상기 클라이언트에 전송하는 기능을 포함하는 것을 특징으로 한다.

Description

데이터 로컬리티를 보장하는 하둡 파일 시스템{Hadoop file system}

본 발명은 하둡 파일 시스템에 있어서, 네트웍 트래픽을 현저하게 줄일 수 있도록 클라이언트에서 파일을 요청하면 해당 파일이 있는 노드에서 처리할 수 있도록 데이터 로컬리티를 보장하는 하둡 파일 시스템에 관한 것이다.

하둡은 하나의 파일의 복사본을 여러 노드에 저장을 하는 분사 파일 시스템이다.

클라이언트에서 여러 노드들 중 한 노드에 파일을 다운로드 요청을 할 때, 그 파일이 다행히 같은 노드에 있으면 그 파일을 바로 클라이언트에게 전달해 줄 수 있지만, 다른 노드에 있으면 파일이 있는 노드에서 파일을 네트웍을 통해 읽어와서 클라이언트에게 전달을 해준다. 많은 요청을 처리할 경우 이러한 구조는 많은 네트웍 트래픽을 유발한다.

본 발명은 상기와 같은 문제를 해결하고자 안출된 것으로, 네트웍 트래픽을 현저하게 줄일 수 있도록 클라이언트에서 파일을 요청하면 해당 파일이 있는 노드에서 처리할 수 있도록 데이터 로컬리티를 보장하는 하둡 파일 시스템을 제공하는 것을 목적으로 한다.

상기와 같은 본 발명의 목적은,

소요 데이터 획득을 위한 데이터 요청정보를 전송하는 기능을 포함하는 클라이언트와;

상기 데이터 요청정보에 노드정보를 포함하고 있는지에 대한 여부를 확인한 후, 노드정보가 있으면 해당 노드가 구비된 하드웨어에, 노드정보가 없으면 임의의 하드웨어에 상기 데이터 요청정보를 전송하는 기능을 포함하는 로드 밸런서 서버와;

상기 데이터 요청정보를 처리하는 어플리케이션 서버와, 데이터가 저장된 노드를 포함하는 다수의 하드웨어들; 및

상기 다수의 하드웨어들의 노드에 저장된 데이터 정보를 관리하는 기능을 포함하는 글로벌 캐쉬 서버;를 포함하며,

상기 어플리케이션 서버는 노드에 상기 소요 데이터가 존재하는지에 대한 여부를 확인한 후, 소요 데이터가 있으면 상기 클라이언트에 해당 데이터를 전송하고, 소요 데이터가 없으면 소요 데이터가 저장된 노드를 검색하여 노드검색정보를 취득하고 이를 상기 글로벌 캐쉬 서버에 저장 및 데이터 요청정보에 포함시켜 상기 클라이언트에 전송하는 기능을 포함하는 것을 특징으로 하는 데이터 로컬리티를 보장하는 하둡 파일 시스템에 의해 달성된다.

한편, 상기 클라이언트는 어플리케이션 서버로부터 노드검색정보를 포함하는 데이터 요청정보를 수신하면, 노드검색정보를 포함하는 데이터 요청정보를 로드 밸런서 서버에 재전송하고,

로드 밸런서는 노드검색정보에 따른 해당 노드가 구비된 하드웨어의 어플리케이션 서버에 재전송하는 것을 더 포함하는 것이 바람직하다.

본 발명에 의하면, 파일이 있는 서버에서 파일 다운로드 요청을 처리함으로써 클라이언트 응답시간을 최소화할 수 있다.

파일이 있는 서버에서 파일을 클라이언트에 바로 전송함으로써 다른 서버와의 네트웍통신을 최소화하여 성능 향상을 시킬 수 있다.

도 1은 본 발명에 따른 데이터 로컬리티를 보장하는 하둡 파일 시스템의 개략적인 구성도,
도 2 및 도 3은 본 발명에 따른 데이터 로컬리티를 보장하는 하둡 파일 시스템의 동작 관계를 나타낸 도면.

본 발명은 하둡 파일 시스템에 있어서, 네트웍 트래픽을 현저하게 줄일 수 있도록 클라이언트에서 파일을 요청하면 해당 파일이 있는 노드에서 처리할 수 있도록 데이터 로컬리티를 보장하는 하둡 파일 시스템에 관한 것이다.

즉, 클라이언트는 어떤 노드에 파일이 있는지 알 수 없으므로 첫번째 요청에서는 무작위 노드에게 요청을 전달하고 다행히 그 노드에 파일이 있으면 요청을 처리해 파일을 클라인언트에게 전달을 하고, 없으면 파일이 있는 노드를 검색한 후 그 노드 정보를 포함하여 클라이언트에게 재요청을 하도록 요구한다. 이때 캐쉬 서버에 해당 결과 즉 파일이름과 노드위치를 캐싱 하므로써 이 후 파일이 있는 노드를 찾는 시간을 줄일 수 있다. 이렇게 하므로써 하둡을 이용할 때 최소한의 네트웍 트래픽으로 많은 클라이언트 요청을 처리할 수 있다.

이를 위해 본 발명에 따른 하둡 파일 시스템은 도 1에 도시한 바와 같이 소요 데이터 획득을 위한 데이터 요청정보를 전송하는 기능을 포함하는 클라이언트(301,302,303)와; 상기 데이터 요청정보에 노드정보를 포함하고 있는지에 대한 여부를 확인한 후, 노드정보가 있으면 해당 노드가 구비된 하드웨어에, 노드정보가 없으면 임의의 하드웨어에 상기 데이터 요청정보를 전송하는 기능을 포함하는 로드 밸런서 서버(10)와; 상기 데이터 요청정보를 처리하는 어플리케이션 서버와, 데이터가 저장된 노드를 포함하는 다수의 하드웨어(41,42,43)들; 및 상기 다수의 하드웨어(41,42,43)들의 노드에 저장된 데이터 정보를 관리하는 기능을 포함하는 글로벌 캐쉬 서버(50);를 포함하며,

상기 어플리케이션 서버는 노드에 상기 소요 데이터가 존재하는지에 대한 여부를 확인한 후, 소요 데이터가 있으면 상기 클라이언트(301,302,303)에 해당 데이터를 전송하고, 소요 데이터가 없으면 소요 데이터가 저장된 노드를 검색하여 노드검색정보를 취득하고 이를 상기 글로벌 캐쉬 서버(50)에 저장 및 상기 데이터 요청정보에 포함시켜 상기 클라이언트(301,302,303)에 전송하는 기능을 포함하는 것을 특징으로 한다.

한편, 상기 클라이언트(301,302,303)는 어플리케이션 서버로부터 노드검색정보를 포함하는 데이터 요청정보를 수신하면, 노드검색정보를 포함하는 데이터 요청정보를 로드 밸런서 서버에 재전송하고, 이때 상기 로드 밸런서(10)는 노드검색정보에 따른 해당 노드가 구비된 하드웨어의 어플리케이션 서버에 재전송하는 것을 더 포함함을 특징으로 한다.

상기와 같은 구성으로 이루어진 하둡 파일 시스템에서 네트웍 트래픽을 현저하게 줄일 수 있도록 클라이언트에서 파일을 요청하면 해당 파일이 있는 노드에서 처리할 수 있도록 데이터 로컬리티를 보장하는 방법을 도 2를 참조하면 대략 다음과 같다.

① 클라이언트(301)는 소요 데이터 획득을 위한 데이터 요청정보를 로드밸런서 서버(10)에 전송한다. 데이터 요청정보에는 클라이언트(301)가 소요하는, 또는 필요로 하는 데이터 정보(파일이름, 파일종류 등)를 포함하고, 데이터가 저장된 노드 위치정보는 있을 수도, 없을 수도 있다.

② 로드 밸런서 서버(10)가 요청을 받고 요청을 분석한 후 특정 노드의 위치 정보가 없다는 것이 확인되면 무작위로 어느 하나의 어플리케이션 서버(21)에게 상기 데이터 요청정보를 전송한다.

③,④,⑤ 데이터 요청정보를 전송 받은 어플리케이션 서버(21)는 하둡 분산 파일 시스템(100)에서 파일의 위치를 확인 후 같은 장비(#1 H/W)에 속한 노드(31)에 파일이 있으면 해당 파일을 클라이언트에 전송하고 없으면 파일이름과 파일이 있는 노드위치 맵정보를 글로벌 캐쉬 서버(50)에 저장한 후 클라이언트(301)에 노드위치 정보를 포함하여 재요청(redirect)를 하도록 응답한다.

⑥,⑦ 만약 클라이언트(301)가 재요청(redirect)하도록 응답을 받으면 로드 밸런서 서버(10)를 통하여 해당 노드(33)를 갖는 하드웨어(43)에 속한 어플리케이션 서버(23)에 다시 요청을 한다.

⑧ 요청을 받은 어플리케이션 서버(23)는 같은 하드웨어(43)에 속한 노드(33)에서 파일(33a)을 찾아 클라이언트(301)에게 전달을 한다.

이와 같은 동작으로 글로벌 캐쉬 서버(50)에는 파일과 파일위치정보가 누적되므로 이 후 파일이 있는 노드를 찾는 시간이 단축된다. 따라서 본 발명에 따른 하둡 파일 시스템을 이용하면 최소한의 네트웍 트래픽으로 많은 클라이언트 요청을 처리할 수 있다.

한편, 도 3은 클라이언트(301)에서 요청하는 데이터 요청정보에 노드의 위치정보가 포함된 것을 전제로 한 하둡 파일 시스템의 동작관계로서 설명하면,

㉠ 클라이언트(301)에서 데이터 요청정보를 전송하면,

㉡ 로드 밸런서 서버(10)는 해당 노드(31)를 갖는 #1 하드웨어(41)의 어플리케이션 서버(21)에 데이터 요청정보를 전송하고,

㉢,㉣ 어플리케이션 서버(21)는 노드(31)에 저장된 해당 파일(31a)을 상기 클라이언트(301)에 전송한다.

이상 본 발명이 양호한 실시예와 관련하여 설명되었으나, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 진정한 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 로드 밸런서 서버 21,22,23: 어플리케이션 서버
31,32,33: 노드 41,42,43: 하드웨어
50: 글로벌 캐쉬 서버

Claims (2)

1. 소요 데이터 획득을 위한 데이터 요청정보를 전송하는 기능을 포함하는 클라이언트(301,302,303);
   상기 데이터 요청정보에 노드정보를 포함하고 있는지에 대한 여부를 확인한 후, 노드정보가 있으면 해당 노드가 구비된 하드웨어에, 노드정보가 없으면 임의의 하드웨어에 상기 데이터 요청정보를 전송하는 기능을 포함하는 로드 밸런서 서버(10);
   상기 데이터 요청정보를 처리하는 어플리케이션 서버와, 데이터가 저장된 노드를 포함하는 다수의 하드웨어(41,42,43)들; 및
   상기 다수의 하드웨어(41,42,43)들의 노드에 저장된 데이터 정보를 관리하는 기능을 포함하는 글로벌 캐쉬 서버(50);를 포함하며,
   상기 어플리케이션 서버는 노드에 상기 소요 데이터가 존재하는지에 대한 여부를 확인한 후, 소요 데이터가 있으면 상기 클라이언트(301,302,303)에 해당 데이터를 전송하고, 소요 데이터가 없으면 소요 데이터가 저장된 노드를 검색하여 노드검색정보를 취득하고 이를 상기 글로벌 캐쉬 서버(50)에 저장 및 상기 데이터 요청정보에 포함시켜 상기 클라이언트(301,302,303)에 전송하는 기능을 포함하는 것을 특징으로 하는 데이터 로컬리티를 보장하는 하둡 파일 시스템.
2. 제 1항에 있어서,
   상기 클라이언트(301,302,303)는 어플리케이션 서버로부터 노드검색정보를 포함하는 데이터 요청정보를 수신하면, 노드검색정보를 포함하는 데이터 요청정보를 로드 밸런서 서버(10)에 재전송하고,
   상기 로드 밸런서 서버(10)는 노드검색정보에 따른 해당 노드가 구비된 하드웨어의 어플리케이션 서버에 재전송하는 것을 더 포함함을 특징으로 하는 데이터 로컬리티를 보장하는 하둡 파일 시스템.

Images