KR20170047810A - 프로파일링 기반의 자동화된 네트워크 성능 최적화 시스템 및 그 방법 - Google Patents

Abstract

본 발명의 일면에 따른 네트워크 성능 최적화 방법은, 네트워크 성능 측정을 위한 테스트 데이터의 크기를 초기화 하는 단계; 상기 테스트 데이터를 제1 통신 프로토콜 및 제2 통신 프로토콜로 각각 전송하여 네트워크 성능을 테스트 하는 단계; 상기 테스트 데이터의 크기를 증가시킨 다음 기설정된 크기와 비교하여 상기 기설정된 크기 이하이면 상기 테스트를 반복하는 단계; 및 상기 증가시킨 테스트 데이터의 크기가 상기 기설정된 크기보다 크면 상기 테스트 하는 단계를 통해 수집한 데이터를 바탕으로 상기 제1 프로토콜과 제2 프로토콜 전환의 기준이 되는 데이터 크기의 임계값을 설정하는 단계를 포함하는 것을 특징으로 한다.

Description

프로파일링 기반의 자동화된 네트워크 성능 최적화 시스템 및 그 방법{System and method for optimizing network performance based on profiling}

본 발명은 네트워크 성능을 최적화에 관한 것으로써, 분산처리를 사용하는 컴퓨팅 환경에서 데이터 송수신 소프트웨어를 사용하여 네트워크 성능을 최적화하기 위한 시스템 및 방법에 관한 것이다.

고성능 컴퓨팅 환경은 일반적으로 분산 컴퓨팅을 기본으로 하며 분산된 컴퓨팅 노드간의 데이터 송수신은 꼭 필요하고, 따라서 이러한 데이터 송수신의 효율성 또한 분산 컴퓨팅에 있어서 매우 중요한 요소이다.

분산된 컴퓨팅 환경에서 각 컴퓨팅 노드가 데이터를 송수신하는 대표적인 방법은 MPI(Message Passing Interface)가 있으며 MPI를 위한 오픈 소스 형태의 다양한 소프트웨어 라이브러리가 존재한다.

대표적인 MPI 라이브러리로는 MVAPICH, MPICH 등이 있으며, 대부분의 MPI 라이브러리는 데이터 송수신 프로토콜로 Eager 프로토콜과 Rendezvous 프로토콜을 병행하여 사용한다.

Eager 프로토콜은 데이터 송수신시 핸드쉐이크 과정이 필요 없어서 비교적 작은 사이즈의 데이터를 신속하게 전송하는데 적합하며, Rendezvous 프로토콜은 이와 달리 핸드쉐이크 과정을 거쳐야 하기 때문에 비교적 큰 사이즈의 데이터를 정확하게 전송하는 데 사용된다.

기존의 MPI 라이브러리들은 이러한 Eager 프로토콜과 Rendezvous 프로토콜 사이의 전환 동작 시점을 임의의 데이터 사이즈로 고정하여 설정하여 사용했다. 즉, 미리 설정해 놓은 임의의 크기보다 작은 데이터 교환에는 Eager 프로토콜을 사용하고, 그보다 큰 데이터 교환에는 Rendezvous 프로토콜을 사용하는 식이었다.

도 1은 이러한 일반적인 MPI 라이브러리에서 Eager/ Rendezvous 프로토콜을 상호보완 방식으로 사용하기 위해 프로토콜을 설정하는 방법을 나타내는 흐름도이다.

데이터 전송 요청이 있을 때마다 전송할 데이터의 사이즈를 미리 설정해 놓은 고정 임계값과 비교하고 임계값보다 작은 경우에는 Eager 프로토콜을 사용하고, 임계값 이상인 경우에는 Rendezvous 프로토콜을 사용하는 방식이다. 비교에 사용되는 임계값은 네트워크 및 토폴로지의 특성을 고려하지 않은 고정값이 사용된다.

하지만 고성능 컴퓨팅 환경에서는 분산 노드들을 연결하는 네트워크 기술과 구성되는 네트워크 토폴로지에 따라 최적의 동작 전환 기준이 달라져야 한다.

그럼에도 불구하고 기존의 MPI 라이브러리들은 네트워크 특성을 고려하지 않은 고정적인 프로토콜 전환 기준을 가지고 이 또한 수동 설정에 의존하기 때문에, 네트워크 성능의 변화에 따른 최적의 동작 전환기준을 설정할 수 없는 문제가 있었다.

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 분산 컴퓨팅 환경에서 네트워크 토폴로지의 실제 성능에 기반하여 프로토콜 간의 전환 기준을 자동으로 설정하여 변화시킴으로써 네트워크의 성능을 최적화 할 수 있는 시스템과 그 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 네트워크 성능 최적화 방법은, 네트워크 성능 측정을 위한 테스트 데이터의 크기를 초기화 하는 단계; 상기 테스트 데이터를 제1 통신 프로토콜 및 제2 통신 프로토콜로 각각 전송하여 네트워크 성능을 테스트 하는 단계; 상기 테스트 데이터의 크기를 증가시킨 다음 기설정된 크기와 비교하여 상기 기설정된 크기 이하이면 상기 테스트를 반복하는 단계; 및 상기 증가시킨 테스트 데이터의 크기가 상기 기설정된 크기보다 크면 상기 테스트 하는 단계를 통해 수집한 데이터를 바탕으로 상기 제1 프로토콜과 제2 프로토콜 전환의 기준이 되는 데이터 크기의 임계값을 설정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 일면에 따른 컴퓨팅 장치는, 복수의 컴퓨팅 장치로 구성된 분산 컴퓨팅 환경에 있어서, 제1 프로토콜과 제2 프로토콜 상호 전환을 위한 데이터 크기의 임계값을 설정하는 임계값 설정부; 상기 임계값 설정부에서 설정한 상기 임계값과 전송할 데이터의 크기를 비교하여 상기 제1 프로토콜 및 제2 프로토콜 중 하나의 프로토콜로 데이터를 전송할 것을 결정하는 제어부; 및 상기 제어부에서 결정한 프로토콜에 따라 데이터를 전송하는 통신부를 포함한다.

본 발명에 따르면, 고정적인 프로토콜 전환 시점을 사용하는 것이 아니라 네트워크 특성과 네트워크 토폴로지에 따른 실제 성능에 따라 최적의 프로토콜 전환시점을 자동으로 설정할 수 있으므로 고성능 컴퓨팅 환경을 구성하는 각 분산 컴퓨팅 노드간의 데이터 전송 효?뉼봉? 향상시킬 수 있는 효과가 있다.

도 1은 종래 고정임계값으로 네트워크 프로토콜을 결정하는 순서를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 프로토콜 선택을 위한 임계값을 설정하기 위한 방법을 나타내는 흐름도.
도 3은 본 발명의 다른 실시예에 따른 네트워크 최적화를 위한 임계값 설정부를 포함한 컴퓨팅 장치의 구조도.
도 4는 본 발명의 다른 실시예에 따른 컴퓨팅 장치의 임계값 설정부의 상태 전환도.
도 5은 본 발명의 다른 실시예 따른 컴퓨팅 장치로 구성된 분산컴퓨팅 환경을 나타낸 구조도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.

종래 발명에서 Eager 프로토콜과 Rendezvous 프로토콜 사이의 전환을 위해 고정된 임계값을 사용하던 것에 비해, 본 발명에서는 분산 컴퓨팅 노드를 연결하는 네트워크 통신 기법과 토폴로지의 실제 성능에 따라 최적화된 임계값을 사용하는데 도 2는 이렇게 최적화된 임계값을 구하기 위한 방법의 흐름도를 나타낸다.

Eager 프로토콜과 Rendezvous 프로토콜 선택을 위한 임계값을 정하기 위해 테스트와 프로파일링을 이용한 반복 작업을 수행한다.

네트워크 환경을 파악하기 위해 우선 테스트를 위한 데이터의 사이즈를 초기화 한다(S210).

다음으로, 우선 Eager 프로토콜을 사용하여 테스트 데이터를 전송하고, 전송결과를 가지고 전송 성능을 측정하여 프로파일 정보에 저장하고(S220), 다음으로 Rendezvous 프로토콜을 사용하여 테스트 데이터를 전송하고 전송성능을 측정하여 프로파일 정보에 저장한다(S230). 본 실시예에서는 Eager 프로토콜과 Rendezvous 프로토콜 두 개의 프로토콜을 사용하여 테스트 하였으나, 그 외에 다른 프로토콜을 사용할 수 있고, 테스트 대상이 되는 프로토콜의 개수도 세 개 이상일 수 있음은 물론이다.

각 프로토콜들에 의한 데이터 전송 테스트가 끝나고 나면 테스트 데이터의 사이즈를 증가시킨다(S240).

테스트 데이터의 사이즈의 증가는 빠른 테스트를 위해 이전 사이즈의 두 배가 되도록 설정할 수 있다. 또한, 빠른 테스트보다는 정확한 테스트를 위해서는 미리 설정한 고정된 크기만큼 순차적으로 테스트 데이터의 사이즈를 증가시키며 테스트하는 방법도 가능하다.

테스트 데이터의 사이즈를 증가시킨 후에는 미리 설정해 놓은 데이터의 최대사이즈와 비교하여 테스트를 계속할지 여부를 결정한다(S250).

테스트 데이터의 사이즈가 최대사이즈에 도달하지 못한 경우에는 다시 Eager, Rendezvous 프로토콜 테스트를 수행하는 것을 반복한다.

반면, 테스트 데이터의 사이즈가 최대사이즈보다 커진 경우에는 테스트를 중단하고, 테스트를 반복하며 저장해 놓은 프로파일링 정보를 분석하여 Eager 프로토콜과 Rendezvous 프로토콜의 상호 전환을 결정할 수 있는 데이터 사이즈의 임계값을 설정하고 테스트를 종료하게 된다(S260).

이렇게 프로토콜 전환을 위한 최적의 임계값을 찾는 방법은 MPI를 활용한 분산 컴퓨팅 작업이 최초에 시작될 때 수행할 수 있고, 해당 작업이 비교적 오랜 시간이 걸리는 작업인 경우에는 작업 중간중간 존재하는 유휴(Idle)시간을 이용하여 수행할 수 있다. 또한, 네트워크 환경을 모니터링 하고 네트워크 환경이 변화된 것이 감지될 때마다 수행할 수도 있다. 이러한 방법을 통해 동적으로 네트워크 환경에 따른 최적의 임계값을 결정하여 사용하는 것이 가능하다.

도 3은 본 발명의 일실시예에 따른 최적의 프로토콜 상호전환 임계값 설정이 가능한 컴퓨팅 장치(300)를 나타낸다.

분산 컴퓨팅의 각 노드로 사용되는 컴퓨팅 장치(300)는 MPI 기반 병렬처리부(310), MPI 라이브러리(321)를 포함하는 통신부(320), 제어부(330) 및 프로토콜 상호전환 임계값 설정부(340)를 포함한다.

MPI 기반 병렬처리부(310)는 제어부(330) 또는 통신부(320)로부터 데이터를 전달받아 분산컴퓨팅에 필요한 연산을 처리한다.

통신부(320)는 MPI 라이브러리(321)를 포함할 수 있고, 다른 분산 컴퓨팅 노드들과 데이터를 송수신하는데 제어부(330)의 제어에 따라 통신 프로토콜을 달리하여 데이터를 송수신한다.

제어부(330)는 임계값 설정부(340)에서 설정한 임계값과 송신할 데이터의 크기를 비교하여 사용할 프로토콜을 결정하고, 결정한 프로토콜에 따라 통신부(320)를 통하여 데이터를 전송한다.

경우에 따라 제어부(330)는 MPI 기반 병렬처리부(310)를 포함할 수 있고 그 반대의 경우도 가능하다.

프로토콜 상호전환 임계값 설정부(340)는 전술한 임계값 설정 방법에 따라 테스트 데이터를 통신부(320)를 통해 타른 컴퓨팅 노드들과 주고받아 임계값을 결정하고, 설정한 임계값을 제어부(330)에 전달하여 통신에 필요한 프로토콜을 결정할 수 있다.

도 4는 동적 상호전환 임계값 사용을 위한 임계값 설정부(340)의 상태전이도를 나타낸다.

도 2의 임계값 설정 방법에 따라 테스트가 끝나고 임계값 설정이 완료된 상태(S410)에서는 제어부(330)는 임계값과 전송할 데이터의 사이즈를 비교하여 전송 프로토콜을 결정하고, 임계값 설정부(340)는 완료상태(S410)를 유지한다.

이 상태에서 MPI 통신이 유휴상태이거나 주기적으로 임계값을 재설정하기 위한 기준시간을 초과한 경우에는 임계값 설정부(340)는 프로토콜 상호전환을 위한 임계값을 설정하기 위해 임계값 설정 중 상태(S420)로 전환한다.

임계값 설정 중 상태(S420)로 전환하는 것은 MPI 통신이 유휴상태이거나 재설정을 위한 기준시간이 초과하지 않은 경우라도 네트워크 상황이 변경되었음을 감지한 경우 등 필요한 경우에는 전환할 수 있다.

이 상태(S420)에서는 임계값 설정부(340)는 전술한 도 2의 방법에 따라 임계값을 설정하는데 MPI 통신이 계속 유휴상태를 유지하는 경우에는 임계값을 계속해서 갱신하면서 임계값 설정 중 상태(S420)를 유지하고, 임계값 재설정이 완료되거나 MPI 유휴상태가 끝나고 통신이 재개되면 다시 임계값 설정 완료 상태(S410)로 전환한다.

도 5는 이렇게 프로토콜 상호전환 임계값 설정부를 가지는 컴퓨팅 노드들간의 통신 모습을 나타낸다. 각 컴퓨팅 노드들은 컴퓨팅 노드 연결 기술을 사용하여 데이터를 주고받을 수 있는데, 인피니밴드 등의 기술이 사용될 수 있다.

이와 같이 임계값 설정부(340)에 의해 최적의 Eager/Rendezvous 프로토콜 상호 전환을 위한 임계값을 설정하면 이를 기반으로 MPI 기반 병렬처리가 수행되고, 최적의 임계값으로 통신 프로토콜을 결정함에 따라 데이터 전송지연 시간을 최소화 할 수 있으므로 분산 환경에서 컴퓨팅 노드간 데이터 송수신 성능을 향상시킬 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

300: 컴퓨팅 장치 310: MPI 기반 병렬처리부
320: 통신부 321: MPI 라이브러리
330: 제어부 340: 임계값 설정부

Claims (6)

1. 네트워크 성능 측정을 위한 테스트 데이터의 크기를 초기화 하는 단계;
   상기 테스트 데이터를 제1 통신 프로토콜 및 제2 통신 프로토콜로 각각 전송하여 네트워크 성능을 테스트 하는 단계;
   상기 테스트 데이터의 크기를 증가시킨 다음 기설정된 크기와 비교하여 상기 기설정된 크기 이하이면 상기 테스트를 반복하는 단계; 및
   상기 증가시킨 테스트 데이터의 크기가 상기 기설정된 크기보다 크면 상기 테스트 하는 단계를 통해 수집한 데이터를 바탕으로 상기 제1 프로토콜과 제2 프로토콜 전환의 기준이 되는 데이터 크기의 임계값을 설정하는 단계;
   를 포함하는 네트워크 성능 최적화 방법.
   
2. 제1항에 있어서,
   상기 제1 프로토콜은 Eager 프로토콜이고 상기 제2 프로토콜은 Rendezvous 프로토콜 이거나 상기 제1 프로토콜은 Rendezvous 프로토콜이고 상기 제2 프로토콜은 Eager 프로토콜인 것
   인 네트워크 성능 최적화 방법.
   
3. 제1항에 있어서, 상기 테스트를 반복하는 단계는
   상기 테스트 데이터의 크기를 증가시킬 때 이전 테스트 데이터 크기의 두 배의 크기로 증가시키는 것
   인 네트워크 성능 최적화 방법.
   
4. 복수의 컴퓨팅 장치로 구성된 분산 컴퓨팅 환경에 있어서,
   제1 프로토콜과 제2 프로토콜 상호 전환을 위한 데이터 크기의 임계값을 설정하는 임계값 설정부;
   상기 임계값 설정부에서 설정한 상기 임계값과 전송할 데이터의 크기를 비교하여 상기 제1 프로토콜 및 제2 프로토콜 중 하나의 프로토콜로 데이터를 전송할 것을 결정하는 제어부; 및
   상기 제어부에서 결정한 프로토콜에 따라 데이터를 전송하는 통신부;를 포함하되,
   상기 임계값 설정부는,
   네트워크 성능 측정을 위한 테스트 데이터의 크기를 초기화 하는 단계;
   상기 테스트 데이터를 제1 통신 프로토콜 및 제2 통신 프로토콜로 각각 전송하여 네트워크 성능을 테스트 하는 단계;
   상기 테스트 데이터의 크기를 증가시킨 다음 기설정된 크기와 비교하여 상기 기설정된 크기 이하이면 상기 테스트를 반복하는 단계; 및
   상기 증가시킨 테스트 데이터의 크기가 상기 기설정된 크기보다 크면 상기 테스트 하는 단계를 통해 수집한 데이터를 바탕으로 상기 제1 프로토콜과 제2 프로토콜 전환의 기준이 되는 데이터 크기의 임계값을 설정하는 단계;
   를 포함하여 상기 임계값을 설정하는 것인 컴퓨팅 장치.
   
5. 제4항에 있어서,
   상기 제1 프로토콜은 Eager 프로토콜이고 상기 제2 프로토콜은 Rendezvous 프로토콜 이거나 상기 제1 프로토콜은 Rendezvous 프로토콜이고 상기 제2 프로토콜은 Eager 프로토콜인 것
   인 컴퓨팅 장치.
   
6. 제4항에 있어서, 상기 임계값 설정부는
   상기 테스트 데이터의 크기를 증가시킬 때 이전 테스트 데이터 크기의 두 배의 크기로 증가시키는 것
   인 컴퓨팅 장치.

Images