KR20190029124A

KR20190029124A - 최적 gpu 코딩 방법

Info

Publication number: KR20190029124A
Application number: KR1020170116279A
Authority: KR
Inventors: 이동학
Original assignee: 주식회사 코코링크
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2019-03-20

Abstract

GPU 효율을 극대화한 모든 연산이 GPU에서 처리되는 방법이 개시된다. 대규모 연산에서 GPU를 사용하는 일반적인 방법은 CPU-GPU간의 데이터 전송에 많은 리소스가 소요되어 전체적인 성능 효율이 크게 낮은 반면, CPU-GPU간의 데이터 전송을 최소화하고 모든 연산을 GPU가 담당하며 CPU는 입출력 및 프로그램 제어만 담당하는 방법은 전체적인 성능을 극대화하기에 매우 유리하다.

Description

최적 GPU 코딩 방법{OPTIMAL GPU CODING METHOD}

본 발명은 SPH와 같이 주로 인접한 요소들 간에 연산이 많은 대규모 연산이 요구되는 과학/공학 계산에서 모든 연산을 GPU에서 최적화하여 수행하는 CPU는 제어, 입출력만을 수행하고, GPU만을 연산에 활용하는 최적 GPU 코딩 방법에 관한 것이다.

CPU는 SISD 구조이거나 이를 병렬화한 MIMD의 구조를 가지며, 일부 최신 CPU 프로세서는 성능을 향상하기 위하여 ALU에 vector engine을 적용하였는데 이는 기계적 성능은 높으나 실제 프로그래밍에서는 계산 성능의 효율을 높이기 매우 어렵다. 특히 프로세서 코어가 많아질 경우 성능 효율을 높이기 더욱 어렵다.

GPU는 SIMD 구조인 기존의 vector 프로세서를 유연하게 개선하여 MIMD와 유사하게 운영이 가능하게 한 고효율의 프로세서로 SPMD로 부르기도 한다. CPU보다는 월등히 정교한 프로그래밍이 가능하여 월등히 높은 성능효율을 구현할 수 있다.

일반적으로 대규모 연산이 요구되는 과학/공학 계산에서 GPU의 활용한 연산 방법은 필요에 따라 GPU를 연산가속기로 이용하는 GPU Accelerating Computing 방법이다. GPU Accelerating Computing은 처리량이 많은 일부 연산을 GPU에서 처리하여 CPU-GPU 간의 데이터 전송에 많은 리소스가 소요되어 전체적인 성능 효율이 크게 낮다. 이는 GPU의 사용 효율이 크게 낮을 뿐만 아니라 CPU만을 사용한 연산보다 성능 효율이 더 낮게 나오는 경우가 발생하기도 한다.

본 발명의 목적은 대규모 연산에서 효과적인 GPU 사용을 위해 CPU-GPU 간의 데이터 전송을 최소화하고 성능 효율을 극대화할 수 있도록 모든 연산은 GPU가 담당하고, CPU는 입출력 및 프로그램 제어만 담당하는 최적 GPU 코딩 방법에 관한 것이다.

모든 연산을 GPU가 처리하는 방법에서 CPU는 입출력과 프로그램제어 기능만 담당하고, 모든 연산은 GPU가 담당하도록 프로그램의 구조를 변경하는 단계, CPU-GPU간 혹은 GPU-GPU간의 데이터 전송을 최소화하고 전송 성능을 극대화하도록 변수의 구조를 최적화하는 단계를 포함할 수 있다.

연산되어 나온 결과를 출력하기 위한 CPU-GPU간의 데이터 전송은 GPU의 Page Memory 혹은 Pinned Memory를 사용할 수 있다. Page Memory를 사용한 데이터 전송 속도는 5~6GB/s, Pinned Memory를 사용한 데이터 전송은 12GB/s로 Pinned Memory를 사용하는 코드 구성을 포함한다.

GPU-GPU 간의 데이터 전송은 PCIe 버스를 통하여 각 GPU간에 직접적으로 데이터를 전송하는 P2P Direct Transfer 방법을 포함한다.

데이터 전송을 위한 변수 구조는 여러 개의 단일 혹은 배열 변수를 여러 번 전송하기보다 하나의 배열 변수로 재구성하여 한 번에 많은 용량을 전송하는 것이 더 효율적이다.

모든 연산을 GPU가 담당하는 방법론과 다수의 GPU 간에 직접적으로 데이터를 전송하는 방법론을 사용하여 대규모 연산이 요구되는 과학/공학용 소프트웨어의 성능을 기존에 비해 100배 이상 개선된 성능으로 구현할 수 있다.

도 1은 GPU를 연산 가속기로써만 사용하는 방법론을 나타내는 흐름도이다.
도 2는 모든 연산을 GPU가 담당하고 CPU는 관리적인 역할만 수행하는 방법론을 나타내는 흐름도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명하며, GPU 사용 함수들은 NVIDIA의 CUDA Library를 참조한다.

도 2를 참조하면, 모든 연산을 GPU에서 담당하기 위하여 먼저 CPU는 CPU-GPU간의 전송을 위한 데이터와 GPU 연산에서만 사용되는 데이터를 구분하여 메모리를 할당한다(초기화). CPU-GPU간의 전송을 위한 데이터의 메모리 할당은 일반적인 malloc이 아닌 cudaHostAlloc으로 할당하여 GPU의 Pinned Memory로 전송이 되도록 한다. GPU 연산에서만 사용되는 데이터의 메모리 할당은 cudaMalloc으로 CPU-GPU 간의 데이터 전송이 없이 GPU 내에서 메모리만 할당한다. CPU-GPU간의 데이터 전송을 위한 함수로는 cudaMemcpyAsync로 일반적인 cudaMemcpy와 달리 GPU의 Pinned Memory로 전송이 가능하다.

데이터 전송과 연산을 위한 변수 구조는 매크로 함수(define)를 사용하여 최소한의 배열 변수로 구성한다. 초기 값이 주어지는 모든 단일변수들은 각 변수의 타입에 따라 매크로 함수를 사용하여 하나의 배열 변수로 묶어줄 수 있다. CPU-GPU간의 데이터 전송을 위한 변수구조로는 한 번에 많은 양의 데이터를 전송하여 전송 성능을 극대화하기 위해 하나의 큰 배열 변수를 생성하고 쉬프트 연산자를 사용하여 배열 변수 내에서 각기 다른 배열 변수들을 매크로 함수를 사용하여 묶어줄 수 있다. 코드 내의 가독성과 수정을 최소화하기 위해 매크로 함수를 사용한다.

Claims

대규모 연산이 요구되는 과학/공학 계산에 있어서, 모든 연산은 GPU가 담당하고, CPU는 입출력 및 프로그램 제어 기능만을 담당하는 것을 특징으로 하는 최적 GPU 코팅 방법.
제 1항에 있어서,
CPU-GPU 간의 데이터 전송 성능을 극대화하기 위해 매크로 함수를 사용하여 배열 변수를 단일화하는 것을 특징으로 하는 최적 GPU 코딩 방법.