KR101646194B1 - 멀티 스레드 그래픽 처리 장치 - Google Patents

Abstract

본 발명의 일 측면에 따르면, 로 데이터(raw data)로부터 3D 그래픽 영상을 생성하는 그래픽 처리 장치에 있어서, 상기 로 데이터를 이용하여 다양한 3D 그래픽 모델의 정점 데이터를 산출하는 버텍스(Vertex) 처리 모듈; 및 프로그래밍 가능한 프래그먼트 셰이더(Fragment shader)를 포함하고 상기 정점 데이터를 이용하여 디스플레이 화면의 각 픽셀의 값을 연산하는 적어도 하나의 스레드(thread) 회로를 포함하는 것을 특징으로 하는 그래픽 처리 장치가 제공된다.
본 발명에 따른 멀티 스레드 그래픽 처리 장치에 의하면, 버텍스 셰이딩과 프래그먼트 셰이딩 간 연산 속도의 차이에서 발생하는 병목현상을 해소할 수 있으며 그래픽 처리 장치가 탑재되는 시스템의 사용환경이나 그래픽의 종류 등에 따라 프래그먼트 셰이더의 구성을 최적화하여 한정된 시스템 자원 안에서 3D 그래픽 처리속도를 크게 향상시킬 수 있다.

Description

멀티 스레드 그래픽 처리 장치{Multi-thread graphic processing device}

본 발명은 그래픽 처리 장치에 관한 것으로서, 보다 상세하게는 프래그먼트 셰이더 및 스레드 회로의 구성을 최적화할 수 있는 멀티 스레드 그래픽 처리 장치에 관한 것이다.

3D 그래픽의 처리는 크게 버텍스 셰이딩(Vertex shading)과 프래그먼트 셰이딩(Fragment shading)으로 구분된다. 버텍스 셰이딩은 화면에 출력할 다양한 3D 모델들의 정점 데이터를 연산하는 과정으로 연산이 비교적 빠른 속도로 진행된다. 프래그먼트 셰이딩은 픽셀 셰이딩(Pixel shading)이라고도 하며 버텍스 셰이딩에서 연산된 정점 데이터와 별도의 색상 데이터를 이용하여 실제 디스플레이 장치의 화면에 표시되는 픽셀들의 값을 연산하는 과정으로 3D 모델의 다양한 효과를 처리하기 때문에 버텍스 셰이딩보다 방대한 연산량이 요구되고 연산 속도 또한 상대적으로 매우 느리다. 종래에는 버텍스 셰이딩을 진행하는 지오메트리 스테이지(Geometry stage)와 프래그먼트 셰이딩을 진행하는 래스터화 스테이지(Rasterization stage)가 하나의 파이프라인으로 구성되었기 때문에 버텍스 셰이딩과 프래그먼트 셰이딩 간의 연산 속도의 차이에서 발생하는 병목현상을 피할 수 없었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 버텍스 셰이딩과 프래그먼트 셰이딩 간 연산 속도의 차이에서 발생하는 병목현상을 해소할 수 있으며 그래픽 처리 장치가 탑재되는 시스템의 사용환경이나 그래픽의 종류 등에 따라 프래그먼트 셰이더의 구성을 최적화하여 한정된 시스템 자원 안에서 3D 그래픽 처리속도를 크게 향상시킬 멀티 스레드 그래픽 처리 장치를 제공하는 것이다.

본 발명의 일 측면에 따르면, 로 데이터(raw data)로부터 3D 그래픽 영상을 생성하는 그래픽 처리 장치에 있어서, 상기 로 데이터를 이용하여 다양한 3D 그래픽 모델의 정점 데이터를 산출하는 버텍스(Vertex) 처리 모듈; 및 프로그래밍 가능한 프래그먼트 셰이더(Fragment shader)를 포함하고 상기 정점 데이터를 이용하여 디스플레이 화면의 각 픽셀의 값을 연산하는 적어도 하나의 스레드(thread) 회로를 포함하는 것을 특징으로 하는 그래픽 처리 장치가 제공된다.

여기서, 상기 스레드 회로는 상기 3D 그래픽 모델을 픽셀 데이터로 변환하는 래스터 변환부를 더 포함한다.

이 때 색상 및 3D 효과에 대한 데이터가 저장된 그래픽 메모리를 더 포함하고, 상기 스레드 회로는 상기 정점 데이터와 상기 색상 및 3D 효과에 대한 데이터를 이용하여 상기 각 픽셀의 값을 연산한다.

또한 스레드 기능부를 포함하는 적어도 하나의 스레드 회로를 더 포함한다.

이 때 상기 로 데이터가 저장되어 있는 그래픽 메모리; 및 상기 그래픽 메모리에 저장되어 있는 데이터의 종류에 따라 상기 스레드 회로 중 하나를 선택하는 제어부를 더 포함한다.

여기서 상기 제어부는 상기 그래픽 메모리에서 상기 데이터가 저장되어 있는 주소를 이용하여 데이터의 종류를 판단하고 상기 스레드 회로 중 하나를 선택한다.

본 발명의 다른 측면에 따르면, 로 데이터(raw data)로부터 3D 그래픽 영상을 생성하는 그래픽 처리 장치에 있어서, 상기 로 데이터를 이용하여 다양한 3D 모델들의 정점 데이터를 산출하는 버텍스(Vertex) 처리 모듈; 프로그래밍 가능한 프래그먼트 셰이더(Fragment shader)를 포함하고 상기 정점 데이터를 이용하여 디스플레이 화면의 각 픽셀의 값을 연산하는 프래그먼트 셰이딩(Fragment shading) 모듈; 및 상기 버텍스 처리 모듈 및 상기 프래그먼트 셰이딩 모듈과 연결되는 복수 개의 스레드(thread) 회로를 포함하는 것을 특징으로 하는 그래픽 처리 장치가 제공된다.

이 때 사용환경, 그래픽 종류 및 데이터의 양 중 적어도 하나에 따라 상기 프래그먼트 셰이딩 모듈에 접근하는 스레드 회로의 수를 결정하는 제어부를 더 포함한다.

또한 상기 제어부는, 각 스레드 회로가 상기 프래그먼트 셰이딩 모듈에 접근하는 시간을 할당하고, 하나의 스레드 회로가 상기 프래그먼트 셰이딩 모듈에 접근할 때, 접근하는 스레드 회로가 처리하는 스레드에 따라 상기 프래그먼트 셰이더의 세부설정을 변경한다.

또한 상기 프래그먼트 셰이딩 모듈은 상기 3D 그래픽 모델을 픽셀 데이터로 변환하는 래스터 변환부를 더 포함한다.

여기서 색상 및 3D 효과에 대한 데이터가 상기 그래픽 메모리에 저장되어 있고, 상기 스레드 회로는 상기 정점 데이터와 상기 색상 및 3D 효과에 대한 데이터를 이용하여 상기 각 픽셀의 값을 연산한다.

본 발명에 따른 멀티 스레드 그래픽 처리 장치에 의하면, 버텍스 셰이딩과 프래그먼트 셰이딩 간 연산 속도의 차이에서 발생하는 병목현상을 해소할 수 있으며 그래픽 처리 장치가 탑재되는 시스템의 사용환경이나 그래픽의 종류 등에 따라 프래그먼트 셰이더의 구성을 최적화하여 한정된 시스템 자원 안에서 3D 그래픽 처리속도를 크게 향상시킬 수 있다.

또한, 본 발명에 따른 멀티 스레드 그래픽 처리 장치는 각 스레드 회로가 접근해야 하는 메모리(시스템 메모리, 공유 메모리, 그래픽 메모리 등)가 자동적으로 결정되기 때문에 별도로 메모리 동작을 정의할 필요가 없고, 이에 따라 그래픽 처리 장치가 처리해야 하는 연산량이 감소되고 연산속도는 더 향상되는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도.
도 2는 본 발명의 다른 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도.
도 3은 본 발명의 또 다른 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도.

본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 그래픽 처리 장치(100)는 버텍스 처리 모듈(Vertex Processing module)(110), 복수 개의 스레드(Thread) 회로(130,140,150) 및 버텍스 처리 모듈(110)과 복수 개의 스레드 회로(130,140,150)를 제어하는 제어부(120)를 포함한다.

스레드가 프로그램으로 저장되고 공통의 코어(Core)가 저장된 스레드를 참조하였던 종래의 그래픽 처리 장치와는 달리, 본 발명에 따른 그래픽 처리 장치(100)는 스레드를 고정된 기능의 회로로 구현하고 각 스레드 회로(130,140,150)에 프래그먼트 셰이더(Fragment shader)로 구성함으로써 스레드의 처리속도를 높이고 스레드를 연산하는데 소모되는 시간을 감축시켜 전체적으로 그래픽 처리 장치(100)의 처리속도를 크게 향상시킬 수 있다.

도 1에서는 스레드 회로가 3개이지만, 본 발명에 따르면 스레드 회로의 개수는 그래픽 처리 장치(100)가 탑재되는 시스템의 사용환경이나 그래픽의 종류에 따라 결정된다. 즉, 본 발명에 따른 그래픽 처리 장치(100)는 하나 또는 두 개의 스레드 회로로 구성되거나 4개 이상의 스레드 회로로 구성되는 것 가능하다. 예를 들어, 모바일 장치와 같이 시스템 자원이 크지 않은 경우 스레드 회로를 최소한으로 구성할 수 있다.

버텍스 처리 모듈(110)은 화면에 출력할 다양한 3D 그래픽 모델들의 정점(頂點, 꼭지점) 데이터를 연산하여 실제 디스플레이 화면에 출력하는 3D 그래픽 모델을 생성한다. 버텍스 처리 모듈(110)은 3D 그래픽 모델의 정점 정보를 이동(Transformation), 회전(Rotation), 크기변환(Scaling) 등 3D 그래픽 모델의 이동 및 크기 정보의 기하변환을 수행하는 버텍스 셰이더(Vertex shader)(114)와 기하변환이 완료된 3개 혹은 그 이상의 정점들을 이용하여 3D 그래픽 모델을 이루는 최소단위인 폴리곤(polygon)으로 다시 구성하는 프리미티브 어셈블리(Primitive assembly)(116)를 포함한다.

각 스레드 회로(130,140,150)는 스레드 기능부(132,142,152), 래스터 변환부(134,144,154) 및 프래그먼트 셰이더(Fragment shader)(136,146,156)를 포함한다. 래스터 변환부(134,144,154)는 버텍스 처리 모듈(110)에서 출력되는 폴리곤으로 구성된 3D 그래픽 모델을 실제 3D 그래픽 영상이 출력되는 디스플레이 화면의 픽셀과 매칭시키고, 프래그먼트 셰이더(Fragment shader)(136,146,156)는 실제 디스플레이 화면에 출력되는 각 픽셀의 색상 데이터를 산출함으로써 3D 그래픽 영상을 생성한다. 3D 그래픽 영상을 생성하는 기능 외에 부가의 연산은 스레드 기능부(132,142,152)에서 처리된다.

여기서, 프래그먼트 셰이더(136,146,156)는 프로그래밍 가능한 회로로써 프래그먼트 셰이더(136,146,156)가 수행해야 하는 연산에 따라 프래그먼트 셰이더(136,146,156)의 세부설정이 결정된다. 예를 들어, 프래그먼트 셰이더(136,146,156)가 처리할 수 있는 3D 효과는 색감, 질감, 조명, 입체 효과 등이 있으며 하나의 스레드마다 프래그먼트 셰이더(136,146,156)는 3D 효과 중 하나 이상을 처리한다. 또한 제어부(120)는 각 스레드를 처리할 때, 해당 스레드에서 처리해야 하는 3D 효과에 따른 프래그먼트 셰이더(136,146,156)의 세부설정을 결정한다.

그래픽 처리 장치(100)가 3D 그래픽 영상을 생성하기 위해 사용되는 각종 데이터는 그래픽 메모리(200)에 저장된다. 예를 들어, 기하변환되기 전의 3D 그래픽 모델의 정점 정보, 즉, 로 데이터(Raw data), 기하변환에 관한 정보, 색상 및 효과에 관한 정보 등이 그래픽 메모리(200)에 저장되어, 그래픽 처리 장치(100)의 각 구성요소가 필요시 그래픽 메모리(200)에 저장되어 있는 각종 데이터를 참조하는 것이 가능하다. 또한 그래픽 메모리(200)의 일부는 프레임 버퍼(Frame buffer)(210)로 활용하는 것이 가능한데, 스레드 회로(130,140,150)에서 출력된 3D 그래픽 영상이 임시 저장된다.

도 1에서는 그래픽 처리 장치(100)와 그래픽 메모리(200)가 별개의 구성으로 보여주고 있으나 그래픽 처리 장치(100)와 그래픽 메모리(200)는 하나의 장치로 구성하는 것도 가능하다.

도 2는 본 발명의 다른 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도이다. 본 발명에 따른 그래픽 처리 장치(100)에 포함된 복수 개의 스레드 회로 중 일부를 스레드 기능부만으로 구성할 수 있다. 도 2를 참조하면, 그래픽 처리 장치(100) 내 복수 개의 스레드 회로 중 하나의 스레드 회로(160)는 스레드 기능부(162)만을 포함한다. 즉, 2개의 스레드 회로(140,150)는 3D 그래픽 영상을 생성하고 나머지 하나의 스레드 회로(160)는 3D 그래픽 영상을 생성하는 기능 외의 명령만을 처리한다.

이 때 제어부(120)는 처리해야 하는 데이터의 종류에 따라 해당 데이터를 처리할 스레드 회로(140,150,160)를 선택하는데, 제어부(120)는 그래픽 메모리(200) 내 처리해야 하는 데이터가 저장된 위치의 주소를 이용하여 데이터의 종류를 판단하고 이에 따라 스레드 회로(140,150,160) 중 하나를 선택한다. 예를 들어, 그래픽 메모리(200) 내 3D 그래픽 영상을 생성할 때 필요한 데이터가 저장되는 영역과 3D 그래픽 영상의 생성 외의 기능에 대한 데이터가 저장되는 영역이 미리 구분되어 정해질 수 있으며, 제어부(120)는 그래픽 메모리(200)에서 참조되는 데이터의 주소를 이용하여 3D 그래픽 영상을 생성할 때 필요한 데이터는 2개의 스레드 회로(140,150)로 전송하고 3D 그래픽 영상의 생성 외의 기능에 대한 데이터는 나머지 하나의 스레드 회로(160)로 전송하도록 제어할 수 있다. 이 경우 각 스레드 회로(140,150,160)가 접근해야 하는 메모리(시스템 메모리, 공유 메모리, 그래픽 메모리 등)가 자동적으로 결정되기 때문에 별도로 메모리 동작(Memory Operation)을 정의할 필요가 없다. 이에 따라 그래픽 처리 장치(100)가 처리해야 하는 연산량이 감소되고 연산속도는 더 빨라질 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 그래픽 처리 장치의 구성을 나타내는 블록도이다.

본 발명에 따르면, 복수 개의 스레드가 하나의 프래그먼트 셰이더를 공유할 수 있다. 도 3을 참조하면, 복수 개의 스레드 회로(310,320,330)는 각각 스레드 기능부(312,322,332)만으로 구성되고, 하나의 프래그먼트 셰이딩 모듈(340)과 연결된다. 이 때 프래그먼트 셰이딩 모듈(340)은 래스터 변환부(342)와 프래그먼트 셰이더(344)로 구성된다. 각 스레드 회로(310,320,330)마다 프래그먼트 셰이더를 탑재하였을 경우 시스템 자원의 사용량이 크기 때문에 시스템 자원이 크지 않은 환경에서는 일정 개수의 스레드 회로마다 하나의 프래그먼트 셰이더를 공유하여 시스템 자원의 사용량을 줄일 수 있다.

이 때 제어부(120)는 사용환경, 그래픽 종류, 처리할 데이터의 양 등에 따라 3D 그래픽 영상을 생성할 프래그먼트 셰이더의 수를 결정한다. 예를 들어, 도 3을 참조하면, 하나의 프래그먼트 셰이딩 모듈(340)에 3개의 스레드 회로(310,320,330)가 연결되어 있으나 제어부(120)는 이 중 2개의 스레드 회로만을 구동할 수 있다. 또한, 복수 개의 스레드 회로(310,320,330)를 구동할 때 제어부(120)는 각 스레드 회로가 프래그먼트 셰이딩 모듈(340)에 접근하는 시간을 할당할 수 있다. 또한, 각 스레드 회로(310,320,330)가 서로 다른 스레드를 처리하는 경우, 제어부(120)는 하나의 스레드 회로가 프래그먼트 셰이딩 모듈(340)에 접근할 때 해당 스레드 회로가 처리하는 스레드에 따라 프래그먼트 셰이더(344)의 세부설정을 변경할 수 있다.

도 3에서는 스레드 기능부(312,322,332)로 구성된 3개의 스레드 회로(310,320,330)만을 보여주고 있으나, 그래픽 처리 장치(100)는 프래그먼트 셰이더를 포함하는 스레드 회로나 스레드 기능부만으로 구성되고 프래그먼트 셰이딩 모듈과 연결되지 않는 스레드 회로와 함께 구성하는 것이 가능하다. 그래픽 처리 장치(100)는 해당 그래픽 처리 장치(100)가 탑재되는 시스템의 환경이나 처리할 3D 그래픽의 종류에 따라 적절한 조합으로 구성될 수 있다.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

100: 그래픽 처리 장치 110: 버텍스 처리 모듈
120: 제어부 130,140,150: 스레드 회로
132,142,152: 스레드 기능부
134,144,154: 래스터 변환부
136,146,156: 프래그먼트 셰이더

Claims (11)

1. 로 데이터(raw data)로부터 3D 그래픽 영상을 생성하며, 버텍스 처리와 프래그먼트 처리를 별도 하드웨어로 분리하여 처리하는 분할 셰이더 방식 그래픽 처리 장치로서,
   상기 로 데이터를 이용하여 다양한 3D 그래픽 모델의 정점 데이터를 산출하는 버텍스(Vertex) 처리 모듈; 및
   스레드 기능을 처리하는 스레드 기능부를 포함하는 복수 개 스레드 회로부를 포함하도록 구성되며,
   상기 복수 개 스레드 회로 중에서 선택된 적어도 하나의 스레드 회로에는 프로그래밍 가능한 프래그먼트 셰이더(Fragment shader)를 포함하고 상기 정점 데이터를 이용하여 디스플레이 화면의 각 픽셀의 값을 연산하는 것을 특징으로 하고,
   상기 스레드 회로는 상기 버텍스 처리 모듈보다 더 많은 개수로 구비되며, 상기 프래그먼트 셰이더가 포함되는 스레드 회로는 적어도 두 개 이상으로 구비되는 것을 특징으로 하는 그래픽 처리 장치.
   
2. 제 1 항에 있어서,
   상기 스레드 회로부는 상기 3D 그래픽 모델을 픽셀 데이터로 변환하는 래스터 변환부를 더 포함하는 것을 특징으로 하는 그래픽 처리 장치.
   
3. 제 2 항에 있어서,
   색상 및 3D 효과에 대한 데이터가 저장된 그래픽 메모리를 더 포함하고,
   상기 스레드 회로부는 상기 정점 데이터와 상기 색상 및 3D 효과에 대한 데이터를 이용하여 상기 각 픽셀의 값을 연산하는 것을 특징으로 하는 그래픽 처리 장치.
   
4. 삭제
5. 제 1 항에 있어서,
   상기 로 데이터가 저장되어 있는 그래픽 메모리; 및
   상기 그래픽 메모리에 저장되어 있는 데이터의 종류에 따라 상기 스레드 회로부 중 하나를 선택하는 제어부를 더 포함하는 것을 특징으로 하는 그래픽 처리 장치.
   
6. 제 5 항에 있어서,
   상기 제어부는 상기 그래픽 메모리에서 상기 데이터가 저장되어 있는 주소를 이용하여 데이터의 종류를 판단하고 상기 스레드 회로부 중 하나를 선택하는 것을 특징으로 하는 그래픽 처리 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images