KR102077146B1 - 그래픽 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 그래픽 처리 방법 및 장치에 관한 것이다. 본 그래픽 처리 방법은, 제1 내지 제n 레이어 화면에 대한 영상 정보를 레이어 화면별로 랜더링하여, 랜더링한 결과를 레이어 화면별로 배정된 제1 내지 제n 프레임 버퍼에 각각 저장하고, 제1 내지 제n 프레임 버퍼에 저장된 데이터를 컴포지션하여, 컴포지션 결과 데이터를 출력함과 동시에 백업 버퍼에 저장하며, 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 없으면, 백업 버퍼에 저장된 데이터를 출력한다. 본 발명에 따르면, 컴포지션된 결과 데이터를 백업 버퍼에 저장하였다가 영상 변화가 없는 경우 사용함으로써 외부 메모리에 대한 액세스를 최소화하여, 전력 소모와 발열을 감소시킬 수 있다.

Description

그래픽 처리 방법 및 장치{Method and apparatus for processing graphics}

본 발명은 그래픽 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 컴포지션된 결과를 백업 버퍼에 저장하여 필요한 경우에 사용할 수 있는 그래픽 처리 방법 및 장치에 관한 것이다.

복잡한 GUI와 게임 기능 등을 갖춘 모바일 및 컨슈머 디바이스들의 출현에 따라, 기능 및 성능 요건은 물론 낮은 전력 소모와 저비용에 대한 요구가 계속 증가하고 있다. 전통적으로 3D 그래픽 가속기들은 매우 높은 메모리 대역폭을 요구해 왔으며, 메모리 대역폭을 최소화하기 위해 타일(tile) 기반의 랜더링 방식을 사용하기도 한다.

타일 기반의 방식은 화면을 여러 개의 타일들로 나누어 이 타일을 한 번에 한 개씩 온칩(On-chip) 타일 버퍼에 랜더링한다. 랜더링된 타일들은 외부 메모리에 기록되어 LCD나 VGA 컨트롤러 등에 의해 판독 및 디스플레이된다. 이와 같은 타일 기반의 랜더링은, 그래픽 처리 장치의 내부 메모리 저장공간과, 메모리 대역폭을 줄여줄 수 있다.

그런데, 여러 개의 레이어(layer) 화면을 겹쳐서 하나의 화면으로 표시하는 경우, 각 레이어 화면별로 랜더링을 수행하여 레이어 화면별로 외부 메모리에 설정된 프레임 버퍼에 저장한 후, 다수의 프레임 버퍼에 저장된 데이터를 다시 읽어서 컴포지션(composition)하는 과정이 필요하다. 따라서, 타일 기반의 랜더링을 사용하더라도 외부 메모리에 대한 액서스는 증가하게 된다.

칩 외부에서 이루어지는 메모리 액세스는 칩 내부 메모리 액세스보다 더 많은 전력을 사용한다. 따라서, 긴 배터리 수명을 요구하는 모바일 디바이스에 있어서는 외부 메모리에 대한 액세스를 최소화하는 것이 필요하다.

그러므로, 여러 개의 레이어를 컴포지션하여 구성되는 화면에 대한 그래픽 처리시, 칩 외부에서 이루어지는 메모리 액세스를 최소화하여 메모리 대역폭 측면에서 보다 효율적으로 처리할 수 있도록 하는 방안이 필요하다.

따라서, 본 발명의 목적은, 컴포지션된 결과 데이터를 백업 버퍼에 저장하여 영상 변화가 없는 경우에 사용함으로써 메모리 액세스를 최소화할 수 있는 그래픽 처리 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 그래픽 처리 방법은, (a) 제1 내지 제n 레이어 화면에 대한 영상 정보를 레이어 화면별로 랜더링하여, 랜더링한 결과를 레이어 화면별로 배정된 제1 내지 제n 프레임 버퍼에 각각 저장하는 단계, (b) 상기 제1 내지 제n 프레임 버퍼에 저장된 데이터를 컴포지션하여, 컴포지션 결과 데이터를 출력함과 동시에 백업 버퍼에 저장하는 단계, 및 (c) 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 없으면, 상기 백업 버퍼에 저장된 데이터를 출력하는 단계를 포함한다. 그리고, 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 있으면, 상기 (a) 단계 내지 상기 (c) 단계를 실행할 수 있다.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 그래픽 처리 장치는, 레이어 화면별로 랜더링된 결과가 각각 저장되는 제1 내지 제n 프레임 버퍼, 백업 버퍼, 상기 제1 내지 제n 프레임 버퍼에 저장된 데이터를 컴포지션하여, 컴포지션 결과 데이터를 상기 백업 버퍼에 저장하고 동시에 출력하는 레이어 합성부, 및 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 없으면, 상기 백업 버퍼에 저장된 데이터를 출력하고, 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 있으면 상기 레이어 합성부의 데이터가 출력되도록 제어하는 제어부를 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 그래픽 처리방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공할 수 있다.

그리고, 본 발명에 따르면, 상기 그래픽 처리장치를 포함하는 3D 그래픽 프로세서가 제공된다.

본 발명에 따르면, 컴포지션된 결과 데이터를 백업 버퍼에 저장하였다가 영상 변화가 없는 경우 사용함으로써 외부 메모리에 설정된 프레임 버퍼에 대한 액세스를 최소화할 수 있다. 이에 따라, 더 낮은 성능의 메모리를 사용하여 고해상도를 지원하는 시스템의 구성이 가능해진다. 또한, 낮은 외부 메모리의 액세스는 전력 소모를 감소시키고, 발열을 감소시키는 효과를 나타낼 수 있다. 특히, 장면의 변화보다 디스플레이의 재생 빈도가 높은 경우나 장면이 변화가 적은 경우에 효과적으로 적용할 수 있으며, 외부 메모리에 대한 접근을 최소화함으로써 3차원 그래픽 처리 장치의 성능을 향상시킬 수 있다.

도 1 및 도 2는 일반적인 그래픽 처리 장치의 구성을 나타낸 블럭도,
도 3은 본 발명의 일실시에에 따른 그래픽 처리 장치의 구성을 설명하기 위한 블럭도, 그리고
도 4는 본 발명의 일실시예에 따른 그래픽 처리 방법에 대한 설명에 제공되는 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1 및 도 2는 일반적인 그래픽 처리 장치의 구성을 나타내는 블럭도이다. 도 1을 참조하면, CPU(10)에 의해 구동되는 디스플레이 관리 소프트웨어의 동작에 따라, 각각 별도의 레이어(layer) 화면을 구성하는 하나 이상의 응용프로그램(50a, 50b, 50c)으로부터 각 레이어 화면을 구성하는 영상 정보가 GPU(20)로 전달된다.

GPU(20)는 응용프로그램(50a, 50b, 50c)으로 전달받은 영상 정보를 랜더링하여, 각 레이어 화면별로 설정된 프레임버퍼(60a, 60b, 60c)에 저장한다.

그리고, 각 레이어 화면에 대한 랜더링이 완료되면, GPU(20)는 각 프레임버퍼(60a, 60b, 60c)에 기록된 데이터를 컴포지션하여, 디스플레이용 프레임 버퍼(65)에 기록한다. 여기서, 컴포지션(composition)은 화면 위에 겹쳐 있는 모든 레이어들을 하나의 스크린에 합쳐서 보여주기 위하여 데이터를 병합하는 과정이다.

디스플레이 서브 시스템(80)은 디스플레이용 프레임버퍼(65)에 저장된 데이터를 판독하여, 디스플레이 장치(90)에 표시되도록 한다.

도 2는 하드웨어 컴포지터를 사용하는 구성을 나타낸 것이다.

도 2를 참조하면, 응용프로그램(50a, 50b, 50c)으로 전달받은 영상 정보를 각 레이어 화면별로 설정된 프레임버퍼(60a, 60b, 60c)에 각각 랜더링하여 저장하는 과정은 도 1에서 설명한 바와 동일하게 GPU(20)가 수행한다.

그러나, 프레임버퍼(60a, 60b, 60c)에 기록된 데이터의 컴포지션은 하드웨어 컴포지터(70)(hardware conpositor)에 의해 수행된다. 즉, 하드웨어 컴포지터(70)는 화면 위에 겹쳐서 표시하는 모든 레이어들을 하나의 화면으로 합쳐서 보여주기 위한 데이터 병합 기능을 수행한다.

이와 같이 여러 개의 레이어 화면을 겹쳐서 하나의 화면으로 표시하기 위해서는, 각 레이어 화면별로 설정된 프레임 버퍼에 데이터를 쓰는 과정이나, 각 레이어 화면별로 설정된 프레임 버퍼에서 데이터를 읽어와서 컴포지션하는 과정과 같이 외부 메모리에 대한 액세스가 증가하게 된다.

도 3은 본 발명의 일실시에에 따른 그래픽 처리장치의 구성을 설명하기 위한 블럭도이다.

도 3을 참조하면, CPU(110), GPU(120), 메모리(140)가 버스(130)를 통해 회로적으로 연결되어 있다. CPU(110), GPU(120)는 하나의 칩으로 구성할 수도 있으며, 메모리(140)에는 프레임 버퍼(143a, 143b, 143c)와 백업 버퍼(145)가 설정되어 있다.

이와 같은 구성에서, CPU(110)에 의해 구동되는 디스플레이 관리 소프트웨어의 동작에 따라, 응용프로그램 A(200a), 응용프로그램 B(200b), 응용프로그램 C(200c)로부터 레이어 화면 구성을 위한 영상 정보가 GPU(120)로 전달된다.

응용프로그램 A(200a), 응용프로그램 B(200b), 응용프로그램 C(200c)의 영상 정보는 각각 별도의 레이어 화면을 구성하며, 각각의 레이어 화면을 구성하는 응용프로그램의 개수는, 도 3에 도시한 것보다 많거나 혹은 적을 수 있다. 따라서, 응용프로그램의 개수가 증가하거나 감소하게 되면, 이에 대응하여 프레임 버퍼(143a, 143b, 143c)의 개수도 증가하거나 감소할 수 있다.

GPU(120)는 응용프로그램 A(200a), 응용프로그램 B(200b), 응용프로그램 C(200c)에 의해 구성되는 레이어 화면에 대한 영상 정보를 레이어 화면별로 랜더링(rendering) 한다.

랜더링은 컴퓨터 프로그램을 사용하여 모델로부터 영상을 만들어내는 과정을 의미하며, 3차원 모델로부터 2차원 화면으로 폴리건을 그리는 일을 수행할 수 있다. 여기서, 모델은 자료 구조나 강력하게 정의된 언어로 짠 3차원 물체에 대한 설명이며, 기하학, 시점, 텍스처 매핑, 조명, 셰이딩 정보 등을 포함할 수 있다.

또한, 프레임 기반의 랜더링 장치는 전체 프레임 버퍼를 한번에 그리지만, 보다 효율적인 방법은 화면을 부분 영역, 즉 타일로 분할한 뒤, 각 타일을 순차적으로 랜더링하는 타일 기반의 랜더링 방식이다. 이러한 방식의 타일 기반의 랜더링 방식의 화면은 일반적으로 동일한 크기와 모양을 가지는 타일들로 나뉘어진다.

본 발명에 따른 그래픽 처리 장치는 타일 기반의 랜더링 방식을 사용할 수도 있고, 프레임 기반의 랜더링을 사용할 수도 있다.

GPU(120)는 각 레이어 화면에 대한 랜더링이 완료되면, 레이어 화면별로 설정된 프레임 버퍼(143a, 143b, 143c)에 랜더링한 결과를 각각 저장한다.

레이어 합성부(150)는 프레임 버퍼(143a, 143b, 143c)에 저장된 결과를 컴포지션하여 디스플레이 서브 시스템(210)으로 전달함과 동시에 백업 버퍼(145)에 저장한다.

그리고, 디스플레이 서브 시스템(220)은 전달받은 데이터가 디스플레이 장치(230)에 표시하도록 한다.

도 4는 본 발명의 일실시예에 따른 그래픽 처리방법에 대한 설명에 제공되는 흐름도이다.

도 4를 참조하면, GPU(110)는 응용프로그램 A(200a), 응용프로그램 B(200b), 응용프로그램 C(200c)에 의해 각각 구성되는 제1 내지 제3 레이어 화면에 대한 영상 정보를 랜더링하고(S300), 랜더링이 완료되면, 랜더링한 결과를 레이어 화면별로 배정된 제1 내지 제3 프레임 버퍼(143a, 143b, 143c)에 각각 저장한다(S310).

레이어 합성부(150)는 제1 내지 제3 프레임 버퍼(143a, 143b, 143c)에 저장된 데이터를 컴포지션하여 출력함과 동시에 백업 버퍼(145)에 저장한다(S330).

전술한 바와 같이, 응용프로그램이 더 존재하여, 제4 레이어 화면이나 혹은 그 이상의 레이어 화면이 존재하는 경우, 레이어 화면의 증가에 따라 랜더링 과정이나 컴포지션하는 프레임 버퍼의 개수도 증가될 수 있다.

다음으로, 제1 내지 제3 레이어 화면의 다음 화면에서 영상 변화가 있는지 여부를 판단한다(S340). 제1 내지 제3 레이어 화면이 다음 화면에서 영상 변화가 존재하는지 여부는, CPU(110)나 GPU(120)에서 이전 화면의 대한 구역별 해쉬값과 현재 화면에 대한 구역별 해쉬값의 비교 등에 의해 판단할 수 있다.

S340 단계의 판단 결과, 제1 내지 제3 레이어 화면의 다음 화면에서 영상 변화가 없는 경우, 레어어 합성부(150)의 출력 대신 백업 버퍼(145)에 저장된 데이터가 출력되도록 한다(S350).

그러나, 제1 내지 제3 레이어 화면의 다음 화면에서 영상 변화가 있는 경우에는, S300 단계 내지 S330 단계의 과정을 반복적으로 수행한다(S340).

이와 같은 과정에 의해, 다음 화면에서 영상 변화가 없는 경우, 백업 버퍼(145)에 저장된 데이터를 출력함으로써, GPU(120)가 랜더링한 결과를 프레임 버퍼(143a, 143b, 143c)에 저장하는 과정이나, 레이어 합성부(150)가 프레임 버퍼(143a, 143b, 143c)에 저장된 데이터를 읽어서 컴포지션하는 과정이 수행되지 않으므로, 외부 메모리에 대한 액세스가 감소하게 된다.

이와 같은 과정에 의해 외부 메모리 액세스를 최소화하여 메모리 대역폭을 낮출 수 있다. 메모리 대역폭(memory bandwidth)은 3차원 컴퓨터 그래픽 시스템의 성능에 영향을 주는 아주 중요한 요소이다. ,

특히, 응용프로그램이 장면을 변경하는 빈도보다 디스플레이의 화면 재생 빈도가 높은 경우나, 응용프로그램이 변경하는 내용이 전체 장면에서 적은 부분일 경우, 본 발명에 따른 그래픽 처리 방법은 매우 효과적이다.

그리고, 레이어 합성부(150)나 백업 버퍼(145)에서 출력되는 데이터는 디스플레이 서브 시스템(210)에 전달되는 구성 외에도, 데이터 압축 장치, 화질 개선 장치, 다른 프로세서 등으로 전달되도록 구성할 수도 있다.

한편, 본 발명의 내용은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있다. 본 발명은 회로를 사용하여 구현될 수 있다. 즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates)또는 프로세싱 장치(예를 들면 마이크로 프로세서, 콘트롤러)로 구현가능하다.

본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

110 : CPU 120 : GPU
143a ~ 143c : 프레임 버퍼 145 : 백업 버퍼
150 : 레이어 합성부

Claims (11)

1. 그래픽 처리부와 프로세서를 동일한 칩에 배치하는 단계;
   상기 프로세서에 의해 구동되는 디스플레이 관리 소프트웨어의 동작에 따라, 제1 내지 제n 응용 프로그램에 의해 각각 구성되는 제1 내지 제n 레이어 화면에 대한 영상 정보가 상기 그래픽 처리부에 전달되는 단계;
   상기 그래픽 처리부에서 상기 제1 내지 제n 레이어 화면에 대한 영상 정보를 레이어 화면별로 랜더링하여, 랜더링한 결과를 레이어 화면별로 배정된 제1 내지 제n 프레임 버퍼에 각각 저장하는 단계;
   레이어 합성부에서 상기 제1 내지 제n 프레임 버퍼에 저장된 데이터를 컴포지션하여, 컴포지션한 결과 데이터를 출력함과 동시에 백업 버퍼에 저장하는 단계; 및
   상기 프로세서에서, 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 없다고 판단되면, 상기 백업 버퍼에 저장된 데이터가 출력되도록 하고, 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 있다고 판단되면, 상기 레이어 합성부에서 컴포지션한 결과 데이터가 출력되도록 제어하는 단계;를 포함하는 그래픽 처리 방법.
2. 제1항에 있어서,
   상기 컴포지션한 결과 데이터 및 상기 백업 버퍼에서 출력되는 데이터는, 디스플레이 서브 시스템, 데이터 압축장치, 화질 개선 장치, 및 다른 프로세서 중 어느 하나로 출력되는 것을 특징으로 하는 그래픽 처리 방법.
3. 제1항 또는 제2항의 그래픽 처리 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
4. 레이어 화면별로 랜더링된 결과가 각각 저장되는 제1 내지 제n 프레임 버퍼;
   백업 버퍼;
   제1 내지 제n 레이어 화면에 대한 영상 정보를 레이어 화면별로 랜더링하여, 랜더링한 결과를 레이어 화면별로 배정된 상기 제1 내지 제n 프레임 버퍼에 각각 저장하는 그래픽 처리부;
   상기 제1 내지 제n 프레임 버퍼에 저장된 데이터를 컴포지션하여, 컴포지션한 결과 데이터를 상기 백업 버퍼에 저장하고 동시에 출력하는 레이어 합성부; 및
   상기 그래픽 처리부와 동일한 칩에 배치되며, 제1 내지 제n 응용 프로그램에 의해 각각 구성되는 상기 제1 내지 제n 레이어 화면에 대한 영상 정보를 상기 그래픽 처리부로 전달하며,
   상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 없다고 판단되면, 상기 백업 버퍼에 저장된 데이터가 출력되도록 하고, 상기 제1 내지 제n 레이어 화면의 다음 화면에서 영상 변화가 있다고 판단되면, 상기 레이어 합성부에서 컴포지션한 결과 데이터가 출력되도록 제어하는 프로세서;를 포함하는 그래픽 처리 장치.
5. 제4항에 있어서,
   상기 프로세서는, 상기 컴포지션한 결과 데이터 및 상기 백업 버퍼에서 출력되는 데이터를, 디스플레이 서브 시스템, 데이터 압축장치, 화질 개선 장치, 및 다른 프로세서 중 어느 하나로 출력하는 것을 특징으로 하는 그래픽 처리 장치..
6. 제4항 또는 제5항의 그래픽 처리장치를 포함하는 3D 그래픽 프로세서.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images