KR20090057547A - 단말기의 이미지 필터링을 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 단말기의 이미지 필터링을 위한 장치 및 방법에 관한 것으로서, 필터 생성을 위한 이미지를 입력받는 과정과, 상기 입력받은 이미지에 대한 가우시안 피라미드(Gaussian pyramid)를 계산하는 과정과, 상기 계산된 가우시안 피라미드에 대한 특징 벡터(feature vector)를 계산하는 과정을 포함하여, 고차원적 이미지 필터의 적용이 가능해지며, 빠른 이미지 필터링이 가능해지는 이점이 있다.

단말기, 이미지 필터링, 가우시안 피라미드, 특징 벡터

Description

단말기의 이미지 필터링을 위한 장치 및 방법{APPARATUS AND METHOD FOR IMAGE FILTERING}

본 발명은 단말기에 관한 것으로, 특히, 이미지 필터링을 위한 장치 및 방법에 관한 것이다.

컴퓨터 그래픽스 기술 중 하나인 비사실적 렌더링(Non-Photorealistic Rendering : 이하 'NPR'이라 칭함)은 입력된 이미지를 사진처럼 있는 그대로 표현하지 않고, 도 1과 같이, 회화적인 스타일로 변환하여 표현하는 고차원적인 필터링 기법이다. 상기 NPR을 이용하여 주로 수채화, 유화, 목탄 같은 재료를 사용한 전통회화 기법들을 재현할 수 있으며, 응용하기에 따라 이제까지 볼 수 없었던 전혀 다른 새로운 예술적 느낌을 창조할 수 있어, 최근 상기 NPR에 대한 연구가 활발히 진행되고 있다.

한편, 기존 윈도우 시스템의 이미지 필터링 과정을 살펴보면, 중앙 처리 유닛(Central Processing Unit : 이하 'CPU'라 칭함)이 프레임 버퍼(Frame buffer)에 저장된 이미지를 메인 메모리로 복사해와서 이미지 필터링을 수행한다. 따라서, 상기 이미지 필터링을 수행하는 동안 상기 윈도우의 정상적인 동작이 불가능했으며, 상기 이미지 필터링은 정지된 이미지에 대해서만 적용이 가능하였다. 또한, 기존 윈도우 시스템에서는 화면 전체를 흑백으로 전환하거나 흐려지게 하는 정도의 이미지 필터링만이 제공 가능하였다. 최근에는 상기 이미지 필터링이 수행되는 동안에도 윈도우가 정상적으로 동작할 수 있으며 움직이는 이미지에 대해서도 상기 이미지 필터링이 적용 가능한 윈도우 시스템이 출시되었으나, 여전히 흑백 전환 등의 컬러 공간(Color Space) 변환, 가우시안 블러(Gaussian Blur) 등의 간단한 컨벌루션(Convolution) 연산 수준의 기초적인 이미지 필터링만이 제공 가능한 문제점이 있다. 또한, 기존 윈도우 시스템에서는 상기 이미지 필터링이 적용될 특정 영역을 지정/해제하기가 어려우며, 사용자가 새로운 필터를 쉽게 추가할 수 없고, 인터렉티브(interactive)한 필터링 조정이 불가능한 문제점이 있다.

본 발명의 목적은 단말기의 이미지 필터링을 위한 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 단말기에서 이미지 필터링을 위한 필터에 대하여 기존의 필터 이외에 사용자가 원하는 새로운 필터를 추가하기 위한 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 단말기에서 CPU가 아닌 그래픽 처리 유닛(Graphics Processing Unit : GPU)에서 필터를 이용하여 표시부에 출력될 최종 이미지를 필터링하기 위한 장치 및 방법을 제공함에 있다

상기 목적을 달성하기 위해 본 발명의 실시 예에 따르면, 단말기의 필터 생성 방법은, 필터 생성을 위한 이미지를 입력받는 과정과, 상기 입력받은 이미지에 대한 가우시안 피라미드(Gaussian pyramid)를 계산하는 과정과, 상기 계산된 가우시안 피라미드에 대한 특징 벡터(feature vector)를 계산하는 과정을 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위해 본 발명의 실시 예에 따르면, 단말기의 필터 생성 장치는, 필터 생성을 위한 이미지를 입력받고, 상기 입력받은 이미지에 대한 가우시안 피라미드(Gaussian pyramid)와 상기 가우시안 피라미드에 대한 특징 벡 터(feature vector)를 계산하여, 상기 계산된 가우시안 피라미드와 특징 벡터를 필터 정보로 하는 하나의 필터를 생성하는 필터 계산 모듈과, 필터별 가우시안 피라미드와 특징 벡터를 저장하는 프레임 버퍼를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위해 본 발명의 실시 예에 따르면, 단말기의 필터링 모듈에서 이미지 필터링 방법은, CPU로부터 표시부에 출력할 최종 이미지를 입력받는 과정과, 필터 선택 여부에 따라, 선택된 필터에 대한 정보를 프레임 버퍼에서 추출하는 과정과, 상기 추출된 정보를 이용하여 상기 입력된 최종 이미지를 이미지 필터링 하는 과정을 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위해 본 발명의 실시 예에 따르면, 단말기의 이미지 필터링 장치는, 표시부에 출력할 최종 이미지를 출력하는 CPU와, 상기 CPU로부터 상기 최종 이미지를 입력받고, 필터 선택 여부에 따라, 선택된 필터에 대한 정보를 프레임 버퍼에서 추출하며, 상기 추출된 정보를 이용하여 상기 최종 이미지를 이미지 필터링하는 필터링 모듈을 포함하는 것을 특징으로 한다.

본 발명은 단말기에서 이미지 필터링을 위한 필터에 대하여 기존의 필터 이외에 사용자가 원하는 새로운 필터를 추가하기 위한 방안과, CPU가 아닌 그래픽 처리 유닛(Graphics Processing Unit : GPU)에서 필터를 이용하여 표시부에 출력될 최종 이미지를 필터링하기 위한 방안을 제시함으로써, 고차원적 이미지 필터의 적용이 가능해지며, 빠른 이미지 필터링이 가능해지는 이점이 있다. 다시 말해, 본 발명에 따른 윈도우 시스템은 컴퓨터 그래픽스 분야에서 활발하게 연구 중인 비사실적 렌더링(Non-Photorealistic Rendering) 기법을 접목시킴으로써, 기존의 윈도우 시스템에서 제공하는 단순한 필터가 아니라, 예를 들어 반 고흐 풍의 유화 또는 수채화 등과 같이, 복잡한 필터를 사용자의 키 조작에 따라 쉽게 추가할 수 있는 이점이 있다. 또한, 본 발명은 3D 그래픽스 기반의 윈도우 시스템 구조에 최소한의 변형을 가함으로써, 실시간 이미지 처리가 가능해지는 이점이 있다. 또한, 상기 실시간 이미지 처리가 가능해짐에 따라 윈도우가 정상적으로 동작하는 가운데 이미지 필터링 적용이 가능해지고, 정지된 이미지뿐만 아니라 움직이는 이미지에 대해서도 상기 이미지 필터링이 가능해지는 이점이 있다. 또한, 본 발명에서는 사용자가 이미지 필터링이 적용될 특정 영역을 지정/해제할 수 있으며, 인터렉티브(interactive)하게 필터링을 조정할 수 있는 이점이 있다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 본 발명은 단말기의 이미지 필터링을 위한 장치 및 방법에 대해 설명하도록 한다. 이하 설명은 3D GPU 기반의 현대적인 윈도우 시스템(예, Windows Vista, Mac OS X)을 기반으로 설명할 것이나, 이미지 필터링 기법의 적용이 필요한 모든 단말(예, 모바일 기기, PC)에 적용 가능함은 물론이다.

본 발명은 이미지 필터링을 위한 필터에 대하여 기존의 필터 이외에 사용자가 원하는 새로운 필터를 추가할 수 있는 방안과, CPU가 아닌 그래픽 처리 유닛(Graphics Processing Unit : 이하 'GPU'라 칭함)에서, 표시부에 출력될 최종 이미지를 상기 추가된 새로운 필터를 이용하여 필터링할 수 있는 방안을 제시한다.

도 2는 본 발명에 따른 단말기의 구성을 도시한 블럭도이다.

도시된 바와 같이, 단말은 CPU(200), 입력부(202), 메모리(204), GPU(206), 프레임 버퍼(212), 표시부(214)를 포함하여 구성된다. 여기서, 상기 GPU(206)는 필터 계산 모듈(208), 필터링 모듈(210)을 포함하여 구성되며, 상기 필터 계산 모듈(208)은 픽셀 쉐이더(Pixel shader)로서 구현될 수 있다.

상기 도 2를 참조하면, 상기 CPU(200)는 상기 단말기의 전반적인 동작을 위한 제어 및 처리를 수행한다. 상기 입력부(202)는 다수의 기능키들을 구비하여 사용자가 누르는 키에 대응하는 데이터를 상기 CPU(200)로 제공한다. 상기 메모리(204)는 상기 단말기의 전반적인 동작에 필요한 프로그램 및 각종 정보들을 저장한다.

상기 GPU(206)는 본 발명에 따라 상기 CPU(200)로부터 필터 생성을 위한 이미지가 입력될 시, 상기 필터 계산 모듈(208)을 구동하여 입력 이미지에 대한 가우시안 피라미드와 특징 벡터를 계산하고, 이를 필터 정보로서 상기 프레임 버퍼(212)에 저장하여 하나의 필터를 생성한다. 또한, 본 발명에 따라 상기 GPU(206)는 상기 CPU(200)로부터 상기 표시부(214)에 출력할 최종 이미지가 입력될 시, 상기 필터링 모듈(210)을 구동하여 사용자의 필터 선택 여부에 따라 선택된 필터에 대한 정보를 상기 프레임 버퍼(212)에서 추출하고, 이를 이용하여 상기 최종 이미지를 필터링한 후, 상기 표시부(214)에 출력한다.

상기 프레임 버퍼(212)는 필터별 가우시안 파라미드 및 특징 벡터를 저장하며, 상기 GPU(206)에 입력되는 이미지 및 상기 GPU(206)에서 출력되는 이미지를 임시 저장한다. 상기 표시부(214)는 상기 단말기의 동작 중에 발생되는 상태 정보, 숫자 및 문자들을 디스플레이한다.

도 3은 본 발명의 실시 예에 따른 GPU의 필터 생성 방법을 도시한 흐름도이다.

상기 도 3을 참조하면, GPU(206)는 301단계에서 사용자의 키 조작에 의해 CPU(200)로부터 필터 생성을 위한 이미지가 입력되는지 여부를 검사한다. 사용자는 필터 생성을 위한 이미지를 선택할 수 있으며, 상기 이미지로 단순한 이미지뿐만 아니라 유명 그림, 예를 들어 반 고흐 풍의 유화 또는 수채화 등과 같이 고차원적인 복잡한 이미지도 가능하다.

상기 필터 생성을 위한 이미지가 입력될 시, 상기 GPU(206)는 필터 계산 모듈(208)을 구동하여 303단계 및 305단계에서 상기 입력된 이미지를 이용하여 필터 정보들, 즉 가우시안 피라미드와 특징 벡터를 계산한다. 다시 말해, 상기 GPU(206) 는 303단계에서 상기 입력된 이미지에 대한 가우시안 피라미드를 계산하고, 305단계로 진행하여 상기 가우시안 피라미드를 구성하는 각 이미지에 대해 특징 벡터를 계산한다. 여기서, 상기 특징 벡터는 상기 각 이미지의 파라미터 값을 의미한다.

이후, 상기 GPU(206)는 307단계에서 상기 계산된 필터 정보들, 즉 가우시안 피라미드와 특징 벡터를 프레임 버퍼(212)에 저장하여 하나의 필터를 생성하고, 이로써 상기 프레임 버퍼(212)에 저장된 필터의 종류를 갱신한다. 여기서, 상기 프레임 버퍼(212)에는 필터별 가우시안 파라미드 및 특징 벡터가 저장되어 있다.

이후, 상기 GPU(206)는 본 발명에 따른 알고리즘을 종료한다.

도 4는 본 발명의 실시 예에 따른 GPU의 이미지 필터링 방법을 도시한 흐름도이다.

상기 도 4를 참조하면, GPU(206)는 401단계에서 CPU(200)로부터 표시부(214)에 출력할 최종 이미지가 입력되는지 여부를 검사한다. 상기 최종 이미지가 입력될 시, 상기 GPU(206)는 403단계에서 사용자의 키 조작에 의해 필터가 선택되었는지 여부를 검사한다. 사용자는 시스템에 적용할 필터를 선택할 수 있고, 시스템 전체가 아닌 부분에 대해 적용할 필터를 선택할 수도 있으며, 특정 영역을 지정 또는 해제하여 해당 영역에 대한 이미지만을 대상으로 필터링 수행 또는 해제할 수 있다.

상기 필터가 선택될 시, 상기 GPU(206)는 필터링 모듈(210)을 구동하여, 405단계에서 상기 선택된 필터를 프레임 버퍼(212)에서 검색하고, 상기 검색된 필터에 대한 필터 정보를 추출한다. 이후, 상기 GPU(206)는 407단계에서 상기 추출된 필터 정보를 이용하여 상기 입력된 이미지를 필터링하고, 409단계로 진행하여 상기 필터링된 이미지를 표시부(214)에 디스플레이한다. 반면, 상기 필터가 선택되지 않을 시, 상기 GPU(206)는 상기 409단계로 바로 진행하여 상기 입력된 이미지를 그대로 상기 표시부(214)에 디스플레이한다.

이후, 상기 GPU(206)는 본 발명에 따른 알고리즘을 종료한다.

예를 들어, 사용자가 카메라로 유명 그림을 촬영하여 입력하면, 상기 GPU는 촬영된 이미지를 이용하여 필터를 생성하고, 사용자의 키 조작에 따라 상기 생성된 필터가 선택되면, 표시부에 출력되는 이미지에 대해 상기 그림과 같은 회화적 느낌으로 이미지 필터링을 수행할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 일반적인 비사실적 렌더링 기법의 예를 도시한 도면,

도 2는 본 발명에 따른 단말기의 구성을 도시한 블럭도,

도 3은 본 발명의 실시 예에 따른 GPU의 필터 생성 방법을 도시한 흐름도, 및

도 4는 본 발명의 실시 예에 따른 GPU의 이미지 필터링 방법을 도시한 흐름도.

Claims (17)

1. 단말기의 필터 생성 방법에 있어서,

   필터 생성을 위한 이미지를 입력받는 과정과,

   상기 입력받은 이미지에 대한 가우시안 피라미드(Gaussian pyramid)를 계산하는 과정과,

   상기 계산된 가우시안 피라미드에 대한 특징 벡터(feature vector)를 계산하는 과정을 포함하는 것을 특징으로 하는 방법.
2. 제 1 항에 있어서,

   상기 특징 벡터는 상기 가우시안 피라미드를 구성하는 각 이미지에 대한 파라미터 값임을 특징으로 하는 방법.
3. 제 1 항에 있어서,

   상기 계산된 가우시안 피라미드와 특징 벡터를 필터 정보로서 프레임 버퍼에 저장하여 하나의 필터를 생성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
4. 단말기의 필터 생성 장치에 있어서,

   필터 생성을 위한 이미지를 입력받고, 상기 입력받은 이미지에 대한 가우시안 피라미드(Gaussian pyramid)와 상기 가우시안 피라미드에 대한 특징 벡터(feature vector)를 계산하여, 상기 계산된 가우시안 피라미드와 특징 벡터를 필터 정보로 하는 하나의 필터를 생성하는 필터 계산 모듈과,

   필터별 가우시안 피라미드와 특징 벡터를 저장하는 프레임 버퍼를 포함하는 것을 특징으로 하는 장치.
5. 제 4 항에 있어서,

   상기 특징 벡터는 상기 가우시안 피라미드를 구성하는 각 이미지에 대한 파라미터 값임을 특징으로 하는 장치.
6. 제 4 항에 있어서,

   상기 필터 계산 모듈은 그래픽 처리 유닛(Graphics Processing Unit : GPU)의 내부 모듈임을 특징으로 하는 장치.
7. 제 4 항에 있어서,

   상기 이미지는 카메라를 통해 입력받는 것을 특징으로 하는 장치.
8. 단말기의 필터링 모듈에서 이미지 필터링 방법에 있어서,

   중앙 처리 유닛(Central Processing Unit : CPU)으로부터 표시부에 출력할 최종 이미지를 입력받는 과정과,

   필터 선택 여부에 따라, 선택된 필터에 대한 정보를 프레임 버퍼에서 추출하는 과정과,

   상기 추출된 정보를 이용하여 상기 입력된 최종 이미지를 이미지 필터링 하는 과정을 포함하는 것을 특징으로 하는 방법.
9. 제 8 항에 있어서,

   상기 이미지 필터링된 최종 이미지를 표시부에 출력하는 과정을 더 포함하는 것을 특징으로 하는 방법.
10. 제 8 항에 있어서,

    필터가 선택되지 않았을 시, 상기 입력된 최종 이미지를 그대로 표시부에 출력하는 과정을 더 포함하는 것을 특징으로 하는 방법.
11. 제 8 항에 있어서,

    상기 필터에 대한 정보는 가우시안 피라미드(Gaussian pyramid)와 상기 가우시안 피라미드에 대한 특징 벡터(feature vector) 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
12. 제 8 항에 있어서,

    상기 필터링 모듈은 그래픽 처리 유닛(Graphics Processing Unit : GPU)의 내부 모듈임을 특징으로 하는 방법.
13. 단말기의 이미지 필터링 장치에 있어서,

    표시부에 출력할 최종 이미지를 출력하는 중앙 처리 유닛(Central Processing Unit : 이하 'CPU'라 칭함)과,

    상기 CPU로부터 상기 최종 이미지를 입력받고, 필터 선택 여부에 따라, 선택된 필터에 대한 정보를 프레임 버퍼에서 추출하며, 상기 추출된 정보를 이용하여 상기 최종 이미지를 이미지 필터링하는 필터링 모듈을 포함하는 것을 특징으로 하는 장치.
14. 제 13 항에 있어서, 상기 필터링 모듈은,

    상기 이미지 필터링된 최종 이미지를 표시부에 출력하는 것을 특징으로 하는 장치.
15. 제 13 항에 있어서, 상기 필터링 모듈은,

    필터가 선택되지 않았을 시, 상기 입력된 최종 이미지를 그대로 표시부에 출력하는 것을 특징으로 하는 장치.
16. 제 13 항에 있어서,

    상기 필터에 대한 정보는 가우시안 피라미드(Gaussian pyramid)와 상기 가우시안 피라미드에 대한 특징 벡터(feature vector) 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
17. 제 13 항에 있어서,

    상기 필터링 모듈은 그래픽 처리 유닛(Graphics Processing Unit : GPU)의 내부 모듈임을 특징으로 하는 장치.

Images