KR20160134350A

KR20160134350A - 고해상도 영상의 고속필터처리 방법

Info

Publication number: KR20160134350A
Application number: KR1020150068252A
Authority: KR
Inventors: 김윤식
Original assignee: 주식회사 유큐브인
Priority date: 2015-05-15
Filing date: 2015-05-15
Publication date: 2016-11-23
Also published as: KR101701347B1

Abstract

본 발명은 고해상도 영상의 고속필터처리 방법에 관한 것으로, 보다 상세하게는 필터알고리즘(10)을 실행하는 CPU의 코어 수를 확인하여 확인된 코어 수를 기준으로 영상데이터(I)를 세로로 분할하여 분할영상데이터(In)를 생성하며, 생성된 상기 분할영상데이터(In)를 동시에 병렬처리하는 필터알고리즘(10)으로 마스크하여 결과영상데이터(N)를 생성하고, 상기 결과영상데이터(N)를 정합하여 필터링된 필터영상데이터(P)를 생성함으로써, 고해상도의 영상데이터의 실시간으로 필터처리하는 고해상도 영상의 고속필터처리 방법에 관한 것이다.

Description

고해상도 영상의 고속필터처리 방법{A Method of high speed filter processing for high-resolution images}

본 발명은 고해상도 영상의 고속필터처리 방법에 관한 것으로, 보다 상세하게는 8메가 이상의 고해상도 영상데이터를 CPU코어수대로 분할하여 병렬구현된 알고리즘을 통해 필터처리함으로써, 고해상도의 영상데이터를 실시간 필터처리하는 고해상도 영상의 고속필터처리 방법에 관한 것이다.

일반적으로 영상 처리 및 컴퓨터 비전 처리 알고리즘은 빈번한 영상 데이터의 전송과 화소, 화소 블록, 또는 특징(feature)에 대한 실시간 데이터 처리가 필수적인 분야이며 이는 3차원 그래픽 알고리즘과의 공통적인 특징이다. 또한 GPU가 PC뿐 아니라 핸드폰, PDA와 같은 모바일 기기용으로 개발되고 탑재되는 기술 동향을 볼 때, 향후 동영상 처리 등과 같은 멀티미디어 프로세서의 역할을 GPU가 담당할 수 있을 것으로 기대된다.

그리고, 범용 목적(general purpose)으로의 GPU의 응용, 즉 GPGPU(General Purpose GPU)를 위해 컴퓨터 그래픽스 이외에서 최근 가장 각광을 받는 응용 분야가 영상처리와 컴퓨터 비전 분야이다.

이러한 독립적인 GPU의 영상처리를 저비용 고효율로 대체토록 CPU에 일체화된 그래픽프로세서가 많이 활용되고 있으며, 그 성능 또한 비약적인 발전으로 최신의 GPU의 연산처리에 근접하는 속도가 구현되고 있다.

최근 그래픽 가속기(Graphics Processing Unit: GPU)의 성능이 급격히 발전하고 GPU 자체의 프로그래밍 가능한 특성이 점차 확대됨에 따라 3차원 그래픽스의 기본적인 기하 변환과 래스터화(rasterization) 이외의 범용 목적으로 GPU를 활용할 수 있는 가능성이 대두되었다.

이와 관련된 기술로 한국 등록특허 제10-0856211호 (등록일자 2008년08월27일)에는 그래픽 가속기 기반의 고속 영상 처리 방법 및 그 장치가 개시되었다.

상기한 종래 기술은 그래픽 가속기 기반의 고속 영상 처리 방법에 있어서, 상기 영상 처리를 위한 입력 영상을 32비트 부동 소수점(floating point)의 텍스처의 형식으로 처리하는 과정과, 적어도 하나 이상의 프레임버퍼 객체(FBO: Framebuffer Object)를 통해 상기 영상 처리를 위한 미리 설정된 알고리즘을 상기 입력 영상에 대해 수행하여 그 결과를 텍스처 데이터로서 출력하는 과정을 포함함을 특징으로 한다.

여기서, 상기 FBO를 통해 상기 입력 영상에 대한 알고리즘을 수행하는 것은 컨볼루션(convolution) 기반의 이산 웨이블릿 변환(Discrete Wavelet Transform: DWT)이며, 가로방향(horizontal)과 세로방향(vertical)의 DWT를 위하여 각각 하나의 FBO가 미리 마련되며, 총 두번의 렌더링을 수행하게 된다.

다만, 상기한 종래 기술은 고가의 GPU로 고성능을 이용하게 되어 비교적 빠른 영상처리가 가능하나, 다중 코어 및 처리 속도가 계속 발전되는 CPU의 성능을 활용하지 못하는 문제점이 있었다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창작된 것으로 본 발명의 목적은 고해상도의 영상데이터를 코어수에 따라 세로분할하여 메모리에 저장하고, 상기 메모리에 저장된 분할된 영상데이터를 병렬로 각 코어에서 필터처리하며, 필터처리된 영상데이타를 보간하여 정합함으로써, 고해상도의 영상데이터의 실시간으로 필터처리하는 고해상도 영상의 고속필터처리 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위해 본 발명에 고해상도 영상의 고속필터처리 방법은 필터알고리즘을 실행하는 CPU의 코어 수를 확인하는 코어수확인단계와; 상기 코어수확인단계에서 확인된 코어 수로 영상데이터를 세로로 분할하여 분할영상데이터를 생성하는 메모리분할단계와; 상기 메모리분할단계에서 생성된 상기 분할영상데이터를 동시에 병렬처리하는 필터알고리즘으로 마스크하여 결과영상데이터를 생성하는 영상병렬처리단계와; 상기 결과영상데이터를 정합하여 필터링된 필터영상데이터를 생성하는 상기 메모리정합단계로 이루어진 것을 특징으로 한다.

상기 필터알고리즘은 샤프닝필터, 라플라시안에지필터, 가우시안필터, 평균값필터로 이루어진 필터가 구비된 것을 특징으로 한다.

상기 필터는 상기 영상데이터의 크기에 따라 처리속도가 개선되도록 마스크의 크기가 가변되는 마스크필터가 구비된 것을 특징으로 한다.

상기 메모리정합단계에는 상기 결과영상데이터의 사이를 연결하는 미처리 영역을 상기 영상데이터로 마스크하여 보간하는 정합마스크단계가 구비된 것을 특징으로 한다.

상기 메모리정합단계에는 상기 결과영상데이터의 사이를 연결하는 미처리 영역을 인접한 상기 결과영상데이터로 마스크하여 보간하는 필터마스크단계가 구비된 것을 특징으로 한다.

이와 같은 본 발명의 고해상도 영상의 고속필터처리 방법은 다음과 같은 효과가 있다.

첫째, 고해상도의 영상데이터의 필터처리에 있어 기존 필터처리방식과 다르게 실시간처리가 가능토록 병렬처리하는 메모리분할단계와 영상병렬처리단계가 구비되어 영상데이터의 고속 필터처리가 용이하며,

둘째, 필터처리된 영상데이터를 다시 하나의 영상데이터로 정합하는 메모리정합단계에서 미처리된 필터영역을 보간하는 방법으로 인접한 영역의 영상데이터 또는 원영상데이터를 이용하여 보간함으로써, 실시간 필터처리가 용이하고,

셋째, 영상데이터의 크기에 따라 처리속도가 조절되도록 필터알고리즘을 처리하는 필터의 크기가 가변되게 구비됨으로써, 각 영상데이터의 사이즈에 따른 영상처리시 처리 속도가 향상되고 CPU의 활용효율이 증대되는 효과가 있다.

도 1은 종래 기술에 따른 고속 영상 처리 방법에 활용된 그래픽 가속기 기반의 고속 영상 처리 장치의 구조도이며,
도 2는 본 발명의 고해상도 영상의 고속필터처리 방법의 순서도이고,
도 3은 본 발명의 고해상도 영상의 고속필터처리 방법의 구상도이며,
도 4는 본 발명의 메모리분할단계를 나타낸 개념도이고,
도 5는 본 발명의 영상병렬처리단계를 나타낸 개념도이며,
도 6은 본 발명의 메모리정합단계를 나타낸 개념도이고,
도 7은 본 발명의 정합마스크단계와 필터마스크단계를 나타낸 개념도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 고해상도 영상의 고속필터처리 방법을 상세히 설명하면 다음과 같다.

본 발명의 고해상도 영상의 고속필터처리 방법은 도 2에 도시된 바와 같이 필터알고리즘(10)을 실행하는 CPU의 코어 수를 확인하는 코어수확인단계(S10)와; 상기 코어수확인단계(S10)에서 확인된 코어 수로 영상데이터(I)를 세로로 분할하여 분할영상데이터(In)를 생성하는 메모리분할단계(S20)와; 상기 메모리분할단계(S20)에서 생성된 상기 분할영상데이터(In)를 동시에 병렬처리하는 필터알고리즘(10)으로 마스크하여 결과영상데이터(N)를 생성하는 영상병렬처리단계(S30)와; 상기 결과영상데이터(N)를 정합하여 필터링된 필터영상데이터(P)를 생성하는 상기 메모리정합단계(S40)로 이루어진다.

여기서, 상기 CPU의 코어는 필터처리하는 장치에 따라 달라지게 되며, 장치의 발달에 따라 더 많은 코어가 구비됨으로써 필터처리속도는 더욱 빨라지게 된다.

그리고, 상기 필터알고리즘(10)은 샤프닝필터(11), 라플라시안에지필터(12), 가우시안필터(13), 평균값필터(14)로 이루어진 필터(15)가 구비된다.

상기 필터(15)는 상기 영상데이터(I)의 크기에 따라 처리속도가 개선되도록 마스크의 크기가 가변되는 마스크필터(15')가 구비된다. 즉, 상기 필터(15)는 가로와 세로로 n*n으로 가변되며, 촬영된 영상데이터(I)의 크기에 따라 마스크되는 사이즈가 조정되게 된다.

또한, 상기 메모리정합단계(S40)에는 도 7에 도시된 바와 같이 상기 결과영상데이터(N)의 사이를 연결하는 미처리 영역을 상기 영상데이터(I)로 마스크하여 보간하는 정합마스크단계(S41)가 구비된다.

그리고, 다른 실시예로 상기 메모리정합단계(S40)에는 상기 결과영상데이터(N)의 사이를 연결하는 미처리 영역을 인접한 상기 결과영상데이터(N)로 마스크하여 보간하는 필터마스크단계(S42)가 구비되어, 상기 결과영상데이터(N)의 최종 결과인 상기 필터영상데이터(P)의 생성이 빠르게 처리되게 된다.

상기와 같은 구성으로 이루어진 본 발명에 따른 고해상도 영상의 고속필터처리 방법의 작용은 다음과 같다.

본 발명의 고해상도 영상의 고속필터처리 방법은 도 2내지 도 6에 도시된 바와 같이 8M이상의 크기로 촬영된 영상데이터(I)를 실시간으로 필터처리할 수 있도록 코어수에 따라 분할된 영역을 병려로 필터처리하는 필터알고리즘(10)을 활용하게 된다.

여기서, 상기 필터알고리즘(10)은 영상데이터(I)의 크기에 따라 처리속도가 조절되도록 상기 필터(15)의 크기가 가로와 세로로 n*n으로 가변되는 것이 특징으로 3*3, 5*5, 9*9 등으로 크기를 조절하여 처리속도를 개선하게 된다.

또한, 상기 필터(15)는 샤프닝필터(11), 라플라시안에지필터(12), 가우시안필터(13), 평균값필터(14)(도면 미도시)로 이루어지게 되는데, 상기 샤프닝필터(11)은 영상의 윤곽을 부각시키게 되고, 상기 라플라시안에지필터(12)은 영상의 에지를 부각시키게 되며, 상기 가우시안필터(13)는 영상의 노이즈를 제거하고, 상기 평균값필터(14)는 영상을 전체적으로 부드럽게 표현되도록 하게 된다.

이와 같은 본 발명의 고해상도 영상의 고속필터처리 방법은 크게 코어수확인단계(S10), 메모리분할단계(S20), 영상병렬처리단계(S30) 및 메모리정합단계(S40)로 이루어지며,

여기서, 상기 코어수확인단계(S10)는 영상필터처리하는 CPU의 코어 수를 확인하는 단계로 보통 초기 1회 실시되고 이후 실질적인 필터처리에는 하드웨어 변경시에만 체크하여 코어 수를 설정하게 된다.

그리고, 상기 메모리분할단계(S20)는 도 3에 도시된 바와 같이 큰 크기의 영상데이터(I)를 세로로 분할하여 분할영상데이터(In)를 생성하게 되며 이때, 코어 수에 따라 분할하게 된다.

또한, 상기 영상병렬처리단계(S30)는 상기 분할영상데이터(In)를 동시에 앞서설명한 상기 필터알고리즘(10)으로 처리하게 된다.

마지막으로, 상기 메모리정합단계(S40)는 상기 결과영상데이터(N)를 정합하여 필터링된 필터영상데이터(P)를 생성하게 되며, 이때, 상기 결과영상데이터(N)의 사이를 연결하는 미처리 영역을 상기 영상데이터(I)로 마스크하여 보간하는 정합마스크단계(S41)와 인접한 상기 결과영상데이터(N)로 마스크하여 보간하는 필터마스크단계(S42)를 선택하여 필터보간 하게 된다.

이와 같이 본 발명에 따른 고해상도 영상의 고속필터처리 방법은 고해상도 영상을 필터처리시 고속으로 처리할 수 있어, 고성능화된 카메라의 영상데이타를 실시간 처리가 용이하고, 영상데이터(I)의 사이즈에 따라 가변된 필터(15)를 활용하여 효율이 높아지게 된다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

<도면의 주요부분에 대한 부호의 설명>
10 : 필터알고리즘 11 : 샤프닝필터
12 : 라플라시안에지필터 13 : 가우시안필터
14 : 평균값필터 15 : 필터
15' : 마스크필터
S10 : 코어수확인단계 S20 : 메모리분할단계
S30 : 영상병렬처리단계 S40 : 메모리정합단계
S41 : 정합마스크단계 S42 : 필터마스크단계
I : 영상데이터 In : 분할영상데이터
N : 결과영상데이터 P : 필터영상데이터

Claims

필터알고리즘(10)을 실행하는 CPU의 코어 수를 확인하는 코어수확인단계(S10)와;
상기 코어수확인단계(S10)에서 확인된 코어 수로 영상데이터(I)를 세로로 분할하여 분할영상데이터(In)를 생성하는 메모리분할단계(S20)와;
상기 메모리분할단계(S20)에서 생성된 상기 분할영상데이터(In)를 동시에 병렬처리하는 필터알고리즘(10)으로 마스크하여 결과영상데이터(N)를 생성하는 영상병렬처리단계(S30)와;
상기 결과영상데이터(N)를 정합하여 필터링된 필터영상데이터(P)를 생성하는 상기 메모리정합단계(S40)로 이루어진 것을 특징으로 하는 고해상도 영상의 고속필터처리 방법.
제1항에 있어서,
상기 필터알고리즘(10)은
샤프닝필터(11), 라플라시안에지필터(12), 가우시안필터(13), 평균값필터(14)로 이루어진 필터(15)가 구비된 것을 특징으로 하는 고해상도 영상의 고속필터처리 방법.
제 2항에 있어서,
상기 필터(15)는 상기 영상데이터(I)의 크기에 따라 처리속도가 개선되도록 마스크의 크기가 가변되는 마스크필터(15')가 구비된 것을 특징으로 하는 고해상도 영상의 고속필터처리 방법.
제1항에 있어서,
상기 메모리정합단계(S40)에는
상기 결과영상데이터(N)의 사이를 연결하는 미처리 영역을 상기 영상데이터(I)로 마스크하여 보간하는 정합마스크단계(S41)가 구비된 것을 특징으로 하는 고해상도 영상의 고속필터처리 방법.
제1항에 있어서,
상기 메모리정합단계(S40)에는
상기 결과영상데이터(N)의 사이를 연결하는 미처리 영역을 인접한 상기 결과영상데이터(N)로 마스크하여 보간하는 필터마스크단계(S42)가 구비된 것을 특징으로 하는 고해상도 영상의 고속필터처리 방법.