KR101344858B1

KR101344858B1 - Device and Method for Processing Image, Computer Readable Recording Medium

Info

Publication number: KR101344858B1
Application number: KR1020120030195A
Authority: KR
Inventors: 김민영; 김현우
Original assignee: 경북대학교 산학협력단
Priority date: 2012-03-23
Filing date: 2012-03-23
Publication date: 2013-12-24
Also published as: KR20130107973A

Abstract

본 발명은 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 발명의 실시예에 따른 영상처리장치는 영상을 수신하는 영상 수신부, 임의의 열을 기준으로 서로 인접하는 영역이 대칭성을 갖는 필터에 대한 정보를 저장하는 저장부, 및 영상의 제1 영역에 상기 필터를 적용하여 제1 결과값을 생성하고 필터를 제1 영역에 중첩시켜 제2 영역에 적용하여 제2 결과값 생성하되 제2 결과값은 필터의 대칭성에 근거하여 제1 결과값의 일부를 이용해 결과값을 생성하는 이미지 처리부를 포함하는 것을 특징으로 한다.The present invention relates to an image processing apparatus, an image processing method, and a computer-readable recording medium. The image processing apparatus according to the embodiment of the present invention includes an image receiving unit for receiving an image, and regions adjacent to each other based on an arbitrary column are symmetrical. A storage unit for storing information about the filter having a filter and a first result value by applying the filter to the first region of the image, and generating a second result value by applying the filter to the second region by overlapping the filter in the first region The second result may include an image processor that generates a result using a part of the first result based on the symmetry of the filter.

Description

Device and Method for Processing Image, Computer Readable Recording Medium

본 발명은 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 예컨대 얼굴 검출 시스템 등에서 컨벌루션 연산처리의 고속화를 위해 필터 연산에서 2차원 룩업테이블(LUT)과 ORB(Overlap Region Buffering)를 사용하여 연산량을 줄이려는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체에 관한 것이다.The present invention relates to an image processing apparatus, an image processing method, and a computer readable recording medium. More particularly, the present invention relates to a two-dimensional lookup table (LUT) and an ORB (overlap) in a filter operation for speeding up a convolution operation in, for example, a face detection system. The present invention relates to an image processing apparatus, an image processing method, and a computer readable recording medium for reducing the amount of computation using region buffering.

영상과 컴퓨터를 이용한 실시간 처리 기술은 얼굴의 인식, 신용카드, 신분증을 이용한 개인인증 시스템 및 로봇비젼, 휴먼 컴퓨터 인터페이스 등을 포함하는 다양한 자동화 시스템에서 유용하게 활용되고 있다.Real-time processing technology using image and computer is useful in various automation systems including face recognition, credit card, personal identification system using identification card, robot vision, human computer interface, etc.

실시간 시스템 또는 자동화 시스템에서 연산 시간은 중요한 요소 중에 하나이며, 영상 신호는 데이터 속도와 연산량이 방대하여 실시간 연산을 위해서는 고속의 필터 연산이 필수적이다.In a real-time or automated system, computation time is one of the important factors, and the video signal has a large data rate and a large amount of computation, and high-speed filter computation is essential for real-time computation.

대표적인 필터 연산인 컨벌루션 기법은 출력 영상의 새로운 픽셀 값을 결정하기 위해 해당 픽셀뿐만 아니라 그 주위의 픽셀들도 함께 고려하는 공간 영역 연산으로서 공간 영역에서 이웃 픽셀 값들의 가중치 합을 구하는 기법으로 수행된다.The convolution technique, which is a typical filter operation, is a spatial domain operation that considers not only the pixel but also the surrounding pixels together to determine a new pixel value of the output image.

컨벌루션 기법은 영상 블러링(Blurring), 샤프닝(Sharpening), 에지검출(Edge Detection), 잡음제거(Noise Reduction) 등 디지털 영상처리 분야에서 그 목적과 여건에 따라 다양하게 쓰이며, 기법을 적용하는 방법은 모두 동일하고, 단지 필터(Filter)의 값만 달라진다.Convolution techniques are widely used in the field of digital image processing such as image blurring, sharpening, edge detection, noise reduction, etc. depending on their purpose and conditions. All are the same, only the value of the filter is different.

영상처리에서 가장 많이 사용되는 연산 중의 하나인 필터 연산을 고속화함으로써 특정한 알고리즘에 국한되지 않고, 앞에 언급한 블러링, 샤프닝, 에지검출, 잡음제거 등에서 영상처리 연산 시간을 줄이기 위해 다양하게 활용될 수 있다.By speeding up the filter operation, which is one of the most used operations in image processing, it is not limited to a specific algorithm and can be variously used to reduce the image processing time in blurring, sharpening, edge detection, and noise removal. .

도 1은 일반적인 컨벌루션 기법을 설명하기 위한 도면이다.1 is a diagram illustrating a general convolution technique.

도 1에 도시된 바와 같이, 일반적인 컨벌루션 기법은 3×3 필터 값과 입력 영상의 픽셀 값을 각각 곱한 다음 그 합을 구하면, 출력(Out)에 해당하는 결과값을 구할 수 있다.As shown in FIG. 1, in a general convolution technique, multiplying a 3 × 3 filter value by a pixel value of an input image and then obtaining a sum thereof may obtain a result value corresponding to an output.

일반적으로 3×3 필터의 컨벌루션에서 입력 픽셀의 값을 각각 I(x-1,y-1), I(x-1,y), … , I(x+1, y+1)이라 할 때, <수학식 1>과 같이 정의할 수 있다.In general, in the convolution of a 3x3 filter, the values of the input pixels are set to I (x-1, y-1), I (x-1, y),... , I (x + 1, y + 1), can be defined as in Equation 1.

여기서, x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, I는 입력 영상의 픽셀 값, F는 3×3 필터 값을 나타낸다.Here, x and y are coordinate values of the input image, Out (x, y) is a result pixel value for I (x, y), I is a pixel value of the input image, and F is a 3 × 3 filter value.

도 1에서와 같이 일반적인 필터 연산의 경우 필터의 크기는 3×3이 가장 많이 사용되며, 5×5 또는 그 이상의 크기의 필터도 종종 사용된다. 대표적인 필터들의 경우, 대칭성이 중요한 특징이며, 가로, 세로 혹은 대각선 대칭되는 필터 계수를 가지게 된다.In the case of a general filter operation as shown in FIG. 1, the size of the filter is most often used by 3 × 3, and a filter of 5 × 5 or more is often used. For typical filters, symmetry is an important feature and has filter coefficients that are symmetrical horizontally, vertically or diagonally.

그런데, 종래에는 컨벌루션 연산의 특징으로 인해 필터의 크기에 비례한 다수의 곱셈 연산이 사용되며, 이러한 곱셈은 필터의 연산 시간을 증가시킬 뿐 아니라, 연산도 빈번하여 연산 처리가 복잡한 문제가 있다.However, in the related art, a multiplication operation proportional to the size of the filter is used due to the characteristics of the convolution operation, and this multiplication not only increases the operation time of the filter, but also frequently operates, and thus, the operation processing is complicated.

본 발명의 실시예는 필터의 대칭성에 따른 중첩 부분의 결과값을 버퍼의 공간에 저장하고, 다음 중첩 부분에 버퍼의 값을 사용하는 ORB를 수행함으로써 연산 처리의 복잡도를 낮을 수 있는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.An embodiment of the present invention is an image processing apparatus that can reduce the complexity of the operation processing by storing the result value of the overlapped portion according to the symmetry of the filter in the space of the buffer, and performing an ORB using the value of the buffer in the next overlapping portion and It is an object of the present invention to provide an image processing method and a computer-readable recording medium.

또한 본 발명의 실시예는 영상 처리시 2차원 LUT(Look-Up Table)를 더 이용함으로써 연산 처리의 복잡도를 낮추어 정보의 고속화 처리를 수행할 수 있는 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체를 제공함에 다른 목적이 있다.In addition, an embodiment of the present invention is an image processing apparatus, an image processing method, and a computer readable recording which can perform information processing by lowering the complexity of arithmetic processing by further using a two-dimensional look-up table (LUT) in image processing. Another purpose is to provide the medium.

본 발명의 실시예에 따른 영상처리장치는 영상을 수신하는 영상 수신부; 임의의 열을 기준으로 서로 인접하는 영역이 대칭성을 갖는 필터에 대한 정보를 저장하는 저장부; 및 상기 영상의 제1 영역에 상기 필터를 적용하여 제1 결과값을 생성하고, 상기 필터를 상기 제1 영역에 중첩시켜 제2 영역에 적용하여 제2 결과값 생성하되, 상기 제2 결과값은 상기 필터의 대칭성에 근거하여 상기 제1 결과값의 일부를 이용해 결과값을 생성하는 이미지 처리부를 포함하는 것을 특징으로 한다.Image processing apparatus according to an embodiment of the present invention includes an image receiving unit for receiving an image; A storage unit which stores information about a filter having symmetrical regions adjacent to each other based on an arbitrary column; And generating a first result by applying the filter to the first area of the image, and generating a second result by applying the filter to the second area by overlapping the filter with the first area. And an image processor configured to generate a result value using a part of the first result value based on the symmetry of the filter.

상기 이미지 처리부는 상기 결과값의 일부를 동일한 결과값으로 생성하기 위하여, 상기 제1 영역의 결과값 중 일부 결과값을 상기 저장부에 저장하고, 상기 제2 영역의 결과값 생성시 상기 저장부에 저장된 상기 일부 결과값을 독출하여 사용하는 것을 특징으로 한다.The image processor stores some result values of the result values of the first area in the storage unit to generate a part of the result values as the same result value, and generates the result value of the second area in the storage unit. It is characterized in that the stored partial result value is used to read.

상기 이미지 처리부는 상기 필터가 좌우 대칭성을 가질 때, 상기 제1 영역의 최좌측 열의 결과값과 상기 제2 영역의 최우측 열의 결과값을 동일하게 유지하는 것을 특징으로 한다.The image processing unit may maintain the result value of the leftmost column of the first region and the result value of the rightmost column of the second region when the filter has symmetry.

상기 저장부는 상기 영상의 픽셀값과 상기 필터의 필터값을 룩업테이블(LUT) 형태로 저장하고, 상기 이미지 처리부는 상기 LUT에 근거하여 상기 제1 영역 및 상기 제2 영역에 대한 결과값을 각각 생성하는 것을 특징으로 한다.The storage unit stores the pixel value of the image and the filter value of the filter in the form of a look-up table (LUT), and the image processor generates a result value for the first area and the second area based on the LUT, respectively. Characterized in that.

상기 이미지 처리부는 상기 제1 영역 및 상기 제2 영역의 결과값을 이용하여 합성 영상을 더 생성하고, 상기 생성한 합성 영상을 출력하는 것을 특징으로 한다.The image processor may further generate a composite image by using result values of the first region and the second region, and output the generated composite image.

본 발명의 실시예에 따른 영상처리방법은 입력된 영상의 제1 영역에 상기 필터를 적용하여 제1 결과값을 생성하고, 상기 필터를 상기 제1 영역에 중첩시켜 제2 영역에 적용하여 제2 결과값 생성하되, 상기 제2 결과값은 상기 필터의 대칭성에 근거하여 상기 제1 결과값의 일부를 이용해 결과값을 생성하는 단계; 및 상기 제1 영역 및 상기 제2 영역의 결과값을 이용하여 합성 영상을 생성하고, 상기 생성한 합성 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.In an image processing method according to an embodiment of the present invention, a first result value is generated by applying the filter to a first region of an input image, and the filter is applied to a second region by overlapping the filter with the first region. Generating a result value, wherein the second result value is generated using a part of the first result value based on the symmetry of the filter; And generating a composite image by using result values of the first region and the second region, and outputting the generated composite image.

상기 영상처리방법은, 임의의 열을 기준으로 서로 인접하는 영역이 대칭성을 갖는 필터에 대한 정보를 저장부에 저장하는 단계; 및 상기 결과값 생성시 상기 저장부에 저장한 정보를 제공하는 단계를 더 포함하는 것을 특징으로 한다.The image processing method may include: storing information about a filter having symmetrical regions adjacent to each other based on a column; And providing the information stored in the storage unit when generating the result value.

상기 결과값의 일부를 동일한 결과값으로 생성하는 단계는, 상기 제1 영역의 결과값 중 일부 결과값을 저장부에 저장하는 단계; 및 상기 제2 영역의 결과값 생성시 상기 저장부에 저장된 상기 일부 결과값을 독출하여 사용하는 단계를 포함하는 것을 특징으로 한다.The generating of the portion of the result value as the same result may include: storing some result values among the result values of the first area in a storage unit; And reading out and using the partial result value stored in the storage unit when generating the result value of the second region.

상기 결과값의 일부를 동일한 결과값으로 생성하는 단계는, 상기 영상의 픽셀값과 상기 필터의 필터값을 룩업테이블(LUT) 형태로 저장하고, 상기 LUT에 근거하여 상기 제1 영역 및 상기 제2 영역에 대한 결과값을 각각 생성하는 것을 특징으로 한다.The generating of a part of the result value as the same result value may include storing the pixel value of the image and the filter value of the filter in the form of a look-up table (LUT), and based on the LUT, the first area and the second value. Each of the result values for the region is generated.

상기 제1 영역 및 상기 제2 영역의 결과값을 이용하여 합성 영상을 생성하는 단계는, 상기 제1 영역 및 상기 제2 영역의 결과값에 대한 컨벌루션 수행 후에 상기 합성 영상을 생성하는 것을 특징으로 한다.The generating of the composite image by using the result values of the first region and the second region may include generating the composite image after convolution of the result values of the first region and the second region. .

본 발명의 실시예에 따른 컴퓨터 판독가능 기록 매체는 영상처리방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상처리방법은, 입력된 영상의 제1 영역에 상기 필터를 적용하여 제1 결과값을 생성하고, 상기 필터를 상기 제1 영역에 중첩시켜 제2 영역에 적용하여 제2 결과값 생성하되, 상기 제2 결과값은 상기 필터의 대칭성에 근거하여 상기 제1 결과값의 일부를 이용해 결과값을 생성하는 단계; 및 상기 제1 영역 및 상기 제2 영역의 결과값을 이용하여 합성 영상을 생성하고, 상기 생성한 합성 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.A computer-readable recording medium according to an embodiment of the present invention includes a program for executing an image processing method, wherein the image processing method comprises applying the filter to a first area of an input image. Generate a first result value, and apply the filter to the second area by overlapping the filter with the first area to generate a second result value, wherein the second result value is based on the symmetry of the filter; Generating a result using a portion of the; And generating a composite image by using result values of the first region and the second region, and outputting the generated composite image.

도 1은 일반적인 컨벌루션 기법을 설명하기 위한 도면,
도 2는 본 발명의 실시예에 따른 영상처리장치의 구조를 나타내는 도면,
도 3은 2차원 LUT를 이용한 컨벌루션 기법을 설명하기 위한 도면,
도 4는 필터의 종류와 대칭성을 설명하기 위한 도면,
도 5는 좌우대칭에 대한 필터의 중첩처리를 설명하기 위한 도면,
도 6은 필터 연산 과정을 나타내는 흐름도,
도 7은 에지검출의 입력 영상과 결과 영상을 비교하여 나타낸 도면,
도 8은 PC에서의 컨벌루션 연산 시간을 나타내는 도면,
도 9는 임베디드 시스템에서의 컨벌루션 연산 시간을 나타내는 도면,
도 10은 본 발명의 실시예에 따른 영상처리방법을 나타내는 흐름도이다.1 is a diagram for explaining a general convolution technique,
2 is a diagram showing the structure of an image processing apparatus according to an embodiment of the present invention;
3 is a view for explaining a convolution technique using a two-dimensional LUT,
4 is a view for explaining the type and symmetry of the filter,
5 is a view for explaining a superposition process of a filter for left and right symmetry;
6 is a flowchart illustrating a filter operation process;
7 is a view comparing and comparing an input image and a result image of edge detection;
8 is a diagram showing a convolution operation time in a PC;
9 illustrates a convolution operation time in an embedded system;
10 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 2는 본 발명의 실시예에 따른 영상처리장치의 구조를 나타내는 도면이다.2 is a diagram illustrating a structure of an image processing apparatus according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 영상처리장치(200)는 통신 인터페이스부(210), 제어부(220), 이미지 처리부(230), 저장부(240) 및 사용자 인터페이스부(250)의 일부 또는 전부를 포함할 수 있다. 여기서, 일부 또는 전부를 포함한다는 것은 일부 구성 요소들이 서로 통합하여 구성될 수 있음을 의미하며, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.As shown in FIG. 2, the image processing apparatus 200 according to the exemplary embodiment of the present invention may include a communication interface 210, a controller 220, an image processor 230, a storage 240, and a user interface unit ( Some or all of 250). Here, the inclusion of some or all means that some of the components can be configured to be integrated with each other, it will be described as including all in order to help a sufficient understanding of the invention.

통신 인터페이스부(210)는 유무선 통신을 통해 이미지 즉 영상 데이터를 수신한다. 이에 따라 통신 인터페이스부(210)는 영상 수신부라 지칭될 수 있다. 예를 들어, 통신 인터페이스부(210)는 카메라에서 촬영된 사람의 얼굴 영상을 수신하여 제어부(200)로 출력할 수 있을 것이다. 또한 무선 통신을 수행하는 경우에는 카메라를 포함하는 촬상부에 구성된 와이파이(Wi-Fi) 등의 근거리 통신 모듈을 통해 해당 영상을 수신할 수 있을 것이다.The communication interface 210 receives an image, that is, image data, through wired or wireless communication. Accordingly, the communication interface 210 may be referred to as an image receiver. For example, the communication interface 210 may receive the face image of the person photographed by the camera and output the image to the controller 200. In the case of performing wireless communication, the corresponding image may be received through a short-range communication module such as Wi-Fi configured in the imaging unit including a camera.

제어부(220)는 영상처리장치(200)의 내의 통신 인터페이스부(210), 이미지 처리부(230), 저장부(240), 사용자 인터페이스부(250)의 전반적인 동작을 제어한다. 예를 들어, 제어부(220)는 통신 인터페이스부(210)를 통해 수신된 영상을 이미지 처리부(230)에 제공하고, 이미지 처리부(230)를 통해 처리된 처리 결과를 저장부(240)에 저장하거나, 사용자 인터페이스부(250)로 출력해 줄 수 있을 것이다.The controller 220 controls the overall operations of the communication interface 210, the image processor 230, the storage 240, and the user interface 250 of the image processing apparatus 200. For example, the controller 220 may provide an image received through the communication interface 210 to the image processor 230, and store the processing result processed by the image processor 230 in the storage 240. The output may be output to the user interface 250.

이미지 처리부(230)는 입력 영상에 대하여 컨벌루션을 수행할 수 있는데, 이때 필터의 상하, 좌우 등의 대칭성을 고려하여 중첩되는 부분의 반복 연산을 줄여 컨벌루션을 수행하게 된다. 예를 들어, 이미지 처리부(230)는 3×3 크기의 필터를 사용하고, 해당 필터가 좌우 대칭을 갖는다고 가정할 때 결과값들 중 3번째 열의 결과값을 저장부(240)에 저장시키고, 다음 수행 때 중첩되는 1번째 열의 값을 저장부(240)에서 가져오는 방식으로 반복 연산을 수행한다. 이러한 반복 연산 수행시 이미지 처리부(230)는 가령 기설정된 대칭성 정보에 근거하여 특정 열의 결과값을 저장하게 될 것이다. 다시 말해, 대칭성 정보가 상하 대칭이냐 좌우 대칭이냐에 따라 서로 다른 열을 선택하여 결과값을 저장할 수 있는 것이다. 상기의 과정을 수행하기 위하여 이미지 처리부(230)는 가령 하드웨어적으로 구분되어 영상을 처리할 수 있겠지만, 알고리즘의 형태로 구현할 수도 있으므로 본 발명의 실시예에서는 어떠한 방식으로 영상을 처리하느냐에 특별히 한정하지는 않을 것이다.The image processor 230 may perform convolution with respect to the input image. In this case, the image processing unit 230 may perform convolution by reducing an iteration operation of overlapping portions in consideration of symmetry such as up, down, left, and right of the filter. For example, the image processor 230 uses a 3 × 3 filter, and assuming that the filter has left and right symmetry, the image processor 230 stores the result value of the third column among the result values in the storage unit 240, When the next operation is performed, an iterative operation is performed in such a manner that the value of the first column overlapped is obtained from the storage unit 240. When performing such an iterative operation, the image processor 230 may store a result value of a specific column based on, for example, preset symmetry information. In other words, depending on whether the symmetry information is symmetrical or symmetrical, different columns can be selected to store the result. In order to perform the above process, the image processor 230 may process the image, which is divided into hardware, for example. However, since the image processor 230 may be implemented in the form of an algorithm, the image processing unit 230 is not particularly limited to how the image is processed. will be.

또한 이미지 처리부(230)는 위와 같은 ORB 수행시, 2차원 룩업테이블(LUT)을 함께 이용함으로써 연산 처리 속도를 증가시키고 연산의 복잡도를 감소시킬 수 있을 것이다. 다시 말해, 이미지 처리부(230)는 저장부(240)에 룩업테이블 형태로 저장된 값을 컨벌루션 수행시 이용하여 새로운 LUT 결과값을 생성할 수 있다. 여기서, LUT는 필터의 필터값과 입력 영상의 픽셀값, 즉 0 ~ 255까지의 밝기값을 곱한 결과를 저장한다. 이와 같은 LUT를 이용함으로써 이미지 처리부(230)는 예컨대 입력 영상의 일부 영역에 대한 픽셀값과 필터값이 매칭되는 지점의 결과값을 새로운 LUT 결과값으로서 생성할 수 있게 되는 것이다.In addition, when performing the ORB as described above, the image processor 230 may increase the operation processing speed and reduce the complexity of the operation by using a two-dimensional lookup table (LUT) together. In other words, the image processor 230 may generate a new LUT result value by using the value stored in the storage 240 in the form of a lookup table when performing the convolution. Here, the LUT stores a result of multiplying a filter value of a filter by a pixel value of an input image, that is, a brightness value of 0 to 255. By using the LUT, the image processor 230 may generate, for example, a result value of a point where a pixel value and a filter value of a part of the input image match, as a new LUT result value.

저장부(240)는 가령 버퍼와 같은 저장 공간을 포함하며, 나아가 룩업테이블 형태의 메모리를 더 포함할 수 있다. 저장부(240)는 이미지 처리부(230)에서 이용되는 필터의 대칭성에 따라 중첩되는 부분의 결과값을 저장하였다가 가령 제어부(220)나 이미지 처리부(230)에서 요청이 있을 때 해당 결과값을 출력해 줄 수 있으며, 룩업테이블 형태의 저장 공간은 입력 영상의 일부 영역에 필터를 적용하여 새로운 LUT 결과값을 생성할 때 이용될 수 있을 것이다.The storage unit 240 may include a storage space such as a buffer, and may further include a memory in the form of a lookup table. The storage unit 240 stores the result values of the overlapping parts according to the symmetry of the filters used in the image processor 230 and outputs the result values when a request is made from the controller 220 or the image processor 230. The storage space in the form of a lookup table may be used to generate a new LUT result by applying a filter to a part of an input image.

사용자 인터페이스부(250)는 사용자 명령을 수신하는 키 입력부를 포함할 수 있으며, 이미지 처리부(230)에서 처리된 처리 결과를 화면에 보여주기 위한 표시부를 포함할 수도 있을 것이다. 가령 키 입력은 표시부에 표시되는 터치 방식으로 이루어질 수도 있으므로 본 발명의 실시예에서는 사용자 인터페이스부(250)가 어떻게 구성되느냐에 특별히 한정하지는 않을 것이다.The user interface 250 may include a key input unit for receiving a user command, and may include a display unit for displaying a processing result processed by the image processor 230 on a screen. For example, since the key input may be performed by a touch method displayed on the display unit, the exemplary embodiment of the present invention will not be particularly limited to how the user interface unit 250 is configured.

도 3은 2차원 LUT를 이용한 컨벌루션 기법을 설명하기 위한 도면이다.3 is a diagram for describing a convolution technique using a 2D LUT.

도 3에 도시된 바와 같이, LUT는 주어진 연산에 대해 미리 계산된 결과들의 집합을 말한다. LUT는 주어진 연산에 대한 결과를 계산하는 시간보다 더 빠르게 값을 취득해 갈 수 있도록 레퍼런스(Reference)로 사용된다. LUT는 주로 실시간 데이터 취득, 실시간 임베디드 시스템에서 사용하는 방식으로 본 발명의 실시예에서는 컨벌루션 연산에서 곱셈연산이 아닌 2차원 LUT를 이용하여 결과값을 참조한다.As shown in FIG. 3, LUT refers to a set of precomputed results for a given operation. The LUT is used as a reference so that the value can be obtained faster than the time to compute the result for a given operation. The LUT is mainly used in real-time data acquisition and real-time embedded systems. In the embodiment of the present invention, the LUT uses a two-dimensional LUT rather than a multiplication operation to refer to the result.

도 2의 영상처리장치(200)에 사용되는 본 발명의 실시예에 따른 2차원 LUT는 도 3에서 볼 수 있는 바와 같이, 필터의 값과 0 ∼ 255까지의 밝기값을 곱한 결과를 저장한다. 2차원 LUT는 필터 지수(Filter Index)가 가령 0 ∼ 8까지 9개의 행, 0 ∼ 255값을 가지는 256개의 열을 갖도록 만드는 것이 바람직하다.As shown in FIG. 3, the two-dimensional LUT according to the exemplary embodiment of the present invention used for the image processing apparatus 200 of FIG. 2 stores a result of multiplying a filter value by a brightness value of 0 to 255. The two-dimensional LUT preferably makes the filter index to have nine rows from 0 to 8, with 256 columns with 0 to 255 values.

LUT 각 요소들을 L(i,j)라고 할 때 <수학식 2>와 같이 정의될 수 있다.When each element of the LUT is referred to as L (i, j), it may be defined as in Equation 2.

<수학식 2>에서 만들어진 LUT를 이용하여 <수학식 1>에서 정의된 컨벌루션Convolution defined in Equation 1 using the LUT created in Equation 2

을 <수학식 3>과 같이 정의할 수 있다Can be defined as in Equation 3.

여기서 x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, L은 2차원 LUT의 참조 값, I는 입력 영상의 픽셀 값, F는 3×3 필터 값을 나타낸다. Where x and y are the coordinates of the input image, Out (x, y) is the resulting pixel value for I (x, y), L is the reference value of the two-dimensional LUT, I is the pixel value of the input image, and F is 3 × 3 filter value.

도 4는 필터의 종류와 대칭성을 설명하기 위한 도면이며, 도 5는 좌우대칭에 대한 필터의 중첩처리를 설명하기 위한 도면이다.4 is a view for explaining the type and symmetry of the filter, Figure 5 is a view for explaining the overlapping process of the filter for the left-right symmetry.

입력 픽셀에 대하여 주위의 픽셀들을 고려할 때, 각 방향으로 대칭되게 하기 위해서 필터의 크기는 홀수이다. 일반적으로 필터의 크기는 3×3이 가장 많이 사용되며, 5×5 또는 그 이상의 크기의 필터도 종종 사용된다.Given the surrounding pixels relative to the input pixel, the size of the filter is odd in order to be symmetric in each direction. In general, the size of the filter is most often used 3 × 3, and the filter of 5 × 5 or more size is often used.

도 4에 도시된 바와 같이, 대부분 필터는 상하, 좌우 또는 대각선 대칭을 가지며, 본 발명의 실시예에서는 필터의 상하, 좌우 대칭에 대해서 중첩되는 부분을 도 5에서와 같은 방법을 사용함으로써 연산량을 줄일 수 있다.As shown in FIG. 4, most filters have up, down, left or right symmetry, and in the embodiment of the present invention, the amount of calculation is reduced by using the same method as in FIG. Can be.

예를 들어, 도 4에서 대칭을 가지는 3번째 열의 결과값을 버퍼라는 공간에 저장을 하고, 다음 수행 때 중첩되는 1번째 열의 값을 버퍼에서 가져오는 방식으로 반복 연산을 수행하게 되는 것이다.For example, in FIG. 4, the result of the third column having symmetry is stored in a space called a buffer, and when the next execution is performed, the iteration operation is performed by obtaining the value of the overlapping first column from the buffer.

가령 <수학식 3>에서 정의된 2차원 LUT를 필터 대칭에 대해 <수학식 4>와 같이 정의할 수 있다.For example, the two-dimensional LUT defined in Equation 3 may be defined as in Equation 4 with respect to the filter symmetry.

여기서 x, y는 입력 영상의 좌표값, Out(x,y)는 I(x,y)에 대한 결과 픽셀 값, I는 입력 영상의 픽셀 값, F는 3×3 필터값, L1, L2, L3는 1열, 2열, 3열에 해당하는 2차원 LUT의 연산 결과를 나타낸다.Where x and y are coordinate values of the input image, Out (x, y) is the result pixel value for I (x, y), I is the pixel value of the input image, F is a 3 × 3 filter value, L1, L2, L3 represents the operation result of the two-dimensional LUT corresponding to the first, second and third columns.

최종적으로 L1, L2, L3의 합으로서 출력(Out)을 구하게 된다.Finally, the output (Out) is obtained as the sum of L1, L2, and L3.

계속해서 본 발명의 실시예에 따른 실험 및 결과에 대하여 살펴본다.Next, the experiment and the results according to the embodiment of the present invention will be described.

본 발명의 실시예에 따른 실험에서 제안하는 방법의 성능 평가를 위하여 AMD 패넘-X6 1055T Processor 2.80Ghz, 4GB RAM을 장착한 Windows 7기반의 PC와 ARM Cortex-A8 600Mhz, 128kb RAM기반의 WinCE 기반의 OMAP3530 임베디드 시스템에서 입력 영상의 크기와 필터의 크기에 따른 컨벌루션 연산 시간을 비교분석 하였다.In order to evaluate the performance of the proposed method according to an embodiment of the present invention, a Windows 7-based PC equipped with an AMD Phenom-X6 1055T Processor 2.80Ghz and 4GB RAM, an ARM Cortex-A8 600Mhz, and 128kb RAM-based WinCE-based In the OMAP3530 embedded system, we compared and analyzed the convolution operation time according to the size of input image and filter size.

도 6은 필터 연산 과정을 나타내는 흐름도이다.6 is a flowchart illustrating a filter operation process.

도 6에서와 같이, 필터의 연산 과정은 초기화(Initialize), 영상 입력, 영상 확장, 컨벌루션, 영상 출력으로 나눌 수 있다.As shown in FIG. 6, the calculation process of the filter may be divided into initialize, image input, image expansion, convolution, and image output.

초기화 단계(S601)에서 3×3 필터와 5×5 필터를 초기화하고, 필터를 이용하여 2차원 LUT를 생성하게 된다.In the initialization step S601, the 3x3 filter and the 5x5 filter are initialized, and a two-dimensional LUT is generated using the filter.

영상 입력 단계(S603)에서 사용된 영상은 256×256, 512×512, 950×950 크기를 가지는 Gray Lena 영상을 사용하였다.In the image input step S603, gray Lena images having sizes of 256 × 256, 512 × 512, and 950 × 950 were used.

영상 확장 단계(S605)에서 입력 영상을 컨벌루션할 수 있도록 필터의 크기에 따라서 입력 영상 크기를 확장한다. 확장된 부분은 0이나 255 또는 주위 픽셀과 비슷한 값으로 처리한다. In the image expansion step S605, the input image size is expanded according to the size of the filter so as to convolve the input image. The expanded part is treated as 0, 255, or a value similar to the surrounding pixels.

컨벌루션 단계(S607)에서 일반적인 컨벌루션 기법과 2차원 LUT를 사용한 컨벌루션 기법, 2차원 LUT와 ORB을 결합한 컨벌루션 기법을 적용하여 실험을 하였다.In the convolutional step (S607), we experimented with a general convolution technique, a convolution technique using a 2D LUT, and a convolution technique combining a 2D LUT and an ORB.

출력 영상 단계(S609)에서 각각의 컨벌루션 수행에 따른 영상을 출력한다.In the output image step S609, an image according to each convolution is output.

도 7은 에지검출의 입력 영상과 결과 영상을 비교하여 나타낸 도면으로서, 도 7의 (a)는 입력 영상이고, (b)는 Prewitt-Y 필터를 이용한 에지검출에 대한 컨벌루션 결과 영상을 나타내고 있다.FIG. 7 illustrates a comparison of an edge detection input image with a resultant image. FIG. 7A illustrates an input image, and FIG. 7B illustrates a convolution result image of edge detection using a Prewitt-Y filter.

<표 1> 및 <표 2>는 PC와 임베디드 보드 환경에서 여러 크기의 입력 영상에 대해서 일반적인 컨벌루션 방법, 2차원 LUT를 사용한 컨벌루션 방법, 2차원 LUT와 중첩부분 처리를 통한 컨벌루션 방법에 대해서 연산 시간을 나타내고 있다. 컨벌루션을 100회 반복 수행하여 평균 시간을 사용하였다.<Table 1> and <Table 2> show the computation time for the general convolution method for the input image of various sizes in PC and embedded board environment, the convolution method using the 2D LUT, and the convolution method through the processing of the overlapping part with the 2D LUT. Indicates. Convolution was repeated 100 times to use the average time.

도 8은 PC에서의 컨벌루션 연산 시간을 나타내는 도면이고, 도 9는 임베디드 시스템에서의 컨벌루션 연산 시간을 나타내는 도면이다.8 is a diagram illustrating a convolution operation time in a PC, and FIG. 9 is a diagram showing a convolution operation time in an embedded system.

도 8의 (a)와 (b)는 PC 환경에서 3×3 및 5×5 필터에 의한 컨벌루션 연산 시간을 그래프로 비교하여 나타낸 것으로서, 3×3 필터일 때 일반적인 컨벌루션에 비해 2차원 LUT와 중첩 부분 처리를 통한 컨벌루션의 연산 시간이 약 2배 빠르며, 5×5 필터일 때도 일반적인 컨벌루션에 비해 약 1.5배 속도가 향상되었다.(A) and (b) of FIG. 8 are graphs showing the convolution operation time by the 3 × 3 and 5 × 5 filters in a PC environment, and overlapping with the two-dimensional LUT compared to the general convolution in the 3 × 3 filter. The computational time of convolution through partial processing is about 2 times faster, and the speed is about 1.5 times faster than conventional convolution even with 5 × 5 filter.

또한 도 9의 (a) 및 (b)는 임베디드 보드 환경에서 3×3 및 5×5 필터에 의한 컨벌루션 연산 시간을 그래프로 비교하여 나타낸 것으로서, 3×3 필터일 때 일반적인 컨벌루션에 비해 2차원 LUT와 중첩부분 처리를 통한 컨벌루션의 연산 시간이 약 2배 빠르며, 5×5 필터일 때도 일반적인 컨벌루션에 비해 약 1.5배 속도가 향상되었지만, 2차원 LUT를 사용한 컨벌루션 연산의 경우 일반적인 컨벌루션과 비교하여 연산 시간이 거의 동일하였다.In addition, (a) and (b) of FIG. 9 are graphs showing the convolution operation time by the 3 × 3 and 5 × 5 filters in the embedded board environment, and the two-dimensional LUT compared to the general convolution in the 3 × 3 filter. Convolutional computation time is about twice as fast, and it is about 1.5 times faster than general convolution even with 5 × 5 filter.However, in the case of convolution operation using 2D LUT, the computation time is compared with general convolution. This was almost the same.

본 발명의 실시예에서 제안한 2차원 LUT와 ORB를 결합한 방법은 PC와 임베디드 시스템 모두 일반적인 컨벌루션 기법보다 연산 시간이 단축되는 걸 확인할 수 있었다.In the method of combining the two-dimensional LUT and ORB proposed in the embodiment of the present invention, it was confirmed that the computation time is shorter than the general convolution technique in both the PC and the embedded system.

종합해 보면, <표 1> 및 <표 2>, 도 8 및 도 9에서 실험 결과는 2차원 LUT의 경우 PC와 임베디드 시스템 또는 필터의 크기에 따라 연산 시간 감소 폭의 차이가 크다. 하지만, 본 발명의 실시예에서 제안한 2차원 LUT와 ORB를 결합한 방법은 PC와 임베디드 시스템 모두 일반적인 컨벌루션 기법보다 연산 시간이 3×3 필터일 때 약 50%, 5×5 필터일 때 약 38% 향상된 결과를 확인할 수 있었다.In summary, the experimental results in <Table 1> and <Table 2>, FIGS. 8 and 9 show a large difference in the calculation time reduction in the two-dimensional LUT depending on the size of the PC and the embedded system or the filter. However, the method of combining the two-dimensional LUT and ORB proposed in the embodiment of the present invention is improved by about 50% when the computation time is 3x3 filter and about 38% when the 5x5 filter is compared to the general convolution technique in both PC and embedded systems. The results could be confirmed.

도 10은 본 발명의 실시예에 따른 영상처리방법을 나타내는 흐름도이다.10 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.

설명의 편의상 도 10을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 영상처리장치(200)는 가령 카메라 등을 통해 촬영된 사람의 얼굴 영상을 수신한다. 이때 수신된 영상은 단위 프레임 영상에 해당될 수 있을 것이다.For convenience of description, referring to FIG. 10 along with FIG. 2, the image processing apparatus 200 according to an exemplary embodiment of the present invention receives a face image of a person photographed through a camera or the like. In this case, the received image may correspond to a unit frame image.

이어 영상처리장치(200)는 수신된 영상에 임의의 크기를 갖는 필터를 적용하여 컨벌루션을 수행하며, 필터의 대칭성에 근거한 ORB를 수행하여 결과값을 출력한다(S1001). 이의 과정에서 본 발명의 실시예에 따른 영상처리장치(200)는 2차원 LUT를 이용한 컨벌루션을 수행할 수 있을 것이다.Subsequently, the image processing apparatus 200 performs a convolution by applying a filter having an arbitrary size to the received image, and outputs a result value by performing an ORB based on the symmetry of the filter (S1001). In this process, the image processing apparatus 200 according to the embodiment of the present invention may perform convolution using a 2D LUT.

여기서, 임의의 크기를 갖는 필터란 가령 3×3 필터, 5×5 필터 및 그 이상의 크기를 갖는 필터를 의미하며, 필터의 대칭성에 근거한 ORB 수행이란 대부분의 필터가 상하, 좌우 또는 대각선 대칭을 이룬다고 가정할 때 가령 필터가 상하 대칭을 이루는 경우, 도 4에서 살펴본 바와 같이 LUT 결과값 생성시 첫 번째 LUT 결과값의 3번째 열의 결과값을 저장한 후, 두 번째 LUT 결과값의 1번째 열의 결과값으로 사용하고, 두 번째 LUT 결과값 중 3번째 열의 결과값을 다시 저장한 후, 세 번째 LUT 결과값의 1번째 열의 결과값으로 사용하는 방식을 의미한다.Here, a filter having an arbitrary size means a 3 × 3 filter, a 5 × 5 filter, or a filter having a size greater than that. ORB performance based on the symmetry of the filter means that most of the filters are vertically, horizontally, or diagonally symmetrical. For example, if the filter is vertically symmetrical, as shown in FIG. 4, when the LUT result is generated, the result of the third column of the first LUT result is stored and then the result of the first column of the second LUT result. It is used as a value, and the result value of the third column of the second LUT result value is stored again, and then used as the result value of the first column of the third LUT result value.

이에 근거해 볼 때, 본 발명의 실시예에 따른 S1001 단계는 별도의 도면으로 나타내지는 않았지만 입력된 영상의 일부 영역인 제1 영역에 임의의 필터를 매칭시키는 단계, 매칭에 따른 제1 결과값을 생성하는 단계, 필터의 대칭성에 따라 제1 결과값의 특정 값을 저장하는 단계, 제1 결과값을 컨벌루션하는 단계, 임의의 필터를 영상의 제2 영역에 매칭시켜 제2 결과값 생성시 가령 저장부(240)에 저장된 제1 결과값의 특정 값을 이용하여 제2 결과값을 생성하는 단계, 제2 결과값을 컨벌루션하는 단계의 일부 또는 전부를 포함할 수 있을 것이다. 이때 가령 2차원 LUT를 사용하는 경우에 제1 및 제2 결과값은 LUT 결과값이 될 것이다.Based on this, in step S1001 according to an embodiment of the present invention, matching an arbitrary filter to a first area, which is a partial area of an input image, although not shown in a separate drawing, the first result value according to the matching Generating, storing a specific value of the first result value according to the symmetry of the filter, convolving the first result value, matching an arbitrary filter to a second region of the image and storing the second result, for example, The method may include generating a second result value using a specific value of the first result value stored in the unit 240, and part or all of the convolution of the second result value. In this case, for example, when using the 2D LUT, the first and second result values will be LUT result values.

이후 영상처리장치(200)는 ORB 수행에 따른 결과값들을 합성하여 합성 영상을 생성하고, 생성한 합성 영상을 출력한다(S1003). 여기서 ORB 수행에 따른 결과값이란 가령 컨벌루션 수행에 따른 결과값을 포함하는 의미로 사용될 수 있다.Thereafter, the image processing apparatus 200 generates a synthesized image by synthesizing the result values according to the ORB, and outputs the generated synthesized image (S1003). Here, the result value according to the ORB execution may be used as a meaning including the result value according to the convolution execution.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

210: 통신 인터페이스부 220: 제어부
230: 이미지 처리부 240: 저장부
250: 사용자 인터페이스부210: communication interface unit 220:
230: image processing unit 240: storage unit
250: user interface unit

Claims

An image receiving unit which receives an image;
A storage unit which stores information about a filter having symmetrical regions adjacent to each other based on an arbitrary column; And
The first result value is generated by applying the filter to the first area of the image, and the second result value is generated by applying the filter to the second area by overlapping the filter with the first area. An image processor configured to generate a result value using a part of the first result value based on a symmetry of the filter;
Image processing apparatus comprising a.

The method of claim 1,
The image processor stores some result values of the result values of the first area in the storage unit to generate a part of the result values as the same result value, and generates the result value of the second area in the storage unit. And read out the stored partial result.

3. The method of claim 2,
And the image processing unit maintains the result value of the leftmost column of the first region and the result value of the rightmost column of the second region when the filter has left and right symmetry.

The method of claim 1,
The storage unit stores the pixel value of the image and the filter value of the filter in the form of a lookup table (LUT),
And the image processor generates a result value for the first region and the second region, respectively, based on the LUT.

The method of claim 1,
And the image processor further generates a composite image by using result values of the first region and the second region, and outputs the generated composite image.

A first result value is generated by applying a filter having symmetrical regions adjacent to each other based on a random column to the first region of the input image, and superimposing the filter on the first region to the second region. Generating a second result by applying the second result to a part of the first result based on a symmetry of the filter; And
Generating a composite image by using result values of the first region and the second region, and outputting the generated composite image
Image processing method comprising the.

The method according to claim 6,
The image processing method,
Storing information about a filter having symmetrical regions adjacent to each other based on an arbitrary column in a storage unit; And
Providing information stored in the storage unit when generating the result value
Image processing method characterized in that it further comprises.

The method according to claim 6,
Generating a part of the result value to the same result value,
Storing some result values of the result values of the first area in a storage unit; And
Reading and using the partial result value stored in the storage unit when generating the result value of the second region;
Image processing method comprising the.

The method according to claim 6,
The generating of a part of the result value as the same result value may include storing the pixel value of the image and the filter value of the filter in the form of a look-up table (LUT), and based on the LUT, the first area and the second value. And generating a result value for each region.

The method according to claim 6,
The generating of the composite image using the result values of the first region and the second region may include generating the composite image after convolution of the result values of the first region and the second region. Image processing method.

A computer readable recording medium comprising a program for executing an image processing method,
The image processing method,
A first result value is generated by applying a filter having symmetrical regions adjacent to each other based on a random column to the first region of the input image, and superimposing the filter on the first region to the second region. Generating a second result by applying the second result to a part of the first result based on a symmetry of the filter; And
Generating a composite image by using result values of the first region and the second region, and outputting the generated composite image
And a computer readable recording medium.