KR102018046B1 - 이미지 특징 추출 장치 및 방법 - Google Patents

Abstract

본 발명은 컴퓨팅 장치에서의 이미지의 특징(Feature)을 추출하기 위한 방법에 관한 것으로, 상기 컴퓨팅 장치로 입력되는 이미지를 기반으로 GSS(Gaussian Scale Space) 이미지를 피라미드 형태로 생성하는 과정과, 상기 GSS 이미지에 대해 스케일 정규화된 라플라시안 필터링(Scale Normalized Laplacian Filtering)을 수행하는 과정과, 상기 스케일 정규화된 라플라시안 필터링을 통해 특징점(Interest Point)을 검출하는 과정과, 상기 검출된 특징점을 이용하여 상기 이미지의 특징을 추출하는 과정을 포함할 수 있다.

Description

이미지 특징 추출 장치 및 방법{METHOD AND APPARATUS FOR EXTRACTING IMAGE FEATURE}

본 발명은 이미지의 특징(feature) 추출 기술에 관한 것으로, 특히 이미지 로컬 디스크립터(local descriptor)를 위한 특징점(interest point)을 검출하는데 적합한 이미지 특징 추출 기술에 관한 것이다.

스마트폰의 보급과 SNS(Social Network Service)의 지속적인 발달로 인해 이미지 특징점(Interest point) 기반의 로컬 디스크립터(local descriptor)를 이용한 다양한 이미지 검색 및 증강현실 서비스에 대한 관심이 급증하고 있다.

이미지 검색 및 증강현실 서비스를 위해서는 스케일 및 회전 등에 불변한 특징점을 추출하는 방법이 필수적이다. 이러한 특징점을 추출하기 위해서 다양한 기법들이 제안되었고, 그 중에서 SIFT (D. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, no. 2, pp. 91.110, 2004.)에서 사용하는 DoG(Different of Gaussian)를 이용한 특징점 검출기가 가장 일반적이다. DoG는 LoG(Laplacian of Gaussian)의 근사값으로 가우시안 이미지를 이용한 차 이미지(difference image)를 이용하며, 연산량에 이점이 있다.

하지만, 가우시안 이미지 및 차 이미지를 위한 저장 영역이 추가적으로 필요할 뿐만 아니라, LoG의 근사값을 이용할 수밖에 없는 단점이 있다.

미국등록특허 6,711,293호, Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image, 2004.05.23 등록

본 발명은 특징점(interest point) 검출 및 특징 추출을 위해서 LoG(Laplacian of Gaussian)에 기반한 응답특성을 고려하여 이미지 스케일을 정규화하기 위한 기술을 제안하고자 한다.

구체적으로, 본 발명은 이미지에 대한 저장영역을 효율적으로 할당함으로써, 특징점 검출 및 특징 추출 효율을 높일 수 있는 이미지 특징 추출 기술을 제안하고자 한다.

본 발명의 실시예에 의하면, 컴퓨팅 장치에서의 이미지의 특징(Feature)을 추출하기 위한 방법에 있어서, 상기 컴퓨팅 장치로 입력되는 이미지를 기반으로 GSS(Gaussian Scale Space) 이미지를 피라미드 형태로 생성하는 과정과, 상기 GSS 이미지에 대해 스케일 정규화된 라플라시안 필터링(Scale Normalized Laplacian Filtering)을 수행하는 과정과, 상기 스케일 정규화된 라플라시안 필터링을 통해 특징점(Interest Point)을 검출하는 과정과, 상기 검출된 특징점을 이용하여 상기 이미지의 특징을 추출하는 과정을 포함하는 이미지 특징 추출 방법을 제공할 수 있다.

여기서, 상기 특징점을 검출하는 과정은, 상기 GSS 이미지에서 인접하는 제1 내지 제3 GSS 이미지를 제1 저장영역에 저장하는 과정과, 상기 제2 GSS 이미지와 제3 GSS 이미지를 제2 저장영역에 복사하는 과정과, 상기 제1 내지 제3 GSS 이미지에 대응하는 SCLoG(Scale Normalized Laplacian of Gaussian) 이미지를 생성하는 과정과, 생성되는 상기 SCLoG 이미지 중 제2 SCLoG를 상기 제2 저장영역에 저장하는 과정과, 상기 제2 저장영역의 제2 GSS로부터 제1 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 과정을 포함할 수 있다.

또한, 상기 제1 그라디언트는, 상기 제2 GSS로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 할 수 있다.

또한, 상기 특징점을 검출하는 과정은, 상기 제2 GSS 이미지와 제3 GSS 이미지를 제1 저장영역에 저장하는 과정과, 상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하는 과정과, 상기 제4 GSS 이미지로부터 제4 SCLoG 이미지를 생성하여 상기 제1 저장영역에 저장하는 과정과, 상기 제2 저장영역의 제3 GSS로부터 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 과정을 포함할 수 있다.

또한, 상기 제2 그라디언트는 상기 제3 GSS로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 할 수 있다.

또한, 상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하는 과정은, 가우시안 스무딩(Gaussian Smoothing) 기법에 의해 수행될 수 있다.

본 발명의 실시예에 의하면, 컴퓨팅 장치로 입력되는 이미지를 기반으로 GSS 이미지를 피라미드 형태로 생성하는 수단과, 상기 GSS 이미지에 대해 스케일 정규화된 라플라시안 필터링을 수행하는 수단과, 상기 스케일 정규화된 라플라시안 필터링을 통해 특징점을 검출하는 수단과, 상기 검출된 특징점을 이용하여 상기 이미지의 특징을 추출하는 수단을 포함하는 이미지 특징 추출 장치를 제공할 수 있다.

여기서, 상기 특징점을 검출하는 수단은, 상기 GSS 이미지에서 인접하는 제1 내지 제3 GSS 이미지를 제1 저장영역에 저장하고, 상기 제2 GSS 이미지와 제3 GSS 이미지를 제2 저장영역에 복사하고, 상기 제1 내지 제3 GSS 이미지에 대응하는 SCLoG 이미지를 생성하고, 생성되는 상기 SCLoG 이미지 중 제2 SCLoG를 상기 제2 저장영역에 저장하고, 상기 제2 저장영역의 제2 GSS로부터 제1 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 것을 특징으로 할 수 있다.

또한, 상기 제1 그라디언트는, 상기 제2 GSS로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 할 수 있다.

또한, 상기 특징점을 검출하는 수단은, 상기 제2 GSS 이미지와 제3 GSS 이미지를 제1 저장영역에 저장하고, 상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하고, 상기 제4 GSS 이미지로부터 제4 SCLoG 이미지를 생성하여 상기 제1 저장영역에 저장하고, 상기 제2 저장영역의 제3 GSS로부터 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 것을 특징으로 할 수 있다.

또한, 상기 제2 그라디언트는, 상기 제3 GSS로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 할 수 있다.

또한, 상기 제4 GSS 이미지는 가우시안 스무딩 기법에 의해 생성되는 것을 특징으로 할 수 있다.

본 발명으로 인해, LoG의 응답특성을 활용하면서 이미지의 특징점을 선별하는데 이용할 수 있는 바, 이미지 특징을 추출하기 위한 장치들, 예를 들어 스마트폰, 스마트패드, 스마트안경, 스마트시계, 랩탑, 데스크탑 등과 같은 컴퓨팅 장치의 메모리 사용량을 줄이고 특징 추출 효율을 높일 수 있다.

도 1은 본 발명의 실시예에 따른 이미지 특징 추출을 위한 장치를 개략적으로 도시한 블록도,
도 2는 본 발명의 실시예에 따른 이미지 특징 추출 방법을 예시적으로 설명하는 흐름도,
도 3은 본 발명의 실시예에 따른 이미지 특징 추출을 위한 특징점 검출 과정을 예시적으로 나타낸 도면,
도 4는 종래의 이미지 특징 추출 방법에서 저장영역을 할당하는 경우를 예시한 도면,
도 5는 본 발명의 실시예에 따른 이미지 특징 추출 방법에서 저장영역을 할당하는 경우를 예시한 도면,
도 6은 본 발명의 실시예에 따른 이미지 특징 추출 방법에서 특징점 검출 과정을 구체적으로 설명하기 위한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

실시예의 설명에 앞서, 본 발명은 이미지의 특징점(interest point)을 검출하고 특징(feature)을 추출하기 위해 가우시안의 라플라시안(Laplacian of Gaussian, 이하 LoG라 함)에 기반한 응답특성을 고려하여 이미지 스케일을 정규화하고, 저장영역을 효율적으로 할당하기 위한 특징점 검출 및 특징 추출 기술을 제안하고자 하는 것으로, 이러한 기술 사상으로부터 본 발명의 목적으로 하는 바를 용이하게 달성할 수 있을 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 이미지 특징점 검출 방법을 구현하기 위한 장치를 예시적으로 도시한 블록도로서, 이미지 입력부(10), 이미지 저장부(12), 표시부(14), 사용자 입력부(16), 제어부(100) 등을 포함할 수 있다. 이러한 이미지 특징점 검출을 위한 장치는, 예를 들어 스마트폰, 스마트패드, 스마트안경, 스마트시계, 랩탑, 데스크탑 등과 같은 컴퓨팅 장치들이 적용될 수 있으며, 이러한 사실은 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.

도 1에 도시한 바와 같이, 이미지 입력부(10)는 도시 생략된 카메라로부터 촬영된 이미지를 수신하여 제어부(100)로 인가하는 역할을 할 수 있다.

이미지 저장부(12)는 이미지 입력부(10)를 통해 수신된 이미지를 저장하기 위한 저장영역을 포함하며, 제어부(100)의 제어하에 소정의 이미지가 저장영역에 할당될 수 있다.

표시부(14)는 LCD, OLED 등을 포함할 수 있으며, 제어부(100)의 제어하에 임의의 이미지를 디스플레이 처리하여 외부로 출력할 수 있다.

사용자 입력부(16)는 키패드, 터치패드 등을 포함할 수 있으며, 이미지 처리나 제어 동작 등을 위한 사용자 입력 신호를 제어부(100)로 인가하는 역할을 할 수 있다.

이러한 표시부(14)와 사용자 입력부(16)는 서로 분리되어 구성되거나 경우에 따라 일체형으로 구성될 수 있다.

본 발명의 실시예에 적용될 수 있는 제어부(100)는 상술한 구성들을 제어하며, 본 발명의 실시예에 따라 LoG에 기반한 응답특성을 고려하여 이미지 스케일을 정규화하고, 정규화된 이미지 스케일의 특징점을 검출함에 있어서 가우시안 스케일 스페이스(Gaussian Scale Space, 이하 GSS라 함)의 인접하는 3개의 이미지를 활용하여 저장영역을 할당하기 위한 연산 과정을 수행할 수 있다. 이러한 제어부(100)의 구체적인 처리 과정은 후술하는 도 2 내지 도 6에서 보다 상세히 다루기로 한다.

본 발명의 실시예에는 도 2와 같은 과정을 거쳐서 이미지의 특징점 및 특징을 추출하는데, 입력 이미지에 대해서 옥타브(Octave)별 이미지에 대한 가우시안 피라미드(Gaussian Pyramid)를 구성할 수 있다.

먼저, 입력 이미지에 시그마(σ) 값을 증가시켜 가면서 가우시안 필터를 적용한 이미지를 생성하고, 시그마(σ) 값이 2배가 될 때마다 이미지를 다운샘플링(down-sampling)한 후 위의 과정을 반복한다.

옥타브는 이미지의 크기에 따라 구분할 수 있는데, 옥타브가 바뀌면 이미지의 가로×세로 크기가 1/4씩 줄어든다. 하나의 옥타브 내의 가우시안 영상들의 수는 s(scale)+3개로 만드는데, s는 임의의 정수형 상수이다. 가우시안 영상의 수가 s+3개일 때, 가우시안의 차(Difference of Gaussian, 이하 DoG라 함)는 s+2개이고, DoG에서 처음과 마지막 영상은 지역 극 값을 계산할 수 없기 때문에 실제로 지역 극 값까지 계산 가능한 영상은 s개가 될 수 있다. 예를 들어, 스케일이 3개 있다고 가정하면, 특징점을 찾기 위해서는 이전 스케일과 다음 스케일이 필요하기 때문에 3+2개의 DoG 이미지와 가우시안 이미지가 필요하며, 5개의 DoG 이미지를 위해서는 차를 이용하므로 총 6개의 가우시안 이미지가 필요하다.

본 발명의 실시예에서는, 이와 같은 종래의 차 이미지(difference images)를 이용하는 대신에, 스케일 정규화된 라플라시안 필터링(Scale normalized Laplacian Filtering) 기법을 이용하여 특징점을 추출하는 것을 특징으로 한다.

이하, 도 2를 참조하여 본 발명의 실시예에 대해 보다 구체적으로 설명하기로 한다.

도 2에 도시한 바와 같이, 이미지 입력부(10)를 통해 이미지가 입력되면(S100), 제어부(100)는 입력 이미지에 대해서 옥타브별 이미지에 대한 가우시안 피라미드를 생성할 수 있다(S102). 즉, 입력 이미지를 기반으로 현재 옥타브에 맞는 정해진 스케일에 따른 가우시안 이미지(GSS 이미지)를 피라미드 형태로 생성한다.

이후, 제어부(100)는 본 발명의 실시예에 따라 스케일 정규화된 라플라시안 필터링(Scale Normalized Laplacian Filtering)을 수행할 수 있다(S104). 즉, LoG를 이용할 경우에 가우시안의 시그마(σ) 값이 증가 함에 따라 응답을 보상하기 위한 적절한 스케일 값이 필요하며, 이 과정에서는 이 스케일 값을 결정하여 라플라시안 필터링을 수행하고 스케일 정규화된 LoG 이미지(Scale Normalized LoG, 이하 SCLoG라 함)를 생성할 수 있다. 이러한 스케일 정규화된 라플라시안 필터링 과정은 후술하는 도 3 내지 도 6에서 상세히 설명하기로 한다.

이와 같이 스케일 정규화된 라플라시안 필터링에 의해 특징점(Interest Point)이 검출될 수 있다(S106). 즉, 제어부(100)는 LoG 응답을 이용하여 주변의 극점에 대한 특징점을 검출할 수 있다.

이후, 제어부(100)는 그라디언트(Gradient) 연산을 수행하여 이미지 저장영역으로부터 그라디언트, 예컨대 크기(Magnitude) 및 각도(Orientation) 등을 구할 수 있다(S108).

또한, 제어부(100)는 단계(S106)에서 추출한 특징점에 대해 특징(Feature)을 추출할 수 있다(S110). 여기서, 추출하는 특징은 알고리즘에 따라 다양한 특징을 추출할 수 있으며, 본 발명의 실시예에서는, 예를 들어 SIFT(Scale-Invariant Feature Transform) 디스크립터(descriptor)를 고려할 수 있다.

한편, 기존 기술인 DoG는 가우시안 피라미드를 생성하는 단계(S102) 이후에 라플라시안 필터링 대신, 다음 [수학식 1]과 같이 LoG의 근사식을 이용하여 특징점을 추출하였다.

하지만, 본 발명의 실시예에서는 근사식이 아닌 LoG의 응답을 이용하여 특징점을 추출하는 것을 특징으로 한다. 이때, LoG의 응답은 시그마 값에 의해 값이 작아지므로 적절한 보상이 필요하다. 또한, 로컬 디스크립터를 이용하여 효율적인 특징점 추출을 위해서는 선행 논문(Gianluca Francini, Skjalg Lepsey, and Massimo Balestri, "Selection of local features for visual search," Signal Processing - Image Communication, 2012.)과 같이, 특징점의 특성에 따라 특징점을 선별하는 것이 필요하다.

특징점의 선별은 제한된 환경(예를 들어, 네트워크, 메모리 등)하에서 여러 특징점 중 검색에 유용한 특징을 선별하는 과정으로, 이를 위해서는 특징점의 여러 값, 예를 들어 스케일(scale), 각도(orientation), 피크(peak) 등을 포함하는 시그마 값(σ)을 사용하게 된다. 이런 경우 LoG를 사용하기 위해서 시그마 값을 보상하게 되면, 특징점 선별에 영향을 줄 수 있다.

다음 [표 1]은 특징점 선별의 주요 요소인 피크와 스케일 간의 상관관계(correlation)를 나타낸 것으로, 상관관계가 높으면 특징점 선별을 위한 파라미터의 효용성이 떨어진다.

	DoG	Log(스케일만 고려)	LoG(옥타브 및 스케일 고려)
피크와 스케일 간의 상관관계	0.1484	0.1597	0.7215

[표 1]에서 확인할 수 있듯이, 시그마 값을 보상하기 위해 스케일만을 고려하는 경우가 더 효율적임을 확인할 수 있다. 원래 시그마 값에 해당되는 값은 옥타브에 의한 효과도 고려해야 하나, 그럴 경우 특징 선별의 주요 요소인 피크 값과 스케일 값의 상관관계가 커져 효율적인 특징점 선별이 어려울 수 있다.

이러한 문제를 해결하기 위해, 본 발명의 실시예에서는, 기존의 시그마 값을 모두 보상하는 것이 아니라 스케일 부분만을 고려하는 것을 특징으로 한다.

일반적으로 스케일에 불변하는 특징점을 추출하기 위해서 GSS를 구축하고, 이미지를 옥타브와 스케일에 따라서 생성한다. 옥타브와 스케일은 구현 방식에 따라 달라질 수 있으며, 특징점을 추출하는 과정은 일반적으로 옥타브 별로 이루어진다.

본 발명의 실시예에서는 특징점을 검출함에 있어서 옥타브는 고려하지 않고, 스케일만을 고려하기 때문에, 옥타브 별로 이루어지는 특징점 검출에 있어서 효율적인 저장영역 할당 방법을 제안한다.

도 3은 GSS 이미지가 5개가 존재하는 경우, 이를 이용하여 LoG를 수행하고 인접하는 3개의 GSS 이미지에 대해서 특징점 및 특징을 추출하는 과정을 나타낸 도면이다.

기존 DoG의 경우, LoG의 응답을 얻기 위해서는 6개의 이미지가 필요해서 저장영역이 더 필요하게 된다. 이를 구현하기 위해서 각각 별도의 저장영역을 설정할 경우 도 4에 예시한 바와 같이 16개의 저장영역이 필요하다. 즉, 5개의 GSS 이미지 저장영역(GSS1~GSS5)과 5개의 SCLoG 이미지 저장영역(SCLoG1~SCLoG5), 그리고 3개의 크기 그라디언트 저장영역(Mag2~Mag4)과 3개의 각도 그라디언트 저장영역(Ori2~Ori4)이 필요하다. 이는 특징 추출을 위한 추가적인 저장영역이 필요할 수밖에 없으며, 결과적으로, 컴퓨팅 장치의 단가를 높이는 원인이 될 수 있다.

이를 개선하기 위해 본 발명의 실시예에서는, 도 5에 예시한 바와 같이, 6개의 저장영역 만으로 연산하는 과정을 제안한다. 즉, GSS 이미지 저장영역과 SCLoG 이미지 저장영역, 그라디언트 저장영역(Mag/Ori)이 각각 하나씩만 필요하며, 3개의 임시 저장영역(tmp)에 GSS 이미지와 SCLoG 이미지를 복사하고 연산하는 과정을 수행할 수 있다. 후술하는 설명에서는 도 5의 상단 저장영역을 제1 저장영역, 하단 저장영역을 제2 저장영역이라 지칭하기로 하며, 각각의 저장영역에 이미지들을 복사하고 연산하는 과정을 통해 최종적인 그라디언트(Magnitude, Orientation)를 저장하게 된다.

6개의 저장영역에 대한 특징점 검출 및 특징 추출을 위해서, 우선 GSS 이미지의 인접하는 3개의 영역 이미지들(예를 들어, GSS1, GSS2, GSS3)만을 활용하고, 이를 기반으로 임시 저장영역(tmp)에 GSS 이미지와 SCLoG 이미지를 복사 및 연산하는 과정을 통해서 구현될 수 있다.

이와 같은 제1 저장영역과 제2 저장영역에 대한 이미지 저장과 복사 및 연산 과정을 도 6을 참조하여 구체적으로 설명하기로 한다.

먼저, 제1 저장영역에 GSS1 이미지, GSS2 이미지, GSS3 이미지를 순차적으로 복사하고, 제2 저장영역의 첫 번째 영역과 두 번째 영역에 GSS2 이미지와 GSS3 이미지를 각각 복사한다(S200).

이후, GSS1 ~ GSS3 이미지에 대해 라플라시안 필터를 통과시키고, 스케일만큼만 보상하여 SCLoG1 ~ SCLoG3 이미지를 계산한다(S202).

이때, 계산된 SCLoG2 이미지를 제2 저장영역의 빈 영역(세 번째 영역)에 임시 복사한다(S204).

그리고, 제1 저장영역에서 특징점을 검출한 후, 제2 저장영역의 GSS2 이미지로부터 크기 그라디언트(Mag(GSS2))와 각도 그라디언트(Ori(GSS2))를 각각 연산하고, 연산된 크기 그라디언트와 각도 그라디언트를 특징 추출을 위해 제1 저장영역의 첫 번째 영역과 두 번째 영역에 각각 저장한다(S206).

여기까지가 도 3의 1st 단계이며, 인접하는 3개의 GSS1, GSS2, GSS3 이미지에 대한 특징점 추출 과정이다.

다음으로, 제2 저장영역에 임시 복사된 SCLoG2 이미지를 제1 저장영역의 첫 번째 영역에 복사하고(S208), SCLoG3 이미지를 제1 저장영역의 두 번째 영역에 각각 복사한다(S210).

이와 함께, 제2 저장영역의 GSS3 이미지로부터 가우시안 스무딩(Gaussian Smoothing) 기법을 적용하여 GSS4 이미지를 생성한 후, 제2 저장영역의 세 번째 영역에 복사한다(S212).

그리고, 제2 저장영역의 GSS4 이미지로부터 SCLoG4 이미지를 생성하여 제1 저장영역의 세 번째 영역에 저장하고(S214), 제1 저장영역의 SCLoG3 이미지를 추후 연산을 위해 제2 저장영역에 복사한다(S216).

SCLoG3 이미지를 제1 저장영역에서 제2 저장영역으로 복사한다(S218).

그리고, 제2 저장영역의 GSS3 이미지로부터 크기 그라디언트(Mag(GSS3))와 각도 그라디언트(Ori(GSS3))를 각각 연산하고, 연산된 크기 그라디언트와 각도 그라디언트를 제1 저장영역의 첫 번째 영역과 두 번째 영역에 각각 저장한다(S220).

여기까지가 도 3의 2nd 단계이다.

다음으로, 제2 저장영역에 임시 저장된 SCLoG3 이미지를 제1 저장영역의 첫 번째 영역에 복사하고(S222), SCLoG4 이미지를 제1 저장영역의 두 번째 영역에 각각 복사하며(S224), 제2 저장영역의 GSS4 이미지로부터 가우시안 스무딩 기법을 적용하여 GSS5 이미지를 생성한 후, 제2 저장영역의 세 번째 영역에 복사한다(S226).

이러한 과정은 도 3의 3rd 단계이며, 1st 단계를 반복하면서 다음 옥타브를 준비한다.

이러한 과정을 통해 특징점 검출 및 특징을 추출할 경우 메모리 사용량을 줄일 수 있으며, LoG의 특성을 고려하여 성능을 유지하면서 효율적인 특징점 검출 및 특징을 추출할 수 있다.

이상 설명한 바와 같은 본 발명의 실시예에 의하면, 이미지의 특징점을 검출하고 특징을 추출하기 위해 LoG에 기반한 응답특성을 고려하여 이미지 스케일을 정규화하고, GSS 이미지의 인접하는 3개의 이미지를 이용하여 저장영역을 효율적으로 할당하기 위한 특징 추출 기법을 구현한 것이다.

10: 이미지 입력부
12: 이미지 저장부
14: 표시부
16: 사용자 입력부
100: 제어부

Claims (12)

1. 컴퓨팅 장치에서의 이미지의 특징(Feature)을 추출하기 위한 방법에 있어서,
   상기 컴퓨팅 장치로 입력되는 이미지를 기반으로 GSS(Gaussian Scale Space) 이미지를 피라미드 형태로 생성하는 과정과,
   상기 GSS 이미지에 대해 스케일 정규화된 라플라시안 필터링(Scale Normalized Laplacian Filtering)을 수행하는 과정과,
   상기 스케일 정규화된 라플라시안 필터링을 통해 특징점(Interest Point)을 검출하는 과정과,
   상기 검출된 특징점을 이용하여 상기 이미지의 특징을 추출하는 과정을 포함하되,
   상기 특징점을 검출하는 과정은,
   상기 GSS 이미지에서 인접하는 제1 내지 제3 GSS 이미지를 제1 저장영역에 저장하는 과정과,
   상기 제2 GSS 이미지와 제3 GSS 이미지를 제2 저장영역에 복사하는 과정과,
   상기 제1 내지 제3 GSS 이미지에 대응하는 SCLoG(Scale Normalized Laplacian of Gaussian) 이미지를 생성하는 과정과,
   생성되는 상기 SCLoG 이미지 중 제2 SCLoG 이미지를 상기 제2 저장영역에 저장하는 과정과,
   상기 제2 저장영역의 제2 GSS 이미지로부터 제1 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 과정을 포함하는
   이미지 특징 추출 방법.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 제1 그라디언트는,
   상기 제2 GSS 이미지로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 하는
   이미지 특징 추출 방법.
   
4. 제 1 항에 있어서,
   상기 특징점을 검출하는 과정은,
   상기 제2 GSS 이미지와 제3 GSS 이미지를 상기 제1 저장영역에 저장하는 과정과,
   상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하는 과정과,
   상기 제4 GSS 이미지로부터 제4 SCLoG 이미지를 생성하여 상기 제1 저장영역에 저장하는 과정과,
   상기 제2 저장영역의 제3 GSS 이미지로부터 제2 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 과정을 포함하는
   이미지 특징 추출 방법.
   
5. 제 4 항에 있어서,
   상기 제2 그라디언트는
   상기 제3 GSS 이미지로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 하는
   이미지 특징 추출 방법.
   
6. 제 4 항에 있어서,
   상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하는 과정은,
   가우시안 스무딩(Gaussian Smoothing) 기법에 의해 수행되는
   이미지 특징 추출 방법.
   
7. 컴퓨팅 장치로 입력되는 이미지를 기반으로 GSS 이미지를 피라미드 형태로 생성하는 수단과,
   상기 GSS 이미지에 대해 스케일 정규화된 라플라시안 필터링을 수행하는 수단과,
   상기 스케일 정규화된 라플라시안 필터링을 통해 특징점을 검출하는 수단과,
   상기 검출된 특징점을 이용하여 상기 이미지의 특징을 추출하는 수단을 포함하되,
   상기 특징점을 검출하는 수단은,
   상기 GSS 이미지에서 인접하는 제1 내지 제3 GSS 이미지를 제1 저장영역에 저장하고,
   상기 제2 GSS 이미지와 제3 GSS 이미지를 제2 저장영역에 복사하고,
   상기 제1 내지 제3 GSS 이미지에 대응하는 SCLoG 이미지를 생성하고,
   생성되는 상기 SCLoG 이미지 중 제2 SCLoG 이미지를 상기 제2 저장영역에 저장하고,
   상기 제2 저장영역의 제2 GSS 이미지로부터 제1 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 것을 특징으로 하는
   이미지 특징 추출 장치.
   
8. 삭제
9. 제 7 항에 있어서,
   상기 제1 그라디언트는,
   상기 제2 GSS 이미지로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 하는
   이미지 특징 추출 장치.
   
10. 제 7 항에 있어서,
    상기 특징점을 검출하는 수단은,
    상기 제2 GSS 이미지와 제3 GSS 이미지를 상기 제1 저장영역에 저장하고,
    상기 제3 GSS 이미지로부터 제4 GSS 이미지를 생성하여 상기 제2 저장영역에 저장하고,
    상기 제4 GSS 이미지로부터 제4 SCLoG 이미지를 생성하여 상기 제1 저장영역에 저장하고,
    상기 제2 저장영역의 제3 GSS 이미지로부터 제2 그라디언트를 연산하여 상기 제1 저장영역에 저장하는 것을 특징으로 하는
    이미지 특징 추출 장치.
    
11. 제 10 항에 있어서,
    상기 제2 그라디언트는
    상기 제3 GSS 이미지로부터의 크기 그라디언트 및 각도 그라디언트인 것을 특징으로 하는
    이미지 특징 추출 장치.
    
12. 제 10 항에 있어서,
    상기 제4 GSS 이미지는 가우시안 스무딩 기법에 의해 생성되는 것을 특징으로 하는
    이미지 특징 추출 장치.
    

Images