KR101740572B1 - Sift에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법 - Google Patents

Abstract

본 발명은 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법에 관한 것으로; 카메라를 통해 촬영되는 이미지를 입력받는 제1단계; 상기 입력 이미지 내 기울어진 물체의 각도를 계산하는 제2단계; 및 상기 물체의 기울어진 각도를 이용해 참조 이미지를 프로젝션하는 제3단계;로 구성되는 것읕 특징으로 한다.
본 발명에 따르면, 일반적인 SIFT 알고리즘의 수행전에 카메라를 통해 촬영되어 입력되는 이미지 내 물체의 기울어진 각도를 계산하여 참조 이미지를 프로젝션하고 물체를 탐색함으로써 SIFT 알고리즘에서 기울어진 물제를 효율적으로 탐색할 수 있다. 특히 본 발명에서 제안한 참조 이미지를 프로젝션하는 전처리 과정은 SIFT 알고리즘의 기술자(descriptor)를 생성하는 단계에서 키포인트 주변의 이미지를 프로젝션하여 기존 기술자(descriptor)를 보완하는 방법에도 유용하게 활용할 수 있다.

Description

SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법 { Reference Image Projection Method for Tilted Images in SIFT }

본 발명은 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법에 관한 것으로서, 좀더 상세하게는 SIFT 알고리즘에서 기울어진 물제를 효율적으로 프로젝션할 수 있도록 카메라의 입력 이미지 내 물체의 기울어진 각도를 계산한 후 참조 이미지를 계산된 각도로 프로젝션하는 방법에 관한 것이다.

일반적으로 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하여 descriptor를 생성하는 알고리즘으로 알려져있다.

이와 같은 SIFT 알고리즘은 참고문헌 1에서와 같이 David G. Lowe가 제안한 것으로, 크게 특징점을 찾는 과정과 선택된 특징점의 기술자(Descriptor)를 생성하는 과정의 두 단계로 구분할 수 있다.

우선 특징점 추출 과정은 스케일 공간상의 후보 특징점을 추출하고 후보 특징점의 안정성을 검사하여 안정된 특징점의 위치를 세부 위치로 보정한다. 다음으로 기술자(Descriptor) 생성 과정은 선택된 특징점들을 중심으로 주변 영역의 그레디언트(gradient)를 통해 방향 성분을 얻게 되고, 얻어진 방향 성분을 중심으로 관심 영역을 재설정하여 기술자(Descriptor)를 생성하게 된다.

도 1은 일반적인 SIFT 알고리즘의 처리 흐름을 도시한 도면이다. 이에 의하면 SIFT는 Get Image(S1), Scale-space extrema detection(S2), KeyPoint localization(S3), Orientation assignment(S4) 및 Make KeyPoint descriptor(S5)의 단계를 순차적으로 수행하며 로컬 이미지(local image) 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출한다.

이와 같이 SIFT 알고리즘을 통해 추출한 기술자(descriptor)를 비교해 참조 이미지의 물체를 다른 이미지에서 찾는 데 사용된다. 그런데 상기 SIFT 알고리즘의 경우 크기 및 회전 변화에 강인한 특성이 있지만, 물체가 기울어진 경우 인식률이 급격하게 낮아지는 문제점이 있다.

물론, 이를 보완하기 위해 참고문헌 2에서와 같이 JM. Morel은 다양한 각도로 이미지를 프로젝션하여 물체를 탐색하는 ASIFT 알고리즘을 제안한 바 있다.

하지만, 상기 참고문헌 2에서 제안된 ASIFT 알고리즘은 카메라 입력 이미지를 다양한 각도로 프로젝션하는 접근방법을 사용함에 따라 계산 복잡도가 높을 뿐 아니라 프로젝션 과정에서 데이터 보간 방법이 사용되어 새로운 픽셀 정보가 늘어난다.

따라서, ASIFT 알고리즘은 계산 복잡도가 높고, 기술자(descriptor)의 부정확성을 높이게 되어 인식률이 떨어지는 문제점을 안고 있다.

참고문헌 1 : Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110. 참고문헌 2 : Morel, Jean-Michel, and Guoshen Yu. "ASIFT : A new framework for fully affine invariant image comparision", SIAM Journal on Imaging Sciences 2.2(2009): 438-469.

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 카메라의 입력 이미지 내 물체의 기울어진 각도를 계산한 후 참조 이미지를 계산된 각도로 프로젝션하여 물체를 탐색함으로써 SIFT 알고리즘에서 기울어진 물제를 효율적으로 프로젝션할 수 있는 프로젝션 방법을 제공하는데 그 목적이 있다.

특히, 본 발명은 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera)로 촬영되는 입력 이미지 내의 기울어진 물제를 효율적으로 프로젝션할 수 있는 프로젝션 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

카메라를 통해 촬영되는 이미지를 입력받는 제1단계; 상기 입력 이미지 내 기울어진 물체의 각도를 계산하는 제2단계; 및 상기 물체의 기울어진 각도를 이용해 참조 이미지를 프로젝션하는 제3단계;로 구성되는 것읕 특징으로 하는 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법을 제공한다.

이때, 상기 카메라는 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera)인 것을 특징으로 한다.

또한, 상기 제3단계는 프런트 뷰(frontal view)의 참조 이미지(reference image)를 미리 계산된 하나의 각도로 프로젝션하는 단계인 것을 특징으로 한다.

아울러, 상기 제3단계 후, 상기 참조 이미지를 프로젝션하여 기술자(descriptor)를 생성하는 제4단계;를 더 포함하는 것을 특징으로 한다.

그리고, 상기 제4단계는, 스케일 공간에서 최대·최소(extrema)를 검색하여 복수의 샘플점 또는 후보 픽셀을 선택하는 단계; 상기 샘플점 또는 후보 픽셀 중에 키포인트(KeyPoint)들을 선택하는 단계; 상기 키포인트에 대하여 방향을 할당하고 키포인트 기술자를 생성하는 단계;로 구성되는 것을 특징으로 한다.

본 발명에 따르면, 일반적인 SIFT 알고리즘의 수행전에 카메라를 통해 촬영되어 입력되는 이미지 내 물체의 기울어진 각도를 계산하여 참조 이미지를 프로젝션하고 물체를 탐색함으로써 SIFT 알고리즘에서 기울어진 물제를 효율적으로 탐색할 수 있다.

특히, 본 발명에서 제안한 참조 이미지를 프로젝션하는 전처리 과정은 SIFT 알고리즘의 기술자(descriptor)를 생성하는 단계에서 키포인트 주변의 이미지를 프로젝션하여 기존 기술자(descriptor)를 보완하는 방법에도 유용하게 활용할 수 있다.

도 1은 종래 일반적인 SIFT 알고리즘의 처리 순서도이다.
도 2는 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션을 위한 시스템 구성도이다.
도 3은 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션을 위한 SIFT 알고리즘의 처리 순서도이다.
도 4는 본 발명에 따른 이미지 프로젝션 방법에 따른 매칭 키포인트 개수의 비교표이다.
도 5는 본 발명의 이미지 프로젝션 방법에 따라 근거리 참조 이미지의 60°프로젝션 후 매칭되는 키포인트 결과를 도시한 도면이다.

이하, 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 2 및 도 3을 참고하면, 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법은 카메라로 촬영되는 입력 이미지 내 물체의 기울어진 각도를 계산한 후 참조 이미지를 계산된 각도로 프로젝션하여 물체를 탐색함으로써 SIFT 알고리즘에서 기울어진 물제를 효율적으로 프로젝션할 수 있다.

이때, 상기 카메라는 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera) 등의 다양한 형태의 카메라가 사용될 수 있다.

상기 스테레스테레오 카메라(stereoscopic camera)는 입체카메라로서 일반적으로 동시에 2장의 영상을 얻을 수 있게 한 특수카메라이다. 이는 2개의 촬영용 렌즈를 일정 간격 배치하고 같은 물체를 촬영하는 방법을 사용한다. 이렇게 촬영한 영상을 스테레오 뷰어를 이용하여 보면 상이 입체적으로 보인다.

즉, 스테레오 카메라는 좌측 카메라(10)와 우측카메라(20)가 일정간격을 유지하며 배치되어 물체를 촬영하는 영상 촬영 장치로서, 좌측 카메라(10)와 우측카메라(20)는 각각 좌측 영상와 우측 영상을 촬영한다.

이와 같이 좌측 카메라(10)와 우측 카메라(20)에서 촬영된 좌측 영상와 우측 영상은 입력 이미지로서 PC, 노트북 등과 같은 다양한 형태의 분석수단(30)으로 입력되어 SIFT 알고리즘 수행을 통해 이미지 내 물체의 기울어진 각도를 계산한 후 참조 이미지를 계산된 각도로 프로젝션하여 물체를 탐색하는 연산을 수행하여 기울어진 물제를 효율적으로 프로젝션할 수 있다.

이하, 도 2 및 도 3을 참고로 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 과정을 상세히 설명한다.

본 발명은 카메라를 통해 촬영되는 이미지를 입력받는 단계(S100: Get Image), 입력 이미지 내 기울어진 물체의 각도를 계산하는 단계(S110: Calculate angle of object image), 물체의 기울어진 각도를 이용해 참조 이미지를 프로젝션하는 단계(S120: Project the reference image by using angle), 스케일 공간에서 최대·최소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택하는 단계(S130: Scale-space extrema detection), 키포인트(KeyPoint)들을 선택하는 단계(S140: KeyPoint localization), 키포인트에 대하여 방향을 할당하는 단계(S150: Orientation assignment) 및 키포인트 기술자를 생성하는 단계(S160: KeyPoint descriptor)를 수행하여 키포인트(KeyPoint)의 기술자(descriptor)를 생성한 후 다른 이미지의 기술자(descriptor)와 비교해 물체를 매칭한다.

즉, 본 발명은 일반적인 SIFT(Scale Invariant Feature Transform)의 단계(S130 ~ S160)를 수행하지 이전에 전처리 단계(S110 ~ S120)를 수행한다.

이하, 각 단계를 구체적으로 설명한다.

상기 단계(S100: Get Image)는 카메라를 통해 촬영된 입력 이미지를 분석수단(30)으로 입력받는 단계로서, 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera)를 통해 촬영되는 영상을 입력받는다.

상기 단계(S100)를 통해 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera)로 촬영되어 입력받은 이미지 내 물체의 기울어진 각도를 계산하는 단계(S110: Calculate angle of object image)를 수행한다.

이때, 입력받은 이미지 내의 물체(Object)의 기울어진 각도는 특정 물체의 거리를 측정한 후 이를 이용해 이미지 내 물체의 기울어진 각도를 계산하는 방식을 채택할 수 있다.

상기 단계(S110: Calculate angle of object image)를 통해 입력 이미지 내 물체의 기울어진 각도를 계산한 후, 참조 이미지(reference image)를 프로젝션(Projection)하는 단계(S120: Project the reference image by using angle)를 수행한다.

이때, 상기 단계(S120: Project the reference image by using angle)는 프런트 뷰(frontal view)의 참조 이미지(reference image)를 미리 계산된 하나의 각도로 프로젝션하므로 계산 복잡도가 낮을 뿐 아니라 보간 과정이 사용되지 않아 높은 인식률을 갖게 된다.

상기 단계(S120: Project the reference image by using angle)를 통해 참조 이미지(reference image)를 프로젝션한 후, 입력 이미지에서 샘플점(또는 후보 픽셀)을 선택하는 단계(S130: Scale-space extrema detection)를 수행한다.

이때, 상기 단계(S130: Scale-space extrema detection)는 참조 이미지(reference image)의 물체를 입력 이미지에서 탐색하기 위해 샘플점(또는 후보 픽셀)을 선택하는 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간(Scale-space)에서 최대·최소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택함이 바람직하다.

상기 단계(S130: Scale-space extrema detection)를 통해 물체의 샘플점(또는 후보 픽셀)을 선택한 후, 키포인트(KeyPoint)들을 선택하는 단계(S140: KeyPoint localization)를 수행한다.

이때, 상기 단계(S140: KeyPoint localization)를 통해 안정도(stability) 수치에 기반하여 복수의 키포인트(KeyPoint)들을 선택한다.

그리고, 상기 단계(S140: KeyPoint localization)를 통해 키포인트(KeyPoint)들을 선택한 후, 각각의 키포인트(KeyPoint)에 대하여 1 이상의 방향을 할당하는 단계(S150: Orientation assignment)를 수행한다.

또한, 상기 단계(S150: Orientation assignment)를 수행한 후, 단계(S160: Make KeyPoint descriptor)를 수행하여 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자(KeyPoint descriptor)를 생성한다.

이와 같이 키포인트 기술자(KeyPoint descriptor)를 생성한 후에는 다른 이미지의 기술자(descriptor)와 비교해 물체를 매칭한다.

이하, 도 4 및 도 5를 참고로 본 발명에 따른 본 발명에 따른 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 과정 실시 예를 설명한다.

본 실시 예에 의하면 본 발명에서 제안하는 방법의 성능을 검증하기 위하여 이미지의 각도, 기울어진 방향, 거리가 다른 실험상황에서 매칭되는 키포인트(KeyPoint)의 개수를 도 4의 비교표와 같다.

이때, 본 발명은 573×670 크기의 참조 이미지(reference image)의 물체를 1024×768 크기의 이미지에서 탐색한다. casel, case2와 case3은 이미지 속의 물체가 근거리에 있고 각각 +60°,-50°, +45° 기울어져 있으며 case4에서는 이미지 속의 물체가 원거리에 있고 +65° 기울어져 있다.

두 번째 열은 제안하는 참조 이미지를 프로젝션하는 기법을 적용한 경우이며, 세 번째 열은 카메라 입력 이미지를 프론트 뷰(frontal view)로 프로젝션한 경우이다. 도 4의 비교표에서 확인되는 실험결과에 의하면 본 발명에 따른 참조 이미지의 프로젝션 기법에서 매칭되는 키포인트의 개소가 훨씬 많으며, 이는 곧 인식률이 향상되었음을 의미한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 좌측 카메라 20: 우측카메라
30: 분석수단

Claims (5)

1. 스테레오 카메라(stereo Camera) 또는 댑스 카메라(Depth Camera)를 통해 촬영되는 이미지를 입력받는 제1단계;
   물체의 거리를 측정한 후 이를 이용해 이미지 내 물체의 기울어진 각도를 계산하는 제2단계;
   상기 물체의 기울어진 각도를 이용해 참조 이미지를 프로젝션하는 제3단계; 및
   상기 참조 이미지를 프로젝션하여 기술자(descriptor)를 생성하는 제4단계;로 이루어지고,
   상기 제3단계는 프런트 뷰(frontal view)의 참조 이미지(reference image)를 미리 계산된 하나의 각도로 프로젝션하는 단계이고,
   상기 제4단계는,
   스케일 공간에서 최대·최소(extrema)를 검색하여 복수의 샘플점 또는 후보 픽셀을 선택하는 단계; 상기 샘플점 또는 후보 픽셀 중에 키포인트(KeyPoint)들을 선택하는 단계; 상기 키포인트에 대하여 방향을 할당하고 키포인트 기술자를 생성하는 단계;로 구성되는 것을 특징으로 하는 SIFT에서 기울어진 물체 인식률 향상을 위한 참조 이미지의 프로젝션 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images