KR101705333B1 - 스테레오 카메라를 이용한 sift 특징점 로컬 영역의 깊이 변화 측정 방법 - Google Patents

Abstract

본 발명은 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법에 관한 것으로; 스테레오 카메라의 좌측 및 우측 카메라를 통해 촬영된 좌측 영상과 우측 영상을 입력받는 제1단계; SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 특징점을 검출하고, 그 검출된 좌측 영상과 우측 영상의 특징점을 정합하는 제2단계; 및 상기 좌측 영상과 우측 영상에서 검출한 특징점의 좌측 및 우측 로컬영역을 설정하여 영역 내부에 존재하는 특징점들의 디스패리티(disparity)를 구하여 깊이 변화를 추정하는 제3단계;로 구성되는 것을 특징으로 한다.
본 발명에 따르면, 스테레오 카메라를 이용하여 촬영되는 영상에 SIFT 알고리즘을 적용하고 특징점 로컬 영역 내의 모서리 정보를 이용하여 깊이 변화를 예측할 수 있어 SIFT 특징점 기술자(Descriptor)를 생성시 기울임 고려에 유요하게 이용될 수 있다.

Description

스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법 {Estimation Method of Depth Vatiation around SIFT Features using a Stereo Camera}

본 발명은 물체 주변의 깊이 변화를 측정할 수 있는 스테레오 카메라를 이용하여 각 특징점에서 깊이 변화를 예측할 수 있어 기울여진 물체에 대한 인식률 향상에 기여할 수 있는 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법에 관한 것이다.

일반적으로 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하는 알고리즘으로 알려져있다.

이와 같은 SIFT 알고리즘은 참고문헌 1에서와 같이 David G. Lowe가 제안한 것으로, 크게 특징점을 찾는 과정과 선택된 특징점의 기술자(Descriptor)를 생성하는 과정의 두 단계로 구분할 수 있다.

우선 특징점 추출 과정은 스케일 공간상의 후보 특징점을 추출하고 후보 특징점의 안정성을 검사하여 안정된 특징점의 위치를 세부 위치로 보정한다. 다음으로 기술자(Descriptor) 생성 과정은 선택된 특징점들을 중심으로 주변 영역의 그레디언트(gradient)를 통해 방향 성분을 얻게 되고, 얻어진 방향 성분을 중심으로 관심 영역을 재설정하여 기술자(Descriptor)를 생성하게 된다.

이러한 특징점들은 다른 이미지에서 추출된 특징점과 비교되어 물체 인식 등에 사용된다. 그러나, SIFT는 시점 변화에 대한 고려를 하지 않았기 때문에 기울여진 물체에 대해서는 인식률이 떨어진다.

한편, 시점 변화를 고려하기 위한 많은 연구들이 진행되었다.

일 예로 참고문헌 2에서와 같이 J.Matas는 시점 변화에 강인한 특징점 추출방법을 제안하였다. 하지만 J.Matas가 제안안 특징점 추출방법의 경우 특징점은 크기 변화와 같은 다른 변화에 SIFT만큼 강인하지 않다.

또 다른 예로 참고문헌 3에서와 같이 JM. Morel은 입력 영상으로부터 다양한 시점 변화를 고려한 이미지를 생성하고 SIFT를 적용하는 ASIFT를 제안한 바 있다. 이는 물체가 기울어져 있을 때에도 인식할 수 있게 되었지만, 모든 기울임 변화를 고려함에 따라 연산량이 매우 많아지는 문제점이 있다.

참고문헌 1 : Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision, vol.2, no.60, pp.91-110, 2004 참고문헌 2 : J. MAtas, O. Chum, M. Urban T. Pajdla, "Robust wide-baseline stereo from maximally stable external regions", Image and vision computing, 2004 참고문헌 3 : JM. Morel, G. YU, "ASIFT : A new framework for fully affine invariant image comparision", SIAM Journal on Imaging Science, 2009

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 물체와 카메라간의 시점 차이는 물체 주변의 깊이 변화로부터 알 수 있으며 이러한 깊이 변화는 스테레오 카메라로부터 측정이 가능한 점에 착안하여 스테레오 카메라를 이용하여 각 특징점에서 깊이 변화를 예측할 수 있는 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법을 제공하는데 그 목적이 있다.

특히, 본 발명은 기울어진 물체에 대한 인식률 향상에 기여할 수 있도록 깊이 변화를 예측할 수 있는 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

스테레오 카메라의 좌측 및 우측 카메라를 통해 촬영된 좌측 영상과 우측 영상을 입력받는 제1단계; SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 특징점을 검출하고, 그 검출된 좌측 영상과 우측 영상의 특징점을 정합하는 제2단계; 및 상기 좌측 영상과 우측 영상에서 검출한 특징점의 좌측 및 우측 로컬영역을 설정하여 영역 내부에 존재하는 특징점들의 디스패리티(disparity)를 구하여 깊이 변화를 추정하는 제3단계;로 구성되는 것을 특징으로 하는 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법을 제공한다.

이때, 상기 제3단계는, 좌측 및 우측 로컬영역 내부의 모서리 점들을 선택하고, 이 좌측 및 우측 로컬영역 내부의 모서리 점들 위치에서 디스패리티(disparity)를 구하는 제3_1단계; 및 상기 디스패리티(disparity)를 이용해 실제 거리 및 깊이 변화를 추정하는 제3_2단계;로 구성되는 것을 특징으로 한다.

또한, 상기 제3_1단계에서 상기 디스패리티(disparity)는 좌측 영상의 로컬 영역 내부의 모서리 위 네 점과 비슷한 위치를 우측 영상의 로컬 영역에서 찾아 5×5 SAD(sum of absolute difference) 연산을 통하여 구하는 것을 특징으로 한다.

그리고, 상기 제3_2단계는, 상기 좌측 및 우측 로컬영역 내부의 특징점의 디스패리티(disparity)를 더해 실제 디스패리티(disparity)를 구하고, 상기 실제 디스패리티(disparity)를 이용해 실제 거리 및 깊이 변화를 추정하는 단계인 것을 특징으로 한다.

본 발명에 따르면, 스테레오 카메라를 이용하여 촬영되는 영상에 SIFT 알고리즘을 적용하고 특징점 로컬 영역 내의 모서리 정보를 이용하여 깊이 변화를 예측할 수 있어 SIFT 특징점 기술자(Descriptor)를 생성시 기울임 고려에 유요하게 이용될 수 있다.

특히, 본 발명은 기울어진 물체에 대한 깊이 변화를 예측하여 기울어진 물체에 대한 인식률을 향상시키는 효과가 있다.

도 1은 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정을 위한 시스템 구성도이다.
도 2는 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 예를 도시한 도면이다.
도 3은 본 발명에 따라 각각의 특징점 로컬 영역에서의 디스패리티(disparity) 측정 예를 도시한 도면이다.
도 4는 본 발명에 따라 깊이변화를 측정한 예를 도시한 도면이다.

이하, 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1 및 도 2를 참고하면, 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법은 물체 주변의 깊이 변화를 특정할 수 있도록 스테레오 카메라를 이용한다.

스테레오 카메라(stereoscopic camera)는 입체카메라로서 일반적으로 동시에 2장의 영상을 얻을 수 있게 한 특수카메라이다. 이는 2개의 촬영용 렌즈를 일정 간격 배치하고 같은 물체를 촬영하는 방법을 사용한다. 이렇게 촬영한 영상을 스테레오 뷰어를 이용하여 보면 상이 입체적으로 보인다.

즉, 스테레오 카메라는 좌측 카메라(10)와 우측카메라(20)가 일정간격을 유지하며 배치되어 물체를 촬영하는 영상 촬영 장치로서, 좌측 카메라(10)와 우측카메라(20)는 각각 좌측 영상와 우측 영상을 촬영한다.

이와 같이 좌측 카메라(10)와 우측 카메라(20)에서 촬영된 좌측 영상와 우측 영상은 분석수단(30)으로 입력되어 각 특징점에서 깊이 변화를 예측하는 연산을 수행하게 되는데, 예측된 깊이 변화는 기울어진 물체에 대한 인식률을 향상시킬 수 있다.

이하, 도 1 및 도 2를 참고로 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 과정을 상세히 설명한다.

우선 스테레오 카메라의 좌측 카메라(10)와 우측 카메라(20)를 통해 좌측 영상과 우측 영상을 촬영하며, 이와 같이 촬영된 좌측 영상(11)과 우측 영상(21)은 PC, 노트북 등과 같은 다양한 형태의 분석수단(30)으로 입력된다.

이와 같이 분석수단(30)에서 획득한 좌측 영상(11)과 우측 영상(21)에 대하여 공지(公知)의 SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 특징점을 검출하고, 그 검출된 좌측 영상과 우측 영상의 특징점을 정합(매칭)한다.

상기와 같이 좌측 영상(11)과 우측 영상(21)에서 특징점의 검출 및 정합(매칭)을 수행한 후, 좌측 영상(11)과 우측 영상(21)에서 검출한 특징점의 깊이 변화를 추정한다.

도 2를 참고하면 좌측 영상(11)에서 추출된 특징점과 이와 정합된 우측 영상(21)의 특징점의 좌측 및 우측 로컬영역(11a,21a)을 이용한다. 각 특징점 주변의 검은 박스는 좌측 및 우측 로컬영역(11a,21a)을 의미한다.

이때, 좌측 및 우측 로컬영역(11a,21a)의 깊이 변화를 추정하기 위해서는 영역 내부에 존재하는 픽셀들의 상대적인 디스패리티(disparity) 변화를 알아야 한다.

이 경우 픽셀들의 상대적인 디스패리티(disparity) 변화를 알아내는 가장 간단한 방법은 좌측 및 우측 로컬영역(11a,21a) 내에 존재하는 다른 특징점의 디스패리티(disparity)를 이용하는 것이지만, 이미지가 복잡하지 않은 경우 좌측 및 우측 로컬영역(11a,21a) 내부에 다른 특징점이 존재하지 않게 된다.

한편, SIFT의 특징점은 좌측 및 우측 로컬영역(11a,21a) 내부의 모서리 주변에서 추출되기 때문에, 각 특징점 주변에는 반드시 모서리 부분들이 존재한다.

그리고, 이러한 모서리 부분들은 일반적으로 그레디언트(gradient)와 같은 정보를 갖고 있기 때문에, 디스패리티(disparity)를 구하는 과정에 쉽게 이용할 수 있다.

따라서, 본 발명에서는 좌측 및 우측 로컬영역(11a,21a) 내부의 모서리 점들을 선택하고, 이 좌측 및 우측 로컬영역(11a,21a) 내부의 모서리 점들 위치에서 디스패리티(disparity)를 구한다.

도 3은 로컬 영역에서 디스패리티(disparity)를 구하는 과정의 예를 도시한 도면이다. 상기 디스패리티(disparity)는 좌측 영상(11)의 로컬 영역(11a) 내부의 모서리 위 네 점과 가장 비슷한 위치를 우측 영상(21)의 로컬 영역(21a)에서 찾게 되며, 그 위치를 5×5 SAD(sum of absolute difference) 연산을 통하여 구한다.

이와 같이 구해진 디스패리티(disparity)는 상대적인 값으로, 각 위치의 실제 디스패리티(disparity)는 특징점의 디스패리티(disparity)를 더해준 값이다.

최종적으로 각 위치의 디스패리티(disparity)로부터 실제 거리를 구하고, 이러한 정보를 종합하여 깊이 변화를 추정하게 된다.

이하, 도 4를 참고로 본 발명에 따른 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 실시 예를 설명한다. 본 실시 예에 의하면 스테레오 카메라로 영상을 촬영하는 물체를 30°, 45°, 60°로 기울인 상태에서의 각 특징점에서 측정되는 깊이 변화 각도의 평균값은 도 4의 표에서와 같은 실험 결과를 얻을 수 있다.

도 4의 표에 의하면 물체를 기울인 실제 각도가 커짐에 따라 측정되는 각도의 평균값도 커졌다. 평균적으로 측정 각도와 실제 각도는 15° 이하의 차이를 보였다.

한편, SIFT는 기본적으로 30° 이내의 각도 변화 까지는 무리없이 처리할 수 있기 때문에, 이정도의 오차 범위는 큰 문제가 되지 않는다.

본 발명에 따른 스테레오 카메라를 이용하여 SIFT 특징점들의 깊이 변화 예측을 통해 스테레오 영상에 SIFT 알고리즘을 적용하고 특징점 로컬 영역 내의 모서리 정보를 이용하여 깊이 변화 예측을 하였다.

이와 같이 각 특징점의 깊이 변화는 기울임을 고려하기 위하여 SIFT 특징점 기술자(Descriptor)를 생성시 이용될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 좌측 카메라 11: 좌측 영상
11a: 좌측 로컬영역 20: 우측카메라
21: 우측 영상 21a: 우측 로컬영역
30: 분석수단

Claims (4)

1. 스테레오 카메라의 좌측 및 우측 카메라를 통해 촬영된 좌측 영상과 우측 영상을 입력받는 제1단계;
   SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 특징점을 검출하고, 그 검출된 좌측 영상과 우측 영상의 특징점을 정합하는 제2단계; 및
   상기 좌측 영상과 우측 영상에서 검출한 특징점의 좌측 및 우측 로컬영역을 설정하여 영역 내부에 존재하는 내부의 모서리 점들을 이용하여 특징점들의 디스패리티(disparity)를 구하여 깊이 변화를 추정하는 제3단계;
   로 구성되되,
   상기 제3단계는, 좌측 및 우측 로컬영역 내부의 모서리 점들을 선택하고, 이 좌측 및 우측 로컬영역 내부의 모서리 점들 위치에서 디스패리티(disparity)를 구하는 제3_1단계;
   상기 디스패리티(disparity)를 이용해 실제 거리 및 깊이 변화를 추정하는 제3_2단계;로 구성되며,
   상기 제3_1단계에서 상기 디스패리티(disparity)는 좌측 영상의 로컬 영역 내부의 모서리 위 네 점과 비슷한 위치를 우측 영상의 로컬 영역에서 찾아 5×5 SAD(sum of absolute difference) 연산을 통하여 구하는 것을 특징으로 하는 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 제3_2단계는, 상기 좌측 및 우측 로컬영역 내부의 특징점의 디스패리티(disparity)를 더해 실제 디스패리티(disparity)를 구하고, 상기 실제 디스패리티(disparity)를 이용해 실제 거리 및 깊이 변화를 추정하는 단계인 것을 특징으로 하는 스테레오 카메라를 이용한 SIFT 특징점 로컬 영역의 깊이 변화 측정 방법.
   

Images