KR101913336B1

KR101913336B1 - 이동 장치 및 그 제어 방법

Info

Publication number: KR101913336B1
Application number: KR1020110101714A
Authority: KR
Inventors: 윤석준; 노경식; 홍상일; 형승용; 황효석; 안성환
Original assignee: 삼성전자주식회사
Priority date: 2011-10-06
Filing date: 2011-10-06
Publication date: 2018-10-31
Also published as: KR20130037353A; EP2579184A3; US9082016B2; EP2579184A2; US20130089235A1; EP2579184B1

Abstract

본 발명은 제1 오리지널 영상을 획득한 후 제2오리지널 영상을 획득하고, 제1 오리지널 영상의 제1특징점 및 제2 오리지널 영상의 제2특징점을 추출하고, 제1 오리지널 영상을 블러링한 제1블러링 영상과, 제 2오리지널 영상을 블러링한 제2블러링 영상을 생성하고, 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 중 적어도 두 영상 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 제2오리지널 영상의 스케일 변화 여부를 판단하고, 스케일의 변화에 기초한 제2오리지널 영상의 제2특징점과 제1특징점의 매칭을 수행하여 대상물 인식 및 위치 인식 중 적어도 하나의 인식을 제어한다.
본 발명은 영상 획득 위치 변화에 따른 스케일 변화 및 영상 획득 시 인가된 외력에 의한 블러 발생에도 대상물 인식 및 위치 인식의 인식률을 향상시킬 수 있어 실시간 시스템에 유용하게 적용할 수 있다.
또한 특징점을 추출하기 위해 FAST 코너 디텍터를 이용하고, 표현자를 생성하기 위해 SURF를 이용함으로써 특징점 추출, 표현자 생성 등에 소비되는 시간을 줄일 수 있어 대상물 인식 및 위치 인식의 속도를 향상시킬 수 있다.

Description

이동 장치 및 그 제어 방법{Mobile apparatus and method for controlling the same}

본 발명은 특징점을 추출하고 추출된 특징점을 이용하여 물체 인식 및 위치 인식 중 적어도 하나의 인식을 수행하는 이동 장치 및 그 제어 방법에 관한 것이다.

물체인식은 미리 학습한 지식정보를 바탕으로, 물체의 영상을 보고 물체의 종류, 크기, 방향 위치 등 3차원적 공간정보를 실시간으로 알아내는 기술이다.

위치인식은 스스로 공간지각능력을 갖는 기술로, 자율 이동 기능 구현에 핵심이 되는 기술이다. 최근 센서기반, 마크기반, 스테레오 비전 기반 위치인식기술 등 다양한 접근법이 연구되고 있다.

이러한 물체 인식 및 위치 인식은, 지문 인식, 얼굴 인식 및 증강현실 등을 수행하는 휴대 단말기, 스마트 크루즈 컨트롤, 어댑티브 크루즈 컨트롤, 충돌 방지 기능 등을 수행하는 지능형 자동차, 생산 및 서비스 등을 수행하는 로봇 등 이동 가능한 장치 등에 적용 가능하다.

로봇을 예를 들어 설명하면, 초기의 로봇은 산업 현장에서의 대량 생산을 위한 도구로서 사용되었으며, 고정된 위치에서 단순하고 반복적인 작업을 수행하였다. 그러나 로봇 기술의 발달에 따라 로봇은 보다 다양한 형태를 가지게 되었고, 보다 높은 지능과 다양한 작업을 할 수 있는 능력을 갖추게 되었다.

즉, 로봇은 좀 더 다양한 임무를 자동으로 수행하기 위해 스스로 주행할 수 있는 능력을 갖추게 되었다.

이를 위해 로봇은 자신의 초기 위치를 기억하고 현재까지의 이동 정보 및 이전의 위치 정보로부터 현재 자신의 위치가 어디인지를 판단할 수 있는 위치 인식 기능을 가지게 되었다.

하지만 초기 위치 정보 및 이동 정보를 이용한 위치 인식은 로봇에 외력이 인가된 경우 외력 인가에 따른 변위를 알 수 없기 때문에 외력이 인가된 이후부터의 위치를 인식할 수 없는 문제가 있었다.

이러한 문제점에 따라 로봇은 위치 인식 시 레이저 센서나 초음파 센서와 같은 레인지 센서 등을 이용하여 주변 환경에 대하여 보다 구체적인 정보를 획득하였다.

즉 로봇은 위치 인식(Localization)과 함께 물체 인식을 유기적으로 수행하였다.

하지만 물체 인식을 위해 미리 저장된 데이터베이스에서 한 장의 쿼리영상(Query Image)과 동일한 물체 영상이나 유사도가 높은 물체 영상을 검색하는 것은, 포즈변화나 조명변화 등으로 인해 어려운 문제점이 있었다.

또한, 한장이나 소수의 쿼리 영상만 주어진 경우 물체 인식 성능의 급격한 저하를 가져오는 문제점이 있었다.

또한 유동적 상황에는 적용하기 곤란한 문제점이 있었고, 특히 서로 크기가 다른 영상 등에 대해서 인식률이 현저히 떨어지는 문제점이 있었다.

일 측면은 영상획득을 위한 위치 변화 및 블러 발생에 따른 스케일의 변화를 예측하여 특징점을 추출하고 매칭을 수행하여 물체 인식이나 위치 인식을 제어하는 이동 장치 및 그 제어 방법을 제공한다.

다른 측면은 이전 영상과 현재 영상에서 샘플링된 선의 상관 계수를 이용하여 이전과 현재의 오리지널 영상, 이전과 현재의 블러링 영상 간의 유사도를 산출하여 스케일의 변화를 예측하는 이동 장치 및 그 제어 방법을 제공한다.

일 측면에 따른 이동 장치의 제어 방법은, 제1 오리지널 영상을 획득한 후 제2오리지널 영상을 획득하고, 제1 오리지널 영상의 제1특징점 및 제2 오리지널 영상의 제2특징점을 추출하고, 제1 오리지널 영상을 블러링한 제1블러링 영상과, 제 2오리지널 영상을 블러링한 제2블러링 영상을 생성하고, 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 중 적어도 두 영상 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 제2오리지널 영상의 스케일 변화 여부를 판단하고, 스케일의 변화에 기초한 제2오리지널 영상의 제2특징점과 제1특징점의 매칭을 수행하여 대상물 인식 및 위치 인식 중 적어도 하나의 인식을 제어한다.

제1 오리지널 영상에서 제1특징점을 추출하는 것은, 제1오리지널 영상을 일정 크기의 격자로 분할하고, 분할된 격자 내에 일정 개수의 제1특징점을 추출하는 것을 포함한다.

제1오리지널 영상에서 제1특징점을 추출하는 것은, 패스트(FAST) 코너 디텍터를 이용하는 것을 포함한다.

제2오리지널 영상의 제2특징점을 추출하는 것은, 제1오리지널 영상의 패스트 코너의 문턱치보다 작은 문턱치를 이용하여 제1특징점의 개수보다 더 많은 개수의 제2특징점을 추출하는 것을 포함한다.

산출된 유사도에 기초하여 제2 오리지널 영상의 스케일 변화 여부를 판단하는 것은, 제1 오리지널 영상과 제1 블러링 영상 사이의 상관 계수에 대응되는 유사도와, 제2 오리지널 영상과 제2 블러링 영상 사이의 상관 계수에 대응되는 유사도를 비교하고, 두 유사도의 차가 일정 유사도 이상이면 제2 오리지널 영상의 스케일이 변화되었다고 판단하고, 변화된 제2 오리지널 영상의 스케일을 예측하고, 예측된 제2오리지널 영상의 스케일에 대응되는 제2오리지널 영상의 제2특징점을 확인하는 것을 포함한다.

제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 중 적어도 두 영상 사이의 유사도를 산출하는 것은, 제1 오리지널 영상과 제1 블러링 영상, 제2 오리지널 영상과 제2 블러링 영상 사이의 상관 계수에 대응되는 제1유사도를 산출하고, 제1 오리지널 영상과 제2 블러링 영상 간의 상관 계수에 대응되는 제2유사도를 산출하고, 제1 블러링 영상과 제2 오리지널 영상 간의 상관 계수에 대응되는 제3유사도를 산출하는 것을 포함한다.

제2 오리지널 영상의 스케일을 예측하는 것은, 제1특징점을 가진 제1 영상 패치와 제2특징점을 가진 멀티 스케일의 제2영상 패치를 생성하고, 제1, 2, 3 유사도 중 제1유사도가 가장 크면 노멀 검색 범위에서 제2영상패치의 스케일을 예측하고, 제1유사도가 제2유사도 및 제3유사도 중 적어도 하나의 유사도 이하이면 제2유사도와 제3유사도를 비교하고, 제2유사도가 제3유사도보다 크면 스케일 업 검색 범위에서 제2영상패치의 스케일을 예측하고, 제2유사도가 제3유사도 이하이면 스케일 다운 검색 범위에서 제2영상패치의 스케일을 예측하는 것을 포함한다.

제1 특징점과 제2특징점의 매칭을 수행하는 것은, 제1 영상 패치에 대응되는 제1표현자와 제2 영상 패치에 대응되는 멀티 스케일의 제2표현자를 생성하고, 제1영상 패치의 제1표현자와 예측된 스케일 검색 범위 내 제2영상 패치의 제2표현자를 매칭시키는 것을 포함한다.

제1, 2 표현자를 생성하는 것은, 서프(SURF)를 이용하는 것을 포함한다.

산출된 유사도에 기초하여 제2영상패치의 스케일을 예측하는 것은, 예측된 스케일 검색 범위 내의 제2영상 패치의 제2표현자의 특징 벡터와 제1영상 패치의 제1표현자의 특징 벡터를 비교하여 거리를 각각 산출하고, 제1표현자의 특징 벡터와 최소 거리를 갖는 제2표현자를 확인하고, 확인된 제2표현자를 갖는 스케일을 제2영상 패치의 스케일로 예측하는 것을 포함한다.

제1 오리지널 영상의 제1특징점 및 제2 오리지널 영상의 제2특징점을 추출하여 제1영상 패치와 제2영상 패치를 생성하는 것은, 복수의 제1특징점과 복수의 제2특징점을 추출하고, 복수의 제1특징점에 각각 대응되는 복수의 제1영상패치를 생성하고, 복수의 제2특징점에 각각 대응되는 복수의 제2영상패치를 생성하고, 복수의 제1영상패치에 각각 대응되는 제1표현자를 생성하고, 복수의 제2영상패치에 각각 대응되는 제2표현자를 생성하는 것을 포함하고, 제1영상 패치의 제1표현자와 예측된 스케일 검색 범위 내 제2영상 패치의 제2표현자를 매칭하는 것은, 복수의 제1표현자의 특징 벡터와 예측된 스케일 검색 범위 내 복수의 제2표현자의 특징 벡터를 각각 비교하여 특징 벡터 간 거리가 최소인 제1표현자와 제2표현자에 대응되는 제1특징점과 제2특징점을 매칭시키는 것을 포함한다.

이동 장치의 제어 방법은 제2영상 패치 중 최초 생성된 제2영상 패치의 스케일을 기준 스케일로 설정하고, 기준 스케일로부터 증감된 서로 다른 스케일의 제2영상 패치를 복수개 생성하고, 복수개의 제2 영상 패치를 스케일에 따라 나열하고, 기준 스케일을 기준으로 일정 범위를 노멀 검색 범위로 설정하고, 일정 범위 이하의 범위를 스케일 다운 검색 범위로 설정하고, 일정 범위 이상의 범위를 스케일 업 검색 범위로 설정하여 저장하는 것을 더 포함한다.

제1, 2, 3유사도를 산출하는 것은, 제1, 2 오리지널 영상, 제1, 2 블러링 영상에 적어도 하나의 라인을 생성하고, 적어도 하나의 라인을 샘플링하여 제1, 2 오리지널 영상, 제1, 2 블러링 영상 중 적어도 두 영상 사이의 상관 계수를 산출하고, 산출된 적어도 두 영상 사이의 상관 계수에 기초하여 제1, 2, 3 유사도를 각각 산출하는 것을 포함한다.

제2오리지널 영상에서 제2특징점을 추출하는 것은, 제1특징점의 위치로부터 일정 영역의 윈도우를 설정하고, 설정된 윈도우에서 제2특징점을 추출하는 것을 포함한다.

이동 장치는, 대상물의 제1 오리지널 영상 및 제 2 오리지널 영상을 획득하는 영상 획득부; 제1 오리지널 영상의 제1특징점을 추출하고, 제2 오리지널 영상에서 제2특징점을 추출하고 제1특징점을 가진 제1 영상 패치와 제2특징점을 가진 멀티 스케일의 제2영상 패치를 생성하는 특징점 추출부; 제1 오리지널 영상을 블러링한 제1블러링 영상과, 제 2오리지널 영상을 블러링한 제2블러링 영상을 생성하는 블러링 영상 생성부; 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 중 적어도 두 영상 사이의 유사도를 산출하여 제2영상 패치의 스케일을 예측하는 스케일 예측부; 예측된 스케일의 제2 영상 패치 내 제2특징점과 제1영상 패치 내 제1특징점의 매칭을 수행하는 매칭부; 매칭에 기초하여 물체 인식 및 위치 인식 중 적어도 하나의 인식을 수행하는 인식부를 포함한다.

이동 장치는 제1 영상 패치에 대응되는 제1표현자와 제2 영상 패치에 대하여 멀티 스케일의 제2표현자를 생성하는 표현자 생성부를 더 포함한다.

표현자 생성부는, 서프(SURF)를 이용하여 적어도 하나 이상의 스케일을 가진 표현자를 생성한다.

특징점 추출부는, 제1 오리지널 영상에 일정 크기의 격자를 생성하고, 일정 크기의 격자 내 일정 개수의 제1특징점을 추출한다.

스케일 예측부는, 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상의 동일 위치에 적어도 하나의 라인을 각각 생성하여 샘플링하고, 샘플링된 적어도 하나의 라인에서의 상관 계수를 산출한다.

특징점 추출부는, 패스트(FAST) 코너 디텍터를 이용하여 제1, 2 특징점을 각각 추출한다.

스케일 예측부는, 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 간의 상관 계수에 따른 제1유사도를 산출하고, 제1 오리지널 영상과 제2 블러링 영상 간의 상관 계수에 따른 제2유사도를 산출하고, 제1 블러링 영상과 제2 오리지널 영상 간의 상관 계수에 따른 제3유사도를 산출한다.

스케일 예측부는, 멀티 스케일의 제2영상 패치 중 제2오리지널 영상에 기초하여 최초 생성된 제2영상 패치의 스케일을 기준 스케일로 설정하고, 제1, 2, 3 유사도 중 제1유사도가 가장 크면 기준 스케일로부터 일정 범위에서 제2영상 패치의 스케일을 예측하고, 제1유사도가 제2유사도 및 제3유사도 중 적어도 하나의 유사도 이하인 상태에서 제2유사도가 제3유사도보다 크면 일정 범위 이상의 범위에서 제2영상 패치의 스케일을 예측하고, 제2유사도가 제3유사도 이하이면 일정 범위 이하의 범위에서 제2영상 패치의 스케일을 예측한다.

일 측면에 따르면, 영상 획득 위치 변화에 따른 스케일 변화 및 영상 획득 시 인가된 외력에 의한 블러 발생에도 대상물 인식 및 위치 인식의 인식률을 향상시킬 수 있어 실시간 시스템에 유용하게 적용할 수 있다.

또한 특징점을 추출하기 위해 FAST 코너 디텍터를 이용하고, 표현자를 생성하기 위해 SURF를 이용함으로써 특징점 추출, 표현자 생성 등에 소비되는 시간을 줄일 수 있어 대상물 인식 및 위치 인식의 속도를 향상시킬 수 있다.

즉, 게임기, 휴대폰 등의 IT기기의 사용자 인터페이스에 응용이 가능하여 부가가치를 창출할 수 있다.

도 1은 일 실시예에 따른 이동 장치의 구성도이다.
도 2는 일 실시예에 따른 이동 장치에 마련된 제어부의 상세 구성도이다.
도 3은 일 실시예에 따른 이동 장치의 제어 순서도이다.
도 4 및 도5는 일 실시예에 따른 이동 장치의 특징점 추출 예시도이다.
도 6은 일 실시예에 따른 이동 장치의 멀티 스케일 영상 패치의 생성 예시도이다.
도 7은 일 실시예에 따른 이동 장치의 표현자 생성 예시도이다.
도 8은 일 실시예에 따른 이동 장치의 스케일 검색 범위 설정 예시도이다.
도 9 내지 도 13은 일 실시예에 따른 이동 장치에서 획득된 영상의 스케일 변화 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.

도 1은 일 실시예에 따른 이동 장치의 구성도로, 이동 장치는 영상 획득부(110), 제어부(120), 저장부(130) 및 출력부(140)를 포함한다.

여기서 이동 장치는 스스로 주행하는 자율 주행 장치, 사용자에 의해 휴대 및 이동 가능한 단말 장치 등을 포함한다.

영상 획득부(110)는 물체 인식이나 위치 인식 등을 수행하기 위해 공간 내의 형상이나 대상물의 영상을 실시간으로 획득하여 제어부(120)에 전송한다.

영상 획득부(110)는 대상물의 영상을 획득하는 것으로, 집광부(미도시)에 빛이 집광되고 집광된 빛이 촬상부(이미지 센서: CMOS, CCD, 미도시)에 감지되면 촬상부에 감지된 빛의 신호를 전기신호로 변환하고, 변환된 전기신호인 2차원 영상 정보를 제어부(120)에 전송한다.

이러한 영상 획득부(110)는 실시간으로 공간 내의 형상이나 대상물의 영상을 획득한다. 영상 획득부(110)를 통해 획득된 영상은 현재 획득된 현재의 오리지널 영상과, 현재의 이전에 획득된 이전의 오리지널 영상을 포함한다.

즉, 본 실시예에서 이전의 오리지널 영상 중 직전의 오리지널 영상을 제1 오리지널 영상, 현재의 오리지널 영상을 제2오리지널 영상이라 한다.

제어부(120)는 영상 획득부(110)로부터 제1오리지널 영상(I(t-1))을 전송받은 후 제2오리지널 영상(I(t))을 전송받고, 전송된 제1 오리지널 영상에서 제1특징점 및 제2 오리지널 영상에서 제2특징점을 추출하며, 제1특징점을 가지는 멀티 스케일의 제1영상 패치, 제2특징점을 가지는 멀티 스케일의 제2영상패치를 생성하며, 멀티 스케일의 제1영상패치에 대한 제1표현자를 생성하고, 멀티 스케일의 제2영상패치에 대한 제2표현자(Descriptor, '기술자'라고도 함)를 각각 생성한다.

여기서 제1영상 패치는 제1특징점의 영역으로 제1특징점으로부터 일정 크기를 갖는 영상이고, 제2영상 패치는 제2특징점의 영역으로 제2특징점으로부터 일정 크기를 갖는 영상이다.

제어부(120)는 제1 오리지널 영상을 블러링하여 제1블러링 영상(B(t-1))을 생성하고 제 2오리지널 영상을 블러링하여 제2블러링 영상(B(t))을 생성하며, 제1 오리지널 영상, 제2 오리지널 영상, 제1 블러링 영상, 제2 블러링 영상 중 적어도 두 영상 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 제2특징점을 가진 제2영상 패치의 스케일을 예측하고, 예측된 스케일의 제2영상 패치 내 제2특징점과 제1영상 패치 내 제1특징점을 매칭시켜 대상물 인식 및 위치 인식 중 적어도 하나의 인식을 제어한다.

제어부(120)는 최초 생성된 제1 영상 패치의 스케일 및 제2영상 패치의 스케일을 제1 기준 스케일 및 제2 기준 스케일로 설정하고, 제1, 2 기준 스케일로부터 일정 크기씩 증감된 서로 다른 스케일의 제1, 2영상 패치, 즉, 멀티 스케일의 제1, 2 영상 패치를 생성한다.

제어부(120)는 제2 영상 패치를 스케일에 따라 나열하고, 제2기준 스케일로부터 일정 범위를 노멀 검색 범위로 설정하고, 일정 범위 이하의 범위를 스케일 다운 검색 범위로 설정하며, 일정 범위 이상의 범위를 스케일 업 검색 범위로 설정한 후 유사도에 기초하여 제2영상 패치의 스케일 검색 범위를 예측하고 예측된 스케일 검색 범위 내의 제2영상 패치의 제2특징점과 제1영상패치의 제1특징점의 매칭을 제어한다.

여기서 매칭에 이용되는 제1영상패치는 제1기준 스케일의 제1영상패치이다.

저장부(130)는 최초 생성된 제1 영상 패치의 스케일 및 제2영상 패치의 스케일을 제1 기준 스케일 및 제2 기준 스케일로 저장하고, 멀티 스케일의 제1, 2 영상 패치를 저장하며, 제2기준 스케일로부터 일정 범위를 노멀 검색 범위로 저장하고, 일정 범위 이하의 범위를 스케일 다운 검색 범위로 저장하며, 일정 범위 이상의 범위를 스케일 업 검색 범위로 저장한다.

출력부(140)는 디스플레이, 스피커, 핸드의 관절, 다리의 관절 중 적어도 하나이다.

출력부(140)는 물체 인식에 대한 결과를 디스플레이나 스피커로 출력함으로써 사용자에게 정보를 제공하거나, 물체 인식 후 핸드의 관절을 제어하여 파지를 수행하는 것도 가능하다.

또한 출력부(140)는 물체 인식에 따른 위치 인식의 결과로 다리의 관절을 제어하여 이동을 수행한다.

이러한 제어부(120)를 도 2를 참조하여 구체적으로 설명한다.

도 2는 제어부(120)의 상세 구성도로, 제어부(120)는 특징점 추출부(121), 표현자 생성부(122), 블러링 영상 생성부(123), 스케일 예측부(124), 매칭부(125) 및 인식부(126)를 포함한다.

특징점 추출부(121)는 제1오리지널 영상을 일정 크기의 격자로 분할하고, 분할된 격자 내에 일정 개수의 제1특징점을 추출하고, 제2오리지널 영상에 제1특징점의 위치와 대응하는 위치에 일정 영역의 윈도우를 설정하고 설정된 윈도우에서 제2특징점을 추출한다.

이러한 특징점 추출부(121)는 패스트 코너 디텍터를 이용하여 제1, 2 특징점을 각각 추출한다.

특징점 추출부(121)는 제2 특징점의 개수를 제1특징점의 개수보다 많이 추출한다.

좀 더 구체적으로, 특징점 추출부(121)는 제2오리지널 영상에서 제2특징점 추출 시에 제1오리지널 영상에서 제1특징점을 추출할 때의 패스트 코너의 문턱치보다 더 작은 문턱치를 이용함으로써 제1특징점의 개수보다 더 많은 개수의 제2특징점이 추출되도록 한다.

여기서 패스트 코너 디텍터(FAST Corner Detector)는 영상 내에 포함된 코너점을 특징점으로 추출하는 알고리즘이다.

예를 들면 패스트 코너 디텍터는 영상의 농도의 최대 또는 최소의 고립된 점, 곡선라인의 엔딩 부분 등을 이용한 특징점을 추출하며, 또한 영상 영역에서 두 개의 윤곽선이 서로 교차되는 지점을 특징점으로 추출한다.

이 패스트 코너 디텍터에 대한 상세한 설명은 Edward Rosten와 Tom Drummond가 발표한 논문 "Machine learning for high-speed corner detection, Department of Engineering, Cambridge University, UK" 에 기재되어 있다.

좀 더 구체적으로, 패스트 코너 디텍터는 임의의 점을 중심으로 반지름이 대략 3인 원을 구성하는 주변 픽셀들 간의 밝기 차이와 문턱치 간의 밝기를 비교하여 특징점으로 추출한다. 예를 들어, 점의 주변 픽셀 16 개 중 연속된 12개 이상의 픽셀이 점보다 밝거나 어두우면 그 점을 특징점으로 추출한다.

이 패스트 코너 디텍터는 640*480 크기의 2차원 영상에서 특징점을 추출하는데 약 2ms 정도만이 소요되는 알고리즘으로, 특징점 추출 속도가 매우 빠르다.

아울러, 특징점 추출부(121)는 임의의 점 주변의 영상의 밝기 변화 분포 등을 이용하여 특징점을 추출하는 알고리즘인 Scale Invariant Feature Transform(SIFT)를 이용하여 특징점을 추출하는 것도 가능하고, SURF(Speeded Up Robust Features)를 이용하여 특징점을 추출하는 것도 가능하다.

특징점 추출부(121)는 제1 특징점을 중심으로 하는 제1특징점 영역의 영상인 제1영상 패치(Image patch)를 생성하고, 제2 특징점을 중심으로 하는 제2특징점 영역의 영상인 제2영상 패치(Image patch)를 생성한다.

여기서 제1 영상 패치와 제 2영상 패치는 표현자 생성부(122)에서 생성하는 것도 가능하다.

표현자 생성부(122)는 제1오리지널 영상에서 생성된 최초 제1 특징점 영역의 영상인 최초 제1영상 패치의 스케일을 제1기준 스케일로 설정하고, 제1기준 스케일의 제1영상 패치를 일정 크기만큼 순차적으로 증감시켜 서로 다른 스케일의 제1영상 패치를 생성한다. 즉 멀티 스케일의 제1영상 패치를 생성한다.

이와 동일하게, 표현자 생성부(122)는 멀티 스케일의 제2영상 패치도 생성한다.

표현자 생성부(122)는 멀티 스케일의 제1영상 패치에 대한 제1표현자를 각각 생성하고, 또한 멀티 스케일의 제2영상 패치에 대한 제2표현자를 각각 생성한다.

이 제1, 2 표현자는 방향(bin) 및 크기를 갖는 특징 벡터를 각각 갖는다.

아울러, 제1특징점과 제2특징점 매칭 시 제1영상 패치로 기준 스케일의 제1 영상 패치만을 이용하기 때문에, 멀티 스케일의 제1 영상 패치를 생성하는 과정 및 멀티 스케일별 제1표현자를 생성하는 과정은 생략 가능하다.

여기서 제1특징점과 제2특징점은 복수로 이루어지기 때문에, 복수의 제1, 2 특징점 각각에 대하여 멀티 스케일의 제1, 2 영상 패치를 생성하고 복수의 제1, 2 특징점에 대응되는 멀티 스케일의 제1, 2 영상 패치 각각에 대하여 제1, 2 표현자를 생성해야 한다.

예를 들어, 복수의 제1특징점이 제1-1특징점, 제1-2특징점, 제1-3특징점으로 이루어지고, 복수의 제2특징점이 제2-1특징점, 제2-2특징점, 제2-3특징점으로 이루어진다고 가정하면, 표현자 생성부(122)는 제1-1특징점을 가지는 제1-1영상패치, 제1-2특징점을 가지는 제1-2영상패치, 제1-3특징점을 가지는 제1-3영상패치를 생성하고, 제2-1특징점을 가지는 제2-1영상패치, 제2-2특징점을 가지는 제2-2영상패치, 제2-3특징점을 가지는 제2-3영상패치를 생성한다.

그리고, 표현자 생성부(122)는 제1-1영상패치에 대한 제1-1표현자, 제1-2영상패치에 대한 제1-2표현자, 제1-3영상패치에 대한 제1-3표현자, 제2-1영상패치에 대한 제2-1표현자, 제2-2영상패치에 대한 제2-2표현자, 제2-3영상패치에 대한 제2-3표현자를 생성한다.

표현자 생성부(122)는 멀티 스케일의 제1, 2 영상 패치에 대한 제1, 2 표현자 생성 시 SURF(Speeded Up Robust Features)를 이용한다.

여기서 SURF는 Herbert Bay 등이 2006년에 제안한 것으로서 표현자의 차원을 줄여서 속도를 향상시킨 알고리즘이다.

SURF는 Haar Wavelet 적용으로 단순 그래디언트(Gradient)에 비해 강인하다.

블러링 영상 생성부(123)는 제1 오리지널 영상을 블러링하여 제1블러링 영상(B(t-1))을 생성하고, 제 2오리지널 영상을 블러링하여 제2블러링 영상(B(t))을 생성한다.

스케일 예측부(124)는 제1 오리지널 영상(I(t-1)), 제2 오리지널 영상(I(t)), 제1 블러링 영상(B(t-1)), 제2 블러링 영상(B(t)) 간의 상관 계수에 따른 제1유사도를 산출하고, 제1 오리지널 영상(I(t-1))과 제2 블러링 영상(B(t)) 간의 상관 계수에 따른 제2유사도를 산출하며, 제1 블러링 영상(B(t-1))과 제2 오리지널 영상(I(t)) 간의 상관 계수에 따른 제3유사도를 산출한다.

여기서 상관 계수는 상호 상관 계수(cross correlation coefficient)를 이용 가능하다.

스케일 예측부(124)는 제1, 2, 3 유사도 중 제1유사도가 가장 크면 노멀 검색 범위에서 제2영상패치의 스케일을 예측하고, 제1유사도가 제2유사도 및 제3유사도 중 적어도 하나의 유사도 이하이면 제2유사도와 제3유사도를 비교하며, 이때 제2유사도가 제3유사도보다 크면 스케일 업 검색 범위에서 제2영상패치의 스케일을 예측하고 반면 제2유사도가 제3유사도 이하이면 스케일 다운 검색 범위에서 제2영상패치의 스케일을 예측한다.

스케일 예측부(124)는 임의의 하나의 제1특징점에 대한 제1기준 스케일의 제1표현자의 특징 벡터와 예측된 스케일 검색 범위 내의 스케일별 제2영상 패치의 제2표현자의 특징벡터 사이의 거리를 각각 비교하고 제1표현자의 특징 벡터와의 거리가 최소인 특징벡터를 갖는 제2표현자를 가진 스케일을 제2영상패치의 스케일로 예측하는 것도 가능하다.

매칭부(125)는 복수의 제1특징점과 복수의 제2특징점을 각각 비교하여, 복수의 제2특징점에 대해 동일하거나 유사한 제1특징점을 각각 찾아 매칭시킨다.

즉, 매칭부(125)는 예측된 스케일 검색 범위 내 제2 영상 패치의 제2표현자와 동일하거나 가장 유사한 제1기준 스케일의 제1영상 패치의 제1표현자를 찾아 제2특징점과 제1특징점을 매칭시킨다.

아울러 매칭부(125)는 예측된 스케일 검색 범위 내에 복수의 스케일이 있으면 복수 스케일의 제2영상패치의 제2표현자와 제1영상패치의 제1표현자를 각각 비교한다.

즉, 매칭부(125)는 예측된 스케일 검색 범위 내의 제2영상패치의 제2표현자의 특징 벡터와 복수의 제1특징점에 대한 제1표현자의 특징 벡터 사이의 거리를 각각 산출하고, 제2표현자의 특징벡터와 거리가 최소인 특징 벡터를 갖는 제1표현자를 찾아 확인하고, 제2표현자를 갖는 제2특징점과 확인된 제1표현자를 갖는 제1특징점을 매칭시킨다.

여기서 특징 벡터 사이의 거리를 산출하는 것은, 각 방향(bin)에 대하여 벡터 간의 거리를 산출하는 것이다.

인식부(126)는 매칭부(125)의 매칭 결과에 기초하여 대상물이 어떤 물체인지 인식하거나, 인식된 물체에 기초하여 현재 위치한 자신의 위치를 인식한다.

도 3은 일 실시예에 따른 이동 장치의 제어 순서도로, 도 4 내지 도 8을 참조하여 설명한다.

이동 장치는 물체 인식이나 위치 인식 등을 수행하기 위해 공간 내의 형상 영상이나 대상물의 영상을 실시간으로 획득하고 실시간으로 획득된 영상을 이용하여 순차적으로 특징점 추출 및 매칭을 수행한다.

이를 좀 더 구체적으로 설명한다.

이동 장치는 제1 오리지널 영상을 획득(201)을 획득하고 획득된 제1오리지널 영상에서 복수의 제1특징점을 추출한다.

여기서 제1특징점을 추출하는 것은, 도 4에 도시된 바와 같이 제1오리지널 영상을 일정 크기의 격자(g)로 분할하고, 일정 크기로 분할된 격자 내에 일정 개수 이내의 제1특징점을 추출(202)한다. 이로 인해 제1오리지널 영상 전체에서 제1특징점을 고르게 추출할 수 있다.

다음 이동 장치는 제1 특징점을 중심으로 하는 제1특징점 영역의 영상인 제1영상 패치(Image patch)를 생성하고, 제1영상 패치에 대한 제1표현자를 생성(203)한다. 아울러 제1영상 패치 및 제1표현자 생성은, 복수의 제1특징점에 대해 모두 수행한다.

이때 이동 장치는 멀티 스케일의 제1영상 패치를 생성하는 것도 가능하고, 멀티 스케일의 제1영상 패치 각각에 대한 제1표현자를 생성하는 것도 가능하다.

아울러, 이동 장치는 제1오리지널 영상에서 생성된 최초 제1영상 패치의 스케일을 제1기준 스케일로 설정한다.

다음 이동 장치는 제 2 오리지널 영상을 획득(204)하고, 획득된 제2 오리지널 영상에서 복수의 제2특징점을 추출(205)한다.

여기서 제2특징점을 추출하는 것은, 도 5에 도시된 바와 같이 제2 오리지널 영상에 복수의 제1특징점의 위치와 각각 대응하는 위치에 일정 영역의 윈도우(w)를 각각 설정하고, 각각 설정된 윈도우에서 제2특징점을 추출한다.

제2오리지널 영상에서 제2특징점 추출 시, 패스트 코너 디텍터를 이용한다.

아울러, 제2오리지널 영상에서 제2특징점 추출 시에 제1오리지널 영상에서 제1특징점을 추출할 때의 패스트 코너의 문턱치보다 더 작은 문턱치를 이용함으로써 제1특징점의 개수보다 더 많은 개수의 제2특징점이 추출되도록 한다.

다음 이동 장치는 제2 특징점을 중심으로 하는 제2특징점 영역의 영상인 제2영상 패치(Image patch)를 생성한다. 이때 최초 생성된 제2영상 패치의 스케일이 제2 기준 스케일이 된다.

다음 이동 장치는 제2 기준 스케일의 제2영상 패치를 일정 크기만큼 순차적으로 증감시켜 서로 다른 스케일의 제2영상 패치를 생성한다.

즉 도 6에 도시된 바와 같이 멀티 스케일의 제2영상 패치를 생성하고, 멀티 스케일의 제2영상 패치에 대한 제2표현자를 각각 생성(206)한다.

아울러 제2영상 패치 및 제2표현자 생성은, 복수의 제2특징점에 대해 모두 수행한다.

아울러 제1, 2 표현자 생성 시 SURF(Speeded Up Robust Features)를 이용한다.

여기서 SURF 표현자 생성은 Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", ECCV06에 개시되어 있다.

제1, 2 표현자는 모두 특징 벡터를 갖는다. 이를 좀 더 구체적으로 설명한다.

이동 장치는 문턱치 이상의 후보 픽셀을 기준으로 주변 픽셀과의 위치, 크기 및 방향 정보를 포함하는 특징점 정보를 이용하여 표현자를 생성한다.

즉, 후보 픽셀을 중심으로 16x16 크기의 블록을 설정하고, 그 블록 내의 픽셀에 대하여 방향성을 측정한다. 각각의 픽셀마다 방향 및 그 크기를 측정하여 해당 블록에서 가장 크게 존재하는 방향을 추정한다. 이 방향을 해당 특징점의 방향으로 설정한다.

최종적인 특징벡터를 구하기 위해서는 다시 각각의 특징점을 중심으로 16x16 블록을 설정하고 다시 4x4 블록 단위로 나누어 그 블록 내의 각 픽셀에 대하여 픽셀값의 변화 방향을 측정한다. 변화 방향은 변화 기울기에 비례하도록 설정하여 변화의 크기가 클수록 해당 방향의 확률분포도 커지도록 방향에 대한 확률분포를 구한다.

도 7에 도시된 바와 같이, 8 * 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자화한다.

방향성 확률분포는 8개의 방향으로 구분되어 저장되는데, 결국 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이 방향성 확률분포를 나타내는 벡터가 특징 벡터의 구조이다.

이와 같이 얻어진 128 차원의 특징 벡터는 벡터 양자화를 수행하여 코드북으로 표현된다.

초기에 구해진 특징 벡터는 부동 소수점을 갖는 임의의 실수로서, 특징 벡터를 전송하거나 거리를 비교할 때 상대적으로 많은 전송용량 및 시간이 필요하다.

따라서, 각 8방향 단위로 구분된 8차원 벡터에 대하여 벡터 양자화를 수행하고 실수값으로 표현되는 8차원 방향분포를 1차원의 코드북으로 대응시킨다.

이러한 벡터 양자화 과정을 거침으로써, 128차원의 실수계수 특징 벡터는 16차원의 정수계수의 벡터로 변환된다.

이러한 16차원의 벡터로 양자화된 특징 벡터 간의 차이를 계산할 때는 양자화된 코드북의 128 차원 벡터로 환원하여 비교한다.

다음 이동 장치는 최초 생성된 제2영상 패치의 스케일을 기준으로 복수의 스케일 검색 범위를 생성한다.

도 8에 도시된 바와 같이, 이동 장치는 최초 생성된 제2영상 패치의 스케일을 제2 기준 스케일(Scale 1.0)로 설정하고, 일정 크기씩 증감시켜 서로 다른 스케일의 제2영상 패치를 생성하고, 제2 영상 패치를 스케일에 따라 나열한다.

다음 이동 장치는 제2기준 스케일(Scale 1.0)로부터 일정 범위를 노멀 검색 범위(Normal search range)로 설정하고, 일정 범위 이하의 범위를 스케일 다운 검색 범위(Scale down search range)로 설정하며, 일정 범위 이상의 범위를 스케일 업 검색 범위(Scale up search range)로 설정 및 저장한다.

다음 이동 장치는 제1오리지널 영상과 제2오리지널 영상의 특징점을 매칭시키기 위해 제2오리지널 영상의 스케일 변화를 예측(207 내지 214)한다.

이를 위해, 이동 장치는 제1 오리지널 영상을 블러링하여 제1블러링 영상(B(t-1))을 생성하고, 제 2오리지널 영상을 블러링하여 제2블러링 영상(B(t))을 생성(207)한다.

다음 이동 장치는 제1, 2 오리지널 영상, 제1, 2 블러링 영상의 동일 위치에 적어도 하나의 라인을 각각 생성하고, 적어도 하나의 라인을 샘플링(208)한다. 여기서 적어도 하나의 라인은 직선으로, 각 영상 중앙의 수평선이다.

복수 영상에 샘플링된 라인에서의 상관 계수를 산출(209)하고, 산출된 상관 계수에 기초하여 제1, 2, 3 유사도를 각각 산출(209)하고, 산출된 제1, 2, 3 유사도를 서로 비교(210, 212)하여 제2오리지널 영상의 스케일 변화를 예측(211, 213, 214)한다.

이와 같이 적어도 하나의 라인을 생성하고, 생성된 라인을 샘플링하여 상관 계수를 획득함으로써 스케일 예측에 소비되는 시간을 줄일 수 있다.

유사도에 따른 제2 오리지널 영상의 스케일 변화를 예측하기 위한 과정을 좀 더 구체적으로 설명한다.

연속되는 영상에서 스케일이 변화되는 경우는, 영상 획득의 위치 변화로 인해 영상의 스케일이 변화되는 경우와, 영상 획득 시 외부 충격으로 영상의 스케일이 변화되는 경우가 있다. 이를 도 9 내지 13을 참조하여 설명한다.

도 9에 도시된 바와 같이, 정상 상태에서 제1오리지널 영상 획득 후 충격이 인가된 상태에서 제2오리지널 영상을 획득하면, 제2 오리지널 영상에 블러(Blur)가 발생되고, 이로 인해 제2오리지널 영상(I(t))은 이전의 제1오리지널 영상보다 이전의 제1오리지널 영상을 블러링한 제1블러링 영상(B(t-1)과 더 비슷해진다.

즉, 반지름 r1인 제1오리지널 영상이 블러링되어 제1오리지널 영상의 대상물의 반지름이 제1블러링 영상의 대상물과 같이 반지름 r2로 커지고, 이때 제2블러링 영상의 대상물의 반지름 r2와 제2오리지널 영상의 대상물의 반지름 r3가 유사해진다.

도 10에 도시된 바와 같이, 제1오리지널 영상(I(t-1))이 획득된 후 영상 획득 위치가 대상물과 가까워진 상태에서 제2오리저널 영상(I(t))이 획득되면 제2오리지널 영상(I(t))은 제1오리지널 영상을 블러링한 제1블러링 영상(B(t-1))과 비슷해진다.

즉, 제1오리지널 영상이 블러링된 제1블러링 영상의 대상물의 반지름 r6과 제2오리지널 영상의 대상물의 반지름 r7가 유사해진다.

도 11에 도시된 바와 같이, 영상 획득 시에 충격이 인가된 상태에서 제1오리지널 영상(I(t-1))이 획득된 후 충격이 인가되지 않은 상태에서 제2오리지널 영상(I(t))이 획득되면 제2오리지널 영상의 제2블러링 영상(B(t))은 제1오리지날 영상(I(t-1))과 비슷해진다.

즉, 제2오리지널 영상을 블러링한 제2블러링 영상의 대상물의 반지름 r12와 제1오리지널 영상의 대상물의 반지름 r9가 유사해진다.

도 12에 도시된 바와 같이, 제1오리지널 영상(I(t-1))이 획득된 후 영상 획득 위치가 대상물과 멀어진 상태에서 제2오리저널 영상(I(t))이 획득되면 제2오리지널 영상(I(t))의 제2블러링 영상(B(t)은 제1오리지널 영상(I(t))과 비슷해진다.

즉, 제2오리지널 영상을 블러링한 제2블러링 영상의 대상물의 반지름 r16와 제1오리지널 영상의 대상물의 반지름 r13이 유사해진다.

즉, 알고리즘에 의해 영상 속 대상물을 블러링하거나 외부 충격에 의해 카메라가 흔들려 영상 속 대상물에 블러가 발생되면 블러가 발생된 영상 속 대상물의 크기는, 정상 상태에서 획득된 영상 속 대상물의 크기보다 더 크게 나타난다.

또한 영상 획득 위치인 카메라의 위치가 대상물에 가까워 질수록 영상 속 대상물의 크기가 더 커지고, 카메라의 위치가 대상물로부터 멀어질 수록 영상 속 대상물의 크기가 더 작아진다.

반면, 도 13에 도시된 바와 같이, 제1오리지널 영상(I(t-1))이 획득된 후 영상 획득 위치가 변화되지 않고 카메라에 외부 충격이 인가되지 않은 상태에서 제2오리저널 영상(I(t))이 획득되면 제2오리지널 영상(I(t))의 제2블러링 영상(B(t))과의 차이와, 제1오리지널 영상(I(t-1))의 제1블러링 영상(B(t-1))과의 차이가 동일 또는 거의 유사하다.

제2오리지널 영상의 스케일이 변화되지 않으면, 제1오리지널 영상의 대상물 반지름 r17과 제2오리지널 영상의 대상물 반지름 r19는 유사하고, 제1오리지널 영상을 일정 크기만큼 블러링시킨 제1블러링 영상의 대상물 반지름 r18과 제2오리지널 영상을 일정 크기만큼 블러링시킨 제2블러링 영상의 대상물 반지름 r20은 유사하다.

도 9 내지 도 13를 참조하면, 제1오리지널 영상과 제2블러링 영상의 유사도가 높고, 제2오리지널 영상과 제1블러링 영상의 유사도가 높다는 것을 알 수 있다.

이러한 원리를 이용하여 제2오리지널 영상의 스케일 변화를 예측한다.

이동 장치는 제1 오리지널 영상(I(t-1)), 제2 오리지널 영상(I(t)), 제1 블러링 영상(B(t-1)), 제2 블러링 영상(B(t)) 간의 상관 계수에 따른 제1유사도(V1)를 산출한다.

여기서 제1유사도(V1)는 제1 오리지널 영상(I(t-1))와 제1 블러링 영상(B(t-1)) 간의 상관 계수와, 제2 오리지널 영상(I(t))와 제2 블러링 영상(B(t)) 간의 상관 계수의 합의 평균값로, 제1유사도가 크다는 것은 영상의 변화가 적다는 것을 의미한다.

그리고 이동 장치는 제1 오리지널 영상(I(t-1))과 제2 블러링 영상(B(t)) 간의 상관 계수에 따른 제2유사도(V2)를 산출하며, 제1 블러링 영상(B(t-1))과 제2 오리지널 영상(I(t)) 간의 상관 계수에 따른 제3유사도(V3)를 산출한다.

아울러 제2유사도가 크다는 것은 제1오리지널 영상이 블러되거나 영상 획득 위치가 대상물로부터 멀어졌다는 것을 의미하고, 제3유사도가 크다는 것은 제2오리지널 영상이 블러되거나 영상 획득 위치가 대상물과 가까워졌다는 것을 의미한다.

이를 식으로 표현하면 다음과 같다.

여기서 C.C는 상호 상관 계수이고 abs는 절대 값이다.

이동 장치는 제1 오리지널 영상과 제1 블러링 영상 사이의 상관 계수에 따른 유사도와, 제2 오리지널 영상과 제2 블러링 영상 사이의 상관 계수에 따른 유사도를 비교하고, 두 유사도의 차가 일정 유사도 이상이면 제2 오리지널 영상의 스케일이 변화되었다고 판단하여 제2 오리지널 영상의 스케일 변화치를 예측한다.

반면, 두 유사도의 차가 일정 유사도 미만이면 제2 오리지널 영상의 스케일이 유지되었다고 판단하여 현 상태의 제2오리지널 영상의 제2특징점과 제1오리지널 영상의 제1특징점을 매칭시킨다.

이동 장치는 제1, 2, 3 유사도를 비교(210)하여 중 제1유사도가 가장 크면 스케일 검색 범위를 노멀 검색 범위로 결정(211)한다.

다음 이동 장치는 제1유사도가 제2유사도 및 제3유사도 중 적어도 하나의 유사도 이하이면 제2유사도와 제3유사도를 비교(212)하고, 이때 제2유사도가 제3유사도보다 크면 스케일 검색 범위를 스케일 업 검색 범위(213)로 결정하며 반면 제2유사도가 제3유사도 이하이면 스케일 검색 범위를 스케일 다운 검색 범위로 결정(214)한다.

아울러, 이동 장치는 임의의 하나의 제1특징점에 대한 제1기준 스케일의 제1표현자의 특징 벡터와 예측된 스케일 검색 범위 내의 스케일별 제2영상 패치의 제2표현자의 특징벡터 사이의 거리를 각각 비교하고, 제1표현자의 특징 벡터와의 거리가 최소인 특징벡터를 갖는 제2표현자를 가진 스케일을 제2영상패치의 스케일로 예측하는 것도 가능하다.

다음 이동 장치는, 결정된 스케일 검색 범위 내 제2영상 패치의 제2표현자와 가장 유사한 제1표현자를 검색하여 제2영상 패치 내 제2특징점과 검색된 제1표현자를 가진 제1특징점을 매칭(215)시키고, 매칭 결과에 기초하여 대상물의 물체 인식 및 위치 인식 중 적어도 하나의 인식(216)을 수행하며 인식 수행 결과에 따라 이동 장치의 동작을 제어한다.

아울러 인식 수행 시 매칭되는 특징점의 개수 정보, 매칭되는 특징점의 위치, 매칭되는 특징점을 잇는 선분의 길이 및 기울기 등과 같이 매칭되는 특징점의 분포 정보를 고려하여 물체나 위치 등을 인식할 수 있다.

여기서 매칭 과정을 좀 더 구체적으로 설명한다.

이동 장치는 제1기준 스케일의 제1 영상 패치에 대한 제1표현자와 예측된 스케일 검색 범위 내 제2 영상 패치에 대한 제2표현자를 매칭시킨다. 여기서, 제1 기준 스케일의 제1영상 패치는 제1오리지널 영상에 기초하여 최초 생성된 제1 영상 패치이다.

아울러 예측된 스케일 검색 범위 내 스케일이 서로 다른 복수의 제2영상패치가 존재하면 복수의 제2영상패치와 제1영상패치를 각각 매칭시킨다.

이를 예를 들어 설명한다.

복수의 제1특징점은 제1-1특징점, 제1-2특징점, 제1-3특징점을 포함하고, 복수의 제2특징점은 제2-1특징점, 제2-2특징점, 제2-3특징점을 포함한다고 가정하면, 제1영상패치는 제1-1특징점을 가지는 제1-1영상패치, 제1-2특징점을 가지는 제1-2영상패치, 제1-3특징점을 가지는 제1-3영상패치를 포함하고, 제2영상패치는 제2-1특징점을 가지는 제2-1영상패치, 제2-2특징점을 가지는 제2-2영상패치, 제2-3특징점을 가지는 제2-3영상패치를 포함하며, 제1-1영상패치에 대한 제1-1표현자, 제1-2영상패치에 대한 제1-2표현자, 제1-3영상패치에 대한 제1-3표현자, 제2-1영상패치에 대한 제2-1표현자, 제2-2영상패치에 대한 제2-2표현자, 제2-3영상패치에 대한 제2-3표현자를 포함한다고 가정한다.

아울러 제2영상 패치의 스케일 검색 범위가 노멀 검색 범위(Scale 0.9, 1.0. 1.1)라고 가정한다.

이동 장치는 스케일 0.9, 1.0, 1.1에서의 제2-1표현자의 특징벡터와 제1-1표현자의 특징벡터, 제1-2표현자의 특징벡터, 제1-3표현자의 특징벡터 사이의 거리를 각각 산출하고, 제2-1표현자의 특징벡터와 거리가 최소인 특징 벡터를 가진 표현자(제1-1표현자로 가정)를 찾고, 제2-1표현자와 제1-1표현자를 매칭시킨다.

다음 이동 장치는 스케일 0.9, 1.0, 1.1에서의 제2-2표현자의 특징 벡터와 제1-1표현자의 특징벡터, 제1-2표현자의 특징벡터, 제1-3표현자의 특징벡터 사이의 거리를 각각 산출하고 제2-2표현자의 특징벡터와 거리가 최소인 특징 벡터를 가진 표현자(제1-2표현자로 가정)를 찾고, 제2-2표현자와 제1-2표현자를 매칭시킨다.

다음 이동 장치는 스케일 0.9, 1.0, 1.1에서의 제2-3표현자의 특징 벡터와 제1-1표현자의 특징벡터, 제1-2표현자의 특징벡터, 제1-3표현자의 특징벡터 사이의 거리를 각각 산출하고 제2-3표현자의 특징벡터와 거리가 최소인 특징 벡터를 가진 표현자(제1-3표현자로 가정)를 찾고, 제2-3표현자와 제1-3표현자를 매칭시킨다.

즉, 이동 장치는 제2-1표현자를 가진 제2-1영상 패치의 제2-1특징점과 제1-1표현자를 가진 제1-1영상패치의 제1-1특징점을 매칭시키고, 제2-2표현자를 가진 제2-2영상 패치의 제2-2특징점과 제1-2표현자를 가진 제1-2영상패치의 제1-2특징점을 매칭시키며, 제2-3표현자를 가진 제2-3영상 패치의 제2-3특징점과, 제1-3표현자를 가진 제1-3영상패치의 제1-3특징점을 매칭시킨다.

110: 영상 획득부 120: 제어부
130: 저장부 140: 출력부

Claims

제 1 오리지널 영상을 획득한 후 제 2 오리지널 영상을 획득하고;
상기 제 1 오리지널 영상의 제 1 특징점 및 상기 제 2 오리지널 영상의 제 2 특징점을 추출하고;
상기 제 1 오리지널 영상을 블러링한 제 1 블러링 영상과, 상기 제 2 오리지널 영상을 블러링한 제 2 블러링 영상을 생성하고;
상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상 및 상기 제 2 블러링 영상 중 적어도 두 개의 영상 사이의 유사도를 산출하고;
상기 산출된 유사도에 기초하여 상기 제 2 오리지널 영상의 스케일 변화를 판단하고;
상기 스케일 변화에 기초하여 상기 제 2 오리지널 영상의 상기 제 2 특징점과 상기 제 1 오리지널 영상의 상기 제 1 특징점의 매칭을 수행함으로써 대상물 인식 및 위치 인식 중 적어도 하나를 제어하는 이동 장치의 제어 방법.
제 1 항에 있어서, 상기 제 1 오리지널 영상에서 상기 제 1 특징점을 추출하는 것은:
상기 제 1 오리지널 영상을 일정 크기의 격자로 분할하고;
각각의 격자 내에서 일정 개수의 제 1 특징점을 추출하는 것을 포함하는 이동 장치의 제어 방법.
제 1 항에 있어서, 상기 제 1 오리지널 영상에서 상기 제 1 특징점을 추출하는 것은 패스트(FAST) 코너 디텍터를 이용하여 수행되는 이동 장치의 제어 방법.
제 3 항에 있어서, 상기 제 2 오리지널 영상에서 상기 제 2 특징점을 추출하는 것은:
상기 제 1 특징점을 추출할 때의 패스트 코너의 문턱치보다 작은 문턱치를 이용하여 상기 제 1 특징점의 개수보다 더 많은 개수의 상기 제 2 특징점을 추출하는 것을 포함하는 이동 장치의 제어 방법.
삭제
제 1 항에 있어서, 상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상, 상기 제 2 블러링 영상 중 적어도 두 개의 영상 사이의 유사도를 산출하는 것은:
상기 제 1 오리지널 영상, 상기 제 1 블러링 영상, 상기 제 2 오리지널 영상, 상기 제 2 블러링 영상 사이의 상관 계수에 대응하는 제 1 유사도를 산출하고;
상기 제 1 오리지널 영상과 상기 제 2 블러링 영상 사이의 상관 계수에 대응하는 제 2 유사도를 산출하고;
상기 제 1 블러링 영상과 상기 제 2 오리지널 영상 사이의 상관 계수에 대응하는 제 3 유사도를 산출하는 것을 포함하는 이동 장치의 제어 방법.
제 6 항에 있어서, 상기 산출된 유사도에 기초하여 상기 제 2 오리지널 영상의 스케일 변화를 판단하는 것은:
상기 제 1 특징점을 가진 제 1 영상 패치 및 상기 제 2 특징점을 가진 멀티 스케일의 제 2 영상 패치를 생성하고;
상기 제 1 유사도, 상기 제 2 유사도 및 상기 제 3 유사도 중 상기 제 1 유사도가 가장 크면 노멀 검색 범위에서 상기 제 2 영상 패치의 스케일을 예측하고;
상기 제 1 유사도가 상기 제 2 유사도 및 상기 제 3 유사도 중 적어도 하나의 유사도 이하이면 상기 제 2 유사도와 상기 제 3 유사도를 비교하고;
상기 제 2 유사도가 상기 제 3 유사도보다 크면 스케일 업 검색 범위에서 상기 제 2 영상 패치의 스케일을 예측하고;
상기 제 2 유사도가 상기 제 3 유사도 이하이면 스케일 다운 검색 범위에서 상기 제 2 영상 패치의 스케일을 예측하는 것을 포함하는 이동 장치의 제어 방법.
제 7 항에 있어서, 상기 제 1 특징점과 상기 제 2 특징점의 매칭을 수행하는 것은:
상기 제 1 영상 패치에 대응하는 제 1 표현자 및 상기 제 2 영상 패치에 대응하는 멀티 스케일의 제 2 표현자를 생성하고;
상기 제 1 영상 패치의 상기 제 1 표현자와 상기 예측된 스케일 검색 범위 내 상기 제 2 영상 패치의 상기 제 2 표현자를 매칭시키는 것을 포함하는 이동 장치의 제어 방법.
제 8 항에 있어서, 상기 제 1 표현자 및 상기 제 2 표현자를 생성하는 것은 서프(SURF)를 이용하여 수행되는 이동 장치의 제어 방법.
제 8 항에 있어서, 상기 산출된 유사도에 기초하여 상기 제 2 영상 패치의 스케일을 예측하는 것은:
상기 예측된 스케일 검색 범위 내의 상기 제 2 영상 패치의 상기 제 2 표현자의 특징 벡터와 상기 제 1 영상 패치의 상기 제 1 표현자의 특징 벡터를 비교하여 특징 벡터들 사이의 거리를 각각 산출하고;
상기 제 1 표현자의 특징 벡터에 가장 가까운 특징 벡터를 갖는 제 2 표현자를 확인하고;
상기 확인된 제 2 표현자를 갖는 스케일을 상기 제 2 영상 패치의 스케일로 예측하는 것을 포함하는 이동 장치의 제어 방법.
제 8 항에 있어서,
상기 제 1 특징점을 가진 상기 제 1 영상 패치 및 상기 제 2 특징점을 가진 상기 제 2 영상 패치를 생성하는 것은:
복수의 제 1 특징점 및 복수의 제 2 특징점을 추출하고;
상기 복수의 제 1 특징점에 각각 대응하는 복수의 제 1 영상 패치 및 상기 복수의 제 2 특징점에 각각 대응하는 복수의 제 2 영상 패치를 생성하고;
상기 복수의 제 1 영상 패치의 각각에 대응하는 복수의 제 1 표현자 및 상기 복수의 제 2 영상 패치의 각각에 대응하는 복수의 제 2 표현자를 생성하는 것을 포함하고;
상기 제 1 영상 패치의 상기 제 1 표현자와 상기 예측된 스케일 검색 범위 내 상기 제 2 영상 패치의 상기 제 2 표현자를 매칭시키는 것은:
상기 복수의 제 1 표현자의 특징 벡터와 상기 예측된 스케일 검색 범위 내 상기 복수의 제 2 표현자의 특징 벡터를 각각 비교하고;
특징 벡터들 사이의 거리가 최소인 상기 제 1 표현자와 상기 제 2 표현자에 대응하는 상기 제 1 특징점과 상기 제 2 특징점을 매칭시키는 것을 포함하는 이동 장치의 제어 방법.
제 7 항에 있어서,
상기 제 2 영상 패치 중 최초로 생성된 제 2 영상 패치의 스케일을 기준 스케일로 설정하고;
상기 기준 스케일로부터 증감된 각각 서로 다른 스케일을 가지는 복수의 제 2 영상 패치를 생성하고;
상기 복수의 제 2 영상 패치를 스케일에 따라 나열하고;
상기 기준 스케일을 기준으로 일정 범위를 노멀 검색 범위로 설정하고;
상기 일정 범위 이하의 범위를 스케일 다운 검색 범위로 설정하고;
상기 일정 범위 이상의 범위를 스케일 업 검색 범위로 설정하여 저장하는 것을 더 포함하는 이동 장치의 제어 방법.
제 6 항에 있어서, 상기 제 1 유사도, 상기 제 2 유사도 및 상기 제 3 유사도를 산출하는 것은:
상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상 및 상기 제 2 블러링 영상에 적어도 하나의 라인을 생성하고;
상기 적어도 하나의 라인을 샘플링하여 상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상 및 상기 제 2 블러링 영상 중 적어도 두 개의 영상 사이의 상관 계수를 산출하고;
상기 산출된 적어도 두 개의 영상 사이의 상관 계수에 기초하여 상기 제 1 유사도, 상기 제 2 유사도 및 상기 제 3 유사도를 산출하는 것을 포함하는 이동 장치의 제어 방법.
제 1 항에 있어서, 상기 제 2 오리지널 영상에서 상기 제 2 특징점을 추출하는 것은:
상기 제 1 특징점의 위치로부터 일정 영역의 윈도우를 설정하고;
상기 설정된 윈도우에서 상기 제 2 특징점을 추출하는 것을 포함하는 이동 장치의 제어 방법.
대상물의 제 1 오리지널 영상 및 제 2 오리지널 영상을 획득하는 영상 획득부;
상기 제 1 오리지널 영상의 제 1 특징점 및 상기 제 2 오리지널 영상의 제 2 특징점을 추출하고, 상기 제 1 특징점을 가진 제 1 영상 패치와 상기 제 2 특징점을 가진 멀티 스케일의 제 2 영상 패치를 생성하는 특징점 추출부;
상기 제 1 오리지널 영상을 블러링한 제 1 블러링 영상 및 상기 제 2 오리지널 영상을 블러링한 제 2 블러링 영상을 생성하는 블러링 영상 생성부;
상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상, 상기 제 2 블러링 영상 중 적어도 두 개의 영상 사이의 유사도를 산출하여 상기 제 2 영상 패치의 스케일을 예측하는 스케일 예측부;
상기 예측된 스케일의 상기 제 2 영상 패치 내 상기 제 2 특징점과 상기 제 1 영상 패치 내 상기 제 1 특징점의 매칭을 수행하는 매칭부; 및
상기 매칭에 기초하여 대상물 인식 및 위치 인식 중 적어도 하나를 수행하는 인식부를 포함하는 이동 장치.
제 15 항에 있어서,
상기 제 1 영상 패치에 대응하는 제 1 표현자 및 상기 제 2 영상 패치에 대응하는 멀티 스케일의 제 2 표현자를 생성하는 표현자 생성부를 더 포함하는 이동 장치.
제 16 항에 있어서, 상기 표현자 생성부는 서프(SURF)를 이용하여 적어도 하나의 스케일을 가진 표현자를 생성하는 이동 장치.
제 15 항에 있어서, 상기 특징점 추출부는 상기 제 1 오리지널 영상에 일정 크기의 격자들을 생성하고, 각 격자 내에서 미리 설정된 개수의 상기 제 1 특징점을 추출하는 이동 장치.
제 15 항에 있어서, 상기 스케일 예측부는 상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상, 상기 제 2 블러링 영상의 동일 위치에 적어도 하나의 라인을 각각 생성하고, 상기 적어도 하나의 라인을 샘플링하고, 상기 샘플링된 적어도 하나의 라인에서의 상관 계수를 산출하는 이동 장치.
제 15 항에 있어서, 상기 특징점 추출부는 패스트(FAST) 코너 디텍터를 이용하여 상기 제 1 특징점 및 상기 제 2 특징점을 추출하는 이동 장치.
제 15 항에 있어서, 상기 스케일 예측부는 상기 제 1 오리지널 영상, 상기 제 2 오리지널 영상, 상기 제 1 블러링 영상, 상기 제 2 블러링 영상 사이의 상관 계수에 대응하는 제 1 유사도를 산출하고, 상기 제 1 오리지널 영상과 상기 제 2 블러링 영상 사이의 상관 계수에 대응하는 제 2 유사도를 산출하고, 상기 제 1 블러링 영상과 상기 제 2 오리지널 영상 사이의 상관 계수에 대응하는 제 3 유사도를 산출하는 이동 장치.
제 21 항에 있어서, 상기 스케일 예측부는 상기 멀티 스케일의 제 2 영상 패치 중 상기 제 2 오리지널 영상에 기초하여 최초로 생성된 제 2 영상 패치의 스케일을 기준 스케일로 설정하고, 상기 제 1 유사도, 상기 제 2 유사도 및 상기 제 3 유사도 중 상기 제 1 유사도가 가장 크면 상기 기준 스케일로부터 일정 범위에서 상기 제 2 영상 패치의 스케일을 예측하고, 상기 제 1 유사도가 상기 제 2 유사도 및 상기 제 3 유사도 중 적어도 하나의 유사도 이하이고 상기 제 2 유사도가 상기 제 3 유사도보다 크면 상기 일정 범위 이상의 범위에서 상기 제 2 영상 패치의 스케일을 예측하고, 상기 제 2 유사도가 상기 제 3 유사도 이하이면 상기 일정 범위 이하의 범위에서 상기 제 2 영상 패치의 스케일을 예측하는 이동 장치.