KR20170053007A - 자세 추정 방법 및 자세 추정 장치 - Google Patents

자세 추정 방법 및 자세 추정 장치 Download PDF

Info

Publication number
KR20170053007A
KR20170053007A KR1020150155243A KR20150155243A KR20170053007A KR 20170053007 A KR20170053007 A KR 20170053007A KR 1020150155243 A KR1020150155243 A KR 1020150155243A KR 20150155243 A KR20150155243 A KR 20150155243A KR 20170053007 A KR20170053007 A KR 20170053007A
Authority
KR
South Korea
Prior art keywords
component
posture
moving component
motion
rotation
Prior art date
Application number
KR1020150155243A
Other languages
English (en)
Other versions
KR102462799B1 (ko
Inventor
이규빈
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150155243A priority Critical patent/KR102462799B1/ko
Priority to US15/079,212 priority patent/US10198824B2/en
Publication of KR20170053007A publication Critical patent/KR20170053007A/ko
Application granted granted Critical
Publication of KR102462799B1 publication Critical patent/KR102462799B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

자세 추정 방법 및 자세 추정 장치가 개시된다. 개시된 자세 추정 방법은 자세 추정 장치의 움직임을 감지하는 모션 센서의 출력 값을 회전 성분으로 결정하고, 회전 성분 및 자세 추정 장치에 내장된 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 변화량에 기초하여 이동 성분을 최적화하며, 회전 성분 및 최적화된 이동 성분을 자세 추정 장치의 자세 추정 값으로 출력한다.

Description

자세 추정 방법 및 자세 추정 장치{METHOD AND APPARATUS FOR ESTIMATING POSE}
아래 실시예들은 자세 추정 방법 및 자세 추정 장치에 관한 것이다.
카메라 자세 추정(pose estimation of camera)은 기준이 되는 동적으로 변하는 카메라 시점의 이동(translation) 및 회전(rotation) 정보를 결정하는 것이다. 이러한 카메라 자세 추정은, SLAM(Simultaneous Localization and Map Building)을 비롯하여 혼합현실(Mixed reality), 증강현실(Augmented Reality), 로봇 내비게이팅(Robot navigating), 3D 장면 재구성(3-Dimensional Scene Reconstruction) 등 활용 분야가 증가하고 있다.
일실시예에 따른 자세 추정 장치가 수행하는 자세 추정 방법은 상기 자세 추정 장치의 움직임을 감지하는 모션 센서의 출력 값을 회전 성분으로 결정하는 단계; 상기 회전 성분 및 상기 자세 추정 장치에 내장된 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 상기 변화량에 기초하여 상기 이동 성분을 최적화하는 단계; 및 상기 회전 성분 및 상기 최적화된 이동 성분을 상기 자세 추정 장치의 자세 추정 값으로 출력하는 단계를 포함한다.
일실시예에 따른 자세 추정 방법에서 상기 모션 센서의 출력 값은, 상기 자세 추정 장치의 회전 각도에 대한 모션 정보를 포함할 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 회전 성분은, 상기 이동 성분이 최적화되는 동안 상기 모션 센서의 출력 값으로 일정하게 유지될 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 회전 성분의 변화량은 0으로 설정되거나 또는 상기 이동 성분의 변화량을 결정할 때 이용되는 자코비안 행렬의 회전 성분은 0으로 설정될 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 이동 성분을 최적화하는 단계는, 상기 회전 성분 및 이전 단계의 이동 성분에 기초하여 상기 이동 성분의 변화량을 결정하고, 상기 이동 성분의 변화량에 기초하여 상기 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분을 결정하는 단계; 상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단하는 단계; 및 상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되지 않는 경우, 상기 현재 단계의 이동 성분을 상기 최적화된 이동 성분으로 결정하는 단계를 포함할 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단하는 단계는, 상기 이동 성분의 변화량이 미리 정해진 임계 크기보다 작은 경우 또는 상기 현재 단계에서의 에러율이 상기 이전 단계에서의 에러율보다 큰 경우에 상기 추가적인 최적화가 요구되지 않는 것으로 판단할 수 있다.
일실시예에 따른 자세 추정 방법은 상기 출력된 자세 추정 값; 및
상기 모션 센서로부터 출력된 상기 자세 추정 장치의 움직임에 대한 모션 정보에 기초하여 결정된 상기 자세 추정 장치의 자세 추정 값에 대해 센서 퓨전 기법을 적용하여 상기 자세 추정 장치의 퓨전 자세 추정 값을 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 모션 센서의 출력 값을 회전 성분으로 결정하는 단계는, 상기 모션 센서의 출력 값에 대한 신뢰도, 상기 모션 센서의 출력 값의 유무, 상기 모션 센서의 초기화 상태 중 적어도 하나에 기초하여, 상기 모션 센서의 출력 값을 회전 성분으로 결정할지 여부를 판단하는 단계를 포함할 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 비전 센서는, 물체로부터 수신되는 빛이 변하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성하는 이벤트 기반 비전 센서; 및 미리 정해진 초당 프레임 수에 따라 시간 동기적으로 물체를 촬영하는 프레임 기반 비전 센서 중 어느 하나일 수 있다.
일실시예에 따른 자세 추정 방법에서 상기 이동 성분은, x축, y축, z축을 기준으로 상기 자세 추정 장치의 이동 거리에 대한 정보를 포함하고, 상기 회전 성분은, x축, y축, z축을 기준으로 상기 자세 추정 장치의 회전 각도에 대한 정보를 포함할 수 있다.
일실시예에 따른 자세 추정 장치는 상기 자세 추정 장치의 움직임을 감지하는 모션 센서; 상기 자세 추정 장치의 전경을 촬영하는 비전 센서; 및 상기 자세 추정 장치의 자세를 추정하는 프로세서를 포함하고, 상기 프로세서는, 상기 모션 센서의 출력 값을 회전 성분으로 결정하고, 상기 회전 성분 및 상기 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 상기 변화량에 기초하여 상기 이동 성분을 최적화하며, 상기 회전 성분 및 상기 최적화된 이동 성분을 상기 자세 추정 장치의 자세 추정 값으로 출력한다.
도 1은 일실시예에 따른 자세 추정 장치를 나타낸 도면이다.
도 2는 일실시예에 따라 자세를 추정하는 과정을 설명하기 위한 도면이다.
도 3은 일실시예에 따라 이동 성분을 최적화하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 자세 추정 방법을 나타낸 도면이다.
도 5는 일실시예에 따라 최적화된 이동 성분을 결정하는 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따라 센서 퓨전 기법을 적용하여 퓨전 자세 추정 값을 결정하는 과정을 나타낸 도면이다.
도 7은 일실시예에 따른 움직임을 나타내는 자세 추정 장치에서 촬영된 영상을 나타낸 도면이다.
도 8은 일실시예에 따라 탐색 공간(search space)에 기초하여 이동 성분의 최적화 과정을 설명하기 위한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 스마트 폰, 모바일 기기, 웨어러블 장치, 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 지능형 자동차, 텔레비전, 스마트 가전 기기, 자율주행 차량, 로봇 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 웨어러블 장치, 자율주행 차량, 로봇 등에서 해당 제품의 자세를 추정하는데 적용될 수 있다. 실시예들은 자세 추정을 이용한 다양한 서비스에 적용될 수 있다. 예를 들어, 실시예들은 사용자가 착용한 웨어러블 장치의 자세를 추정하여 사용자가 응시하는 방향 또는 물체에 대한 정보를 제공하는 서비스 등에도 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 자세 추정 장치를 나타낸 도면이다.
도 1을 참고하면, 자세 추정 장치(100)는 비전 센서(110), 모션 센서(120) 및 프로세서(130)를 포함한다. 예를 들어, 자세 추정 장치(100)는 단일 프로세서, 또는 멀티 프로세서로 구현될 수 있다. 또는, 자세 추정 장치(100)는 서로 다른 장치에 포함된 복수의 모듈들로 구현될 수도 있다. 이 경우, 복수의 모듈들은 네트워크 등을 통하여 서로 연결될 수 있다. 자세 추정 장치(100)는 스마트 폰, 모바일 기기, 웨어러블 장치, 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 지능형 자동차, 텔레비전, 스마트 가전 기기, 자율주행 차량, 로봇 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.
비전 센서(110)는 자세 추정 장치(100)의 전경(foreground)을 촬영할 수 있다. 비전 센서(110)는 자세 추정 장치(100)의 전방에 위치하는 물체(140)를 촬영하여 영상을 생성할 수 있다.
예를 들어, 비전 센서(110)는 (i) 물체(140)로부터 수신되는 빛이 변하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성하는 이벤트 기반 비전 센서(event-based vision sensor) 및 (ii) 미리 정해진 초당 프레임 수에 따라 시간 동기적으로 물체(140)를 촬영하는 프레임 기반 비전 센서(frame-based vision sensor) 중 어느 하나일 수 있다. 이벤트 기반 비전 센서는 동적 비전 센서(dynamic vision sensor; DVS)를 포함할 수 있다. 프레임 기반 비전 센서는 CMOS 이미지 센서(CMOS Image Sensor; CIS)를 포함할 수 있다.
모션 센서(120)는 자세 추정 장치(100)의 움직임을 감지하여 모션 정보를 생성할 수 있다. 예를 들어, 모션 센서(120)는 관성 측정 유닛(Inertial Measurement Unit, IMU) 및 지자기센서를 포함하는 9축 센서로서, 자세 추정 장치(100)의 회전 각도에 대한 모션 정보를 출력할 수 있다. 또는, 모션 센서(120)는 AHRS(Attitude Heading Reference System)을 의미할 수도 있다.
프로세서(130)는 자세 추정 장치(100)의 자세를 추정한다. 프로세서(130)는 모션 센서(120)의 출력 값을 회전 성분으로 결정하고, 회전 성분 및 비전 센서(110)에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 변화량에 기초하여 이동 성분을 최적화하며, 회전 성분 및 최적화된 이동 성분을 자세 추정 값으로 출력한다.
프로세서(130)가 자세 추정 장치(100)의 자세를 추정하는 과정에 관련된 보다 상세한 사항들은 도 2 및 도 8을 참조하여 후술한다.
도 2는 일실시예에 따라 자세를 추정하는 과정을 설명하기 위한 도면이다.
도 2를 참고하면, 프로세서(130)는 관심점 추출부(210) 및 자세 추정부(220)를 포함할 수 있다.
관심점 추출부(210)는 비전 센서(110)로부터 수신한 영상에서 관심점을 추출할 수 있다. 관심점은 해당 영상에 포함된 특징(feature)을 나타낼 수 있는 포인트일 수 있다. 관심점 추출부(210)는 해당 기술 분야에서 이용되는 방법을 통해 영상으로부터 관심점을 추출할 수 있다. 일실시예에 따라서는 관심점 추출부(210)가 프로세서(130)에서 생략될 수도 있다.
자세 추정부(220)는 자세 추정 장치의 자세를 나타내는 자세 추정 값을 결정할 수 있다. 자세 추정 값은 자세 추정 장치의 자세를 이동 성분(221)과 회전 성분(222)으로 나타낼 수 있다. 이동 성분(221)은 x축, y축, z축 각각을 기준으로 자세 추정 장치(100)가 이동한 정도(예컨대, 이동 거리)에 대한 정보를 포함할 수 있다. 회전 성분(222)은 x축, y축, z축 각각을 기준으로 자세 추정 장치(100)가 회전한 정도(예컨대, 회전 각도)에 대한 정보를 포함할 수 있다.
자세 추정부(220)는 모션 센서(120)의 출력 값을 회전 성분(222)으로 결정할 수 있다. 자세 추정부(220)는 모션 센서(120)에서 출력된 자세 추정 장치의 회전 각도에 대한 모션 정보를 회전 성분(222)으로 결정할 수 있다.
또한, 자세 추정부(220)는 이동 성분(221)을 최적화함으로써, 자세 추정 장치의 이동 거리를 나타내는 이동 성분(221)을 결정할 수 있다. 이동 성분(221)의 최적화는 다음과 같이 수행될 수 있다.
자세 추정부(220)는 비전 센서(110)로부터 수신한 영상들로부터 초기 이동 성분을 추출할 수 있다. 그리고, 자세 추정부(220)는 초기 이동 성분과 회전 성분(222)에 기초하여 이동 성분의 변화량을 결정하고, 결정된 이동 성분의 변화량에 기초하여 기초 이동 성분으로부터 다음 단계의 이동 성분을 결정할 수 있다.
마찬가지로, 자세 추정부(220)는 다음 단계의 이동 성분과 회전 성분(222)를 이용하여 그 다음 단계의 이동 성분을 결정할 수 있다. 자세 추정부(220)는 이동 성분(221)에 대한 최적화가 종료될 때까지 이와 같은 과정을 반복해서 수행함으로써, 최적화된 이동 성분을 결정할 수 있다.
자세 추정부(220)는 다음과 같이 표현되는 측광도 오차(photometric error)를 최소로 하는 변환
Figure pat00001
을 결정함으로써, 이동 성분(221)을 최적화할 수 있다.
Figure pat00002
위의 수학식 1에서, E는 측광도 오차로서, 오차
Figure pat00003
의 제곱으로 표현되고, 변환
Figure pat00004
은 자세 추정 장치의 움직임에 의해 발생된 변환을 나타낼 수 있다.
Figure pat00005
은
Figure pat00006
에 대응하는 오차를 나타내고, I은 픽셀 값(예컨대, 픽셀 밝기)를 나타내고,
Figure pat00007
은 i번째 픽셀 위치를 나타내며,
Figure pat00008
은
Figure pat00009
가 변환
Figure pat00010
에 의해 변환된 픽셀 위치를 나타낸다. 그래서,
Figure pat00011
은 변환 전의
Figure pat00012
의 픽셀 값과 변환 후의
Figure pat00013
의 픽셀 값의 차이에 대한 제곱으로 표현될 수 있다. 자세 추정 장치의 움직임에 따른 변환
Figure pat00014
을 높은 정확도로 검출할수록,
Figure pat00015
의 크기가 작아지며 E가 최소값을 가질 수 있다.
일실시예에 따른 자세 추정부(220)는 가우스-뉴턴 방법(Gauss-Newton method) 또는 gradient descent 방법을 이용하여 측광도 오차를 최소로 하는 변환
Figure pat00016
을 결정할 수 있다. 이 때, 변환
Figure pat00017
은 다음과 같이 가우스-뉴턴 방법에 기초하여 결정될 수 있다.
Figure pat00018
위의 수학식 2에서,
Figure pat00019
은 변환
Figure pat00020
의 변화량으로서, 이동 성분의 변화량 및 회전 성분의 변화량을 포함할 수 있다.
Figure pat00021
은 오차
Figure pat00022
의 자코비안 행렬(Jacobian matrix)을 나타낼 수 있다.
자세 추정부(220)는 수학식 1 및 수학식 2에 기초하여 측광도 오차를 최소로 하는 변환
Figure pat00023
을 결정함으로써 이동 성분(221)이 최적화되는 동안 모션 센서(120)의 출력 값으로 회전 성분(222)을 일정하게 유지할 수 있다. 이를 위해, 자세 추정부(220)는
Figure pat00024
에 포함된 회전 성분의 변화량을 0으로 설정하거나 또는 자코비안 행렬
Figure pat00025
의 회전 성분을 0으로 설정할 수 있다.
이동 성분(221)에 대한 최적화가 종료된 경우, 자세 추정부(220)는 최적화된 이동 성분(221) 및 회전 성분(222)을 자세 추정 장치의 자세 추정 값으로 출력할 수 있다.
도 3은 일실시예에 따라 이동 성분을 최적화하는 과정을 설명하기 위한 도면이다.
자세 추정 장치는 최적화 문제(optimization problems)를 이용하여 측광도 오차를 최소로 하는 변환
Figure pat00026
를 결정할 수 있다. 자세 추정 장치는 이러한 과정을 통해 이동 성분을 최적화할 수 있다.
단계(310)에서, 자세 추정 장치는 초기 이동 성분 및 초기 회전 성분을 포함하는 초기 변환
Figure pat00027
을 결정할 수 있다. 자세 추정 장치는 비전 센서에 의해 촬영된 영상들로부터 초기 이동 성분을 추출하고, 모션 센서의 출력 값을 초기 회전 성분으로 결정할 수 있다. 도 3에서 자세 추정 장치에 의해 결정된 초기 이동 성분은 이동 성분 1로 표현되고, 초기 회전 성분은 회전 성분으로 표현될 수 있다.
자세 추정 장치는 단계 1(310)에서 결정된 회전 성분 및 이동 성분 1에 기초하여
Figure pat00028
(320)을 결정할 수 있다. 예를 들어, 자세 추정 장치는 가우스-뉴턴 방법을 이용하여 단계 1(310)의 회전 성분 및 이동 성분 1으로부터
Figure pat00029
(320)에 포함된 이동 성분의 변화량 1을 결정할 수 있다. 이 때, 자세 추정 장치는 단계 1(310)의 회전 성분의 값이 변하지 않도록, 단계 1(310)의 이동 성분 1 및 회전 성분과 무관하게 회전 성분의 변화량을 0으로 결정할 수 있다.
단계 2(330)에서, 자세 추정 장치는 단계 1(310)의 이동 성분 1 및 회전 성분에
Figure pat00030
(320)을 적용시킴으로써, 이동 성분 2 및 회전 성분을 결정할 수 있다. 예를 들어, 단계 2(330)의 이동 성분 2는 단계 1(310)의 이동 성분 1 및
Figure pat00031
(320)에 포함된 이동 성분의 변화량 1의 합으로 결정될 수 있다. 이 때,
Figure pat00032
(320)에 포함된 회전 성분의 변화량이 0이므로, 단계 2(330)의 회전 성분은 단계 1(310)의 회전 성분과 동일할 수 있다.
자세 추정 장치는 단계 2(330)의 이동 성분 2 및 회전 성분에 기초하여
Figure pat00033
(340)을 결정할 수 있다. 예를 들어, 자세 추정 장치는 가우스-뉴턴 방법을 이용하여 단계 2(330)의 이동 성분 2 및 회전 성분으로부터
Figure pat00034
(340)에 포함된 이동 성분의 변화량 2를 결정할 수 있다. 이 때, 자세 추정 장치는 단계 2(330)의 회전 성분의 값이 일정하게 유지되도록, 단계 2(330)의 이동 성분 2 및 회전 성분과 무관하게 회전 성분의 변화량을 0으로 결정할 수 있다.
단계 3(350)에서, 자세 추정 장치는 단계 2(330)의 이동 성분 2 및 회전 성분에
Figure pat00035
(340)를 적용시킴으로써, 이동 성분 3 및 회전 성분을 결정할 수 있다. 예를 들어, 단계 3(350)의 이동 성분 3은 단계 2(330)의 이동 성분 2 및
Figure pat00036
(340)에 포함된 이동 성분의 변화량 2의 합으로 결정될 수 있다. 이 때,
Figure pat00037
(340)에 포함된 회전 성분의 변화량이 0이므로, 단계 3(350)의 회전 성분은 단계 2(330)의 회전 성분과 동일할 수 있다.
다시 말해, 자세 추정 장치는 회전 성분 및 이전 단계의 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 결정된 이동 성분의 변화량에 기초하여 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분을 결정할 수 있다.
그리고, 이동 성분의 변화량에 기초하여 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분이 결정될 때마다, 자세 추정 장치는 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단할 수 있다.
예를 들어, 결정된 이동 성분의 변화량이 미리 정해진 임계 크기보다 작은 경우 또는 현재 단계에서 결정된 이동 성분 및 회전 성분에 대한 에러율이 이전 단계의 이동 성분 및 회전 성분에 대한 에러율보다 큰 경우, 자세 추정 장치는 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되지 않는 것으로 판단할 수 있다.
반대로 상술된 경우에 해당되지 않은 경우, 자세 추정 장치는 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는 것으로 판단하고, 계속해서 이동 성분에 대한 최적화를 수행할 수 있다.
도 3에 도시된 단계 N(360)에서, 자세 추정 장치는 단계 N-1의 이동 성분 N-1 및 회전 성분에
Figure pat00038
을 적용시킴으로써, 이동 성분 N 및 회전 성분을 결정할 수 있다. 이 때,
Figure pat00039
에 포함된 회전 성분의 변화량은 0이므로, 단계 N(360)의 회전 성분은 단계 N-1의 회전 성분과 동일할 수 있다.
그리고, 자세 추정 장치는 단계 N(360)의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단할 수 있다. 단계 N(360)의 이동 성분에 대한 추가적인 최적화가 요구되지 않는 것으로 판단된 경우, 자세 추정 장치는 단계 N(360)의 이동 성분 N 및 회전 성분을 자세 추정 값으로 출력할 수 있다.
도 4는 일실시예에 따른 자세 추정 방법을 나타낸 도면이다.
일실시예에 따른 자세 추정 방법은 자세 추정 장치에 구비된 프로세서에 의해 수행될 수 있다.
단계(410)에서, 자세 추정 장치는 모션 센서의 출력 값을 회전 성분으로 결정한다. 모션 센서는 자세 추정 장치의 움직임을 감지하고, 감지 결과를 출력할 수 있다. 모션 센서의 출력 값은 자세 추정 장치의 회전 각도에 대한 모션 정보를 포함할 수 있다.
일실시예에 따라 자세 추정 장치는 모션 센서의 출력 값에 대한 신뢰도, 모션 센서의 출력 값의 유무, 모션 센서의 초기화 상태(initialization condition)에 기초하여, 모션 센서의 출력 값을 회전 성분으로 결정할지 여부를 판단할 수 있다. 예를 들어, 모션 센서의 출력 값에 대한 신뢰도가 미리 정해진 임계확률보다 낮은 경우, 모션 센서의 출력 값이 없는 경우 및 모션 센서의 초기화 상태가 불완전한 경우 중 적어도 하나에 해당될 경우, 자세 추정 장치는 모션 센서의 출력 값을 회전 성분으로 결정하지 않는다. 모션 센서의 출력 값을 회전 성분으로 결정하지 않는 경우, 자세 추정 장치는 비전 센서에 의해 촬영된 영상들로부터 회전 성분을 추출할 수 있다.
단계(420)에서, 자세 추정 장치는 회전 성분 및 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 변화량에 기초하여 이동 성분을 최적화한다. 비전 센서는 자세 추정 장치에 내장되어 자세 추정 장치의 전경을 촬영할 수 있다.
이동 성분을 최적화하는 과정에 관련된 보다 상세한 사항들은 도 5을 참조하여 후술한다.
단계(430)에서, 자세 추정 장치는 회전 성분 및 최적화된 이동 성분을 자세 추정 값으로 출력한다.
도 5는 일실시예에 따라 최적화된 이동 성분을 결정하는 과정을 설명하기 위한 도면이다.
도 4에서 설명한 단계(420)는 아래의 단계들(510~540)을 포함할 수 있다.
단계(510)에서, 자세 추정 장치는 회전 성분 및 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정한다. 또는, 자세 추정 장치는 회전 성분 및 이전 단계의 이동 성분에 기초하여 이동 성분의 변화량을 결정할 수 있다.
단계(520)에서, 자세 추정 장치는 이동 성분의 변화량에 기초하여 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분을 결정할 수 있다. 예를 들어, 자세 추정 장치는 이동 성분의 변화량 및 이전 단계의 이동 성분의 합으로 현재 단계의 이동 성분을 결정할 수 있다.
단계(530)에서, 자세 추정 장치는 현재 단계의 이동 성분에 대한 최적화가 요구되는지 여부를 판단할 수 있다. 예를 들어, 자세 추정 장치는 이동 성분의 변화량이 미리 정해진 임계 크기보다 작은 경우 또는 현재 단계에서의 에러율이 이전 단계에서의 에러율보다 큰 경우에 추가적인 최적화가 요구되지 않는 것으로 판단할 수 있다.
현재 단계의 이동 성분에 대한 최적화가 요구되는 것으로 판단된 경우, 단계(510)에서 자세 추정 장치는 회전 성분 및 현재 단계의 이동 성분에 기초하여 이동 성분의 변화량을 결정할 수 있다.
현재 단계의 이동 성분에 대한 최적화가 요구되지 않는 것으로 판단된 경우, 단계(540)에서 자세 추정 장치는 현재 단계의 이동 성분을 최적화된 이동 성분으로 결정할 수 있다.
도 6은 일실시예에 따라 센서 퓨전 기법을 적용하여 퓨전 자세 추정 값을 결정하는 과정을 나타낸 도면이다.
도 6에서는 도 4에서 설명한 자세 추정 방법을 통해 결정된 자세 추정 값에 센서 퓨전 기법을 적용하는 예시가 도시된다.
설명의 편의를 위해, 도 4에서 설명한 자세 추정 방법을 통해 결정된 자세 추정 값을 제1 자세 추정 값이라 지칭하고, 단계(610)에서 결정된 자세 추정 값을 제2 자세 추정 값이라 지칭한다.
단계(610)에서, 자세 추정 장치는 모션 센서로부터 출력된 자세 추정 장치의 움직임에 대한 모션 정보에 기초하여 제2 자세 추정 값을 결정할 수 있다. 이 때, 자세 추정 장치의 움직임에 대한 모션 정보는 자세 추정 장치의 이동 거리 및 회전 각도에 대한 정보를 포함할 수 있다. 자세 추정 장치는 해당 기술 분야에서 일반적으로 사용되는 방법을 통해 자세 추정 장치의 움직임에 대한 모션 정보를 통해 제2 자세 추정 값을 결정할 수 있다.
단계(620)에서, 자세 추정 장치는 제1 자세 추정 값과 제2 자세 추정 값에 센서 퓨전 기법을 적용하여 퓨전 자세 추정 값을 결정할 수 있다. 여기서, 센서 퓨전 기법은 서로 다른 센서로부터 획득한 출력 값들을 결합함으로써 단일 센서의 출력 값보다 정확도가 향상된 결과 값을 도출하는 기법으로서, 예를 들어, 칼만 필터(Kalman filter)를 포함할 수 있다.
예를 들어, 자세 추정 장치는 칼만 필터를 이용하여 제1 자세 추정 값과 제2 자세 추정 값에 대한 신뢰도를 결정할 수 있고, 결정된 신뢰도에 따라 제1 자세 추정 값과 제2 자세 추정 값에 칼만 게인(Kalman gain)을 부여함으로써 퓨전 자세 추정 값을 결정할 수 있다. 자세 추정 장치는 칼만 필터를 이용함으로써, 제1 자세 추정 값과 제2 자세 추정 값으로부터 정확도가 향상된 퓨전 자세 추정 값을 결정할 수 있다.
도 7은 일실시예에 따른 움직임을 나타내는 자세 추정 장치에서 촬영된 영상을 나타낸 도면이다.
도 7에서는 설명의 편의를 위해 자세 추정 장치가 x축을 기준으로 이동하거나 y축을 기준으로 회전하는 움직임을 가지는 상황을 가정한다. 다시 말해, 자세 추정 장치의 움직임에는 x축으로의 이동 성분(Tx) 및 y축으로의 회전 성분(Ry)만이 존재하는 상황을 가정한다.
도 7에 도시된 경우(710)에는 자세 추정 장치의 움직임에 회전 성분(Ry)만이 존재하고, 경우(720)에는 자세 추정 장치의 움직임에 이동 성분(Tx)만이 존재하며, 경우(730)에는 자세 추정 장치의 움직임에 회전 성분(Ry)과 이동 성분(Tx)이 함께 존재할 수 있다.
실선으로 표시된 자세 추정 장치는 움직임이 발생되기 전의 상태를 나타내고, 이 때 촬영된 영상은 실선 박스를 통해 표시될 수 있다. 점선으로 표시된 자세 추정 장치는 움직임이 발생된 후의 상태를 나타내고, 이 때 촬영된 영상은 점선 박스를 통해 표시될 수 있다.
도 7에 도시된 바와 같이, 경우들(710, 720, 730)에서 자세 추정 장치는 서로 다른 움직임을 나타내고 있으나, 자세 추정 장치의 비전 센서에 의해 촬영된 영상들에서는 그 차이를 구분하기 어려울 수 있다. 그래서, 경우에 따라서는 자세 추정 장치가 회전 없이 x축을 기준으로 이동만 하였더라도, 자세 추정 장치는 회전 성분(Ry)을 포함한 자세 추정 값을 출력할 수도 있다.
도 8은 일실시예에 따라 탐색 공간(search space)에 기초하여 이동 성분의 최적화 과정을 설명하기 위한 도면이다.
탐색 공간(810, 820)은 자세 추정 장치의 움직임에 대한 이동 성분(Tx)과 회전 성분(Ry)을 그래프로 표현한 것이고, 탐색 공간 내의 수렴 영역(811, 821)(converging area)은 최적화 과정을 통해 이동 성분(Tx)과 회전 성분(Ry)이 수렴할 수 있는 영역을 나타낸다. 다시 말해, 수렴 영역(811, 821)은 최적화 문제에 대한 해 집합이라고 표현할 수 있다.
탐색 공간(810)에서는 회전 성분(Ry)을 제한하지 않은 경우의 수렴 영역(811)이 도시된다. 도 7에서 살펴본 바와 같이, 자세 추정 장치가 회전 없이 x축을 기준으로 이동하였더라도, 최적화 문제에 대한 목표 함수에 포함될 수 있는 오차로 인해 약간의 회전 성분(Ry)과 실제 이동 성분(Tx)보다 약간 부족한 이동 성분(Tx)이 자세 추정 값으로 결정될 수 있다. 다시 말해, 자세 추정 장치가 회전 없이 x축을 기준으로 이동하였더라도, 자세 추정 값에 회전 성분(Ry)이 포함될 수도 있다.
반면, 탐색 공간(820)에서는 회전 성분(Ry)을 모션 센서의 출력 값으로 제한한 경우의 수렴 영역(821)이 도시된다. 자세 추정 장치는 모션 센서의 출력 값을 회전 성분(Ry)으로 결정할 수 있다. 자세 추정 장치가 회전 없이 x축을 기준으로 이동한 경우, 회전 성분(Ry)은 모션 센서의 출력 값인 '0'으로 설정될 수 있다. 수렴 영역(821)은 회전 성분(Ry)을 제한하지 않은 경우의 수렴 영역(811)보다 작은 넓이를 가지고, 최적화 과정을 통해 이동 성분에 대해서만 최적화를 수행할 수 있다. 따라서, 회전 성분(Ry)을 모션 센서의 출력 값으로 제한한 경우, 최적화 과정을 통해 결정된 자세 추정 값은 높은 정확도를 가질 수 있다.
실시예들은 모션 센서의 출력 값을 회전 성분으로 결정하고 이동 성분에 대한 최적화를 수행함으로써, 자세 추정 장치에 대한 자세 추정 값을 높은 정확도로 결정할 수 있다.
실시예들은 모션 센서의 출력 값을 회전 성분으로 고정함으로써, 탐색 공간에서 수렴 영역의 넓이를 효과적으로 줄이고, 자세 추정 성능을 향상시킬 수 있다.
실시예들은 모션 센서의 출력 값인 회전 성분을 통해 결정된 자세 추정 값에 센서 퓨전 기법(예를 들어, 칼만 필터)를 적용시킴으로써, 자세 추정 장치에 대한 자세 추정 값의 정확도를 효과적으로 높일 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 자세 추정 장치가 수행하는 자세 추정 방법에 있어서,
    상기 자세 추정 장치의 움직임을 감지하는 모션 센서의 출력 값을 회전 성분으로 결정하는 단계;
    상기 회전 성분 및 상기 자세 추정 장치에 내장된 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 상기 변화량에 기초하여 상기 이동 성분을 최적화하는 단계; 및
    상기 회전 성분 및 상기 최적화된 이동 성분을 상기 자세 추정 장치의 자세 추정 값으로 출력하는 단계
    를 포함하는 자세 추정 방법.
  2. 제1항에 있어서,
    상기 모션 센서의 출력 값은,
    상기 자세 추정 장치의 회전 각도에 대한 모션 정보를 포함하는, 자세 추정 방법.
  3. 제1항에 있어서,
    상기 회전 성분은,
    상기 이동 성분이 최적화되는 동안 상기 모션 센서의 출력 값으로 일정하게 유지되는, 자세 추정 방법.
  4. 제1항에 있어서,
    상기 회전 성분의 변화량은 0으로 설정되거나 또는
    상기 이동 성분의 변화량을 결정할 때 이용되는 자코비안 행렬의 회전 성분은 0으로 설정되는, 자세 추정 방법.
  5. 제1항에 있어서,
    상기 이동 성분을 최적화하는 단계는,
    상기 회전 성분 및 이전 단계의 이동 성분에 기초하여 상기 이동 성분의 변화량을 결정하고, 상기 이동 성분의 변화량에 기초하여 상기 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분을 결정하는 단계;
    상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단하는 단계; 및
    상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되지 않는 경우, 상기 현재 단계의 이동 성분을 상기 최적화된 이동 성분으로 결정하는 단계
    를 포함하는, 자세 추정 방법.
  6. 제5항에 있어서,
    상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단하는 단계는,
    상기 이동 성분의 변화량이 미리 정해진 임계 크기보다 작은 경우 또는 상기 현재 단계에서의 에러율이 상기 이전 단계에서의 에러율보다 큰 경우에 상기 추가적인 최적화가 요구되지 않는 것으로 판단하는, 자세 추정 방법.
  7. 제1항에 있어서,
    상기 출력된 자세 추정 값; 및
    상기 모션 센서로부터 출력된 상기 자세 추정 장치의 움직임에 대한 모션 정보에 기초하여 결정된 상기 자세 추정 장치의 자세 추정 값에 대해 센서 퓨전 기법을 적용하여 상기 자세 추정 장치의 퓨전 자세 추정 값을 결정하는 단계
    를 더 포함하는, 자세 추정 방법.
  8. 제1항에 있어서,
    상기 모션 센서의 출력 값을 회전 성분으로 결정하는 단계는,
    상기 모션 센서의 출력 값에 대한 신뢰도, 상기 모션 센서의 출력 값의 유무, 상기 모션 센서의 초기화 상태 중 적어도 하나에 기초하여, 상기 모션 센서의 출력 값을 회전 성분으로 결정할지 여부를 판단하는 단계
    를 포함하는, 자세 추정 방법.
  9. 제1항에 있어서,
    상기 비전 센서는,
    물체로부터 수신되는 빛이 변하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성하는 이벤트 기반 비전 센서; 및
    미리 정해진 초당 프레임 수에 따라 시간 동기적으로 물체를 촬영하는 프레임 기반 비전 센서
    중 어느 하나인, 자세 추정 방법.
  10. 제1항에 있어서,
    상기 이동 성분은,
    x축, y축, z축을 기준으로 상기 자세 추정 장치의 이동 거리에 대한 정보를 포함하고,
    상기 회전 성분은,
    x축, y축, z축을 기준으로 상기 자세 추정 장치의 회전 각도에 대한 정보를 포함하는, 자세 추정 방법.
  11. 제1항 내지 제10항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  12. 자세 추정 장치에 있어서,
    상기 자세 추정 장치의 움직임을 감지하는 모션 센서;
    상기 자세 추정 장치의 전경을 촬영하는 비전 센서; 및
    상기 자세 추정 장치의 자세를 추정하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 모션 센서의 출력 값을 회전 성분으로 결정하고,
    상기 회전 성분 및 상기 비전 센서에 의해 촬영된 영상들로부터 추출된 이동 성분에 기초하여 이동 성분의 변화량을 결정하고, 상기 변화량에 기초하여 상기 이동 성분을 최적화하며,
    상기 회전 성분 및 상기 최적화된 이동 성분을 상기 자세 추정 장치의 자세 추정 값으로 출력하는, 자세 추정 장치.
  13. 제12항에 있어서,
    상기 모션 센서의 출력 값은,
    상기 자세 추정 장치의 회전 각도에 대한 모션 정보를 포함하는, 자세 추정 장치.
  14. 제12항에 있어서,
    상기 회전 성분은,
    상기 이동 성분이 최적화되는 동안 상기 모션 센서의 출력 값으로 일정하게 유지되는, 자세 추정 장치.
  15. 제12항에 있어서,
    상기 프로세서는,
    상기 회전 성분 및 이전 단계의 이동 성분에 기초하여 상기 이동 성분의 변화량을 결정하고, 상기 이동 성분의 변화량에 기초하여 상기 이전 단계의 이동 성분으로부터 현재 단계의 이동 성분을 결정하고,
    상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되는지 여부를 판단하며,
    상기 현재 단계의 이동 성분에 대한 추가적인 최적화가 요구되지 않는 경우, 상기 현재 단계의 이동 성분을 상기 최적화된 이동 성분으로 결정하는, 자세 추정 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 이동 성분의 변화량이 미리 정해진 임계 크기보다 작은 경우 또는 상기 현재 단계에서의 에러율이 상기 이전 단계에서의 에러율보다 큰 경우에 상기 추가적인 최적화가 요구되지 않는 것으로 판단하는, 자세 추정 장치.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 출력된 자세 추정 값; 및
    상기 모션 센서로부터 출력된 상기 자세 추정 장치의 움직임에 대한 모션 정보에 기초하여 결정된 상기 자세 추정 장치의 자세 추정 값에 대해 센서 퓨전 기법을 적용하여 상기 자세 추정 장치의 퓨전 자세 추정 값을 결정하는, 자세 추정 장치.
  18. 제12항에 있어서,
    상기 프로세서는,
    상기 모션 센서의 출력 값에 대한 신뢰도, 상기 모션 센서의 출력 값의 유무, 상기 모션 센서의 초기화 상태 중 적어도 하나에 기초하여, 상기 모션 센서의 출력 값을 회전 성분으로 결정할지 여부를 판단하는, 자세 추정 장치.
  19. 제12항에 있어서,
    상기 비전 센서는,
    물체로부터 수신되는 빛이 변하는 이벤트에 응답하여 시간 비동기적으로 이벤트 신호를 생성하는 이벤트 기반 비전 센서; 및
    미리 정해진 초당 프레임 수에 따라 시간 동기적으로 물체를 촬영하는 프레임 기반 비전 센서
    중 어느 하나인, 자세 추정 장치.
  20. 제12항에 있어서,
    상기 이동 성분은,
    x축, y축, z축을 기준으로 상기 자세 추정 장치의 이동 거리에 대한 정보를 포함하고,
    상기 회전 성분은,
    x축, y축, z축을 기준으로 상기 자세 추정 장치의 회전 각도에 대한 정보를 포함하는, 자세 추정 장치.
KR1020150155243A 2015-11-05 2015-11-05 자세 추정 방법 및 자세 추정 장치 KR102462799B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150155243A KR102462799B1 (ko) 2015-11-05 2015-11-05 자세 추정 방법 및 자세 추정 장치
US15/079,212 US10198824B2 (en) 2015-11-05 2016-03-24 Pose estimation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150155243A KR102462799B1 (ko) 2015-11-05 2015-11-05 자세 추정 방법 및 자세 추정 장치

Publications (2)

Publication Number Publication Date
KR20170053007A true KR20170053007A (ko) 2017-05-15
KR102462799B1 KR102462799B1 (ko) 2022-11-03

Family

ID=58667891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150155243A KR102462799B1 (ko) 2015-11-05 2015-11-05 자세 추정 방법 및 자세 추정 장치

Country Status (2)

Country Link
US (1) US10198824B2 (ko)
KR (1) KR102462799B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
KR20190034130A (ko) * 2017-09-22 2019-04-01 에스케이텔레콤 주식회사 지도 생성 장치 및 방법
CN113096188A (zh) * 2021-06-09 2021-07-09 之江实验室 一种基于高光像素检测的视觉里程计位姿优化方法
CN115526983A (zh) * 2022-03-30 2022-12-27 荣耀终端有限公司 一种三维重建方法及相关设备
KR102553895B1 (ko) * 2022-02-16 2023-07-07 광운대학교 산학협력단 Ar 렌더링 속도 제어를 위한 데이터 전송 속도 조절 방법, 이를 수행하는 시스템 및 컴퓨터 프로그램

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN107274368B (zh) * 2017-06-16 2019-11-22 大连交通大学 兼容性视觉处理系统及方法
CN107564012B (zh) * 2017-08-01 2020-02-28 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
US10529074B2 (en) 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US10812711B2 (en) * 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
CN108765563B (zh) * 2018-05-31 2022-05-10 北京百度网讯科技有限公司 基于ar的slam算法的处理方法、装置及设备
CN108646760B (zh) * 2018-07-11 2022-03-25 中国人民解放军火箭军工程大学 基于单目视觉移动机器人目标跟踪及平台控制系统和方法
JP7249919B2 (ja) * 2019-09-17 2023-03-31 株式会社東芝 推定装置、推定方法及びプログラム
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021180294A1 (en) * 2020-03-09 2021-09-16 Huawei Technologies Co., Ltd. Imaging device and method for efficient capture of stationary objects
CN112801077B (zh) * 2021-04-15 2021-11-05 智道网联科技(北京)有限公司 用于自动驾驶车辆的slam初始化的方法及相关装置
CN115689898A (zh) * 2021-07-29 2023-02-03 北京字跳网络技术有限公司 一种姿态估计方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2011238048A (ja) * 2010-05-11 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> 位置姿勢計測装置及び位置姿勢計測プログラム
JP2014216813A (ja) * 2013-04-25 2014-11-17 日本放送協会 カメラ姿勢推定装置及びそのプログラム
KR20150023720A (ko) * 2012-06-14 2015-03-05 퀄컴 인코포레이티드 비전 보조 관성 카메라 포즈 추정과 비전 기반 한정 카메라 포즈 추정 사이의 적응형 스위칭
KR20150096922A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010141A (ja) * 1998-06-26 2000-01-14 Ricoh Co Ltd 手振れ補正機能付きデジタルカメラ
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置
JP2005107247A (ja) * 2003-09-30 2005-04-21 Canon Inc 位置姿勢推定方法および装置
KR100580628B1 (ko) 2003-11-08 2006-05-16 삼성전자주식회사 이동물체의 진행방향 추정 방법 및 시스템
JP2005326275A (ja) * 2004-05-14 2005-11-24 Canon Inc 情報処理方法および装置
US7138979B2 (en) * 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
US7432496B1 (en) * 2007-07-27 2008-10-07 Mitotoyo Corporation Encoder scale writing or calibration at an end-use installation based on correlation sensing
JP4956456B2 (ja) * 2008-02-05 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US20100214118A1 (en) 2009-02-20 2010-08-26 Paul Losee System and method for tracking a person
US8797353B2 (en) * 2010-02-12 2014-08-05 Samsung Electronics Co., Ltd. Augmented media message
US8694051B2 (en) 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
US20130245984A1 (en) 2010-11-17 2013-09-19 Hillcrest Laboratories, Inc. Apparatuses and methods for magnetometer alignment calibration without prior knowledge of the local magnetic field
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
KR20130002663A (ko) 2011-06-29 2013-01-08 제주대학교 산학협력단 증강 현실 제공 시스템 및 방법
JP5855416B2 (ja) 2011-10-25 2016-02-09 Kddi株式会社 ３次元座標取得装置、カメラ姿勢推定装置、プログラム
KR101349347B1 (ko) 2012-05-22 2014-01-20 에이알비전 (주) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
KR101964861B1 (ko) * 2012-06-29 2019-04-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
KR101348855B1 (ko) 2012-10-30 2014-01-16 성균관대학교산학협력단 모션 센서를 이용한 탐색 영역을 감축하는 실시간 영상 안정화 방법, 장치 및 촬상 장치
US9251587B2 (en) 2013-04-05 2016-02-02 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
KR20140121581A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 수술 로봇 시스템
US9417689B1 (en) * 2013-05-17 2016-08-16 Amazon Technologies, Inc. Robust device motion detection
KR20160061729A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 촬영 장치 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2011238048A (ja) * 2010-05-11 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> 位置姿勢計測装置及び位置姿勢計測プログラム
KR20150023720A (ko) * 2012-06-14 2015-03-05 퀄컴 인코포레이티드 비전 보조 관성 카메라 포즈 추정과 비전 기반 한정 카메라 포즈 추정 사이의 적응형 스위칭
JP2014216813A (ja) * 2013-04-25 2014-11-17 日本放送協会 カメラ姿勢推定装置及びそのプログラム
KR20150096922A (ko) * 2014-02-17 2015-08-26 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
KR20190034130A (ko) * 2017-09-22 2019-04-01 에스케이텔레콤 주식회사 지도 생성 장치 및 방법
CN113096188A (zh) * 2021-06-09 2021-07-09 之江实验室 一种基于高光像素检测的视觉里程计位姿优化方法
KR102553895B1 (ko) * 2022-02-16 2023-07-07 광운대학교 산학협력단 Ar 렌더링 속도 제어를 위한 데이터 전송 속도 조절 방법, 이를 수행하는 시스템 및 컴퓨터 프로그램
CN115526983A (zh) * 2022-03-30 2022-12-27 荣耀终端有限公司 一种三维重建方法及相关设备

Also Published As

Publication number Publication date
US20170132794A1 (en) 2017-05-11
US10198824B2 (en) 2019-02-05
KR102462799B1 (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
KR102462799B1 (ko) 자세 추정 방법 및 자세 추정 장치
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
US11145083B2 (en) Image-based localization
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
EP3400507B1 (en) System and method for fault detection and recovery for concurrent odometry and mapping
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
KR20190042187A (ko) 깊이 값을 추정하는 방법 및 장치
US10890600B2 (en) Real-time visual-inertial motion tracking fault detection
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP2016504611A (ja) 地図作成と自己位置推定とのための複数のセンサの使用
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
TW202020723A (zh) 移動物體偵測系統及方法
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
KR20200037502A (ko) 포즈 정보를 출력하는 방법 및 장치
CN113587928B (zh) 导航方法、装置、电子设备、存储介质及计算机程序产品
JP7286310B2 (ja) オブジェクト検出のための画像からのクラッタ背景の除去
KR20210036574A (ko) 자세 추정 방법 및 장치
EP4181066A1 (en) Method and apparatus with pose estimation
KR20150050224A (ko) 비정상 배회 탐지 장치 및 방법
WO2023090213A1 (ja) 情報処理装置、情報処理方法及びプログラム
Nie et al. Real-Time Dense Visual Odometry for RGB-D Cameras
EP4207070A1 (en) Method and system for map target tracking
Kundra et al. Orientation estimation in modern wearables with visual feature tracking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant