KR20210028538A - 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법 - Google Patents

가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법 Download PDF

Info

Publication number
KR20210028538A
KR20210028538A KR1020190109786A KR20190109786A KR20210028538A KR 20210028538 A KR20210028538 A KR 20210028538A KR 1020190109786 A KR1020190109786 A KR 1020190109786A KR 20190109786 A KR20190109786 A KR 20190109786A KR 20210028538 A KR20210028538 A KR 20210028538A
Authority
KR
South Korea
Prior art keywords
tracking
imu
feature
features
image
Prior art date
Application number
KR1020190109786A
Other languages
English (en)
Inventor
손주형
파탄 아디 프라나야
곽진삼
윤지훈
Original Assignee
주식회사 윌러스표준기술연구소
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 윌러스표준기술연구소, 서울과학기술대학교 산학협력단 filed Critical 주식회사 윌러스표준기술연구소
Priority to KR1020190109786A priority Critical patent/KR20210028538A/ko
Publication of KR20210028538A publication Critical patent/KR20210028538A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

클라우드 VR 비디오 인코딩과 디코딩 프로세스에서 VR HMD의 IMU 센서 데이터를 이용하는 방법이 개시된다. IMU 데이터는 화면간 예측 프로세스에서 모션 서치 오버헤드를 줄여 클라우드 VR에서 비디오 인코딩 속도를 향상 시키기 위한 부가 정보로 사용될 수 있다. 비디오 인코딩 프로세스를 위한 IMU 데이터의 사용은 네 개 면에서 장점이 있다. 첫 째는 화면 간 참조 픽처 선택, 두 번째는 예측 방법(화면간 예측 또는 화면 내 예측)을 판단하는 방법, 세번 째는 시작 지점의 모션 서치를 판단하는 것이다. 또한, IMU는 디코딩 프로세스와 클라이언트 단에서 타임 워프를 향상시키기 위해 사용될 수 있다. IMU 데이터를 기반한 비디오 인코딩과 디코딩 가속은 클라우드 VR 전체의 서비스 품질과 성능을 향상 시킬 수 있다

Description

가상 현실에서 인사이드 아웃 트래킹을 위한 IMU 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법{Accelerated Vision-based Pose Estimation utilizing IMU sensor data for Inside-out Tracking in Virtual Reality}
인사이드 아웃 추적 방법은 가시광선 카메라를 사용하여 환경의 피쳐(feature)를 관찰하여 헤드 마운트 디스플레이(Head Mounted Display, HMD)의 포즈(pose) 추정을 계산한다. HMD가 움직일 때 센서는 실내의 위치를 재조정하고 가상 환경은 그에 따라 실시간으로 반응한다. 이러한 유형의 위치 추적은 환경에 마커를 배치하거나 배치하지 않고 구현할 수 있다.
위치 추적은 가상 현실 (Virtual Reality, VR)의 필수 구성 요소로, 몰입감과 존재감을 높이는 데 기여합니다. 환경 내에서 개체의 위치와 방향을 결정한다. VR에서는 사용자의 움직임을 가상 환경으로 변환할 수 있다. 고급 VR 헤드셋은 외부 카메라 또는 외부 마커를 사용하여 공간에서 사용자의 위치를 계산하고 이를 가상 환경으로 변환하며 모바일 VR 시스템에는 위치 추적이 없다.
인사이드-아웃 추적은 가상 현실 (VR) 기술, 특히 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 모션 컨트롤러 액세서리의 위치를 추적하는데 일반적으로 사용되는 위치 추적 방법이다. 공간에서 물체의 위치를 결정하는데 사용되는 카메라 또는 기타 센서의 위치에 따라 외부 추적과 차별화된다 (도 1). 인사이드 아웃 위치 추적에서 카메라 또는 센서는 HMD 장치에 있고 아웃 사이드 인은 센서가 고정된 위치에 배치된다. 아래는 아웃 사이드 인 트래킹 방식에 비해 인사이드 아웃의 장점과 한계이다.
장점
·이동성 및 휴대성 향상
·필요한 하드웨어 감소
·복잡한 보정 및 하드웨어 설정 없음
·방 규모 영역에 제한되지 않음
한계
·더 높은 계산 능력이 필요
·덜 정확하고 느린 추적 성능
·어두운 환경에서 덜 견고
·모든 계산 작업은 HMD 장치 자체에서 수행
인사이드 아웃 추적 접근법
인사이드 아웃 추적 방법은 가시 광선 카메라를 사용하여 환경의 피쳐(feature)를 관찰하여 HMD의 포즈(pose) 추정을 계산한다. HMD가 움직일 때 센서는 실내의 위치를 재조정하고 가상 환경은 그에 따라 실시간으로 반응한다. 이러한 유형의 위치 추적은 환경에 마커를 배치하거나 배치하지 않고 구현할 수 있다.
HMD에 설치된 카메라 (또는 기타 광학 센서)는 주변 환경의 피쳐를 관찰한다. 마커를 사용할 때 추적 시스템에서 쉽게 감지하고 특정 영역에 배치하도록 설계된다. 이러한 기준 마커에는 점, 사각형 및 원과 같은 기본 모양이 포함된다 (도 2). QR 코드는 추적 카메라의 기준점 역할을 하기 위해 외부 세계에 배치 할 수 있는 위치 마커의 예이다. 마커를 사용하는 경우 인사이드 아웃 시스템은 마커를 감지 할 수 있는 경우에만 작동한다.
마커없는(markerless) 인사이드 아웃 추적 (자연적 피쳐에 기반한 방법)은 원래 환경에 존재하는 독특한 특성을 사용하여 위치와 방향을 결정한다. 시스템의 알고리즘은 특정 이미지나 모양을 식별하고 이를 사용하여 공간에서 기기의 위치를 계산한다. 가속도계 및 자이로스코프의 데이터를 사용하여 위치 추적의 정밀도를 높일 수 있다.
마커없는 인사이드 아웃 추적
이미지 처리를 기반으로 한 마커없는 추적은 캡처된 이미지의 자연스러운 피쳐를 활용하여 VR HMD의 포즈를 추정한다. 먼저 현재 캡처된 이미지에서 피쳐를 추출한다. 그런 다음 현재 이미지의 피쳐와 초기 보정 과정에서 관찰된 참조 피쳐 목록 간의 대응 관계를 검색한다. 대응(Correspondenc)은 세상에서 같은 지점을 보여주는 서로 다른 이미지의 피쳐 쌍이다. 대응 검색은 현재 뷰(view)의 적어도 일부가 이전에 캡처 된 경우에만 성공할 수 있다.
마커없는 추적 접근 방식을 사용할 때 강도 또는 강도의 변화가 피쳐 선택 프로세스에 가장 큰 영향을 미친다. 선택한 피쳐가 다음 프레임에 다시 나타날지 여부는 알 수 없다. 이전 프레임에 해당 피쳐를 연결할 수 없으면 추적이 실패한다. 이 경우 프레임 간 HMD의 포즈(pose) 변화를 파악하는 것은 거의 불가능하다. 이를 극복하기 위해 많은 응용 프로그램에서 많은 기능을 사용한다. 이는 유용한 피쳐들을 충분히 가질 수 있는 확률이 높아지지만 동시에 계산 오버헤드가 증가한다.
마커없는 시스템의 주요 장점은 사용자에게 제공하는 자유와 향상된 이동성이다. 또 다른 장점은 마커없는 시스템이 폐색(Occulusion)을 겪지 않는다는 것이다. 이것은 사용자가 마커의 시야를 벗어날 때 마커 기반 추적에서 발생한다. 마지막으로, 마커없는 기술은 시스템에서 더 많은 이동성을 요구하기 때문에 마커없는 기술은 가상 현실에 필수적이다. 현재 마커없는 추적 시스템은 이미지 처리를 위해 더 높은 계산 능력이 필요하기 때문에 정확도와 지연 시간이 여전히 부족하다.
이미지 처리는 인사이드 아웃 추적에서 많은 계산 부담과 처리 시간이 걸리는 프로세스 중 하나이다. 이미지 처리의 속도와 성능은 가상 현실(Virtual Reality, VR) 시스템의 지연 시간을 줄이는 데 매우 중요하다. 따라서 인사이드 아웃 트래킹에는 총 지연 시간을 최소화하기 위해 빠르고 효율적인 이미지 처리 알고리즘이 여전히 필요하다.
인사이드 아웃 추적의 계산 비용을 개선하고 최소화하는 한 가지 솔루션은 VR 관련 정보를 활용하는 것이다. VR에서 관성 측정 장비(Inertial measurement unit, IMU)는 회전 추적을 수행하고 피치(pitch), 요(yaw) 및 롤(roll)의 회전 움직임을 측정하는 데 중요한 역할을 한다. 이 회전 운동 측정의 결과는 가상 세계에서 3D 개체를 변환하는 데 사용됩니다. 이 회전 운동은 사용자가 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 움직일 때 가상 세계에서 변화 또는 움직임을 만든다.
인사이드 아웃 추적 방법에서 IMU는 HMD 방향을 측정하는 데만 사용되는 반면 위치 추적은 카메라가 캡처 한 물체를 추적하여 시간에 따른 차이를 추정하여 수행된다. IMU 센서 데이터와 위치 추적을 수행하는 데 사용되는 카메라의 현재 방향 사이에는 상관 관계가 있어야한다. 따라서 이 사실의 상관 관계를 활용함으로써 IMU는 성능을 향상시키고 VR 시스템의 인사이드-아웃 추적에서 이미지 처리의 계산 비용을 최소화하기 위한 추가 정보로 사용될 수 있다.
인사이드 아웃 추적 방법은 관성 측정 장비(Inertial measurement unit, IMU) 기반 포즈(pose) 추정과 비전 기반 포즈 추정을 결합하여 가상 현실(Virtual Reality, VR) 헤드 마운트 디스플레이(Head Mounted Display, HMD)의 회전 및 위치를 각각 계산한다. 비전 기반 포즈 추정은 HMD의 위치 추적을 수행하기 위해 환경의 피쳐(feature)를 관찰하기 위해 카메라 및 이미지 처리를 활용한다. 먼저 현재 캡처 된 이미지에서 피쳐를 추출한다. 그런 다음 현재 이미지의 피쳐와 초기 보정 과정에서 관찰 된 참조 피쳐 목록 간의 대응 관계를 검색한다. 대응(Correspondence)은 실제 세상에서 같은 지점을 보여주는 서로 다른 이미지의 피쳐 쌍이다.
논의한 바와 같이 VR 시스템의 총 지연 시간을 줄이는 것이 매우 중요하지만, 비전 기반 포즈 추정은 많은 지연과 상당한 처리 오버 헤드를 유발하는 더 많은 처리를 요구한다. 비전 기반 포즈 추정에서 계산 부담을 유발하는 프로세스 중 하나는 대응 검색이다. IMU 센서의 HMD 방향 정보를 활용하여 인사이드 아웃 트래킹에서 이미지 처리의 성능을 최적화하고 계산 비용을 최소화 할 수 있는 솔루션을 제안한다.
인사이드 아웃 추적 시스템에 대한 IMU 데이터의 활용은 두 가지 개선 부분들로 구성된다:
1. 이미지 기능에 방향 할당,
2. 현재 추적된 이미지와 참조 피쳐 간의 대응 검색 범위를 결정.
·제안 솔루션은 VR에 대한 인사이드 아웃 추적 프로세스를 가속화한다.
·제안 솔루션은 더 많은 추적 기능을 사용하여 더 정확한 추적 결과를 제공한다..
·제안 솔루션은 소프트웨어 기반으로 기존 VR HMD에 적용이 가능하다.
·제안 솔루션은 이미지 처리 기반의 물체 인식을 사용하는 다른 사용 사례에도 적용될 수 있다.
도 1은 Inside-out과 Outside-in Tracking 접근 방식의 차이를 나타낸다.
도 2는 기점 마커의 예를 나타낸다.
도 3은 전체 솔루션 프로세스를 나타낸다.
도 4는 비전 기반 자세 추정을 위한 전체 절차를 나타낸다.
도 5는 128 개의 SIFT 기능 설명자를 나타낸다.
도 6은 IMU 기반 방향 할당을 나타낸다.
도 7은 Madgwick IMU 센서 융합 알고리즘을 나타낸다.
도 8은 중요 추적 검색 영역 (녹색)과 중요하지 않은 검색 영역을 나타낸다.
도 9는 카메라 시야와 IMU 방향 정보 간의 상관 관계를 나타낸다.
도 10은 IMU 기반 통신 검색을 나타낸다.
비전 기반 자세 추정 (Vision Based Pose Estimation)
물체 감지 및 인식은 컴퓨터 비전을 사용하여 수행 할 수 있으며, 이미지 또는 이미지 모음에서 물체가 감지된다. 인식 된 객체는 가상 현실(Virtual Reality, VR) 헤드 마운트 디스플레이(Head Mounted Display, HMD)의 포즈(pose)를 결정하기 위한 참조로 사용된다. 기본적으로 물체 감지는 모양 기반, 색상 기반 및 기능 기반의 세 가지 측면으로 분류 할 수 있다.
여기에서는 이미지에서 개체의 관심 지점을 찾아 유사한 장면의 다른 이미지에 있는 개체와 일치시키기 때문에 피쳐(feature) 기반 기술을 사용하기로 결정한다. 일반적으로 일치 항목을 찾는 것은 두 가지 작업을 해결해야하는 어려운 이미지 처리 문제이다. 첫 번째 작업은 관심 지점 또는 이미지의 피쳐를 감지하는 것이다. 피쳐는 이미지에서 고유한 요소이다. 대응 관계를 찾는 두 번째 작업은 피쳐 매칭(feature matching)이다.
피쳐 감지기 (Feature Detector)
피쳐는 이미지의 관심 지점입니다. 일반적으로 이러한 피쳐는 구체적인 의미가 없지만 대신 강도 측면에서 이미지 내에서 구별되는 지점이다. 마커없는(Markerless) 추적 응용 프로그램은 이미지의 피쳐를 자동으로 감지하여 추적 목적으로 사용한다.
피쳐로는 점 (차원 없음), 선과 모서리 (1 차원) 또는 세그먼트 (2 차원)가 있다. 차원은 계산의 복잡성에 영향을 준다. 차원이 높을수록 복잡성이 높아진다. 더 높은 차원의 피쳐를 설명하기 위해 더 많은 양의 값이 필요하기 때문이다. 같은 이유로 추적은 더 높은 차원의 기능을 사용할 때 더 정확하다. 피쳐에 대해 더 많이 알수록 서로 더 구별된다. 환경에 대해 더 많이 알수록 추정치는 더 정확하다.
이상적으로는 다양한 조명 조건(lighting condition)상의 다양한 시점에서 피쳐를 다시 관찰 할 수 있다. 이러한 속성을 피쳐 감지기의 반복성이라고 하며 이는 감지기의 가장 중요한 속성이다. 피쳐은 고유하고 서로 구별하기 쉬워야 한다.
또한 피쳐에 불변성이 있으면 유리합니다. 불변성은 특정 변환에서 특성의 독립성을 설명한다. 피쳐는 회전 또는 변환과 같은 변형에서도 불변할 수 있다. 예를 들어 가장자리의 길이는 이미지의 2D 회전에 따라 달라진다. 이미지 내에서 제한된 수의 피쳐들은 하나 또는 여러 변환에 대해 변하지 않으며 해당 정보 콘텐츠는 다른 피쳐들보다 높다.
일반적으로 피쳐 감지는 효율적이며 정확해야 한다. 이는 피쳐 감지가 마커없는 추적 시스템의 다른 모든 구성 요소에 영향을 미치기 때문이다. 따라서 부정확성은 전체 추적 프로세스의 성공을 위태롭게 한다.
피쳐 설명자 (Feature Descriptor)
피쳐 설명자는 이미지에서 해당 피쳐를 찾는 데 사용된다. 피쳐를 서로 비교할 수 있으려면 피쳐를 식별하고 설명하는 것이 필요하다. 피쳐 감지 알고리즘은 주변에서 눈에 띄는 피쳐로 픽셀을 선택한다. 이웃은 피쳐가 관찰 가능한 맥락을 나타낸다. 두 피쳐의 색상 값이 유사한 경우에도 여전히 세계의 다른 지점을 나타낼 수 있다. 그러나 색상 값과 해당 환경이 유사하면 동일한 점을 설명 할 수 있다. 따라서 지형지물에 대한 설명에는 주변 지역이 포함되어야 한다.
설명자라고 하는 벡터는 피쳐 및 그 이웃을 설명하는 값을 저장한다. 이러한 값을 계산하는 많은 접근 방식이 있으며 모두 가능한 한 많은 의미를 부여하려고 노력한다. 설명자의 유용성을 판단할 때 설명자가 독특하고 견고하며 필요한 만큼의 정보만 저장하는지 여부를 고려해야 한다. 설명자의 견고성은 노이즈 또는 변위의 영향을 쉽게 받는지 여부를 나타낸다.
SIFT는 피쳐 감지 및 설명에 가장 일반적으로 사용되는 방법이다. SIFT 기능은 회전 및 크기 조정에 불변한다. 객체의 SIFT 키포인트는 먼저 참조 이미지 세트에서 추출되어 데이터베이스에 저장된다. 새 이미지의 각 피쳐들을 데이터베이스와 개별적으로 비교하고 피쳐 벡터의 유클리드 거리를 기반으로 후보와 일치하는 피쳐를 찾아 객체를 새 이미지에서 인식한다.
SIFT 피쳐(SIFT Features)
SIFT 방법에서는 각 피쳐가 한 방향에 할당된다. 이것은 회전에 대한 불변성을 달성하는 핵심 단계 중 하나이다. 피쳐 설명자는 방향에 대해 상대적으로 표현 될 수 있으므로 이미지 회전에 대한 불변성을 얻을 수 있습니다. 먼저, 키포인트 스케일의 가우스 평활화 이미지 L (x, y, σ)을 가져온다. 모든 계산은 스케일 불변 방식으로 수행된다. 방향 할당은 각각 (1) 및 (2)를 사용하여 기울기 크기 및 방향 계산에 의해 계산됩니다.
Figure pat00001
(1)
Figure pat00002
(2)
키포인트를 찾기 위해 SIFT는 두 부분으로 구성된다. 첫째, 가우시안 차이(Difference of Gaussian, DoG) 이미지에서 최대/최소를 찾는다. 그런 다음 하위 픽셀의 최대/최소를 찾는다. 키포인트가 결정되면 방향 할당은 키포인트의 고유한 특징을 생성하는 한 가지 방법이다. 그 외에도 피쳐는 계산하기 쉽고 다른 키포인트와 비교할 때 상대적으로 관대해야 하며 두 개의 서로 다른 이미지를 비교할 때 정확히 동일하지 않아야 한다. 이를 위해 SIFT는 피쳐를 생성하는 여러 단계를 수행한다.
1. 키포인트 주변의 16x16 창을 선택하고 16x16 창을 4x4 창으로 나눈다. 따라서 각 키포인트에 대해 128 개의 기능 요소를 갖게 된다 (도 4).
2. 각 4x4 창 내에서 기울기 크기와 방향은 상기 식 (1) 및 (2)를 사용하여 계산된다. 이러한 방향 결과는 8-bin 히스토그램에 저장된다. 0-44도 범위의 방향은 첫 번째 빈에 추가된다. 45-89도는 다음 빈에 추가된다. 그리고 빈에 추가되는 양은 그라디언트의 크기에 따라 다르다.
3. 키포인트 주변의 모든 16개 픽셀에 대해 상기 단계가 수행되면 8개의 미리 결정된 빈으로 16개의 완전 임의의 방향이 생성된다. 따라서 키포인트의 전체 피쳐는 128개의 숫자이다. 128개의 숫자가 정의되면 제곱합의 제곱근(root of sum squares)으로 나누기 연산을 사용하여 정규화한다. 이 128개의 숫자가 "피쳐 벡터(feature vector)"를 형성한다. 이 키포인트는 피쳐 벡터로 고유하게 식별된다.
대응 검색(Correspondence Search)
다른 이미지의 두 피쳐가 3D 장면에서 동일한 지점을 표시하는 경우 이 쌍을 대응(Correspondence)이라고 한다. 마커없는 추적 응용 프로그램은 이전에 관찰 한 환경의 일부를 인식하려고 한다. 대응 검색은 피쳐를 다시 관찰하는 역할을 한다. 마커없는 추적 접근 방식은 현재 프레임에 있는 피쳐와 이전에 관찰된 피쳐 간의 대응을 검색한다. 대응 검색은 현재 보기의 적어도 일부가 이전에 캡처된 경우에만 성공할 수 있다.
대응은 3D 위치가 이미 알려진 경우 카메라의 포즈 계산에만 유용하다. 따라서 추적 응용 프로그램은 3D 위치가 할당된 위치와 그렇지 않은 위치에서 찾은 대응을 분할한다. 알려진 3D 위치와의 대응은 카메라의 포즈를 계산하는 알고리즘의 입력이다. 기능이 처음으로 다시 나타나는 경우 3D 위치를 사용할 수 없다. 이 상황에서 재구성 접근 방식은 대응 관계를 형성하는 피쳐가 감지 된 두 이미지에서 카메라의 포즈를 기반으로 3D 위치를 계산한다.
IMU 기반 객체 인식 (IMU-based Object Recognition)
피쳐 매칭 (Feature Matching)
현재 이미지 프레임 내에서 피쳐를 추출한 후 추출된 피쳐와 참조 피쳐를 비교해야 한다. 차 제곱합 (sum of squared differences, SSD)은 두 피쳐를 비교하는 가장 쉬운 방법 중 하나이다. 대응 검색이 n개의 요소로 구성된 피쳐 설명자 a와 피쳐 설명자 b를 비교하는 것으로 가정하면, 먼저 a에서 b를 뺀다. 그런 다음 결과 벡터의 모든 요소를 제곱한다. SSD는 이러한 제곱 요소를 합산한다. 방정식 (3)은 이러한 계산을 나타낸다. SSD의 결과가 0이거나 0에 가까우면 설명자는 매우 유사하다. 이 유사성은 대응점을 나타낸다. 이 제안된 아이디어는 SSD를 사용하여 간단하며 계산적으로 손쉬운 방법으로 두 측정 값을 비교하여 좋은 결과를 얻는다. SSD는 또한 효율성과 정확성의 균형을 잘 유지한다.
Figure pat00003
(3)
반면에 마커없는 추적 프로세스는 매우 큰 계산 오버 헤드를 생성한다. 카메라가 초당 24 프레임의 이미지를 캡처 할 수 있고 프레임 이미지에 n 개의 피쳐가 있는 경우 1 초 동안 24 x n SSD 반복이 필요하다. 또한 카메라에 수평 및 수직 시야각이 모두 90도인 경우 사용되는 참조 피쳐의 수는 프레임 (8 x n)에 있는 피쳐 수의 최소 8배이다. 따라서 매 초마다 최소 192n^2 반복이 필요하다. 또한 SIFT를 기능 설명자로 사용하면 각 피쳐는 128개의 요소를 가지는 벡터로 구성된다. 따라서 1초 동안 24,576n^2 회 반복된다.
IMU 기반 오리엔테이션 할당(IMU-based Orientation Assignment)
3.1.3 에 기반하여 방향 θ(x, y) 및 기울기 크기 m(x, y)는 픽셀 차이를 기반으로 추정된다. 이 접근 방식은 이미지 캡처 중에 발생하는 모션 블러 가능성으로 인해 실제 방향 정보를 결정하는 데 그다지 효과적이지 않고 정확도가 떨어진다. 앞서 언급했듯이 일반적으로 피쳐 감지는 효율적이라기 보다는 정확하다. 이는 피쳐 감지가 추적 시스템의 다른 모든 구성 요소에 영향을 미치기 때문이다. 따라서 부정확성은 전체 추적 프로세스의 성공을 위태롭게 한다.
모션 블러는 갑작스런 움직임과 같이 매우 빠른 움직임 중에 종종 발생한다. 이 모션 블러는 캡처된 이미지의 디테일 수준을 감소시킨다. 이로 인해 방향을 계산하는데 사용되는 픽셀이 발생하고 방향 할당 중 그래디언트 크기가 부정확해진다. 따라서 키포인트를 설명하기 위해 생성되는 피쳐 벡터에 상당한 영향을 미친다. 추적 프로세스 중에 잘못된 추적이 발생할 가능성이 매우 높기 때문에 기능 설명자의 부정확성은 매우 바람직하지 않다.
위에서 언급 한 문제를 기반으로 기능 설명자에 더 많은 관련 데이터를 추가해야한다. 관성 측정 장비(Inertial measurement unit, IMU) 센서로 측정한 전체 이미지 프레임의 실제 방향 정보는 좋은 후보 중 하나이다. VR 시스템에서 IMU는 회전 추적을 수행하는 데 중요한 역할을 한다. 현재의 회전 운동 측정 결과는 가상 세계에서만 3D 개체를 변환하는 데 사용된다. 앞서 설명한 바와 같이 물체 인식 과정을 위한 방향 정보의 필요성은 IMU 센서의 정보를 더 많이 활용할 수 있는 기회를 열었다. IMU 센서는 더 높은 정확도를 제공한다. 예를 들어 Oculus Rift HMD는 최대 1000Hz의 방향 정보를 생성 할 수 있다. 이는 현재 상용 카메라의 프레임 속도가 최대 60Hz에 불과하다는 점을 고려할 때 IMU 데이터가 더 정확하고 정확한 방향 정보를 제공 할 수 있음을 나타낸다. 또한 IMU에서 제공하는 방향 정보를 사용하여 CPU 부하를 유발할 수 있는 추가 컴퓨팅을 수행 할 필요가 없다.
IMU 기반 대응 검색 (IMU-based Correspondence Search)
관성 측정 장비(IMU)는 가속도계, 자이로 스코프 및 자력계로 구성된 전자 센서이다. 장치의 각속도, 가속도계 및 중력을 측정한다. Sebastian Madgwick은 Kalman 기반 접근법과 관련된 계산 부하 및 복잡성 문제를 해결하는 효율적인 방향 필터 알고리즘을 개발했다. 전체 알고리즘 프로세스는 도 6에 개시된다.
일반적으로 알고리즘에는 세 가지 주요 프로세스가 있다. 첫 번째 프로세스는 자이로 스코프
Figure pat00004
측정 결과의 각도 속도를 활용하는 쿼터니언 미분 적분을 사용하여 방향을 계산하는 것이다. 두 번째 프로세스는 가속도계
Figure pat00005
및 자력계
Figure pat00006
의 측정 결과를 입력으로 결합하여 경사 하강법 알고리즘을 사용하여 방향을 추정하는 것이다. 첫 번째 및 두 번째 프로세스는 각각 지구 프레임(earth frame)
Figure pat00007
및
Figure pat00008
에 대한 센서 프레임의 두 가지 방향 추정을 생성합니다. 마지막으로 필터 융합 알고리즘을 사용하여 이전 두 프로세스의 예상 방향 결과를 융합하여 최적의 예상 방향
Figure pat00009
을 계산한다. 이 계산이 끝나면 세 가지 회전 방향 (3 개의 오일러 각도) 구성 요소가 생성된다.
a. 피치(Pitch) - x 축을 중심으로 회전, 앞뒤로 기울임
b. 요(Yaw) - Y 축을 중심으로 회전, 좌우 이동
c. 롤(Roll) - z 축을 중심으로 시계 방향 또는 시계 반대 방향으로 회전
위에서 설명한 것처럼 IMU 방향 정보는 현재 HMD가 위쪽을 향하고 있음을 나타낸다. 인사이드 아웃 추적은 카메라를 사용하여 위치 추적을 수행한다. 도 7에 나타난 바와 같이, 카메라로 캡처 한 이미지는 현재 HMD 방향과 카메라의 시야(field of view, FoV)에 따라 크게 달라진다. 현재 HMD 방향은 HMD가 향하는 위치를 표시하고 시야는 이미지를 캡처 할 카메라의 범위를 표시한다. 이 사실을 바탕으로 카메라로 촬영 한 이미지는 사용자 주변 환경의 일부만을 차지하는 것이라고 결론 내릴 수 있다. 그러나 3.2.1에서 설명한 바와 같이 현재 인사이드-아웃 추적 솔루션은 현재 캡쳐된 이미지 프레임과 존재하는 모든 참조 프레임 간의 대응 검색을 찾는다. 그리고 이것은 매우 높은 계산 부하를 초래한다.
제안된 솔루션은 카메라로 캡처 한 이미지가 IMU 방향과 상관 관계가 있다는 사실을 활용한다. 이를 통해 대응 검색에 대한 계산 부담을 줄임으로써 인사이드 아웃 추적 시스템의 성능을 향상시킬 수 있다. 카메라의 수평 및 수직 시야 (FoVH 및 FoVV)의 값과 현재 IMU 방향 정보를 알고 있다면 도 8과 같이 내부 추적에 사용되는 카메라 범위를 나타낼 수 있다.
계산 부담을 줄이기 위해 대응 검색의 검색 영역/경계를 제한한다. 먼저 현재 IMU 방향 정보는 HMD가 향하는 방향과 평행한 각도 (도 단위)라고 가정한다. 이 방향 정보에는 요, 피치 및 롤 각도의 세 가지 구성 요소가 있다. 수평 검색 경계의 경우 요 성분 (qcurr)과 수평 FoV를 사용하여 대응 검색 한계 (qL 및 qR)를 결정한다. 수직 경계의 경우 피치 및 수직 FoV 구성 요소를 사용하여
Figure pat00010
및
Figure pat00011
의 한계를 결정한다. 수평 및 수직 대응 검색 경계를 계산하는 계산은 각각 (4) 및 (5)에서 볼 수 있습니다.
수평 검색 범위 결정 (4)
Figure pat00012
Figure pat00013
수직 검색 범위 결정 (5)
Figure pat00014
Figure pat00015
수직 및 수평 모두에 대한 대응 검색 경계를 획득 한 후, 현재 이미지에서 추출된 피쳐와 참조 피쳐 목록 사이에서 대응 검색 프로세스가 수행된다. IMU 기반 방향 할당에 대한 섹션에서 설명했듯이 참조 기능 목록의 피쳐는 생성 될 때 방향 정보와 연결된다. 따라서 이 방법을 사용하면 이전 단계에서 계산된 검색 경계를 기반으로 대응 검색을 축소할 수 있다.
IMU 기반 대응 검색은 정보 방향이 검색 경계에 있는 참조 기능 목록만을 기반으로 객체 인식을 위한 SSD 작업 만 수행합니다. 모든 128 개 요소 SIFT 기능을 반복하기 전에 먼저 참조 기능 방향 정보를 확인합니다. 참조 피쳐가 소유한 방향 정보가 대응 검색 범위에 있는 경우 참조 피쳐는 현재 이미지 프레임의 대응 후보이며 그 반대의 경우도 마찬가지입니다 (도 10).
이 방법은 분명히 대응을 검색할 때 계산 부담을 줄일 수 있다. 3.2.1에서 카메라에 수평 및 수직 시야각이 모두 90 도인 경우 사용되는 참조 피쳐 수가 프레임에 있는 피쳐 수 (8 x n)의 최소 8 배라고 설명하였다. 그러나 이 접근 방식을 사용하면 검색 경계 (1 x n) 내에 있는 참조 피쳐만 고려하게 된다. 검색 경계를 벗어난 참조 목록은 카메라 시야 밖에 있기 때문에 현재 이미지 프레임에 존재하지 않는다. 따라서 제안된 방법은 VR 시스템의 인사이드 아웃 트래킹에서 대응 검색의 계산 비용을 8 배정도 줄일 수 있다.

Claims (1)

  1. 가상 현실에 있어서 인사이드-아웃 추적을 위해 IMU 센서 데이터를 활용한 가속 비전 기반 포즈 추정 방법.
KR1020190109786A 2019-09-04 2019-09-04 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법 KR20210028538A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190109786A KR20210028538A (ko) 2019-09-04 2019-09-04 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190109786A KR20210028538A (ko) 2019-09-04 2019-09-04 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법

Publications (1)

Publication Number Publication Date
KR20210028538A true KR20210028538A (ko) 2021-03-12

Family

ID=75177504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190109786A KR20210028538A (ko) 2019-09-04 2019-09-04 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법

Country Status (1)

Country Link
KR (1) KR20210028538A (ko)

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN110411441B (zh) 用于多模态映射和定位的系统和方法
US9330471B2 (en) Camera aided motion direction and speed estimation
JP6464934B2 (ja) カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
WO2017164479A1 (en) A device and method for determining a pose of a camera
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111382613B (zh) 图像处理方法、装置、设备和介质
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
TWI640931B (zh) 影像目標追蹤方法及裝置
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
JP2018112790A (ja) 情報処理装置およびその制御方法、プログラム
EP4066162A1 (en) System and method for correspondence map determination
JP2010157093A (ja) 運動推定装置及びプログラム
JP2014216813A (ja) カメラ姿勢推定装置及びそのプログラム
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
JP4935769B2 (ja) 平面領域推定装置及びプログラム
Barath et al. A Large-Scale Homography Benchmark
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6810442B2 (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
KR20210028538A (ko) 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법
JP2015149675A (ja) カメラパラメータ推定装置及びカメラパラメータ推定プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal