KR102207838B1 - 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 - Google Patents

하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 Download PDF

Info

Publication number
KR102207838B1
KR102207838B1 KR1020140002017A KR20140002017A KR102207838B1 KR 102207838 B1 KR102207838 B1 KR 102207838B1 KR 1020140002017 A KR1020140002017 A KR 1020140002017A KR 20140002017 A KR20140002017 A KR 20140002017A KR 102207838 B1 KR102207838 B1 KR 102207838B1
Authority
KR
South Korea
Prior art keywords
sensor
pose
stereo camera
image
stereo
Prior art date
Application number
KR1020140002017A
Other languages
English (en)
Other versions
KR20150081975A (ko
Inventor
김용선
김혜미
김진호
김항기
조현우
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140002017A priority Critical patent/KR102207838B1/ko
Publication of KR20150081975A publication Critical patent/KR20150081975A/ko
Application granted granted Critical
Publication of KR102207838B1 publication Critical patent/KR102207838B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 하이브리드 센서를 이용하여 착용형 디스플레이 장치의 자세를 예측하는 기술에 관한 것이다. 본 발명의 일 측면에 따르면, 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 스테레오 카메라/센서 보정부, 상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 삼차원 특징맵 생성부, 상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 영상 기반 포즈 계산부, 상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 영상/센서 기반 포즈 최적화부, 및 상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 삼차원 특징맵 업데이트부를 포함하되, 상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치가 제공된다.

Description

하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치{Apparatus for pose estimation of wearable display device using hybrid sensors}
본 발명은 하이브리드 센서를 이용하여 착용형 디스플레이 장치의 자세를 예측하는 기술에 관한 것이다.
기존의 착용형 디스플레이는 Head mounted display(HMD)나 구글 글라스가 대표적이다. 그 중 see-close HMD는 주로 게임에 활용되고 있으며 게임의 가시화를 위하여 장치에 내장된 자이로 센서, 가속도 센서, 지자기 센서의 정보를 이용한다. 이런 센서 값은 속도나 가속도 정보의 이용으로 인해 위치, 회전 값에 오차가 누적되는 문제가 있다. See-through HMD나 구글 글라스는 가상의 정보를 실제 물체에 중첩하여 가시화하는 증강현실을 최종 목적으로 하고 있으나 이를 위해 필요한 정합 기술은 아직 연구 단계에 있다. 특히 정합을 위해 HMD의 자세 정보를 정확히 예측할 필요가 있다. 기존의 연구는 카메라를 이용하여 사용자의 시선을 추적하는데, 영상 내 특징점이 일정 수준 이상 추출되지 않는 경우에 자세 예측이 부정확한 문제점이 있다.
한국 특허출원번호 제10-2006-0025209호 한국 특허출원번호 제10-2009-0023930호 한국 특허출원번호 제10-2009-0069066호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 스테레오 카메라, 자이로 센서, 가속도 센서, 지자기 센서 등 다양한 센서를 이용하여 착용형 디스플레이 장치의 자세를 정확하고 신뢰성 있게 예측하는 것으로, Head mounted display(HMD)나 안경형 디스플레이 장치를 이용하여 가상의 정보를 가시화하거나 인터페이스, 인터랙션 등에 필요한 증강현실의 정합을 위한 자세 정보를 제공하고자 한다.
본 발명의 일 측면에 따르면, 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 스테레오 카메라/센서 보정부, 상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 삼차원 특징맵 생성부, 상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 영상 기반 포즈 계산부, 상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 영상/센서 기반 포즈 최적화부, 및 상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 삼차원 특징맵 업데이트부를 포함하되, 상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치가 제공된다.
본 발명에 따르면, 착용형 디스플레이 장치의 자세를 하이브리드 센서를 이용하여 예측할 수 있다. 따라서 사용자가 착용형 디스플레이를 착용하는 가상현실이나 증강현실 콘텐츠의 가시화, 인터페이스 및 인터랙션에 필수 요소인 가상 물체와 실제 물체의 정합을 할 수 있게 된다. 특히 본 발명은 다양한 센서를 활용함으로써 정확하고 신뢰도 높은 자세 예측이 가능하도록 한다.
이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 의 구성을 나타낸 블록도이다.
도 2는 도 1의 스테레오 카메라/센서 보정부의 구성을 나타낸 블록도이다.
도 3은 도 1의 삼차원 특징맵 생성부의 구성을 나타낸 블록도이다.
도 4는 도 1의 영상 기반 포즈 계산부의 구성을 나타낸 블록도이다.
도 5는 도 1의 영상/센서 기반 포즈 최적화부의 구성을 나타낸 블록도이다.
도 6은 도 1의 삼차원 특징맵 업데이트부의 구성을 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치의 구성을 나타낸 블록도이다.
하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치는 스테레오 카메라/센서 보정부(100), 삼차원 특징맵 생성부(200), 영상 기반 포즈 계산부(300), 영상/센서 기반 포즈 최적화부(400), 삼차원 특징맵 업데이트부(500)를 포함한다. 착용형 디스플레이 장치에 장착된 하이브리드 센서는, 예를 들어, 스테레오 카메라, 자이로 센서, 가속도 센서, 지자기 센서 등일 수 있다. 자이로 센서는 착용형 디스플레이 장치의 회전각을 제공하며, 지자기 센서는 좌표 축을 위한 지자기 방향을 제공하며, 가속도 센서는 착용형 디스플레이 장치가 움직이는 방향으로의 가속도를 제공한다. 본 실시예에서 자이로 센서, 가속도 센서, 지자기 센서를 "센서"로 총칭한다.
스테레오 카메라/센서 보정부(100)는 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출한다.
삼차원 특징맵 생성부(200)는 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상으로부터 삼차원 특징맵을 생성한다.
영상 기반 포즈 계산부(300)는 삼차원 특징맵을 이용하여 스테레오 영상으로부터 스테레오 카메라의 포즈를 구한다.
영상/센서 기반 포즈 최적화부(400)는 스테레오 영상을 이용하여 구한 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 이를 최적화한다.
삼차원 특징맵 업데이트부(500)는 새로운 포즈에 대해 구해진 삼차원 특징맵을 저장된 삼차원 특징맵과 정합하여 업데이트 한다.
도 2는 도 1의 스테레오 카메라/센서 보정부의 구성을 나타낸 블록도이다. 도 2를 참조하면, 스테레오 카메라/센서 보정부(100)는 스테레오 영상 분석부(110), 스테레오 카메라 보정부(120), 및 영상-센서간 좌표 변환부(130)를 포함한다.
스테레오 영상 분석부(110)는 착용형 디스플레이 장치에 장착된 스테레오 카메라를 이용하여 다양한 자세로 획득된 스테레오 영상을 분석한다. 즉, 스테레오 영상 분석부(110)는 획득한 스테레오 영상의 특징점을 패턴과 비교하고 대응점을 추출한다. 여기서 추출된 특징점은 하나 이상일 수 있으며, 스테레오 영상 분석부(110)에서 사용되는 알고리즘은 공지되어 있는 임의의 스테레오 영상 분석 알고리즘이 사용될 수 있다.
스테레오 카메라 보정부(120)는 추출한 대응점을 이용하여 스테레오 카메라 보정 파라미터를 구한다. 여기서, 스테레오 카메라 보정부(120)에서 사용하는 스테레오 카메라 보정 알고리즘은 공지되어 있는 임의의 알고리즘이 사용될 수 있다.
영상-센서간 좌표 변환부(130)는 회전 및 이동을 이용하여 영상-센서 간 좌표 변환 행렬을 구한다. 스테레오 카메라와 센서는 물리적으로 떨어져 있을 수 있으므로, 영상-센서간 좌표 변환부(130)는 영상-센서간 좌표 변환을 통해 하나의 좌표계로 나타낸다.
도 3은 도 1의 삼차원 특징맵 생성부의 구성을 나타낸 블록도이다. 도 3을 참조하면, 삼차원 특징맵 생성부(200)는 스테레오 영상 입력부(210), 특징 추출부(220), 스테레오 대응점 계산부(230), 삼차원 복원부(240), 및 삼차원 특징맵 저장부(250)를 포함한다.
스테레오 영상 입력부(210)는 스테레오 카메라/센서 보정부(100)에 의해 산출된 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상의 왜곡을 보상해주고 렉티피케이션(rectification)을 수행한다.
특징 추출부(220)는 스테레오 영상 입력부(210)로부터 출력된 각각의 스테레오 영상에서 특징점과 그 주변의 특징영역을 추출한다. 여기서, 특징점 및/또는 특징영역은 하나 이상일 수 있다.
스테레오 대응점 계산부(230)는 추출된 특징점과 그 주변의 특징영역을 이용하여 각 스테레오 영상 간 특징점의 대응관계를 산출한다.
삼차원 복원부(240)는, 예를 들어, 삼각법을 이용하여 특징점 및/또는 특징영역의 삼차원 좌표 정보를 복원한다.
삼차원 특징맵 저장부(250)는 삼차원 복원부(240)에 의해 복원된 삼차원 좌표, 스테레오 대응점 계산부(230)에 의해 추출된 영상의 특징점 및 특징영역을 포함하는 삼차원 특징맵을 저장한다.
도 4는 도 1의 영상 기반 포즈 계산부의 구성을 나타낸 블록도이다. 도 4를 참조하면, 영상 기반 포즈 계산부(300)는 영상 입력부(310), 특징 추출부(320), 특징 선별부(330), 삼차원 특징맵 대응점 계산부(340), 카메라 포즈 계산부(350)를 포함한다.
영상 입력부(310)는 스테레오 영상의 왜곡을 보상하고 렉티피케이션을 수행한다.
특징 추출부(320)는 영상 입력부(310)로부터 출력된 스테레오 영상에서 특징점을 추출한다.
특징 선별부(330)는 특징 추출부(320)로부터 출력된 각 스테레오 영상 내 특징점 중에서 임의로 움직이는 물체로부터 추출된 특징점은 제외하고 착용형 디스플레이 장치의 움직임에 따라 영상 내에서 전역적인 움직임으로 나타나는 특징점만을 선별한다.
삼차원 특징맵 대응점 계산부(340)는 선별된 각 스테레오 영상 내 특징점에 대해 삼차원 특징맵에 포함된 특징점과 비교하여 대응관계를 구한다.
카메라 포즈 계산부(350)는 삼차원 특징맵 대응점 계산부(340)에 의해 생성된 대응관계로부터 각 스테레오 카메라의 포즈를 계산한다.
도 5는 도 1의 영상/센서 기반 포즈 최적화부의 구성을 나타낸 블록도이다. 도 5를 참조하면, 영상/센서 기반 포즈 최적화부(400)는 공간차 영상 포즈 분석부(410), 시간차 영상 포즈 분석부(420), 센서값 기반 포즈 정제부(430), 및 포즈 정보 저장부(440)를 포함한다.
공간차 영상 포즈 분석부(410)는 공간차를 이용하여 스테레오 카메라의 포즈 예측에 오류가 있는지를 판단한다. 스테레오 카메라 시스템에서 각각의 카메라 위치는 상대적으로 고정되어 있다. 따라서 스테레오 영상 각각에 대하여 구한 스테레오 카메라 포즈의 차이는 상대적인 포즈 값으로 항상 일정해야 한다. 공간차 영상 포즈 분석부(410)는 이를 이용하여 공간차 영상 포즈를 분석한다.
시간차 영상 포즈 분석부(420)는 시간차를 이용하여 스테레오 카메라의 포즈 예측에 오류가 있는지를 판단한다. 즉, 시간차 영상 포즈 분석부(420)는 착용형 디스플레이 장치를 착용한 사용자의 움직임의 속도를 미리 정의하여 이를 초과하는 움직임에 대해서는 포즈의 예측에 오류가 있다고 판단할 수 있다.
센서값 기반 포즈 정제부(430)는 영상 포즈의 분석에서 오류가 발견된 경우에 센서 값을 이용하여 포즈 값을 보간하여 오류 값을 보상해 준다. 또한 분석 과정에서 오류가 발견되지 않은 경우에는 센서값을 초기값으로 하여 장치의 포즈를 반복적으로 최적화하는 과정을 거쳐 정확한 포즈를 구한다.
포즈 정보 저장부(440)는 이렇게 구한 착용형 디스플레이 장치의 포즈 정보는 저장한다.
도 6은 도 1의 삼차원 특징맵 업데이트부의 구성을 나타낸 블록도이다. 도 6을 참조하면, 삼차원 특징맵 업데이트부(500)는 스테레오 영상 입력부(510), 특징 추출부(520), 스테레오 대응점 계산부(530), 삼차원 복원부(540), 삼차원 특징맵 정합부(550), 및 삼차원 특징맵 저장부(570)를 포함한다.
착용형 디스플레이 장치의 포즈가 달라진 경우 삼차원 특징맵을 업데이트 함으로써 지속적으로 정확한 포즈의 예측이 가능하게 된다. 삼차원 특징맵 업데이트부(500)는 삼차원 특징맵 정합을 통하여 좌표계가 일치된 삼차원 특징맵을 추가하여 저장한다.
스테레오 영상 입력부(510)는 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상의 왜곡을 보상해주고 렉티피케이션을 수행한다.
특징 추출부(520)는 스테레오 영상 입력부(510)로부터 출력된 스테레오 영상에서 특징점을 추출한다.
스테레오 대응점 계산부(530)는 추출된 특징점과 그 주변의 특징영역을 이용하여 각 스테레오 영상 간 특징점의 대응관계를 산출한다.
삼차원 복원부(540)는 삼각법을 이용하여 특징점 및/또는 특징영역의 삼차원 좌표 정보를 복원한다.
삼차원 특징맵 정합부(550)는 새로운 포즈에 대해 구해진 삼차원 특징맵을 기존에 저장되어 있는 삼차원 특징맵(560)과 정합한다.
삼차원 특징맵 저장부(570)는 정합된 삼차원 특징맵을 저장한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 스테레오 카메라/센서 보정부
200: 삼차원 특징맵 생성부
300: 영상 기반 포즈 계산부
400: 영상/센서 기반 포즈 최적화부
500: 삼차원 특징맵 업데이트부

Claims (10)

  1. 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 스테레오 카메라/센서 보정부;
    상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 삼차원 특징맵 생성부;
    상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 영상 기반 포즈 계산부;
    상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 영상/센서 기반 포즈 최적화부; 및
    상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 삼차원 특징맵 업데이트부를 포함하되,
    상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하고,
    상기 영상 기반 포즈 계산부는
    상기 스테레오 영상 내 특징점 중에서 움직이는 물체로부터 추출된 특징점은 제외하고 상기 스테레오 카메라의 움직임에 따라 영상 내에서 전역적인 움직임으로 나타나는 전역 특징점을 선별하고,
    상기 전역 특징점에 대해 상기 삼차원 특징맵에 포함된 특징점과 비교하여 대응관계를 산출하고,
    상기 대응관계로부터 상기 스테레오 카메라의 포즈를 계산하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.
  2. 청구항 1에 있어서,
    상기 스테레오 카메라/센서 보정부는
    상기 스테레오 영상의 특징점을 패턴과 비교하여 대응점을 추출하고, 추출한 대응점을 이용하여 상기 스테레오 카메라 보정 파라미터를 구하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.
  3. 청구항 2에 있어서,
    상기 스테레오 카메라/센서 보정부는
    회전 및 이동을 이용하여 영상-센서간 좌표 변환을 통해 상기 스테레오 카메라 보정 파라미터를 상기 하나의 좌표계로 나타내는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.
  4. 청구항 1에 있어서,
    상기 영상/센서 기반 포즈 최적화부는
    상기 스테레오 영상에 대한 상기 스테레오 카메라의 포즈의 공간차와 시간차의 오류를 분석하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.
  5. 청구항 4에 있어서,
    상기 영상/센서 기반 포즈 최적화부는
    상기 스테레오 카메라의 포즈의 오류가 발견된 경우, 상기 센서값을 이용하여 포즈를 보간하고,
    상기 스테레오 카메라의 포즈의 오류가 발견되지 않는 경우, 상기 센서값을 초기화시켜 반복적으로 최적화하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.
  6. 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치의 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법에 있어서,
    스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 단계;
    상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 단계;
    상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 단계;
    상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 단계; 및
    상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 단계를 포함하되,
    상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하고,
    상기 스테레오 카메라의 포즈를 구하는 단계는
    상기 스테레오 영상 내 특징점 중에서 움직이는 물체로부터 추출된 특징점은 제외하고 상기 스테레오 카메라의 움직임에 따라 영상 내에서 전역적인 움직임으로 나타나는 전역 특징점을 선별하고,
    상기 전역 특징점에 대해 상기 삼차원 특징맵에 포함된 특징점과 비교하여 대응관계를 산출하고,
    상기 대응관계로부터 상기 스테레오 카메라의 포즈를 계산하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법.
  7. 청구항 6에 있어서,
    상기 스테레오 카메라 보정 파라미터를 산출하는 단계는
    상기 스테레오 영상의 특징점을 패턴과 비교하여 대응점을 추출하고, 추출한 대응점을 이용하여 상기 스테레오 카메라 보정 파라미터를 구하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법.
  8. 청구항 7에 있어서,
    상기 스테레오 카메라 보정 파라미터를 산출하는 단계는
    회전 및 이동을 이용하여 영상-센서간 좌표 변환을 통해 상기 스테레오 카메라 보정 파라미터를 상기 하나의 좌표계로 나타내는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법.
  9. 청구항 6에 있어서,
    상기 최적화하는 단계는
    상기 스테레오 영상에 대한 상기 스테레오 카메라의 포즈의 공간차와 시간차의 오류를 분석하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법.
  10. 청구항 9에 있어서,
    상기 최적화하는 단계는
    상기 스테레오 카메라의 포즈의 오류가 발견된 경우, 상기 센서값을 이용하여 포즈를 보간하고,
    상기 스테레오 카메라의 포즈의 오류가 발견되지 않는 경우, 상기 센서값을 초기화시켜 반복적으로 최적화하는 것을 특징으로 하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 방법.
KR1020140002017A 2014-01-07 2014-01-07 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 KR102207838B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140002017A KR102207838B1 (ko) 2014-01-07 2014-01-07 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140002017A KR102207838B1 (ko) 2014-01-07 2014-01-07 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치

Publications (2)

Publication Number Publication Date
KR20150081975A KR20150081975A (ko) 2015-07-15
KR102207838B1 true KR102207838B1 (ko) 2021-01-26

Family

ID=53793667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140002017A KR102207838B1 (ko) 2014-01-07 2014-01-07 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치

Country Status (1)

Country Link
KR (1) KR102207838B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법
CN110415329B (zh) * 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191862A1 (en) * 2001-03-07 2002-12-19 Ulrich Neumann Augmented-reality tool employing scen e-feature autocalibration during camera motion
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060025209A (ko) 2006-01-27 2006-03-20 조강균 전기 전자시스템과 3색 천을 이용하여 옛날 석유등과 같은불빛 연출용의 다양한 등 제작방법과 기술적인 방법에해당되는 부분별 제작 방법
KR20090023930A (ko) 2007-09-03 2009-03-06 삼성코닝정밀유리 주식회사 분할 구동 가능한 면광원 장치
KR100938269B1 (ko) 2007-12-24 2010-01-22 한국항공우주연구원 헬리콥터용 저진동 블레이드

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191862A1 (en) * 2001-03-07 2002-12-19 Ulrich Neumann Augmented-reality tool employing scen e-feature autocalibration during camera motion
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム

Also Published As

Publication number Publication date
KR20150081975A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
JP6171079B1 (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN111512574B (zh) 用于校准增强现实设备的方法
US10257505B2 (en) Optimized object scanning using sensor fusion
US9497389B2 (en) Information processing device, information processing method, and program for reduction of noise effects on a reference point
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
US20170140552A1 (en) Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
JP2019083033A (ja) 仮想現実環境においてナビゲートする方法、システム、および装置
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP2015166816A (ja) 表示装置，表示制御プログラム及び表示制御方法
WO2018033852A1 (en) Real-time hand modeling and tracking using sphere-mesh models
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JP2009258884A (ja) ユーザインタフェイス
JP2014106642A (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
KR102207838B1 (ko) 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치
JP6452808B2 (ja) 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP6603993B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2018128739A (ja) 画像処理装置、画像処理方法、コンピュータプログラム、及び記憶媒体
CN111489376B (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
US10672159B2 (en) Anchor graph
US20190377935A1 (en) Method and apparatus for tracking features
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
JP6948363B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant