KR20150081975A - Apparatus for pose estimation of wearable display device using hybrid sensors - Google Patents

Apparatus for pose estimation of wearable display device using hybrid sensors Download PDF

Info

Publication number
KR20150081975A
KR20150081975A KR1020140002017A KR20140002017A KR20150081975A KR 20150081975 A KR20150081975 A KR 20150081975A KR 1020140002017 A KR1020140002017 A KR 1020140002017A KR 20140002017 A KR20140002017 A KR 20140002017A KR 20150081975 A KR20150081975 A KR 20150081975A
Authority
KR
South Korea
Prior art keywords
sensor
pose
image
unit
stereo
Prior art date
Application number
KR1020140002017A
Other languages
Korean (ko)
Other versions
KR102207838B1 (en
Inventor
김용선
김혜미
김진호
김항기
조현우
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140002017A priority Critical patent/KR102207838B1/en
Publication of KR20150081975A publication Critical patent/KR20150081975A/en
Application granted granted Critical
Publication of KR102207838B1 publication Critical patent/KR102207838B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Abstract

The present invention relates to a technology for estimating a pose of a wearable display apparatus using a hybrid sensor. According to an aspect of the present invention, provided is a device for estimating a pose of the display device using the hybrid sensor, comprising a stereo camera/sensor compensation unit analyzing a stereo image to calculate a stereo camera compensation parameter transformed in one coordinate system; a three dimensional characteristic map generation unit generating a three dimensional characteristic map from the stereo image using the stereo camera compensation parameter; an image based pose calculation unit obtaining the pose of the stereo camera from the stereo image using the three dimensional characteristic map; an image/sensor based pose optimizing unit analyzing the pose of the stereo camera and optimizing the pose using a sensor value; and a three dimensional characteristic map update unit making the three dimensional characteristic map compatible with a three dimensional characteristic map generated for the new pose and updating the three dimensional characteristic map, wherein the sensor includes at least one among a gyro sensor, an acceleration sensor and a geomagnetic sensor.

Description

하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치{Apparatus for pose estimation of wearable display device using hybrid sensors}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a wearable display device using a hybrid sensor,

본 발명은 하이브리드 센서를 이용하여 착용형 디스플레이 장치의 자세를 예측하는 기술에 관한 것이다.
The present invention relates to a technique for predicting the attitude of a wearable display device using a hybrid sensor.

기존의 착용형 디스플레이는 Head mounted display(HMD)나 구글 글라스가 대표적이다. 그 중 see-close HMD는 주로 게임에 활용되고 있으며 게임의 가시화를 위하여 장치에 내장된 자이로 센서, 가속도 센서, 지자기 센서의 정보를 이용한다. 이런 센서 값은 속도나 가속도 정보의 이용으로 인해 위치, 회전 값에 오차가 누적되는 문제가 있다. See-through HMD나 구글 글라스는 가상의 정보를 실제 물체에 중첩하여 가시화하는 증강현실을 최종 목적으로 하고 있으나 이를 위해 필요한 정합 기술은 아직 연구 단계에 있다. 특히 정합을 위해 HMD의 자세 정보를 정확히 예측할 필요가 있다. 기존의 연구는 카메라를 이용하여 사용자의 시선을 추적하는데, 영상 내 특징점이 일정 수준 이상 추출되지 않는 경우에 자세 예측이 부정확한 문제점이 있다.
Conventional wearable displays are head mounted display (HMD) or Google glass. Among them, see-close HMD is mainly used in games and uses information of gyro sensor, acceleration sensor and geomagnetic sensor built in the device for visualization of game. These sensor values have a problem of accumulating errors in position and rotation values due to the use of speed or acceleration information. See-through HMD and Google Glass are aiming at augmented reality in which virtual information is superimposed on a real object, but the necessary matching technology is still in the research stage. Especially, it is necessary to accurately predict the attitude information of HMD for matching. Conventional research uses a camera to track the user 's gaze. However, there is a problem that the posture prediction is inaccurate when the feature points in the image are not extracted above a certain level.

한국 특허출원번호 제10-2006-0025209호Korean Patent Application No. 10-2006-0025209 한국 특허출원번호 제10-2009-0023930호Korean Patent Application No. 10-2009-0023930 한국 특허출원번호 제10-2009-0069066호Korean Patent Application No. 10-2009-0069066

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 스테레오 카메라, 자이로 센서, 가속도 센서, 지자기 센서 등 다양한 센서를 이용하여 착용형 디스플레이 장치의 자세를 정확하고 신뢰성 있게 예측하는 것으로, Head mounted display(HMD)나 안경형 디스플레이 장치를 이용하여 가상의 정보를 가시화하거나 인터페이스, 인터랙션 등에 필요한 증강현실의 정합을 위한 자세 정보를 제공하고자 한다.
In order to solve the above problems, an object of the present invention is to accurately and reliably predict a posture of a wearable display device using various sensors such as a stereo camera, a gyro sensor, an acceleration sensor, a geomagnetic sensor, ) Or a visual display device, and to provide attitude information for matching of augmented reality required for interface, interaction, and the like.

본 발명의 일 측면에 따르면, 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 스테레오 카메라/센서 보정부, 상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 삼차원 특징맵 생성부, 상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 영상 기반 포즈 계산부, 상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 영상/센서 기반 포즈 최적화부, 및 상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 삼차원 특징맵 업데이트부를 포함하되, 상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치가 제공된다.
According to an aspect of the present invention, there is provided a stereo camera / sensor correction unit for calculating a stereo camera correction parameter converted into a single coordinate system by analyzing a stereo image, a three-dimensional feature map is generated from the stereo image using the stereo camera correction parameter An image-based pose calculator for obtaining a pose of the stereo camera from the stereo image using the three-dimensional feature map; a video / sensor-based pose analyzing unit for analyzing pose of the stereo camera and optimizing using the sensor value; And a three-dimensional feature map updater for matching and updating the three-dimensional feature map generated for the new pose with the three-dimensional feature map, wherein the sensor is a hybrid sensor comprising at least one of a gyro sensor, an acceleration sensor, Using The position prediction unit of the wearable display apparatus is provided.

본 발명에 따르면, 착용형 디스플레이 장치의 자세를 하이브리드 센서를 이용하여 예측할 수 있다. 따라서 사용자가 착용형 디스플레이를 착용하는 가상현실이나 증강현실 콘텐츠의 가시화, 인터페이스 및 인터랙션에 필수 요소인 가상 물체와 실제 물체의 정합을 할 수 있게 된다. 특히 본 발명은 다양한 센서를 활용함으로써 정확하고 신뢰도 높은 자세 예측이 가능하도록 한다.
According to the present invention, the attitude of the wearable display device can be predicted using the hybrid sensor. Accordingly, it is possible for a user to match an actual object with a virtual object, which is an essential element for visualization, interface, and interaction of a virtual reality or augmented reality content wearing a wearable display. In particular, the present invention utilizes various sensors to enable accurate and reliable posture prediction.

이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 의 구성을 나타낸 블록도이다.
도 2는 도 1의 스테레오 카메라/센서 보정부의 구성을 나타낸 블록도이다.
도 3은 도 1의 삼차원 특징맵 생성부의 구성을 나타낸 블록도이다.
도 4는 도 1의 영상 기반 포즈 계산부의 구성을 나타낸 블록도이다.
도 5는 도 1의 영상/센서 기반 포즈 최적화부의 구성을 나타낸 블록도이다.
도 6은 도 1의 삼차원 특징맵 업데이트부의 구성을 나타낸 블록도이다.Hereinafter, the present invention will be described with reference to the embodiments shown in the accompanying drawings. For the sake of clarity, throughout the accompanying drawings, like elements have been assigned the same reference numerals. It is to be understood that the present invention is not limited to the embodiments illustrated in the accompanying drawings, but may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.
1 is a block diagram showing a configuration of an attitude predicting apparatus of a wearable display apparatus using a hybrid sensor.
FIG. 2 is a block diagram showing the configuration of the stereo camera / sensor correction unit of FIG. 1;
3 is a block diagram showing a configuration of a three-dimensional feature map generating unit of FIG.
4 is a block diagram showing a configuration of the image-based pose calculation unit of FIG.
5 is a block diagram illustrating the configuration of the image / sensor-based pose optimization unit of FIG.
FIG. 6 is a block diagram showing the configuration of the three-dimensional feature map updating unit of FIG. 1. FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

도 1은 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치의 구성을 나타낸 블록도이다. 1 is a block diagram showing a configuration of an attitude predicting apparatus of a wearable display apparatus using a hybrid sensor.

하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치는 스테레오 카메라/센서 보정부(100), 삼차원 특징맵 생성부(200), 영상 기반 포즈 계산부(300), 영상/센서 기반 포즈 최적화부(400), 삼차원 특징맵 업데이트부(500)를 포함한다. 착용형 디스플레이 장치에 장착된 하이브리드 센서는, 예를 들어, 스테레오 카메라, 자이로 센서, 가속도 센서, 지자기 센서 등일 수 있다. 자이로 센서는 착용형 디스플레이 장치의 회전각을 제공하며, 지자기 센서는 좌표 축을 위한 지자기 방향을 제공하며, 가속도 센서는 착용형 디스플레이 장치가 움직이는 방향으로의 가속도를 제공한다. 본 실시예에서 자이로 센서, 가속도 센서, 지자기 센서를 "센서"로 총칭한다.The apparatus for predicting the wearable display apparatus using the hybrid sensor includes a stereo camera / sensor correction unit 100, a three-dimensional feature map generation unit 200, an image-based pose calculation unit 300, an image / sensor- And a three-dimensional feature map update unit 500. The hybrid sensor mounted on the wearable display device may be, for example, a stereo camera, a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the like. The gyro sensor provides the rotation angle of the wearable display device, the geomagnetic sensor provides the geomagnetism direction for the coordinate axis, and the acceleration sensor provides acceleration in the direction in which the wearable display device is moving. In the present embodiment, the gyro sensor, the acceleration sensor, and the geomagnetic sensor are collectively referred to as a "sensor ".

스테레오 카메라/센서 보정부(100)는 스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출한다.The stereo camera / sensor correction unit 100 analyzes the stereo image and calculates a stereo camera correction parameter converted into one coordinate system.

삼차원 특징맵 생성부(200)는 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상으로부터 삼차원 특징맵을 생성한다.The three-dimensional feature map generator 200 generates a three-dimensional feature map from the stereo image using the stereo camera correction parameters.

영상 기반 포즈 계산부(300)는 삼차원 특징맵을 이용하여 스테레오 영상으로부터 스테레오 카메라의 포즈를 구한다.The image-based pose calculation unit 300 obtains a pose of the stereo camera from the stereo image using the three-dimensional feature map.

영상/센서 기반 포즈 최적화부(400)는 스테레오 영상을 이용하여 구한 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 이를 최적화한다.The image / sensor-based pose optimizing unit 400 analyzes the pose of the stereo camera obtained using the stereo image and optimizes it using the sensor value.

삼차원 특징맵 업데이트부(500)는 새로운 포즈에 대해 구해진 삼차원 특징맵을 저장된 삼차원 특징맵과 정합하여 업데이트 한다.The three-dimensional feature map update unit 500 updates the three-dimensional feature map obtained for the new pose by matching with the stored three-dimensional feature map.

도 2는 도 1의 스테레오 카메라/센서 보정부의 구성을 나타낸 블록도이다. 도 2를 참조하면, 스테레오 카메라/센서 보정부(100)는 스테레오 영상 분석부(110), 스테레오 카메라 보정부(120), 및 영상-센서간 좌표 변환부(130)를 포함한다.FIG. 2 is a block diagram showing the configuration of the stereo camera / sensor correction unit of FIG. 1; Referring to FIG. 2, the stereo camera / sensor correction unit 100 includes a stereo image analysis unit 110, a stereo camera correction unit 120, and an image-sensor inter-coordinate conversion unit 130.

스테레오 영상 분석부(110)는 착용형 디스플레이 장치에 장착된 스테레오 카메라를 이용하여 다양한 자세로 획득된 스테레오 영상을 분석한다. 즉, 스테레오 영상 분석부(110)는 획득한 스테레오 영상의 특징점을 패턴과 비교하고 대응점을 추출한다. 여기서 추출된 특징점은 하나 이상일 수 있으며, 스테레오 영상 분석부(110)에서 사용되는 알고리즘은 공지되어 있는 임의의 스테레오 영상 분석 알고리즘이 사용될 수 있다.The stereo image analyzing unit 110 analyzes a stereo image obtained in various postures using a stereo camera mounted on a wearable display device. That is, the stereo image analyzer 110 compares the acquired stereo image minutiae with the pattern and extracts the corresponding points. The extracted feature points may be one or more, and the algorithm used in the stereo image analysis unit 110 may be any known stereo image analysis algorithm.

스테레오 카메라 보정부(120)는 추출한 대응점을 이용하여 스테레오 카메라 보정 파라미터를 구한다. 여기서, 스테레오 카메라 보정부(120)에서 사용하는 스테레오 카메라 보정 알고리즘은 공지되어 있는 임의의 알고리즘이 사용될 수 있다.The stereo camera correcting unit 120 obtains the stereo camera correction parameters using the extracted corresponding points. Here, the stereo camera correction algorithm used in the stereo camera correction unit 120 may be any known algorithm.

영상-센서간 좌표 변환부(130)는 회전 및 이동을 이용하여 영상-센서 간 좌표 변환 행렬을 구한다. 스테레오 카메라와 센서는 물리적으로 떨어져 있을 수 있으므로, 영상-센서간 좌표 변환부(130)는 영상-센서간 좌표 변환을 통해 하나의 좌표계로 나타낸다.
The inter-image-sensor-to-sensor coordinate transformation unit 130 obtains an image-sensor coordinate transformation matrix using rotation and movement. Since the stereo camera and the sensor may be physically separated from each other, the image-to-sensor coordinate transformation unit 130 displays the coordinate system between the image and the sensor as one coordinate system.

도 3은 도 1의 삼차원 특징맵 생성부의 구성을 나타낸 블록도이다. 도 3을 참조하면, 삼차원 특징맵 생성부(200)는 스테레오 영상 입력부(210), 특징 추출부(220), 스테레오 대응점 계산부(230), 삼차원 복원부(240), 및 삼차원 특징맵 저장부(250)를 포함한다.3 is a block diagram showing a configuration of a three-dimensional feature map generating unit of FIG. 3, the three-dimensional feature map generator 200 includes a stereo image input unit 210, a feature extraction unit 220, a stereo corresponding point calculation unit 230, a three-dimensional reconstruction unit 240, (250).

스테레오 영상 입력부(210)는 스테레오 카메라/센서 보정부(100)에 의해 산출된 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상의 왜곡을 보상해주고 렉티피케이션(rectification)을 수행한다.The stereo image input unit 210 compensates the distortion of the stereo image using the stereo camera correction parameters calculated by the stereo camera / sensor correction unit 100 and performs rectification.

특징 추출부(220)는 스테레오 영상 입력부(210)로부터 출력된 각각의 스테레오 영상에서 특징점과 그 주변의 특징영역을 추출한다. 여기서, 특징점 및/또는 특징영역은 하나 이상일 수 있다.The feature extracting unit 220 extracts feature points and surrounding feature regions from each stereo image output from the stereo image input unit 210. Here, the feature point and / or feature region may be one or more.

스테레오 대응점 계산부(230)는 추출된 특징점과 그 주변의 특징영역을 이용하여 각 스테레오 영상 간 특징점의 대응관계를 산출한다.The stereo corresponding point calculation unit 230 calculates the correspondence relationship between the minutiae point of each stereo image using the extracted minutiae and the surrounding characteristic region.

삼차원 복원부(240)는, 예를 들어, 삼각법을 이용하여 특징점 및/또는 특징영역의 삼차원 좌표 정보를 복원한다.The three-dimensional reconstruction unit 240 reconstructs the three-dimensional coordinate information of the feature point and / or the feature region using, for example, trigonometry.

삼차원 특징맵 저장부(250)는 삼차원 복원부(240)에 의해 복원된 삼차원 좌표, 스테레오 대응점 계산부(230)에 의해 추출된 영상의 특징점 및 특징영역을 포함하는 삼차원 특징맵을 저장한다.
The three-dimensional feature map storage unit 250 stores a three-dimensional feature map including three-dimensional coordinates restored by the three-dimensional restoration unit 240, feature points of the image extracted by the stereo corresponding point calculation unit 230, and feature regions.

도 4는 도 1의 영상 기반 포즈 계산부의 구성을 나타낸 블록도이다. 도 4를 참조하면, 영상 기반 포즈 계산부(300)는 영상 입력부(310), 특징 추출부(320), 특징 선별부(330), 삼차원 특징맵 대응점 계산부(340), 카메라 포즈 계산부(350)를 포함한다.4 is a block diagram showing a configuration of the image-based pose calculation unit of FIG. 4, the image-based pose calculation unit 300 includes an image input unit 310, a feature extraction unit 320, a feature selection unit 330, a three-dimensional feature map correspondence point calculation unit 340, a camera pose calculation unit 350).

영상 입력부(310)는 스테레오 영상의 왜곡을 보상하고 렉티피케이션을 수행한다.The image input unit 310 compensates for the distortion of the stereo image and performs the reference.

특징 추출부(320)는 영상 입력부(310)로부터 출력된 스테레오 영상에서 특징점을 추출한다.The feature extraction unit 320 extracts feature points from the stereo image output from the image input unit 310.

특징 선별부(330)는 특징 추출부(320)로부터 출력된 각 스테레오 영상 내 특징점 중에서 임의로 움직이는 물체로부터 추출된 특징점은 제외하고 착용형 디스플레이 장치의 움직임에 따라 영상 내에서 전역적인 움직임으로 나타나는 특징점만을 선별한다. The feature selecting unit 330 excludes feature points extracted from an arbitrary moving object among the feature points in each stereo image output from the feature extracting unit 320 and extracts only feature points appearing as global motion in the image according to the motion of the wearable display device Select.

삼차원 특징맵 대응점 계산부(340)는 선별된 각 스테레오 영상 내 특징점에 대해 삼차원 특징맵에 포함된 특징점과 비교하여 대응관계를 구한다.The three-dimensional feature map correspondence point calculation unit 340 compares the feature points in each selected stereo image with the feature points included in the three-dimensional feature map to obtain a corresponding relationship.

카메라 포즈 계산부(350)는 삼차원 특징맵 대응점 계산부(340)에 의해 생성된 대응관계로부터 각 스테레오 카메라의 포즈를 계산한다.
The camera pose calculation unit 350 calculates the pose of each stereo camera from the corresponding relationship generated by the three-dimensional feature map corresponding point calculation unit 340.

도 5는 도 1의 영상/센서 기반 포즈 최적화부의 구성을 나타낸 블록도이다. 도 5를 참조하면, 영상/센서 기반 포즈 최적화부(400)는 공간차 영상 포즈 분석부(410), 시간차 영상 포즈 분석부(420), 센서값 기반 포즈 정제부(430), 및 포즈 정보 저장부(440)를 포함한다.5 is a block diagram illustrating the configuration of the image / sensor-based pose optimization unit of FIG. 5, the image / sensor-based pose optimizing unit 400 includes a spatial difference image pose analyzing unit 410, a time difference image pose analyzing unit 420, a sensor value based pose refining unit 430, (440).

공간차 영상 포즈 분석부(410)는 공간차를 이용하여 스테레오 카메라의 포즈 예측에 오류가 있는지를 판단한다. 스테레오 카메라 시스템에서 각각의 카메라 위치는 상대적으로 고정되어 있다. 따라서 스테레오 영상 각각에 대하여 구한 스테레오 카메라 포즈의 차이는 상대적인 포즈 값으로 항상 일정해야 한다. 공간차 영상 포즈 분석부(410)는 이를 이용하여 공간차 영상 포즈를 분석한다.The spatial difference image pose analyzing unit 410 determines whether there is an error in the pose prediction of the stereo camera using the spatial difference. In a stereo camera system, each camera position is relatively fixed. Therefore, the difference in stereo camera pose for each stereo image must be constant with a relative pose value. The spatial difference image pose analyzing unit 410 analyzes the spatial difference image pose using the spatial difference image pose analyzing unit 410.

시간차 영상 포즈 분석부(420)는 시간차를 이용하여 스테레오 카메라의 포즈 예측에 오류가 있는지를 판단한다. 즉, 시간차 영상 포즈 분석부(420)는 착용형 디스플레이 장치를 착용한 사용자의 움직임의 속도를 미리 정의하여 이를 초과하는 움직임에 대해서는 포즈의 예측에 오류가 있다고 판단할 수 있다.The time difference image pose analyzing unit 420 determines whether there is an error in the pose prediction of the stereo camera using the time difference. That is, the time difference image pose analyzing unit 420 may define the speed of the user's motion wearing the wearable display device in advance, and determine that there is an error in the prediction of the pose for the motion exceeding the speed.

센서값 기반 포즈 정제부(430)는 영상 포즈의 분석에서 오류가 발견된 경우에 센서 값을 이용하여 포즈 값을 보간하여 오류 값을 보상해 준다. 또한 분석 과정에서 오류가 발견되지 않은 경우에는 센서값을 초기값으로 하여 장치의 포즈를 반복적으로 최적화하는 과정을 거쳐 정확한 포즈를 구한다.The sensor value-based pose refinement unit 430 compensates the error value by interpolating the pose value using the sensor value when an error is found in the analysis of the image pose. Also, if there is no error in the analysis process, the pose of the device is repeatedly optimized by using the sensor value as an initial value to obtain an accurate pose.

포즈 정보 저장부(440)는 이렇게 구한 착용형 디스플레이 장치의 포즈 정보는 저장한다.
The pose information storage unit 440 stores pose information of the wearable display device thus obtained.

도 6은 도 1의 삼차원 특징맵 업데이트부의 구성을 나타낸 블록도이다. 도 6을 참조하면, 삼차원 특징맵 업데이트부(500)는 스테레오 영상 입력부(510), 특징 추출부(520), 스테레오 대응점 계산부(530), 삼차원 복원부(540), 삼차원 특징맵 정합부(550), 및 삼차원 특징맵 저장부(570)를 포함한다. FIG. 6 is a block diagram showing the configuration of the three-dimensional feature map updating unit of FIG. 1. FIG. 6, the 3D feature map update unit 500 includes a stereo image input unit 510, a feature extraction unit 520, a stereo corresponding point calculation unit 530, a 3D reconstruction unit 540, a 3D feature map matching unit 550, and a three-dimensional feature map storage unit 570.

착용형 디스플레이 장치의 포즈가 달라진 경우 삼차원 특징맵을 업데이트 함으로써 지속적으로 정확한 포즈의 예측이 가능하게 된다. 삼차원 특징맵 업데이트부(500)는 삼차원 특징맵 정합을 통하여 좌표계가 일치된 삼차원 특징맵을 추가하여 저장한다.When the pose of the wearable display device is changed, the accurate updating of the pose can be continuously performed by updating the three-dimensional feature map. The three-dimensional feature map update unit 500 adds and stores a three-dimensional feature map having a coincident coordinate system through the three-dimensional feature map matching.

스테레오 영상 입력부(510)는 스테레오 카메라 보정 파라미터를 이용하여 스테레오 영상의 왜곡을 보상해주고 렉티피케이션을 수행한다.The stereo image input unit 510 compensates the distortion of the stereo image using the stereo camera correction parameters and performs the reference.

특징 추출부(520)는 스테레오 영상 입력부(510)로부터 출력된 스테레오 영상에서 특징점을 추출한다.The feature extraction unit 520 extracts feature points from the stereo image output from the stereo image input unit 510.

스테레오 대응점 계산부(530)는 추출된 특징점과 그 주변의 특징영역을 이용하여 각 스테레오 영상 간 특징점의 대응관계를 산출한다.The stereo corresponding point calculation unit 530 calculates the correspondence between the minutiae points of the stereo images using the extracted minutiae and the neighboring feature areas.

삼차원 복원부(540)는 삼각법을 이용하여 특징점 및/또는 특징영역의 삼차원 좌표 정보를 복원한다.The three-dimensional reconstruction unit 540 restores the three-dimensional coordinate information of the feature point and / or the feature region using the trigonometrical method.

삼차원 특징맵 정합부(550)는 새로운 포즈에 대해 구해진 삼차원 특징맵을 기존에 저장되어 있는 삼차원 특징맵(560)과 정합한다.The three-dimensional feature map matching unit 550 matches the three-dimensional feature map obtained for the new pose with the previously stored three-dimensional feature map 560.

삼차원 특징맵 저장부(570)는 정합된 삼차원 특징맵을 저장한다.
The three-dimensional feature map storage unit 570 stores the matched three-dimensional feature map.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .

100: 스테레오 카메라/센서 보정부
200: 삼차원 특징맵 생성부
300: 영상 기반 포즈 계산부
400: 영상/센서 기반 포즈 최적화부
500: 삼차원 특징맵 업데이트부100: Stereo camera / sensor correction unit
200: a three-dimensional feature map generating unit
300: image-based pose calculation unit
400: image / sensor-based pose optimization unit
500: 3D feature map update unit

Claims (1)

스테레오 영상을 분석하여 하나의 좌표계로 변환된 스테레오 카메라 보정 파라미터를 산출하는 스테레오 카메라/센서 보정부;
상기 스테레오 카메라 보정 파라미터를 이용하여 상기 스테레오 영상으로부터 삼차원 특징맵을 생성하는 삼차원 특징맵 생성부;
상기 삼차원 특징맵을 이용하여 상기 스테레오 영상으로부터 스테레오 카메라의 포즈를 구하는 영상 기반 포즈 계산부;
상기 스테레오 카메라의 포즈를 분석하고 센서값을 이용하여 최적화하는 영상/센서 기반 포즈 최적화부; 및
상기 삼차원 특징맵과 새로운 포즈에 대해 생성된 삼차원 특징맵을 정합하여 업데이트하는 삼차원 특징맵 업데이트부를 포함하되,
상기 센서는 자이로 센서, 가속도 센서, 지자기 센서 중 적어도 하나를 포함하는 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치.A stereo camera / sensor correction unit for analyzing the stereo image and calculating a stereo camera correction parameter converted into a single coordinate system;
A three-dimensional feature map generation unit for generating a three-dimensional feature map from the stereo image using the stereo camera correction parameter;
An image-based pose calculator for obtaining a pose of the stereo camera from the stereo image using the three-dimensional feature map;
An image / sensor-based pose optimizing unit for analyzing a pose of the stereo camera and optimizing the pose of the stereo camera using a sensor value; And
And a three-dimensional feature map updating unit for matching and updating the three-dimensional feature map and the three-dimensional feature map generated for the new pose,
Wherein the sensor is a hybrid sensor including at least one of a gyro sensor, an acceleration sensor, and a geomagnetic sensor.
KR1020140002017A 2014-01-07 2014-01-07 Apparatus for pose estimation of wearable display device using hybrid sensors KR102207838B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140002017A KR102207838B1 (en) 2014-01-07 2014-01-07 Apparatus for pose estimation of wearable display device using hybrid sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140002017A KR102207838B1 (en) 2014-01-07 2014-01-07 Apparatus for pose estimation of wearable display device using hybrid sensors

Publications (2)

Publication Number Publication Date
KR20150081975A true KR20150081975A (en) 2015-07-15
KR102207838B1 KR102207838B1 (en) 2021-01-26

Family

ID=53793667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140002017A KR102207838B1 (en) 2014-01-07 2014-01-07 Apparatus for pose estimation of wearable display device using hybrid sensors

Country Status (1)

Country Link
KR (1) KR102207838B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415329A (en) * 2018-04-26 2019-11-05 财团法人工业技术研究院 Three-dimensional modeling apparatus and calibration method applied to it
US10983523B2 (en) * 2017-10-16 2021-04-20 Mando Corporation Autonomous driving support apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191862A1 (en) * 2001-03-07 2002-12-19 Ulrich Neumann Augmented-reality tool employing scen e-feature autocalibration during camera motion
KR20060025209A (en) 2006-01-27 2006-03-20 조강균 Apply the electricity electron system and the use three way color fabric retresenting light of antic oil lamp and diversity mathod of prodution.
KR20090023930A (en) 2007-09-03 2009-03-06 삼성코닝정밀유리 주식회사 Surface light source with partially controlled lighting
KR20090069066A (en) 2007-12-24 2009-06-29 한국항공우주연구원 Rotor blade for helicopter being used to achieve low vibration
JP2013187862A (en) * 2012-03-09 2013-09-19 Topcon Corp Image data processing device, image data processing method, and program for image data processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191862A1 (en) * 2001-03-07 2002-12-19 Ulrich Neumann Augmented-reality tool employing scen e-feature autocalibration during camera motion
KR20060025209A (en) 2006-01-27 2006-03-20 조강균 Apply the electricity electron system and the use three way color fabric retresenting light of antic oil lamp and diversity mathod of prodution.
KR20090023930A (en) 2007-09-03 2009-03-06 삼성코닝정밀유리 주식회사 Surface light source with partially controlled lighting
KR20090069066A (en) 2007-12-24 2009-06-29 한국항공우주연구원 Rotor blade for helicopter being used to achieve low vibration
JP2013187862A (en) * 2012-03-09 2013-09-19 Topcon Corp Image data processing device, image data processing method, and program for image data processing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983523B2 (en) * 2017-10-16 2021-04-20 Mando Corporation Autonomous driving support apparatus and method
CN110415329A (en) * 2018-04-26 2019-11-05 财团法人工业技术研究院 Three-dimensional modeling apparatus and calibration method applied to it
CN110415329B (en) * 2018-04-26 2023-10-13 财团法人工业技术研究院 Three-dimensional modeling device and calibration method applied to same

Also Published As

Publication number Publication date
KR102207838B1 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
CN110047104B (en) Object detection and tracking method, head-mounted display device, and storage medium
CN109146965B (en) Information processing apparatus, computer readable medium, and head-mounted display apparatus
CN111512574B (en) Method for calibrating augmented reality device
KR101865655B1 (en) Method and apparatus for providing service for augmented reality interaction
KR102006043B1 (en) Head pose tracking using a depth camera
US9497389B2 (en) Information processing device, information processing method, and program for reduction of noise effects on a reference point
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
WO2018019272A1 (en) Method and apparatus for realizing augmented reality on the basis of plane detection
JP2015166816A (en) Display device, display control program, and display control method
JP6061334B2 (en) AR system using optical see-through HMD
US11443719B2 (en) Information processing apparatus and information processing method
US20200211275A1 (en) Information processing device, information processing method, and recording medium
KR102207838B1 (en) Apparatus for pose estimation of wearable display device using hybrid sensors
CN110969706B (en) Augmented reality device, image processing method, system and storage medium thereof
JP2021009557A (en) Information processing device, information processing method, and program
JP6603993B2 (en) Image processing apparatus, image processing method, image processing system, and program
CN111489376B (en) Method, device, terminal equipment and storage medium for tracking interaction equipment
KR20210048928A (en) Method for determining location to implement virtual object and user equipment performing method
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
JP7402660B2 (en) Head-mounted display device, control method for head-mounted display device
WO2021177132A1 (en) Information processing device, information processing system, information processing method, and program
JP2024032409A (en) Information processing equipment and HMD
CN114967943A (en) Method and equipment for determining 6DOF (degree of freedom) pose based on 3D (three-dimensional) gesture recognition
WO2023064025A1 (en) Frame selection for image matching in rapid target acquisition
CN117664173A (en) Calibration method, device, equipment and medium of motion capture equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant