KR102503976B1 - 증강현실 영상 보정 장치 및 방법 - Google Patents

증강현실 영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR102503976B1
KR102503976B1 KR1020180076565A KR20180076565A KR102503976B1 KR 102503976 B1 KR102503976 B1 KR 102503976B1 KR 1020180076565 A KR1020180076565 A KR 1020180076565A KR 20180076565 A KR20180076565 A KR 20180076565A KR 102503976 B1 KR102503976 B1 KR 102503976B1
Authority
KR
South Korea
Prior art keywords
augmented reality
reality image
correction
image
patch
Prior art date
Application number
KR1020180076565A
Other languages
English (en)
Other versions
KR20200003597A (ko
Inventor
김재헌
구본기
박창준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180076565A priority Critical patent/KR102503976B1/ko
Priority to US16/447,847 priority patent/US10796493B2/en
Publication of KR20200003597A publication Critical patent/KR20200003597A/ko
Application granted granted Critical
Publication of KR102503976B1 publication Critical patent/KR102503976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

증강현실 영상 보정 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 증강현실 영상 보정 장치는 영상을 촬영하고 상기 영상에 대한 3차원 정보를 측정하는 카메라부; 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정하는 증강현실 영상 보정부 및 상기 증강현실 영상을 출력하는 디스플레이부를 포함한다.

Description

증강현실 영상 보정 장치 및 방법 {APPARATUS AND METHOD FOR CORRECTING AUGMENTED REALITY IMAGE}
본 발명은 증강현실 기술에 관한 것으로, 보다 상세하게는 증강현실 영상의 보정 기술에 관한 것이다.
증강현실은 실제 사물의 배경에 가상의 물체를 덧씌워서 보여주는 기술이다. 이 기술을 구현하기 위해서는 실제배경을 기준으로 관찰자의 3차원 위치와 방향 그리고 배경의 3차원 정보를 실시간으로 계속 측정할 수 있어야 한다. 따라서 증강현실 기기는 기기의 위치와 방향 및 배경의 3차원 정보를 계속 트래킹 할 수 있는 센서가 필요하다. 최근에는 카메라를 센서로 활용하여 트래킹을 수행하는 기기의 종류가 증가하고 있다. 증강현실 영상을 출력하는 방법은 두 가지가 있다. 하나는, 카메라에서 들어오는 영상에 가상의 물체를 증강하여 이 결과를 디스플레이에서 출력하는 비디오 시-쓰루(see-through) 방식이고, 또 하나는 사용자가 투명한 디스플레이를 통해 배경을 직접 바라볼 수 있게 하고 이 디스플레이 위에 가상 물체를 증강하는 광학적 시-쓰루(see-through) 방식이다. 그러나 트래킹을 수행하는 카메라는 자신의 관점에서 3차원 트래킹을 수행하므로, 관찰자의 입장에서 3차원 정보를 가지고 있지 않다. 비디오 시-쓰루 방식은 트래킹용 카메라와 배경을 촬영하는 카메라가 동일한 경우 문제가 없으나, 동일하지 않은 경우 두 카메라 사이의 오프셋이 발생할 수 있다. 광학적 시-쓰루 방식은 관찰자의 눈과 트래킹용 카메라 사이에 오프셋이 발생할 수 있다. 이러한 오프셋을 보정하지 않으면 증강되는 가상 물체도 오프셋을 가지게 되어 증강현실 영상의 현실감이 떨어지게 된다. 따라서 이러한 오프셋을 보정하기 위한 다양한 방법이 있으나 기존의 방법은 사용자의 불편함을 야기하고 있어, 보다 편리한 방법의 개발이 요구되는 상황이다.
한편, 한국등록특허 제 10-1559012 호“증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법”는 증강현실로 구현되는 헤드업 디스플레이 영상을 운전자가 바라보는 시선에 일치하도록 위치를 변환하여 출력하기 위한, 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법 에 관하여 개시하고 있다.
본 발명은 사용자에게 현실감 있는 증강현실 영상을 제공하는 것을 목적으로 한다.
또한, 본 발명은 증강현실 영상 기기를 사용하는 사용자가 편리하게 증강현실 영상을 보정하는 것을 목적으로 한다.
또한, 본 발명은 손동작이나, 특수한 보정기구를 이용하지 않고 사용자의 간단한 동작만으로 증강현실 영상을 효과적으로 보정하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 증강현실 영상 보정 장치는 영상을 촬영하고 상기 영상에 대한 3차원 정보를 측정하는 카메라부; 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정하는 증강현실 영상 보정부 및 상기 증강현실 영상을 출력하는 디스플레이부를 포함한다.
이 때, 상기 카메라부는 상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 패치를 생성할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부를 통해 출력할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행할 수 있다.
이 때, 상기 증강현실 영상 보정부는 복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 보정 정보, 상기 카메라부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수 있다.
이 때, 상기 증강현실 영상 보정부는 상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력할 수 있다.
또한, 상기의 목적을 달성하기 위한 증강현실 영상 보정 방법은 증강현실 영상 보정 장치의 증강현실 영상 보정 방법에 있어서, 카메라부가, 영상을 촬영하고 상기 영상의 3차원 정보를 측정하는 단계 증강현실 영상 보정부가, 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정하는 단계 및 디스플레이부가, 상기 증강현실 영상을 출력하는 단계를 포함한다.
이 때, 상기 3차원 정보를 측정하는 단계는 상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 패치를 생성할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부를 통해 출력할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성할 수 있다.
이 때, 상기 상기 증강현실 영상을 보정하는 단계는 상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출할 수 있다.
이 때, 상기 증강현실 영상을 보정하는 단계는 상기 보정 정보, 상기 카메라부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수 있다.
이 때, 상기 상기 증강현실 영상을 보정하는 단계는 상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력할 수 있다.
본 발명은 사용자에게 현실감 있는 증강현실 영상을 제공할 수 있다.
또한, 본 발명은 증강현실 영상 기기를 사용하는 사용자가 편리하게 증강현실 영상을 보정할 수 있다.
또한, 본 발명은 손동작이나, 특수한 보정기구를 이용하지 않고 사용자의 간단한 동작만으로 증강현실 영상을 효과적으로 보정할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 보정 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 증강현실 영상 보정을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 증강현실 영상 보정에서 특징점 추출을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치 생성을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치와 배경을 일치시킨 것을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치와 배경의 일치 작업을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 시-쓰루 방식의 증강현실 영상 보정 장치를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 보정 방법을 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 보정 장치를 나타낸 블록도이다. 도 2는 본 발명의 일실시예에 따른 증강현실 영상 보정을 나타낸 도면이다. 도 3은 본 발명의 일실시예에 따른 증강현실 영상 보정에서 특징점 추출을 나타낸 도면이다. 도 4는 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치 생성을 나타낸 도면이다. 도 5는 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치와 배경을 일치시킨 것을 나타낸 도면이다. 도 6은 본 발명의 일실시예에 따른 증강현실 영상 보정에서 패치와 배경의 일치 작업을 나타낸 도면이다. 도 7은 본 발명의 일실시예에 따른 시-쓰루 방식의 증강현실 영상 보정 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 영상 보정 장치는 카메라부(110), 증강현실 영상 보정부(120) 및 디스플레이부(130)를 포함한다.
이 때, 증강현실 영상 보정 장치는 광학적 시-쓰루 HMD(see-through Head Mounted Display) 기기 또는 비디오 시-쓰루 증강현실 영상 기기에 상응할 수 있다.
도 2를 참조하면, 카메라부(110)는 증강현실 영상 보정 장치는 영상을 촬영하고 상기 영상에 대한 3차원 정보를 측정할 수 있다.
이 때, 증강현실 영상 보정 장치는 비디오 시-쓰루 증강현실 영상 기기인 경우, 3차원 상의 가상 물체를 합성하여 영상을 촬영하는 내장카메라(111)를 더 포함할 수 있다.
이 때, 카메라부(110)는 사용자가 바라보는 임의의 배경을 촬영할 수 있다.
이 때, 카메라부(110)는 영상에서 측정한 물체의 3차원 위치와 그 물체에 대한 상대적인 카메라부(110)의 위치는 카메라 영상 정보를 이용하여 산출할 수 있다.
이 때, 카메라부(110)는 물체의 3차원 좌표를 카메라부(110)의 기준 좌표계 XcYcZc에 기반하여 나타낼 수 있다. 이 때, 사용자 눈에 대한 사용자의 기준 좌표계를 XeYeZe로 나타낸 것을 알 수 있다.
도 3을 참조하면, 카메라부(110)는 상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출할 수 있다.
이 때, 특징점은 카메라부(110)의 움직임에 따라 영상이 이동하더라도 트래킹을 신뢰성 있게 수행할 수 있는 지점이 임의로 선택될 수 있다.
이 때, 카메라부(110)는 컴퓨터 비전 분야에서 통상의 기술자들이 사용하는 기법인 KLT(Kanade-Lukas-Tomasi), SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 및 ORB(Oriented FAST and Rotated BRIEF) 등 다양한 특징점 추출 방법을 사용할 수 있다.
이 때, 카메라부(110)는 스테레오 카메라인 경우, 양쪽 카메라 중 어느 하나의 카메라에서 추출한 특징점에 대한 대응점을 삼각측량 방식으로 구할 수도 있고, 깊이 센서인 경우에 특징점에 대한 깊이로부터 3차원 값을 측정할 수도 있으며, SLAM(Simultaneous localization and mapping)및 SFM(Structure from motion)등 다양한 방식을 사용하여 스테레오 카메라에서 특징점을 추출할 수 있다.
증강현실 영상 보정부(120)는 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정할 수 있다.
도 4를 참조하면, 증강현실 영상 보정부(120)는 상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성할 수 있다.
이 때, 증강현실 영상 보정부(120)는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 패치를 생성할 수 있다.
이 때, 증강현실 영상 보정부(120)는 상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부(130)를 통해 출력할 수 있다.
이 때, 사용자는 디스플레이부(130)를 통해 패치와 영상의 실제 배경을 동시에 살펴 보며 패치 내의 특징점과 실제 배경의 특징점이 일치하도록 증강현실 영상 보정 장치를 움직일 수 있다.
도 5를 참조하면, 증강현실 영상 보정부(120)는 상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행할 수 있다.
이 때, 카메라부(110)는 증강현실 영상 보정 장치가 움직이는 동안 특징점을 계속적으로 트래킹 할 수 있고, 특징점의 3차원 좌표를 측정할 수 있다.
이 때, 카메라부(110)는 증강현실 영상 보정부(120)에 측정한 3차원 좌표를 저장할 수 있다.
도 6을 참조하면, 증강현실 영상 보정부(120)는 복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성할 수 있다.
예를 들어, 증강현실 영상 보정부(120)는 적어도 6개 이상의 패치를 생성하고, 6번 이상의 일치 작업을 수행해야 하며, 각각의 패치를 순차적으로 디스플레이부(130)에 출력하여 일치 작업을 수행하여 보정 정보를 생성할 수도 있다.
이 때, 증강현실 영상 보정부(120)는 N번의 일치 작업을 수행하기 위하여, 패치의 2차원 좌표를 [xi, yi] (i=1,…,N) 로 나타낼 수 있고, 각각의 패치의 일치 작업을 수행하여 계산된 특징점의 3차원 좌표를 [Xi, Yi, Zi] (i=1,…,N) 로 나타낼 수 있다.
이 때, 증강현실 영상 보정부(120)는 상기에서 설명한 컴퓨터 비전분야에서 알려진 카메라 보정의 방법과 동일하게 원하는 보정 작업을 수행 할 수도 있다.
또한, 증강현실 영상 보정부(120)는 상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출할 수 있다.
이 때, 보정 관계는 수학식 1과 같이 나타낼 수 있다.
Figure 112018064944471-pat00001
여기서 P 는 3x4 행렬이고, '
Figure 112018064944471-pat00002
'는 벡터요소들의 상대적 비가 같음을 의미한다.
이 때, 증강현실 영상 보정부(120)는 수학식 1을 이용하여 P 는 잘 알려진 DLT(Direct Linear Transform) 방법으로 산출할 수 있다.
이 때, 증강현실 영상 보정부(120)는 P 의 정밀도를 향상 시키기 위해, 산출한 P 를 초기치로 하여 수학식 2와 같은 비용함수를 이용하여 비선형 최적화 방법으로 P 를 산출할 수도 있다.
Figure 112018064944471-pat00003
수학식 2에서 π([a b c]T)=[a/c b/c]T 로 정의되는 함수이다.
이 때, 증강현실 영상 보정부(120)는 수학식 2를 이용하여 계산된 P 로부터 잘 알려진 QR-decomposition과 간단한 행렬연산을 활용하면, P를 수학식 3과 같이 나타낼 수 있다.
Figure 112018064944471-pat00004
이 때, 증강현실 영상 보정부(120)는 상기 보정 정보, 상기 카메라부(110)의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부(130)의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수 있다.
이 때, 증강현실 영상 보정부(120)는 증강현실 영상 보정 장치가 비디오 씨-쓰루 증강현실 영상 기기인 경우, 상기 보정 정보, 상기 카메라부(110)의 기준 좌표계와 상기 내장 카메라부(111)의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부(130)의 기준 좌표계와 상기 내장 카메라부(111)의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수도 있다.
수학식 3을 참조하면, 상기 제1 관계는 상기 카메라부(110)의 기준 좌표계와 상기 사용자 또는 상기 내장 카메라부(111)의 기준 좌표계 사이의 관계를 회전 행렬 R과 병진 벡터 T로 나타낸 것을 알 수 있다. 제2 관계는 상기 디스플레이부(130)의 기준 좌표계와 상기 사용자 또는 상기 내장 카메라부(111)의 기준 좌표계의 관계를 변수 K로 나타낸 것을 알 수 있다.
이 때, 증강현실 영상 보정부(120)는 P를 이용하여 카메라부(110)의 기준 좌표계에서 표현된 3차원 상의 가상 물체의 3차원 좌표 [X Y Z]는 사용자의 디스플레이부(130)의 2차원 위치 [x y] 로 변환시키는 보정 관계를 수학식 4와 같이 나타낼 수 있다.
Figure 112018064944471-pat00005
이 때, 증강현실 영상 보정부(120)는 상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부(130)를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력할 수 있다
디스플레이부(130)는 상기 증강현실 영상을 출력할 수 있다.
보정 과정에 사용되는 특징점은 일치 작업 중에 매번 새로 바꿔질 수도 있고, 같은 점이 계속 사용될 수도 있다. 다만, 특징점의 3차원의 깊이 값은 다양할수록 계산 결과의 안정도가 올라가므로 증강현실 영상 보정 장치를 착용한 사용자는 앞 뒤로 이동을 하며 각각의 패치에 대한 일치 작업을 수행할 수도 있고, 깊이가 다른 특징점들을 일치 작업 시 추출하여 사용할 수도 있다.
증강현실 영상 보정 장치는 양안에 대해 각각의 디스플레이를 내장할 수도 있으므로, 양안 디스플레이 각각에 대해 위의 과정을 수행할 수도 있다.
도 7을 참조하면, 본 발명의 일실시예에 따른 증강현실 영상 보정 방법은 비디오 시-쓰루 방식의 증강현실 기기의 증강현실 영상 보정을 나타낸 것을 알 수 있다.
이 때, 증강현실 영상 보정 장치는 내장 카메라부(111)를 더 포함할 수 있다.
이 때, 내장 카메라부(111)는 촬영된 영상에 가상 물체를 합성하여 디스플레이부(130)를 통해 출력할 수 있다.
이 때, 내장 카메라부(111)는 증강현실 영상 보정 장치의 3차원 위치와 방향 그리고 배경의 3차원 정보 측정을 직접 수행할 수 있다면 상기에서 설명한 증강현실영상 보정 과정은 필요 없다. 그러나, 부가적인 장치로 사용되는 카메라부(110)가 영상의 3차원 정보 측정 과정을 수행 하는 경우, 상기에서 설명한 보정 과정이 필요하다. 보정 과정은 광학적 HMD 기기와 동일할 수 있지만, 차이점은, 상기 패치를 보여주는 과정에 있어서, 카메라부(110)가 촬영하는 영상과 패치를 합성하여 디스플레이부(130)에 출력할 때, 패치와 실제 배경이 겹쳐서 동시에 보일 수 있도록 패치를 반투명으로 배경과 합성시켜 출력해야 한다.
비디오 시-쓰루 방식에서의 보정 관계는 카메라부(110)의 기준 좌표계 XcYcZc와 내장 카메라부(111)의 기준 좌표계 XsYsZs 사이의 제1 관계 및 내장 카메라부(111)의 기준 좌표계와 디스플레이부(130) 사이의 제2 관계에 상응할 수 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 보정 방법을 나타낸 동작흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 증강현실 영상 보정 방법은 먼저 영상을 촬영할 수 있다(S210).
즉, 단계(S210)는 영상을 촬영하고 상기 영상에 대한 3차원 정보를 측정할 수 있다.
이 때, 단계(S210)는 사용자가 바라보는 임의의 배경을 촬영할 수 있다.
이 때, 단계(S210)는 영상에서 측정한 물체의 3차원 위치와 그 물체에 대한 상대적인 카메라부(110)의 위치는 카메라 영상 정보를 이용하여 산출할 수 있다.
이 때, 단계(S210)는 물체의 3차원 좌표를 카메라부(110)의 기준 좌표계 XcYcZc에 기반하여 나타낼 수 있다. 이 때, 사용자 눈에 대한 사용자의 기준 좌표계를 XeYeZe로 나타낸 것을 알 수 있다.
이 때, 단계(S210)는 상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출할 수 있다.
이 때, 특징점은 카메라부(110)의 움직임에 따라 영상이 이동하더라도 트래킹을 신뢰성 있게 수행할 수 있는 지점이 임의로 선택될 수 있다.
이 때, 단계(S210)는 컴퓨터 비전 분야에서 통상의 기술자들이 사용하는 기법인 KLT(Kanade-Lukas-Tomasi), SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 및 ORB(Oriented FAST and Rotated BRIEF) 등 다양한 특징점 추출 방법을 사용할 수 있다.
이 때, 단계(S210)는 스테레오 카메라인 경우, 양쪽 카메라 중 어느 하나의 카메라에서 추출한 특징점에 대한 대응점을 삼각측량 방식으로 구할 수도 있고, 깊이 센서인 경우에 특징점에 대한 깊이로부터 3차원 값을 측정할 수도 있으며, SLAM(Simultaneous localization and mapping)및 SFM(Structure from motion)등 다양한 방식을 사용하여 스테레오 카메라에서 특징점을 추출할 수 있다.
또한, 본 발명의 일실시예에 따른 증강현실 영상 보정 방법은 증강현실 영상을 보정할 수 있다(S220).
즉, 단계(S220)는 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정할 수 있다.
이 때, 단계(S220)는 상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성할 수 있다.
이 때, 단계(S220)는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 패치를 생성할 수 있다.
이 때, 단계(S220)는 상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부(130)를 통해 출력할 수 있다.
이 때, 사용자는 디스플레이부(130)를 통해 패치와 영상의 실제 배경을 동시에 살펴 보며 패치 내의 특징점과 실제 배경의 특징점이 일치하도록 증강현실 영상 보정 장치를 움직일 수 있다.
또한, 단계(S220)는 상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행할 수 있다.
이 때, 단계(S220)는 증강현실 영상 보정 장치가 움직이는 동안 특징점을 계속적으로 트래킹 할 수 있고, 특징점의 3차원 좌표를 측정할 수 있다.
이 때, 단계(S220)는 증강현실 영상 보정부(120)에 측정한 3차원 좌표를 저장할 수 있다.
또한, 단계(S220)는 복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성할 수 있다.
예를 들어, 단계(S220)는 적어도 6개 이상의 패치를 생성하고, 6번 이상의 일치 작업을 수행해야 하며, 각각의 패치를 순차적으로 디스플레이부(130)에 출력하여 일치 작업을 수행하여 보정 정보를 생성할 수도 있다.
이 때, 증강현실 영상 보정부(120)는 N번의 일치 작업을 수행하기 위하여, 패치의 2차원 좌표를 [xi, yi] (i=1,…,N) 로 나타낼 수 있고, 각각의 패치의 일치 작업을 수행하여 계산된 특징점의 3차원 좌표를 [Xi, Yi, Zi] (i=1,…,N) 로 나타낼 수 있다.
이 때, 단계(S220)는 상기에서 설명한 컴퓨터 비전분야에서 알려진 카메라 보정의 방법과 동일하게 원하는 보정 작업을 수행 할 수도 있다.
또한, 단계(S220)는 상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출할 수 있다.
이 때, 보정 관계는 수학식 1과 같이 나타낼 수 있다.
여기서 P 는 3x4 행렬이고, '
Figure 112018064944471-pat00006
'는 벡터요소들의 상대적 비가 같음을 의미한다.
이 때, 단계(S220)는 수학식 1을 이용하여 P 는 잘 알려진 DLT(Direct Linear Transform) 방법으로 산출할 수 있다.
이 때, 단계(S220)는 P 의 정밀도를 향상 시키기 위해, 산출한 P 를 초기치로 하여 수학식 2와 같은 비용함수를 이용하여 비선형 최적화 방법으로 P 를 산출할 수도 있다.
수학식 2에서 ð([a b c]T)=[a/c b/c]T 로 정의되는 함수이다.
이 때, 단계(S220)는 수학식 2를 이용하여 계산된 P 로부터 잘 알려진 QR-decompositions 간단한 행렬연산을 활용하면, P를 수학식 3과 같이 나타낼 수 있다.
이 때, 단계(S220)는 상기 보정 정보, 상기 카메라부(110)의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부(130)의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수 있다.
이 때, 단계(S220)는 증강현실 영상 보정 장치가 비디오 씨-쓰루 증강현실 영상 기기인 경우, 상기 보정 정보, 상기 카메라부(110)의 기준 좌표계와 상기 내장 카메라부(111)의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부(130)의 기준 좌표계와 상기 내장 카메라부(111)의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출할 수도 있다.
수학식 3을 참조하면, 상기 제1 관계는 상기 카메라부(110)의 기준 좌표계와 상기 사용자 또는 상기 내장 카메라부(111)의 기준 좌표계 사이의 관계를 회전 행렬 R과 병진 벡터 T로 나타낸 것을 알 수 있다. 제2 관계는 상기 디스플레이부(130)의 기준 좌표계와 상기 사용자 또는 상기 내장 카메라부(111)의 기준 좌표계의 관계를 변수 K로 나타낸 것을 알 수 있다.
이 때, 단계(S220)는 P를 이용하여 카메라부(110)의 기준 좌표계에서 표현된 3차원 상의 가상 물체의 3차원 좌표 [X Y Z]는 사용자의 디스플레이부(130)의 2차원 위치 [x y] 로 변환시키는 보정 관계를 수학식 4와 같이 나타낼 수 있다.
이 때, 단계(S220)는 상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부(130)를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력할 수 있다
또한, 본 발명의 일실시예에 따른 증강현실 영상 보정 방법은 증강현실 영상을 출력할 수 있다(S230).
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 증강현실 영상 보정 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 증강현실 영상 보정 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 카메라부 111: 내장 카메라부
120: 증강현실 영상 보정부 130: 디스플레이부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (20)

  1. 영상을 촬영하고 상기 영상에 대한 3차원 정보를 측정하는 카메라부;
    상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정하는 증강현실 영상 보정부; 및
    상기 증강현실 영상을 출력하는 디스플레이부;
    를 포함하고,
    상기 카메라부는
    상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출하고,
    상기 증강현실 영상 보정부는
    상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성하고,
    상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부를 통해 출력하고,
    상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행하고,
    상기 패치는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 것을 특징으로 하는 증강현실 영상 보정 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 증강현실 영상 보정부는
    복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성하는 것을 특징으로 하는 증강현실 영상 보정 장치.
  8. 청구항 7에 있어서,
    상기 증강현실 영상 보정부는
    상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출하는 것을 특징으로 하는 증강현실 영상 보정 장치.
  9. 청구항 8에 있어서,
    상기 증강현실 영상 보정부는
    상기 보정 정보, 상기 카메라부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출하는 것을 특징으로 하는 증강현실 영상 보정 장치.
  10. 청구항 9에 있어서,
    상기 증강현실 영상 보정부는
    상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력하는 것을 특징으로 하는 증강현실 영상 보정 장치.
  11. 증강현실 영상 보정 장치의 증강현실 영상 보정 방법에 있어서,
    카메라부가, 영상을 촬영하고 상기 영상의 3차원 정보를 측정하는 단계;
    증강현실 영상 보정부가, 상기 영상과 상기 3차원 정보를 이용하여 증강현실 영상을 생성하고, 상기 증강현실 영상을 보정하는 단계; 및
    디스플레이부가, 상기 증강현실 영상을 출력하는 단계;
    를 포함하고,
    상기 3차원 정보를 측정하는 단계는
    상기 영상에서 특징점을 선택하고, 상기 특징점의 3차원 좌표를 추출하고,
    상기 증강현실 영상을 보정하는 단계는
    상기 영상에서 상기 특징점의 주변의 기설정된 범위를 잘라낸 패치를 생성하고,
    상기 패치를 상기 영상의 임의의 위치에 오버레이 시킨 영상을 상기 디스플레이부를 통해 출력하고,
    상기 패치를 상기 임의의 위치에 고정시키고, 사용자의 움직임에 따라 상기 영상과 상기 패치가 동일한 부분이 겹치는 위치에서의 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표를 포함하는 보정 정보를 생성하는 일치 작업을 수행하고,
    상기 패치는 상기 특징점의 위치를 표시하기 위한 표시선을 포함하는 것을 특징으로 하는 증강현실 영상 보정 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 청구항 11에 있어서,
    상기 증강현실 영상을 보정하는 단계는
    복수개의 패치를 생성하고, 상기 복수개의 패치에 대하여 상기 일치 작업을 수행하여 상기 보정 정보를 생성하는 것을 특징으로 하는 증강현실 영상 보정 방법.
  18. 청구항 17에 있어서,
    상기 상기 증강현실 영상을 보정하는 단계는
    상기 보정 정보를 이용하여 상기 패치의 2차원 좌표와 상기 특징점의 3차원 좌표 사이의 보정 관계를 산출하는 것을 특징으로 하는 증강현실 영상 보정 방법.
  19. 청구항 18에 있어서,
    상기 증강현실 영상을 보정하는 단계는
    상기 보정 정보, 상기 카메라부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제1 관계 및 상기 디스플레이부의 기준 좌표계와 상기 사용자의 기준 좌표계 사이의 제2 관계를 이용하여 상기 보정 관계를 산출하는 것을 특징으로 하는 증강현실 영상 보정 방법.
  20. 청구항 19에 있어서,
    상기 상기 증강현실 영상을 보정하는 단계는
    상기 보정 관계를 이용하여 3차원 상의 가상 물체의 3차원 좌표를 상기 2차원 좌표로 변환하여 상기 디스플레이부를 통해 상기 가상 물체를 포함하는 상기 증강현실 영상을 출력하는 것을 특징으로 하는 증강현실 영상 보정 방법.
KR1020180076565A 2018-07-02 2018-07-02 증강현실 영상 보정 장치 및 방법 KR102503976B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180076565A KR102503976B1 (ko) 2018-07-02 2018-07-02 증강현실 영상 보정 장치 및 방법
US16/447,847 US10796493B2 (en) 2018-07-02 2019-06-20 Apparatus and method for calibrating augmented-reality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076565A KR102503976B1 (ko) 2018-07-02 2018-07-02 증강현실 영상 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200003597A KR20200003597A (ko) 2020-01-10
KR102503976B1 true KR102503976B1 (ko) 2023-02-28

Family

ID=69055330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076565A KR102503976B1 (ko) 2018-07-02 2018-07-02 증강현실 영상 보정 장치 및 방법

Country Status (2)

Country Link
US (1) US10796493B2 (ko)
KR (1) KR102503976B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114097220A (zh) * 2019-05-03 2022-02-25 里尔菲克逊有限责任公司 在视频帧中具有嵌入观察者位置信息的方向性显示系统
KR102350226B1 (ko) * 2021-03-30 2022-01-12 주식회사 맥스트 증강현실 컨텐츠 배치 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
US6753828B2 (en) 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101559012B1 (ko) 2013-11-12 2015-10-12 현대오트론 주식회사 증강현실 헤드업 디스플레이 영상의 보정 장치 및 그 방법
KR20150057600A (ko) 2013-11-20 2015-05-28 한국전자통신연구원 증강 현실을 위한 시준화된 디스플레이 장치 및 그 방법
KR101583131B1 (ko) 2014-03-11 2016-01-07 인하대학교 산학협력단 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템
US10304248B2 (en) * 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
JP6839656B2 (ja) * 2015-03-23 2021-03-10 コントローラッド システムズ、インコーポレイテッドＣｏｎｔｒｏｌｒａｄ Ｓｙｓｔｅｍｓ，Ｉｎｃ． 視標追跡システム
KR20160147452A (ko) 2015-06-15 2016-12-23 한국전자통신연구원 디지털 광학 기기를 위한 가상현실 기반의 디지털 광학 컨텐츠 제공 방법 및 이를 이용한 장치
US20180101984A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
CN108765480B (zh) * 2017-04-10 2022-03-15 钰立微电子股份有限公司 深度处理设备

Also Published As

Publication number Publication date
KR20200003597A (ko) 2020-01-10
US20200005543A1 (en) 2020-01-02
US10796493B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
KR102451601B1 (ko) 카메라들 및 회절 광학 엘리먼트들의 외부 교정을 위한 시스템 및 방법들
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US11734876B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
JP5872923B2 (ja) Ａｒ画像処理装置及び方法
JP7058277B2 (ja) 再構成方法および再構成装置
JP6589636B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20130278636A1 (en) Object display device, object display method, and object display program
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102503976B1 (ko) 증강현실 영상 보정 장치 및 방법
EP3189493B1 (en) Depth map based perspective correction in digital photos
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
KR102093455B1 (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
JP2023093170A (ja) 携帯端末装置、および、そのプログラム
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
JP5499363B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
JP5689693B2 (ja) 描画処理装置
JP6384961B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体
KR102355578B1 (ko) 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
CN113132715B (zh) 一种图像处理方法、装置、电子设备及其存储介质
JP7175715B2 (ja) 情報処理装置、情報処理方法及びプログラム
Kim et al. Depth Learner: An Advanced Learning Method with Edge Map for Monodepth2

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant