KR102594258B1 - 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 - Google Patents

증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 Download PDF

Info

Publication number
KR102594258B1
KR102594258B1 KR1020210053648A KR20210053648A KR102594258B1 KR 102594258 B1 KR102594258 B1 KR 102594258B1 KR 1020210053648 A KR1020210053648 A KR 1020210053648A KR 20210053648 A KR20210053648 A KR 20210053648A KR 102594258 B1 KR102594258 B1 KR 102594258B1
Authority
KR
South Korea
Prior art keywords
area
information
moving
real
augmented reality
Prior art date
Application number
KR1020210053648A
Other languages
English (en)
Other versions
KR20220146865A (ko
Inventor
김용선
강현
김갑기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210053648A priority Critical patent/KR102594258B1/ko
Priority to US17/725,126 priority patent/US20220343613A1/en
Publication of KR20220146865A publication Critical patent/KR20220146865A/ko
Application granted granted Critical
Publication of KR102594258B1 publication Critical patent/KR102594258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/60—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

3차원 증강 현실에서 실제 객체를 이동하는 방법이 개시될 수 있다. 상기 방법은, 상기 3차원 증강 현실에서 상기 실제 객체의 영역을 분할하는 단계, 상기 실제 객체의 영역에 대응하는 제1 정보를 이용하여 3차원 객체 모델을 생성하는 단계, 그리고 상기 3차원 객체 모델을 이용하여 상기 3차원 증강 현실 상에서 상기 실제 객체를 이동하는 단계를 포함할 수 있다.

Description

증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치{METHOD AND APPARATUS FOR VIRTUALLY MOVING REAL OBJECT IN AUGMETNTED REALITY}
본 기재는 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치에 관한 것이다.
기존의 증강현실은 실제 환경의 영상 위에 가상의 객체를 더하여 추가 정보를 제공하거나 가상의 객체와 사용자 사이에서의 상호 작용을 제공할 수 있다. 2차원 증강현실은 가상의 영상 혹은 가상의 객체를 렌더링(rendering)한 영상을 카메라 영상에 더하여 보여주고 있다. 이때, 영상 내의 실제 환경에 대한 정보는 활용되지 않고 실제 환경에 가상의 영상이 단순히 더해져서, 실제 객체와 가상 객체간의 가려짐이 반영되지 않으며 공간감 등에 대한 이질감이 생기게 된다. 한편, 3차원 증강현실은 가상의 객체를 3차원 공간 상에서 렌더링함으로써 실제 객체와 가상 객체간 가려짐 현상을 표현하므로, 실제 객체와 가상 객체간의 이질감을 줄일 수 있다. 하지만, 기존의 3차원 증강현실에서도 실제 객체는 고정된 환경에서, 가상의 객체와 사용자 사이의 상호 작용만이 가능하다.
하나의 예로, 증강현실을 이용한 가구 배치 콘텐츠에서, 실제 환경에 대한 평면 혹은 깊이(depth) 정보를 추출하고 평면 또는 깊이(depth) 정보를 가진 배경 위에 가상의 가구가 배치된다. 가상의 가구에 대한 위치를 사용자가 바꾸거나 회전이 가능하나, 이 경우에도 실제 가구에 대한 상호 작용 없이 사용자와 가상 가구간의 상호작용만 가능하다. 이에 따라, 실제 가구를 교체하거나 배치를 바꾸는 등의 다양한 체험은 불가능하다.
이와 같이, 기존의 증강현실은 실제 환경에 가상의 객체를 더하여 보여주며, 가상의 객체와 사용자 사이의 상호작용만이 수행된다. 새로운 증강현실에서는 실제 객체와 가상 객체 사이의 상호작용이 요구된다. 사용자도 증강현실 상에서 실제 객체를 없애거나 움직이고 조작하는 등 실제 객체와 가상 객체의 구분 없이 모두 상호 작용하는 것이 필요하다.
본 발명이 해결하고자 하는 과제는 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치를 제공하는 것이다.
한 측면에 따르면, 3차원 증강 현실에서 실제 객체를 이동하는 장치가 상기 실제 객체를 이동하는 방법이 제공될 수 있다. 상기 방법은, 상기 3차원 증강 현실에서 상기 실제 객체의 영역을 분할하는 단계, 상기 실제 객체의 영역에 대응하는 제1 정보를 이용하여, 3차원 객체 모델을 생성하는 단계, 그리고 상기 3차원 객체 모델을 이용하여, 상기 3차원 증강 현실 상에서 상기 실제 객체를 이동하는 단계를 포함할 수 있다.
상기 제1 정보는 상기 실제 객체의 영역에 대응하는 3차원 정보와 텍스쳐 정보일 수 있다.
상기 생성하는 단계는, 상기 3차원 정보를 이용하여, 상기 실제 객체에 대한 비가시 영역에 대한 3차원 형상을 추정하는 단계, 그리고 상기 텍스쳐 정보와 상기 3차원 형상을 이용하여, 상기 3차원 객체 모델을 생성하는 단계를 포함할 수 있다.
상기 방법은 상기 실제 객체의 영역에 대한 주위 배경 정보인 제2 정보를 이용하여, 상기 실제 객체가 이동하기 전에 위치하던 영역을 합성하는 단계를 더 포함할 수 있다.
상기 합성하는 단계는, 상기 실제 객체의 영역을 상기 3차원 증강 현실에서 삭제하는 단계, 그리고 상기 제2 정보를 이용하여, 상기 삭제된 영역에 대한 인페이팅을 수행하는 단계를 포함할 수 있다.
상기 합성하는 단계는 상기 실제 객체에 의해 발생되는 그림자 영역을 추정하는 단계를 더 포함할 수 있으며, 상기 삭제하는 단계는 상기 실제 객체의 영역과 상기 그림자 영역을 상기 3차원 증강 현실에서 삭제하는 단계를 포함할 수 있다.
상기 제2 정보는 상기 실제 객체의 영역에 대한 주위 배경에 대한 3차원 정보와 텍스쳐 정보일 수 있다.
상기 추정하는 단계는, 인코드와 디코드로 구성된 딥러닝 네트워크를 통해, 상기 3차원 정보를 이용하여, 상기 3차원 형상을 추정하는 단계를 포함할 수 있다.
상기 인페이팅을 수행하는 단계는, 생성자와 판별자로 구성된 딥러닝 네트워크를 통해, 상기 제2 정보를 이용하여, 상기 삭제된 영역에 대한 인페이팅을 수행하는 단계를 포함할 수 있다.
상기 방법은 상기 3차원 증강 현실 중에서 이동하고자 하는 상기 실제 객체가 사용자에 의해 선택되는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 3차원 증강 현실에서 실제 객체를 이동하는 장치가 제공될 수 있다. 상기 장치는, 상기 3차원 증강 현실을 위해, 실제 환경의 3차원 복원을 수행하는 환경 복원 스레드부, 상기 3차원 복원 영상에서 이동하고자 하는 실제 객체인 이동 객체를 사용자로부터 입력 받는 이동 객체 선택부, 상기 이동 객체에 대응하는 영역을 상기 3차원 복원 영상에서 분할하는 객체 영역 분할부, 상기 분할된 이동 객체에 대해서 3차원 객체 모델을 생성하는 객체 모델 생성부, 그리고 상기 3차원 객체 모델을 이용하여, 상기 3차원 증강 현실에서 상기 이동 객체를 이동하는 객체 이동부를 포함할 수 있다.
상기 객체 모델 생성부는, 상기 분할된 이동 객체에 대응하는 3차원 정보와 텍스쳐 정보를 이용하여, 상기 3차원 객체 모델을 생성할 수 있다.
상기 객체 모델 생성부는, 상기 3차원 정보를 이용하여 상기 이동 객체에 대한 비가시영역에 대한 3차원 형상을 추정하며, 상기 텍스쳐 정보와 상기 3차원 형상을 이용하여 상기 3차원 객체 모델을 생성할 수 있다.
상기 장치는, 상기 분할된 이동 객체에 대응하는 주위 배경 정보를 이용하여 상기 이동 객체가 이동하기 전에 위치하던 영역을 합성하는 객체 영역 배경 합성부를 더 포함할 수 있다.
상기 객체 영역 배경 합성부는, 상기 이동 객체에 대응하는 상기 영역을 삭제하고, 상기 주위 배경 정보를 이용하여 상기 삭제된 영역에 대해서 인페이팅을 수행할 수 있다.
상기 객체 영역 배경 합성부는, 상기 이동 객체에 의해 발생되는 그림자 영역을 추정하고 상기 이동 객체에 대응하는 상기 영역과 상기 그림자 영역을 상기 3차원 증강 현실에서 삭제할 수 있다.
상기 객체 영역 배경 합성부는, 상기 삭제된 영역이 포함된 상기 3차원 복원 영상을 입력 받으며 상기 인페이팅된 영상을 출력하는 생성자, 그리고 상기 생성자의 출력을 판별하는 판별자를 포함할 수 있다.
상기 장치는, 상기 3차원 객체 모델을 랜더링하는 객체 랜더링부, 그리고 상기 합성된 영역을 랜더링하는 합성 배경 랜더링부를 더 포함할 수 있다.
상기 객체 모델 생성부는, 상기 3차원 정보를 입력 받으며 형상 특징 벡터를 출력하는 2D 인코더, 그리고 상기 형상 특징 벡터를 입력 받으며 상기 3차원 형상을 출력하는 3D 디코더를 포함할 수 있다.
실시예들 중 적어도 하나의 실시예에 따르면, 증강 현실 체험 시에 실제 객체를 이동시킴으로써, 사용자와 실제 객체간의 인터랙션을 제공할 수 있다.
그리고 실시예들 중 적어도 하나의 실시예에 따르면, 실제 객체를 이동 시킨 후 주위 배경 정보를 이용하여 합성함으로써, 실제 객체가 원래 없었던 것처럼 가상 객체를 배치할 수 있다.
도 1은 한 실시예에 따른 실제 객체 이동 장치를 나타내는 블록도이다.
도 2는 한 실시예에 따른 이동 객체에 대한 3차원 객체 모델 생성 방법을 나타내는 플로우차트이다.
도 3은 한 실시예에 따른 3차원 형상 추정을 위한 딥러닝 네트워크 구조를 나타내는 도면이다.
도 4는 이동 객체 영역을 합성하는 방법을 나타내는 플로우차트이다.
도 5는 한 실시예에 따른 인페이팅을 위한 딥러닝 네트워크 구조를 나타내는 도면이다.
도 6은 한 실시예에 따른 실제 객체 이동 장치의 개략적인 동작에 대한 개념도를 나타낸다.
도 7은 한 실시예에 따른 컴퓨터 시스템을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 실시예에 따른 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치에 대해서 상세히 설명한다. 이하에서, '증강현실에서 실제 객체를 가상으로 이동하는 장치'용어는 '실제 객체 이동 장치'용어와 혼용하여 사용되며, '증강현실에서 실제 객체를 가상으로 이동하는 방법'용어는 '실제 객체 이동 방법'용어와 혼용하여 사용된다.
실시예에에 따른 실제 객체 이동 방법은 실제 환경에 대한 3차원 정보(예를 들면, 깊이(depth) 정보)를 기반으로, 이동하고자 하는 실제 객체의 3차원 정보를 복원하고 3차원 모델을 생성할 수 있다. 카메라를 통해 보이는 실제 객체는 가시 영역에 대한 깊이(depth) 정보를 가지나 카메라를 통해 보이지 않는 비가시 영역(예들 들면, 객체의 뒷면)에 대한 정보는 없다. 이에 따라, 실시예에 따른 실제 객체 이동 방법은 가시영역의 3차원 정보를 기반으로 비가시 영역의 3차원 정보를 추정하고 복원한다. 실시예에 따른 실제 객체 이동 방법은 복원한 3차원 정보와 컬러(color) 영상 정보를 이용하여, 객체의 3차원 모델을 생성한다. 그리고 실시예에 따른 실제 객체 이동 방법은 생성한 3차원 모델을 가상의 객체로 간주하여, 이동, 회전 등의 조작을 수행할 수 있으며, 랜더링을 통해 증강현실을 구현할 수 있디.
한편, 증강현실에서 실제 객체가 이동하는 경우, 영상에서 실제 객체는 지워지고(삭제되고) 실제 객체가 있던 위치는 배경으로 바뀔 필요가 있다. 이를 위해, 실시예에 따른 객체 이동 방법은 실제 객체 영역에 대해 인페이팅(inpainting)을 수행하여, 지워진(삭제된) 실제 객체 부분을 배경으로 바꿀 수 있다. 즉, 실시예에 따른 객체 이동 방법은 실제 객체에 해당하는 영역에 대한 3차원 정보(깊이 정보)와 텍스쳐(texture)(칼라 영상)를 이용하여 해당 객체 영역을 지우고(삭제하고), 지운 영역에 대해서 주위 배경의 깊이 및 칼라를 통해 인페인팅하여 합성한다. 그리고 실시예에 따른 객체 이동 방법은 합성된 배경을 랜더링함으로써, 실제 객체가 가상으로 이동된 후에 원래 위치에서 지워진(삭제된) 효과를 달성할 수 있다.
도 1은 한 실시예에 따른 실제 객체 이동 장치(100)를 나타내는 블록도이다.
도 1에 나타낸 바와 같이, 한 실시예에 따른 실제 객체 이동 장치(100)는 환경 복원 스레드부(110), 이동 객체 선택부(120), 객체 영역 분할부(130), 객체 모델 생성부(140), 객체 이동부(150), 객체 랜더링부(160), 객체 영역 배경 합성부(170), 합성 배경 랜더링부(180), 그리고 합성부(190)를 포함할 수 있다.
환경 복원 스레드(thread)부(110)는 실제 환경의 3차원 복원을 수행한다. 환경복원 스레드부(110)가 실제 환경에 해당하는 3차원 복원 즉, 3차원 증강 현실을 구현하는 방법은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다. 3차원 증강 현실을 위해, 실시간으로 카메라 자세 추정을 위한 6DOF(6 Degree of Freedom) 트래킹(tracking)도 수행될 수 있다. 이러한 6DOF 트래킹은 카메라 트래킹 스레드부(도시 하지 않음)에 의해 수행될 수 있으며, 카메라 트래킹 스레드부는 멀티-스레딩(multi-threading)을 통해 6DOF 트래킹을 수행한다.
여기서, 환경 복원 스레드부(110)에 의해 복원된 3차원 증강 현실은 깊이(depth) 정보를 나타내는 3차원 정보와 칼라 정보를 나타내는 텍스쳐(texture) 정보를 포함한다. 즉, 환경 복원 스레드부(110)는 3차원 정보와 텍스쳐 정보를 출력할 수 있다. 한편, 3차원 정보는 포인트클라우드(PointCloud) 또는 복셀(Voxel) 등으로 표현될 수 있다. 이하의 실시예에서는 포인트클라우드 또는 복셀 등의 3차원 점들의 정보가 2D 영상 좌표계로 투영된 깊이 영상(depth) 영상도 함께 사용될 수 있다.
이동 객체 선택부(120)는 사용자로부터 이동 객체를 입력 받는다. 여기서, 이동 객체는 3차원 증강 현실 중에서 이동할 실제 객체에 해당하는 부분으로서, 이러한 이동할 실제 객체는 사용자에 의해 선택된다. 즉, 사용자는 3차원 증강 현실에서 이동할 실제 객체를 선택한다. 이하에서는 편의상 사용자에 선택 받은 이동할 실제 객체를 '이동 객체'라 한다.
객체 영역 분할부(130)는 이동 객체 선택부(120)에서 입력 받은 이동 객체를 3차원 증강 현실에서 분할한다. 분할된 이동 객체는 이동 객체에 대응하는 3차원 정보와 텍스쳐 정보를 포함한다. 여기서, 사용자는 객체 영역 분할부(130)가 분할한 이동 객체를 보고 만족스럽지 않은 경우에는 이동 객체 영역의 점들과 객체 이외의 배경 영역의 점을 추가하여, 인터랙티브 분할(interactive segmentation)을 수행할 수 있다. 이동 객체를 3차원 증강 현실에서 분할 하는 방법은 다음의 방법이 사용될 수 있다. 객체 영역 분할부(130)는 사용자로부터 선택 받은 이동 객체의 영역을 2D 칼라 영상(텍스쳐 정보)에서 분할한다. 그리고 객체 영역 분할부(130)는 2D와 3D 관계를 이용하여 2D 및 3D 상에서 전경과 배경의 분리를 수행함으로써, 3차원 상에서도 이동 객체의 영역을 분할한다.
객체 모델 생성부(140)는 객체 영역 분할부(130)에 의해 분할된 이동 객체에 대해서 3차원 객체 모델을 생성한다. 객체 모델 생성부(140)에 의해 분할된 이동 객체에 대한 정보(즉, 이동 객체의 3차원 정보 및 텍스쳐 정보)는 카메라를 통해 보이는 가시 영역에 대한 데이터이다. 이에 따라, 객체 모델 생성부(140)는 이동 객체의 뒷면이나 다른 물체에 의해 가려진 부분 등 카메라를 통해 얻어지지 않는 객체의 비가시 영역에 대한 3차 정보를 추정하고 이동 객체의 외형에 대한 풀(full) 3차원 메쉬/텍스쳐(Mesh/Texture) 모델을 생성한다. 객체 모델 생성부(140)가 이동 객체에 대한 3차원 객체 모델을 생성하는 방법은 아래의 도 2에서 좀 더 상세히 설명한다.
객체 이동부(150)는 객체 모델 생성부(140)에 의해 생성된 3차원 객체 모델을 이용하여, 사용자의 조작에 대응하여 이동 객체를 증강 현실에서 이동, 회전 등을 수행한다. 즉, 객체 이동부(150)는 이동 객체에 대한 3차원 객체 모델을 생성하였으므로, 이동 객체를 가상 객체로 간주하여 자유롭게 이동 및 회전 등을 수행할 수 있다.
객체 랜더링부(160)는 객체 이동부(150)가 이동 객체를 증강 현실에서 이동시킬 때, 3차원 객체 모델을 랜더링(randering)하여 증강 현실 상에 나타낼 수 있다. 여기서, 3차원 객체 모델을 랜더링할 시에 카메라 트래킹 스레드부로부터의 정보 즉, 카메라가 바라보는 방향 정보가 사용될 수 있다. 3차원 객체 모델을 랜더링하여 증강 현실 상에 구현하는 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
한편, 객체 영역 배경 합성부(170)는 객체 영역 분할부(130)에 의해 분할된 이동 객체에 대응하는 영역을 배경에서 삭제하고, 주의 배경 정보를 이용하여 삭제된 영역에 대해서 인페이팅(inpainting)을 수행한다. 증강 현실 화면상에서는 이동 객체는 가상으로 이동할지라도 입력되는 영상에서는 이동 객체가 여전히 보이게 된다. 이에 따라, 실시예에서는 이동 객체를 가상으로 이동시킬 시에 입력되는 영상에서는 실제 객체(즉, 이동 객체)가 존재하는 영역을 주위 배경을 이용하여 합성한다. 이를 통해, 이동 객체가 증강 현실 상에서 완벽히 이동되는 효과가 달성 될 수 있다. 객체 영역 배경 합성부(170)의 구체적인 동작은 아래의 도 3에서 좀 더 상세히 설명한다.
합성 배경 랜더링부(180)는 객체 영역 배경 합성부(170)에 의해 주위 배경 정보로 인페이팅된 부분에 대해서 랜더링(randering)을 수행한다. 인페이팅 부분에 대해서 랜덩을 수행할 시에 카메라 트래킹 스레드부로부터의 정보 즉, 카메라가 바라보는 방향 정보가 사용될 수 있다.
그리고, 합성부(190)는 객체 랜더링부(160)에 의해 렌더링된 이동 객체와 합성 배경 랜더링부(180)에 의해 랜더링된 배경을 합성하여, 최종적으로 실제 객체가 이동된 3차원 증강 현실을 구현한다.
도 2는 한 실시예에 따른 이동 객체에 대한 3차원 객체 모델 생성 방법을 나타내는 플로우차트이다. 즉, 도 2는 객체 모델 생성부(140)가 카메라에서 통해서 보이는 가시 영역의 데이터를 이용하여 비가시 영역에 대한 3차원 정보를 추정함으로써, 이동 객체의 3차원 객체 모델을 생성하는 방법을 나타낸다.
먼저, 객체 영역 분할부(130)는 사용자에 의해 선택된 이동 객체에 대응하는 이동 객체의 영역을 3차원 증강 현실에서 분할한다(S210). 여기서, 분할된 이동 객체는 3차원 정보와 텍스쳐 정보를 포함할 수 있다.
객체 모델 생성부(140)는 S210에서 분할된 이동 객체에 대한 3차원 정보를 이용하여, 3차원 형상을 추정한다(S220). S210에서 분할된 이동 객체에 대한 3차원 정보는 카메라에서 보이는 가시 영역에 대한 3차원 데이터이다. 이에 따라, 객체 모델 생성부(140)는 가시 영역에 대한 3차원 데이터를 이용하여 비가시영역에 대한 3차원 형상을 추정하여, 전체 3차원 형상을 출력한다. 예를 들어, 이동 객체에 대한 3차원 정보가 포인트클라우드인 경우, 객체 모델 생성부(140)는 가시 영역의 포인트클라우드를 이용하여 이동 객체의 비가시영역에 대한 3차원 형상을 추정하여, 전체 3차원 형상을 출력할 수 있다.
이러한 3차원 형상 추정은 딥러닝을 기반한 방법의 하나인 오토인코더(Autoencoder)가 사용될 수 있다. 즉, 객체 모델 생성부(140)는 3차원 형상 추정을 위한 딥러닝 네트워크 구조로 구현될 수 있다. 도 3은 한 실시예에 따른 3차원 형상 추정을 위한 딥러닝 네트워크 구조(300)를 나타내는 도면이다.
도 3에 나타낸 바와 같이, 한 실시예에 따른 딥러닝 네트워크 구조(300)는 2D 인코더(310)와 3D 디코더(320)를 포함할 수 있다. 그리고 딥러닝 네트워크 구조(300)는 사전 학습을 위해 3D 인코더(330)를 더 포함할 수 있다. 도 3의 딥러닝 네트워크 구조(300)는 세(3) 단계를 통해 미리 학습될 수 있다.
첫 번째 단계로서, 3D 인코더(330)과 3D 디코더(320)가 3차원 모델에 대한 학습 데이터 셋을 통해 학습된다. 3D 인코더(330)는 3차원 모델의 학습 데이터 셋을 입력 받아, 형상의 특징을 기술하는 역할을 수행한다. 이에 따라 3D 인코더(330)는 형상 특징 벡터를 출력한다. 그리고 3D 디코더(320)는 3D 인코더(330)에서 출력되는 형상 특징 벡터를 입력 받아, 3차원 형상(3차원 형상 모델)을 출력한다.
두 번째 단계로서, 2D 인코더(310)가 학습을 위한 가시 영역의 3차원 정보(즉, 가시 영역만이 포함된 학습 데이터 셋)를 입력 받으며 형상 특징 벡터를 출력한다. 이때, 2D 인코더(310)에서 출력되는 형상 특징 벡터가 3D 인코더(330)에서 출력되는 형상 특징 벡터와 유사해지도록, 2D 인코더(310)의 학습이 수행된다.
세 번째 단계로서, 2D 인코더(310)와 3D 디코더(320)가 학습된다. 2D 인코더(310)에서 출력되는 형상 특징 벡터는 3D 디코더(320)로 입력되며, 3D 디코더(320)는 3차원 형상 정보(예를 들면, 포인트 클라우드 또는 복셀)를 출력한다.
이와 같이 학습된 딥러닝 네트워크 구조(300)에서, 2D 인코더(310)의 입력으로 추정하고자 하는 가시 영역에 대한 3차원 정보(데이터)가 입력된다. 2D 인코더(310)는 입력 받은 3차원 정보(가시 영역에 대한 3차원 정보)에 대해서 형상 특징 벡터를 생성하여, 3D 디코더(320)로 출력한다. 3D 디코더(320)는 2D 인코더(310)로부터 형상 특징 벡터를 입력 받으며, 비가시 영역이 추정된 이동 객체의 3차원 형상(3차원 형상 정보)을 최종적으로 출력한다.
객체 모델 생성부(140)는 S220 단계에서 추정된 3차원 형상과 분할된 이동 객체의 텍스쳐 정보를 기반으로 하여, 이동 객체의 3차원 모델을 생성한다(S230). 즉, 객체 모델 생성부(140)는 S220 단계에서 완성된 포인트클라우드와 S210 단계에서의 이동 객체의 텍스쳐 정보를 이용하여, 이동 객체의 3차원 모델을 온전하게 생성한다.
도 4는 이동 객체 영역을 합성하는 방법을 나타내는 플로우차트이다. 즉, 도 4는 객체 영역 배경 합성부(170)가 객체(이동 객체)에 가려져 있던 배경 영역을 합성하는 방법을 나타낸다.
먼저, 먼저, 객체 영역 분할부(130)는 사용자에 의해 선택된 이동 객체에 대응하는 이동 객체의 영역을 3차원 증강 현실에서 분할한다(S410). 여기서, 분할된 이동 객체는 3차원 정보와 텍스쳐 정보를 포함할 수 있다.
객체 영역 배경 합성부(170)는 S410 단계에서 분할된 이동 객체에 의해 그림자가 발생한 경우, 해당 그림자 영역을 추정한다(S420). 이동 객체를 원래 있던 위치에서 이동할 경우, 이동 객체의 그림자도 함께 제거해야 자연스러운 합성 배경을 얻을 수 있다. 이에 따라, 객체 영역 배경 합성부(170)는 이동 객체에 의해 발생했던 그림자 영역을 추정한다. 그림자 영역을 추정하는 방법은 기존의 Mask R-CNN 방법과 유사한 방법이 사용될 수 있다. 하나의 예로서, 논문 'Instance Shadow Detection (Tianyu Wang, Xiaowei Hu 등)'이 사용될 수 있다. 이에 대한 구체적인 방법은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
객체 영역 배경 합성부(170)는 410 단계에서 분할한 이동 객체의 영역과 S420 단계에서 추정한 그림자 영역을 삭제한다(S430). 객체 영역 배경 합성부(170)는 S410 단계에서 분할된 이동 객체의 영역에 대응하는 텍스쳐 정보(color 정보)와 S420 단계에서 추정된 그림자 영역에 대응하는 텍스쳐 정보(color 정보)를 3차원 증강 현실에서 삭제한다. 그리고, 객체 영역 배경 합성부(170)는 S410 단계에서 분할된 이동 객체의 영역에 대응하는 3차원 정보(즉, 깊이 정보)를 3차원 증강 현실에서 삭제한다.
객체 영역 배경 합성부(170)는 주변 배경 정보를 이용하여, S430 단계에서 삭제한 영역에 대해서 인페이팅(inpainting)을 수행한다(S440). 즉, 객체 영역 배경 합성부(170)는 S430 단계에서 삭제한 영역에 대한 주위의 배경 정보(텍스쳐 정보와 3차원 정보 모두 포함함)를 이용하여, 삭제한 영역에 대한 인페이팅(inpainting)(채우기)을 수행한다. 여기서, 주위의 배경 정보를 이용하여 인페인팅하는 방법은 딥러닝 네트워크가 사용될 수 있다.
도 5는 한 실시예에 따른 인페이팅을 위한 딥러닝 네트워크 구조(500)를 나타내는 도면이다.
객체 영역 배경 합성부(170)는 도 5와 같은 딥러닝 네트워크 구조(500)를 이용하여, 삭제한 영역에 대한 인페인팅(inpainting)을 수행할 수 있다. 한 실시예에 따른 딥러닝 네트워크 구조(500)는 생성자(Generator)(510)와 판별자(Discriminator)(520)를 포함한다. 즉, 객체 영역 배경 합성부(170)가 생성자(510)와 판별자(520)를 포함할 수 있다. S430 단계에서 삭제한 영역이 포함된 영상(즉, 주의의 배경 정보)이 생성자(510)로 입력되고, 생성자(510)는 삭제한 영역이 합성된(인페이팅된) 영상을 출력한다. 즉, 생성자(510)의 입력 영상은 삭제한 영역이 반영된 주위의 배경 정보로서, 3차원 정보와 텍스쳐 정보를 포함하고 있다. 여기서, 판별자(520)는 생성자(510)가 그럴듯한 영상을 합성하고 있는지를 판별하여, 생성자(510)가 실 세계에 존재하는 그럴듯한 영상을 합성하도록 한다. 생성자(510)와 판별자(520)의 구체적인 동작은 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
도 6은 한 실시예에 따른 실제 객체 이동 장치(100)의 개략적인 동작에 대한 개념도를 나타낸다.
610을 참조하면, 사용자의 컴퓨터 기기(즉, 환경 복원 스레드부(110))에 의해 3차원 증강 현실(612)이 구현되는 상황에서, 이동 객체 선택부(120)는 사용자로부터 이동할 실제 객체(611)를 선택 받는다. 그리고 객체 영역 분할부(130)는 이동 객체 선택부(120)에서 입력 받은 이동 객체를 3차원 증강 현실에서 분할한다.
620을 참조하면, 객체 모델 생성부(140)는 객체 영역 분할부(130)에 의해 분할된 이동 객체에 대해서 3차원 객체 모델(621)을 생성한다.
630을 참조하면, 사용자가 이동 객체를 드레그(drag)하는 경우, 객체 이동부(150)는 이동 객체를 증강 현실에서 이동시킨다. 이때, 이동 객체가 기존에 있었던 위치는 삭제되는데, 630에서 삭제된 부분은 검은색(631)으로 표시되어 있다.
640을 참조하면, 객체 영역 배경 합성부(170)는 삭제된 부분의 주위 배경 정보를 이용하여 삭제된 부분을 합성한다. 이를 통해, 실제 객체(641)가 가상으로 증강현실에서 이동될 수 있다.
도 7은 한 실시예에 따른 컴퓨터 시스템(700)을 나타내는 도면이다.
본 발명의 실시예에 따른 실제 객체 이동 장치(100)는 도 7과 같은 컴퓨터 시스템(700)으로 구현될 수 있다. 그리고 실제 객체 이동 장치(100)의 각 구성 요소도 도 7과 같은 컴퓨터 시스템(700)으로 구현될 수 있다.
컴퓨터 시스템(700)은 버스(720)를 통해 통신하는 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(740), 사용자 인터페이스 출력 장치(750), 그리고 저장 장치(760) 중 적어도 하나를 포함할 수 있다.
프로세서(710)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(730) 또는 저장 장치(760)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 프로세서(710)는 상기 도 1 내지 도 6에서 설명한 기능들 및 방법을 구현하도록 구성될 수 있다.
메모리(730) 및 저장 장치(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(730)는 ROM(read only memory)(731) 및 RAM(random access memory)(732)를 포함할 수 있다. 한 실시예에서 메모리(730)는 프로세서(710)의 내부 또는 외부에 위치할 수 있고, 메모리(730)는 이미 알려진 다양한 수단을 통해 프로세서(710)와 연결될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (19)

  1. 3차원 증강 현실에서 실제 객체를 이동하는 장치가 상기 실제 객체를 이동하는 방법으로서,
    상기 3차원 증강 현실에서 상기 실제 객체의 영역을 분할하는 단계,
    상기 실제 객체의 영역에 대응하는 제1 정보를 이용하여, 3차원 객체 모델을 생성하는 단계, 그리고
    상기 3차원 객체 모델을 이용하여, 상기 3차원 증강 현실 상에서 상기 실제 객체를 이동하는 단계를 포함하되,
    상기 제1 정보는,
    상기 실제 객체의 영역에 대응하는 3차원 정보와 텍스쳐 정보이고,
    상기 생성하는 단계는,
    상기 3차원 정보를 이용하여, 상기 실제 객체에 대한 비가시 영역에 대한 3차원 형상을 추정하는 단계, 그리고
    상기 텍스쳐 정보와 상기 3차원 형상을 이용하여, 상기 3차원 객체 모델을 생성하는 단계를 포함하는, 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 실제 객체의 영역에 대한 주위 배경 정보인 제2 정보를 이용하여, 상기 실제 객체가 이동하기 전에 위치하던 영역을 합성하는 단계를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 합성하는 단계는,
    상기 실제 객체의 영역을 상기 3차원 증강 현실에서 삭제하는 단계, 그리고
    상기 제2 정보를 이용하여, 상기 삭제된 영역에 대한 인페이팅을 수행하는 단계를 포함하는 방법.
  6. 제5항에 있어서,
    상기 합성하는 단계는, 상기 실제 객체에 의해 발생되는 그림자 영역을 추정하는 단계를 더 포함하며,
    상기 삭제하는 단계는, 상기 실제 객체의 영역과 상기 그림자 영역을 상기 3차원 증강 현실에서 삭제하는 단계를 포함하는 방법.
  7. 제4항에 있어서,
    상기 제2 정보는 상기 실제 객체의 영역에 대한 주위 배경에 대한 3차원 정보와 텍스쳐 정보인 방법.
  8. 제1항에 있어서,
    상기 추정하는 단계는, 인코더와 디코더로 구성된 딥러닝 네트워크를 통해, 상기 3차원 정보를 이용하여, 상기 3차원 형상을 추정하는 단계를 포함하는 방법.
  9. 제5항에 있어서,
    상기 인페이팅을 수행하는 단계는, 생성자와 판별자로 구성된 딥러닝 네트워크를 통해, 상기 제2 정보를 이용하여, 상기 삭제된 영역에 대한 인페이팅을 수행하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 3차원 증강 현실 중에서 이동하고자 하는 상기 실제 객체가 사용자에 의해 선택되는 단계를 더 포함하는 방법.
  11. 3차원 증강 현실에서 실제 객체를 이동하는 장치로서,
    상기 3차원 증강 현실을 위해, 실제 환경의 3차원 복원을 수행하는 환경 복원 스레드부,
    상기 3차원 복원 영상에서 이동하고자 하는 실제 객체인 이동 객체를 사용자로부터 입력 받는 이동 객체 선택부,
    상기 이동 객체에 대응하는 영역을 상기 3차원 복원 영상에서 분할하는 객체 영역 분할부,
    상기 분할된 이동 객체에 대해서 3차원 객체 모델을 생성하는 객체 모델 생성부, 그리고
    상기 3차원 객체 모델을 이용하여, 상기 3차원 증강 현실에서 상기 이동 객체를 이동하는 객체 이동부를 포함하되,
    상기 객체 모델 생성부는,
    상기 분할된 이동 객체에 대응하는 3차원 정보를 이용하여 상기 이동 객체에 대한 비가시영역에 대한 3차원 형상을 추정하며, 상기 분할된 이동 객체에 대응하는 텍스쳐 정보와 상기 3차원 형상을 이용하여 상기 3차원 객체 모델을 생성하는, 장치.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 분할된 이동 객체에 대응하는 주위 배경 정보를 이용하여 상기 이동 객체가 이동하기 전에 위치하던 영역을 합성하는 객체 영역 배경 합성부를 더 포함하는 장치.
  15. 제14항에 있어서,
    상기 객체 영역 배경 합성부는, 상기 이동 객체에 대응하는 상기 영역을 삭제하고, 상기 주위 배경 정보를 이용하여 상기 삭제된 영역에 대해서 인페이팅을 수행하는 장치.
  16. 제15항에 있어서,
    상기 객체 영역 배경 합성부는, 상기 이동 객체에 의해 발생되는 그림자 영역을 추정하고 상기 이동 객체에 대응하는 상기 영역과 상기 그림자 영역을 상기 3차원 증강 현실에서 삭제하는 장치.
  17. 제15항에 있어서,
    상기 객체 영역 배경 합성부는,
    상기 삭제된 영역이 포함된 상기 3차원 복원 영상을 입력 받으며 상기 인페이팅된 영상을 출력하는 생성자, 그리고
    상기 생성자의 출력을 판별하는 판별자를 포함하는 장치.
  18. 제14항에 있어서,
    상기 3차원 객체 모델을 랜더링하는 객체 랜더링부, 그리고
    상기 합성된 영역을 랜더링하는 합성 배경 랜더링부를 더 포함하는 장치.
  19. 제11항에 있어서,
    상기 객체 모델 생성부는,
    상기 3차원 정보를 입력 받으며 형상 특징 벡터를 출력하는 2D 인코더, 그리고
    상기 형상 특징 벡터를 입력 받으며 상기 3차원 형상을 출력하는 3D 디코더를 포함하는 장치.
KR1020210053648A 2021-04-26 2021-04-26 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 KR102594258B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210053648A KR102594258B1 (ko) 2021-04-26 2021-04-26 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치
US17/725,126 US20220343613A1 (en) 2021-04-26 2022-04-20 Method and apparatus for virtually moving real object in augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053648A KR102594258B1 (ko) 2021-04-26 2021-04-26 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220146865A KR20220146865A (ko) 2022-11-02
KR102594258B1 true KR102594258B1 (ko) 2023-10-26

Family

ID=83693346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053648A KR102594258B1 (ko) 2021-04-26 2021-04-26 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20220343613A1 (ko)
KR (1) KR102594258B1 (ko)

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094189A1 (en) * 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
SE518252C2 (sv) * 2001-01-24 2002-09-17 Goeteborg University Surgical Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP4901539B2 (ja) * 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
US20090113349A1 (en) * 2007-09-24 2009-04-30 Mark Zohar Facilitating electronic commerce via a 3d virtual environment
GB2474602A (en) * 2008-06-12 2011-04-20 Spandan Choudury A non-virtual-3d-video/photo generator rendering relative physical proportions of image in display medium and hence also of the display medium itself
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US9129083B2 (en) * 2011-06-29 2015-09-08 Dassault Systems Solidworks Corporation Automatic computation of reflected mass and reflected inertia
US9443353B2 (en) * 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
WO2014006642A2 (en) * 2012-07-19 2014-01-09 Vats Gaurav User-controlled 3d simulation for providing realistic and enhanced digital object viewing and interaction experience
KR101973934B1 (ko) * 2012-10-19 2019-04-30 한국전자통신연구원 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트
IN2014DE00332A (ko) * 2014-02-05 2015-08-07 Nitin Vats
US10497165B2 (en) * 2014-03-15 2019-12-03 Nitin Vats Texturing of 3D-models of real objects using photographs and/or video sequences to facilitate user-controlled interactions with the models
WO2015140813A1 (en) * 2014-03-17 2015-09-24 Vats Nitin Interactive display system with screen cut-to-shape of displayed object for realistic visualization and user interaction
US10185463B2 (en) * 2015-02-13 2019-01-22 Nokia Technologies Oy Method and apparatus for providing model-centered rotation in a three-dimensional user interface
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
WO2017029679A1 (en) * 2015-08-14 2017-02-23 Vats Nitin Interactive 3d map with vibrant street view
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11158047B2 (en) * 2017-09-15 2021-10-26 Multus Medical, Llc System and method for segmentation and visualization of medical image data
GB2568475A (en) * 2017-11-15 2019-05-22 Cubic Motion Ltd A method of generating training data
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
US11259874B1 (en) * 2018-04-17 2022-03-01 Smith & Nephew, Inc. Three-dimensional selective bone matching
CN110827376A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN109285215B (zh) * 2018-08-28 2021-01-08 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
US11263815B2 (en) * 2018-08-28 2022-03-01 International Business Machines Corporation Adaptable VR and AR content for learning based on user's interests
JP2020042503A (ja) * 2018-09-10 2020-03-19 株式会社ＭｉｎＤ ｉｎ ａ Ｄｅｖｉｃｅ 三次元表象生成システム
KR102333768B1 (ko) * 2018-11-16 2021-12-01 주식회사 알체라 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
US10970547B2 (en) * 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
CN111461431B (zh) * 2020-03-31 2022-05-27 广东工业大学 一种基于手机制造中锁螺丝工艺的优化方法和系统
CN112509151B (zh) * 2020-12-11 2021-08-24 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
US20220292543A1 (en) * 2021-03-09 2022-09-15 Alexandra Valentina Henderson Pop-up retial franchising and complex econmic system
US11199903B1 (en) * 2021-03-26 2021-12-14 The Florida International University Board Of Trustees Systems and methods for providing haptic feedback when interacting with virtual objects

Also Published As

Publication number Publication date
KR20220146865A (ko) 2022-11-02
US20220343613A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US9082224B2 (en) Systems and methods 2-D to 3-D conversion using depth access segiments to define an object
US8281281B1 (en) Setting level of detail transition points
US5613048A (en) Three-dimensional image synthesis using view interpolation
Shum et al. Pop-up light field: An interactive image-based modeling and rendering system
US5758046A (en) Method and apparatus for creating lifelike digital representations of hair and other fine-grained images
JP5108893B2 (ja) ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法
US9076258B2 (en) Stylizing animation by example
Burns et al. Adaptive cutaways for comprehensible rendering of polygonal scenes
EP3767592A1 (en) Techniques for feature-based neural rendering
WO2006122212A2 (en) Statistical rendering acceleration
US11257276B2 (en) Appearance synthesis of digital faces
WO1999026198A2 (en) System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JP6651679B2 (ja) 光強度画像を生成するための装置及び方法
JP2020524851A (ja) テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理
US20220375152A1 (en) Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
Nicolet et al. Repurposing a relighting network for realistic compositions of captured scenes
KR101566459B1 (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
KR102594258B1 (ko) 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치
KR102493401B1 (ko) 증강현실에서 실제 객체를 지우는 방법 및 장치
Casas et al. Props alive: a framework for augmented reality stop motion animation
US9519997B1 (en) Perfect bounding for optimized evaluation of procedurally-generated scene data
Lechlek et al. Interactive hdr image-based rendering from unstructured ldr photographs
Li et al. Tour into the picture revisited
Hwang et al. Image-based object reconstruction using run-length representation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant