KR102535404B1 - 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치 - Google Patents

혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치 Download PDF

Info

Publication number
KR102535404B1
KR102535404B1 KR1020210051015A KR20210051015A KR102535404B1 KR 102535404 B1 KR102535404 B1 KR 102535404B1 KR 1020210051015 A KR1020210051015 A KR 1020210051015A KR 20210051015 A KR20210051015 A KR 20210051015A KR 102535404 B1 KR102535404 B1 KR 102535404B1
Authority
KR
South Korea
Prior art keywords
target object
shape
input image
mixed reality
reality device
Prior art date
Application number
KR1020210051015A
Other languages
English (en)
Other versions
KR20220144554A (ko
Inventor
최진성
구본기
김용선
김재헌
서병국
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210051015A priority Critical patent/KR102535404B1/ko
Priority to US17/525,829 priority patent/US20220335675A1/en
Publication of KR20220144554A publication Critical patent/KR20220144554A/ko
Application granted granted Critical
Publication of KR102535404B1 publication Critical patent/KR102535404B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치에 관한 것으로, 자세하게, 물리 현상 표현 방법은 혼합 현실의 서비스를 제공하기 위해 센서로부터 수집된 입력 영상의 장면 구성 및 입력 영상에 포함된 대상 객체의 물리/물성 분석을 이용하여 대면과 같은 수준의 맥락 또는 실감도를 높일 수 있는 장면을 구성한다.

Description

혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치{PHYSICAL PHENOMENA SIMULATION METHOD FOR EXPRESSING THE PHYSICAL PHENOMEANA IN MIXED REALITY, AND MIXED REALITY APPARATUS THAT PERFORMS THE MOTHOD}
본 발명은 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 혼합 현실 장치에 관한 것으로, 보다 구체적으로는 가상 정보와 실제 정보가 혼재된 혼합 현실에서 실제 객체가 가진 물리 속성에 기반하여 물리적 변화를 현실 공간에서 시뮬레이션 및 가시화하는 방법 및 장치에 관한 것이다.
혼합 현실(Mixed Reality)은 현실과 가상을 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 통해 사용자가 환경과 실시간으로 상호 작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다.
혼합 현실을 구성하기 위한 개발 도구는 스마트폰에 장착된 카메라, 가속도 센서 등을 이용하여 실제 환경을 분석한다. 다시 말해, 혼합 현실을 구성하기 위한 개발 도구는 카메라를 통해 주변 환경 정보를 영상으로 스캔하고, 실제 공간의 바닥, 평면, 천장 등의 공간 정보를 파악한다.
최근에는 공간 정보를 파악하여 혼합 현실 상에서 물건을 바닥이나 테이블 위에 실제와 같이 위치할 수 있게 하는 기술이 개발되었으며, 이러한 기술을 적용한 가상 가구 배치 플레이스(place) 앱을 개발되었다. 또한, 위치 기반의 증강 현실 게임으로 실 공간의 깊이 정보를 파악하여 교합 처리함으로써, 가상 캐릭터가 현실 공간을 인식하면서 돌아다니는 느낌을 재현하였다.
또한, 현실 세계의 객체의 형상과 뎁스 정보를 파악하는 “reality blending” 기능이 추가 개발됨에 따라 포켓몬 캐릭터가 현실 객체의 뒤에 숨거나, 나무에 의해 가려지기도 하며, 테이블이 이동경로에 있으면 장애물로 인식된다.
그러나, 실제 객체와 가상 환경 간의 상대적 원근에 따라 혼합 현실을 생성하므로, 사용자와 실제 객체 사이의 원근 변화에 따라 가상 환경의 원근이 조정되어 실제환경과 가상환경이 자연스럽게 혼합되는 혼합현실을 제공할 수 없는 문제점이 발생한다.
본 발명은 혼합 현실 장치를 통해 사용자로 하여금 혼합 현실을 제공함에 있어, 가상 세계와 현실 세계 간의 경계가 없는 장면을 구현함으로써, 시뮬레이션과 가시화를 통한 몰입도를 높이는 물리 현상 표현 방법을 제공한다.
본 발명은 사용자가 있는 공간과 시점을 고려하여 대상 객체의 상황 및 외부 환경 조건에서 변형될 수 있는지를 파악함으로써, 대상 객체에 연결된 물성, 물리 등의 다양한 물리적 변형을 현실 환경에 즉시 반영하는 물리 현상 표현 방법을 제공한다.
본 발명의 일실시예에 따른 물리 현상 표현 방법은 입력 영상으로부터 혼합 현실에서의 자율적 반응을 구현하기 위해 변형할 대상 객체를 결정하는 단계; 상기 대상 객체가 결정되면, 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하여 상기 대상 객체의 3D 형상을 생성하는 단계; 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 변형하는 단계; 및 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 가시화하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 대상 객체를 결정하는 단계는, 사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정할 수 있다.
본 발명의 실시예에 따른 대상 객체를 결정하는 단계는, 입력 영상으로부터 배경과 혼합 현실에서 적용되는 현실 공간의 구성 객체를 분리하는 단계; 및 상기 구성 객체들 중 입력 영상의 장면 구조가 고려된 대상 객체를 결정하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 대상 객체의 3D 형상을 생성하는 단계는, 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다.
본 발명의 실시예에 따른 대상 객체의 3D 형상을 변형하는 단계는, 입력 영상의 외부 환경 조건에 따른 대상 객체의 3D 형상에 대한 변이 범위를 고려하여 상기 대상 객체의 3D 형상을 변형할 수 있다.
본 발명의 실시예에 따른 대상 객체의 3D 형상을 변형하는 단계는, 입력 영상의 외부 환경 조건에 반응하여 상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 메시 정보의 특정 부분 또는, 전체 부분을 변형할 수 있다.
본 발명의 실시예에 따른 렌더링된 입력 영상을 가시화하는 단계는, 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다.
본 발명의 다른 실시예에 따른 물리 현상 표현 방법은 혼합 현실을 구성하기 위해 센서를 통해 수집된 입력 영상으로부터 현실 환경에 대한 장면 구조를 결정하는 단계; 상기 결정된 장면 구조를 기반으로 외부 환경 조건에 반응하여 변형 가능한 대상 객체를 결정하는 단계; 상기 결정된 대상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 상기 대상 객체의 3D 형상을 변형하는 단계; 및 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 가시화하는 단계;를 포함할 수 있다.
본 발명의 실시예에 따른 변형 가능한 대상 객체를 결정하는 단계는, 입력 영상으로부터 혼합 현실의 공간에서의 대상 객체의 특성을 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위한 대상 객체를 결정할 수 있다.
본 발명의 실시예에 따른 대상 객체의 3D 형상을 변형하는 단계는, 상기 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다.
본 발명의 실시예에 따른 렌더링된 입력 영상을 가시화하는 단계는, 상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다.
본 발명의 일실시예에 따른 프로세서를 포함하는 혼합 현실 장치에 있어서, 상기 프로세서는, 입력 영상으로부터 혼합 현실에서의 자율적 반응을 구현하기 위해 변형할 대상 객체를 결정하고, 상기 대상 객체가 결정되면, 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하여 상기 대상 객체의 3D 형상을 생성하고, 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 변형하고, 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 가시화할 수 있다.
본 발명의 실시예에 따른 프로세서는, 사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 입력 영상의 외부 환경 조건에 반응하여 상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 메시 정보의 특정 부분 또는, 전체 부분을 변형할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다.
본 발명의 다른 실시예에 따른 프로세서를 포함하는 혼합 현실 장치에 있어서, 상기 프로세서는, 혼합 현실을 구성하기 위해 센서를 통해 수집된 입력 영상으로부터 현실 환경에 대한 장면 구조를 결정하고, 상기 결정된 장면 구조를 기반으로 외부 환경 조건에 반응하여 변형 가능한 대상 객체를 결정하고, 상기 결정된 대상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 상기 대상 객체의 3D 형상을 변형하고, 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 가시화할 수 있다.
본 발명의 실시예에 따른 프로세서는, 입력 영상으로부터 혼합 현실의 공간에서의 대상 객체의 특성을 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위한 대상 객체를 결정할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다.
본 발명의 실시예에 따른 프로세서는, 상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다.
본 발명의 일실시예에 의하면, 물리 현상 표현 방법은 혼합 현실 장치를 통해 사용자로 하여금 혼합 현실을 제공함에 있어, 가상 세계와 현실 세계 간의 경계가 없는 장면을 구현함으로써, 시뮬레이션과 가시화를 통한 몰입도를 높일 수 있다.
본 발명의 일실시예에 의하면, 물리 현상 표현 방법은 사용자가 있는 공간과 시점을 고려하여 대상 객체의 상황 및 외부 환경 조건에서 변형될 수 있는지를 파악함으로써, 대상 객체에 연결된 물성, 물리 등의 다양한 물리적 변형을 현실 환경에 즉시 반영할 수 있다.
도 1은 본 발명의 일실시예에 따른 MR 환경에서의 물리 현상을 표현하기 위한 전반적인 동작을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 혼합 현실 장치의 세부적인 동작을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 외부 환경 요소에 관한 물리적 특성을 대상 객체에 반영하여 가시화하는 동작을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 혼합 현실에서 자율적 반응을 구현하기 위한 세부적인 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 물리 현상 표현 방법을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 물리 현상 표현 방법을 설명하기 위해 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 MR 환경에서의 물리 현상을 표현하기 위한 전반적인 동작을 설명하기 위해 도시한 도면이다.
도 1을 참고하면, 혼합 현실 장치(101)는 입력 영상(103)의 장면에서 선택된 대상 객체의 물리적 특성을 고려하여 대면과 같은 수준의 맥락 또는 실감도를 높일 수 있는 장면을 구성할 수 있다. 혼합 현실 장치(101)는 딥-러닝 기반의 응용 영역을 고려한 데이터 셋을 적용하는 방식으로, 대상 객체의 내부 정보 또는, 외부 정보에 따른 변형을 수행함으로써, 현실 세계를 조작하여 초현실적 표현을 가능케 하는 방법을 제안할 수 있다.
혼합 현실 장치(101)는 사용자의 신체에 착용되는 웨어러블 기기로 구현되며, 사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정할 수 있다. 혼합 현실 장치(101)는 대상 객체를 결정함에 있어, ① 사용자에 의한 결정 방식 및 ② 관심 영역 내 이벤트를 통한 결정 방식으로 구분하여 입력 영상 내 변형할 대상 객체를 결정할 수 있다.
① 사용자에 의한 결정 방식
혼합 현실 장치(101)는 사용자에 의해 입력 영상 내 변형할 대상 객체를 결정할 수 있다. 자세하게, 사용자가 스마트폰, 혹은 글래스를 착용하고 관심대상 영역(Area of Interest)내에 머물면서 관심 객체를 근처에 근접하면, 혼합 현실 장치(101)는 관심 객체를 대상으로 시선(카메라의 포즈로 파악가능) 혹은 손 동작으로 특정 객체를 피킹(picking)하는 방식을 통해 대상 객체를 결정할 수 있다.
② 관심 영역 내 이벤트를 통한 결정 방식
혼합 현실 장치(101)는 자율 반응을 하는 객체에 대해 AOI에서 자기에게 할당된 조건을 만족하는 이벤트를 주기적 모니터링(polling)하고, 이벤트나 트리거 발생을 감지 시 자율적 반응 메커니즘을 시행함으로써, 대상 객체를 결정할 수 있다. 일례로, 사용자가 온라인 게임을 플레이한다고 가정할 때, 혼합 현실 장치(101)는 일정 거리 내 적이 접근하는 것을 감지하고, 사용자에게 화살을 쏘도록 유도함으로써, 자율적 반응 매커니즘 기반의 대상 객체를 결정할 수 있다.
또한, 혼합 현실 장치(101)는 입력 영상(103)을 구성하는 대상 객체의 종류와 재질에 따른 장면 구조를 결정할 수 있다. 혼합 현실 장치(101)는 다양한 시점에 따른 대상 객체의 변화 위치를 판단할 수 있다. 혼합 현실 장치(101)는 대상 객체의 변화 위치 및 이격 거리를 고려하여 입력 영상에 포함된 대상 객체의 크기 및 형태를 설정할 수 있다.
혼합 현실 장치(101)는 대상 객체가 결정되면, 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색할 수 있다. 혼합 현실 장치(101)는 대상 객체의 엣지에 따른 상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 변형할 수 있다. 혼합 현실 장치(101)는 3차원 데이터 라이브러리(104, 3D Data Lib)와 연동하며, 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 렌더링된 입력 영상(105)을 표시할 수 있다.
혼합 현실 장치(101)는 여러 지점에서 동일한 객체 혹은 환경 정보를 연속적으로 획득한 이미지 스퀀스(spatio-temporal기반)으로부터 3D 형상을 생성할 수 있다. 또한, 이와 같은 방식에서는 주로 현재 참조 이미지(t=0)와 전 단계 이미지(t-1)를 참조하여 correlation(이미지내 주요 feature)을 이용하여 대상 객체의 생성에 활용이 가능할 수 있다.
이에 따른, 혼합 현실 장치(101)는 사용자가 있는 공간과 시점을 중심으로 주변 환경과 대상 객체를 파악하고, 객체에 연결된 물성, 물리 등의 특징 데이터를 연동하여 즉시성에 따른 시뮬레이션과 시점에 맞춰 정합하는 가시화를 수행할 수 있다. 일례로, 혼합 현실 장치(101)는 혼합 현실에서 실제 책상 위에 가상의 유리잔이 놓여진 장면이 존재한다고 할 때, 지나가는 실제 행인과 실제 책상이 충돌하는 상황이 발생할 수 있다. 이에, 혼합 현실 장치(101)는 충돌 발생에 따른 가상의 유리잔이 마치 실제와 같이 깨어지는 장면을 재현할 수 있다. 이후, 혼합 현실 장치(101)는 사용자가 관찰 시점에서 끊김 없는 시각적 일관성(visual consistency)을 유지하면서, 재현된 장면을 가시화할 수 있다.
이에, 혼합 현실 장치(101)는 센서(102)를 통해 입력되는 입력 영상(103)에서 대상 객체에 대한 형상에 따른 자율 반응 메커니즘의 물리적 서술 방식과 시뮬레이션 과정에서의 외부 환경 정보(조명, 카메라 포즈 등)을 반영한 렌더링과 합성이 동시에 실시간으로 처리될 수 있다.
또한, 혼합 현실 장치(101)는 실제와 가상이 혼재하는 혼합현실에서 대상 객체의 외형과 내재된 물리, 물성 등을 반영한 시뮬레이션을 통해, 현실에서의 물리적 변형을 현실 환경에 즉시 반영하기 위한 이-커머스에 활용될 수 있다.
일례로, 이-커머스에 적용 가능한 혼합 현실 장치(101)는 구매할 제품을 시각적 정보나, 현실 공간에 일부의 가상 제품을 배치하는 수준에서 탈피하여 구매할 제품의 특성이나, 물성에 기반하여 시뮬레이션을 통해 구매 결정을 유도할 수 있다. 이를 통해 본 발명은 이-커머스를 통한 반품율을 현저히 낮추어 줄 수 있다. 다른 일례로, 이-커머스에 적용 가능한 혼합 현실 장치(101)는 구매할 유리 소재로 된 테이블위에 배치할 수 있는 제품의 무게를 고려하여 구매 결정을 유도할 수 있다. 또 다른 일례로, 이-커머스에 적용 가능한 혼합 현실 장치(101)는 입력 영상을 이용하여 조명 스텐드를 3차원 외형을 복원하고, 더 나아가 외형의 특징을 분석하여 입력 영상에 표현된 관절의 개수를 파악하고 이에 따라 조명 위치를 변경할 수 있는 기구적 특성까지도 반영 가능할 수 있다.
본 발명은 혼합 현실의 상황에서 3차원 장면(특정 객체의 복원과 추적이 포함)복원과 변형의 즉시 렌더링(on the fly)방식으로 합성됨으로써, 이-커머스에 활용 가능할 수 있다. 본 발명은 변형객체의 내재된 특징(물성, 재질 등)을 영상기반의 딥러닝 방식으로 메타 데이터(물성, 재질)를 지속 구축함으로써, 응용 범위를 확대할 수 있다.
도 2는 본 발명의 일실시예에 따른 혼합 현실 장치의 세부적인 동작을 설명하기 위해 도시한 도면이다.
도 2를 참고하면, 혼합 현실 장치는 프로세서(201)를 포함할 수 있으며, 프로세서(201)는 혼합 현실의 공간에서 물리/물성을 반영한 시뮬레이션을 수행할 수 있다. 이를 위해, 프로세서(201)는 현실 세계를 다양한 센서(102)를 통해 (입력 영상(103, 또는, 이미지 시퀀스)를 생성하고, 이로부터 대상 객체의 세그멘테이션 및 3D 모델링을 수행할 수 있다. 프로세서(201)는 입력 영상을 촬영한 카메라/센서의 각도 또는 포즈를 추정할 수 있다. 프로세서(201)는 딥러닝과 도메인(응용 영역)에 특화된 데이터를 이용하여 3차원 모델을 생성할 수 있다.
이때, 프로세서(201)는 레퍼런스를 3차원 데이터 라이브러리(104)의 저장된 데이터를 활용하며, 적용 분야와 대상 객체에 대한 유사 데이터와 기존의 캐드 데이터, 및 유사 데이터와 캐드 데이터 내 주요 특징점을 저장할 수 있다. 이는 3차원 검색의 용이성과 가장 유사한 데이터에 근거하여 전이(transfer)를 수행하기 위해 중요한 특징일 수 있다.
도 3은 본 발명의 일실시예에 따른 외부 환경 요소에 관한 물리적 특성을 대상 객체에 반영하여 가시화하는 동작을 설명하기 위해 도시한 도면이다.
S1(301)에서 혼합 현실 장치(101)는 입력 영상을 촬영한 카메라의 각도 또는, 포즈를 추정할 수 있다. 혼합 현실 장치(101)는 사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점에 따른 카메라와 대상 객체 간의 이격 거리 또는, 입력 영상 내 기준점을 이용하여 카메라의 각도 또는, 포즈를 추정할 수 있다.
S2(302)에서 혼합 현실 장치(101)는 카메라의 포즈를 토대로 대상 객체의 엣지 등 주요 인자를 추출할 수 있다. 혼합 현실 장치(101)는 주요 인자를 기반으로 3D 형상을 추정 및 생성할 수 있다. 혼합 현실 장치(101)는 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다. 혼합 현실 장치(101)는 대상 객체의 종류를 식별하고, 이로부터 대상 객체의 물리적 특성을 검색할 수 있다.
자세하게, 혼합 현실 장치(101)는 입력 영상의 주변 배경에 따라 대상 객체의 종류를 식별할 수 있다. 이는 표 1과 같이 나타낼 수 있다.
입력 영상 식별 가능한 객체 범주
자연 배경 산(숲, 나무, 바위), 바다(물, 섬)사막(흙), 호수(물, 꽃), 하늘(구름)
인공 배경 건물(빌딩류, 아파트, 공장, 주택 등) 이동체(자동차, 오토바이, 항공기, 자전거, 이동로봇 등)
가구(책상, 의자, 테이블, 조명, 소품 등)
디바이스(컴퓨터, 프린터, 스마트 폰 등)
기기(크레인, 콘베이어벨트, CNC머신, 3D프린터, 프레스 등)
이외 인간(성별, 나이, 인종), 동물(포유류 등, 동작특성으로 구분)
혼합 현실 장치(101)는 자연 배경, 인공 배경 및 이외 다양한 장면을 포함하는 입력 영상을 입력 받을 수 있다. 혼합 현실 장치(101)는 입력 영상의 특징에 따른 표 1과 같이 식별 가능한 객체 범주를 결정할 수 있다. 이때, 혼합 현실 장치(101)는 입력 영상을 구성하는 대상 객체의 종류, 재질, 양감 및 명암을 구분할 수 있다. 여기서, 대상 객체의 재질은 물체에 대한 시각적 · 촉각적 표면의 조직 상태로 질감을 의미하며, 대표적인 질감은 천, 스틸, 목재, 유리 등으로 구분될 수 있다. 대상 객체의 명암은 대상 객체에 적용된 빛의 방향과 거리에 따른 물체의 밝고 어두움을 나타내고, 대상 객체의 양감은 객체의 성질로 부피감, 무게감, 덩어리감을 나타낼 수 있다. 혼합 현실 장치(101)는 입력 영상(103)을 구성하는 대상 객체의 종류와 재질에 따른 장면 구조를 결정하고, 장면 구조에 따른 식별 가능한 객체 범주를 결정할 수 있다.S3(303)에서 혼합 현실 장치(101)는 물리적 특성에 따른 외부 환경 조건을 충족할 경우에 대상 객체의 3D 형상을 변형할 수 있다. 혼합 현실 장치(101)는 대상 객체의 종류에 따른 물리적 특성을 결정할 수 있다. 이는 표 2와 같이 나타낼 수 있다.
대상 객체 물리적 특성(및 변형을 위한 대상 분석)
건물 재질(철강, 콘크리트, 플라스틱 등), 기하특성(고정)
이동체 재질(철재, 합금, 알루미늄, 고무 등), 기하특성(고정, 이동)
가구 재질(천, 가죽), 기구(관절구조, 롤러 등)
디바이스 재질(플라스틱, 유리 등), 기구(힌지, 동적구조 등)
기기 재질(철재, 알루미늄, 플라스틱, 비닐 등), 기하특성(고정, 이동)
인간 관절(스켈레톤), 모션(2족), 헤어, 피부(스킨) 등
혼합 현실 장치(101)는 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 대상 객체의 3D 형상을 변형할 수 있다. 일례로, 혼합 현실 장치(101)는 외부 바람의 세기와 같은 외부 환경 요소를 이벤트화 하고, 이를 대상 객체를 변형할 수 있다. 또한, 혼합 현실 장치(101)는 외부의 다양한 변화에도 해당 요소에만 선택적으로 반응할 수 있다.S4(304)에서 혼합 현실 장치(101)는 3차원 데이터 라이브러리와 연동하며, 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다. 그리고, 혼합 현실 장치(101)는 렌더링된 입력 영상(105)을 가시화할 수 있다.
일례로, 혼합 현실 장치(101)는 돛이 외부 바람의 세기와 방향에 따라 형상의 변이 범위를 가시화할 수 있는 데이터 형식과 텍스처 및 조명 등과 같이 실 환경 요소도 감안하여 렌더링과 합성을 수행할 수 있다.
도 4는 본 발명의 일실시예에 따른 혼합 현실에서 자율적 반응을 구현하기 위한 세부적인 과정을 도시한 도면이다.
도 4를 참고하면, 혼합 현실 장치는 혼합 현실의 공간에서 대상 객체에 대한 특성(물성, 물리 등)에 기반하여 자율적 반응을 구현할 수 있다. 일례로, 혼합 현실 장치는 사용자가 스마트폰 등 모바일 기기를 이용하여 실 환경에서 이동중에도 정보를 발생하게 되는 상황을 가시화할 수 있다.
이에, 혼합 현실 장치는 입력 영상에 포함된 탑을 변형하는 과정을 설명할 수 있다. 혼합 현실 장치는 입력 영상에서 변형할 대상 객체를 사용자가 선택하게 되면, 입력 영상으로부터 대상 객체의 특징(외형, 위상구조 등)을 분석할 수 있다. 혼합 현실 장치는 대상 객체의 특징을 기반으로 3차원 CAD 데이터 라이브러리를 통해 대상 객체와 가장 유사하거나, 동일한 데이터를 검색할 수 있다. 혼합 현실 장치는 검색된 데이터를 이용하여 타켓 영상에 맞도록 피팅하는 과정을 수행할 수 있다.
이를 통해, 혼합 현실 장치는 3차원 모델 데이터를 생성하고, 3차원 모델 데이터가 사용자에 의한 입력 혹은 외부 조건 변환에 따라 반응하여 변형할 수 있도록 처리할 수 있다. 다시 말해, 혼합 현실 장치는 대상 객체의 외형에 해당되는 메시와 함께, 메시의 특정 부분이나, 전체를 변형하는 과정에 해당될 수 있다. 혼합 현실 장치는 3차원 데이터를 복원과 생성을 전제로 수행될 수 있으며, 이를 위해, 혼합 현실 장치는 입력 영상으로부터 배경과 객체를 자동으로 분리하는 과정을 전 처리해 둠으로써, 사용자가 특정 객체를 지정하기에 용이할 수 있다.
혼합 현실 장치는 선택된 대상 객체의 외형적 복원과 아울러 해당 객체의 물리적 특성도 외부 내외부 특성 데이터베이스와 연동하여 검색 및 정합하는 방식을 이용할 수 있다.
도 4의 (a)와 같이 혼합 현실 장치는 혼합현실 상황에서 입력 영상(또는, 이미지 스퀀스)를 입력받을 수 있다.
도 4의 (b), (c)와 같이 혼합 현실 장치는 입력 영상이 입력되면, 입력된 입력 영상을 분석하여 3차원 복원을 외형(형상)을 중심으로 대략적인 복원을 수행할 수 있다.
도 4의 (d), (e), (f)와 같이 혼합 현실 장치는 메시 데이터를 생성하기 위해 기 구축된 데이터베이스로부터 CAD 데이터를 검색하고 이를 이용하여 피팅함으로써 외형에 대한 변형 가능한 메시 데이터를 생성할 수 있다. 혼합 현실 장치는 이러한 과정에서 변경가능한 메시가 어떠한 양상으로 변형될 것인지를 물성, 물리적특성을 참조하여 최종 가시화하는 방식으로 처리될 수 있다.
혼합 현실 장치는 이러한 과정에서 혼합현실에서 적용되는 현실 공간의 구성 객체를 사전에 분석하여 데이터베이스화할 수 있다. 특히, 혼합 현실 장치는 입력 영상의 특징에 기반하여 다양한 범주의 객체를 체계적으로 분류하고 이에 대한 CAD데이터를 연계하는 등의 데이터 구조화가 사전에 이루어져야 할 수 있다.
또한, 혼합 현실 장치는 현실에서의 물리적 변형을 현실 환경에 즉시 반영하기 위한 이-커머스에 활용될 수 있다. 자세하게, 본 발명에서는 관절에 따른 작동범위와 이에 따른 주변 가구 혹은 공간과의 간섭 등을 시뮬레이션 해 봄으로써 적정한 제품 선택을 할 수 있다. 이를 위해, 혼합 현실 장치는 현실 공간을 분석하여 이를 속하는 모든 객체요소로 구성된 장면 구조 데이터를 생성할 수 있다.
이에, 본 발명은 혼합 현실 장치에 있어, 주기적인 데이터 업데이트가 백그라운드에서 지속 발생하는 프로세스를 고려하여 구매할 새로운 제품에 대한 가상객체 정보를 장면 구조에 삽입할 수 있도록 적용될 플랫폼(하드웨어, 소프트웨어 환경)을 고려한 방식을 제안할 수 있다.
즉, 혼합 현실 장치는 실제 물리 메시와 가상 객체 간의 간섭을 처리할 수 있는 충돌감지와 이에 따라, 물성을 반영한 가시화까지도 고려되어야 함을 의미할 수 있다, 혼합 현실 장치는 이와 같은 방식을 구현하면, 마치 다양한 특수효과(실제 공간에서 가상의 유리잔이 깨어지면서 바닥을 감지하면서 파편이 튀는 등)가 후처리 과정 없이 증강현실에서 즉시 실현 될 수 있어, 가상-실제 간의 경계가 없어지는 효과를 나타낼 수 있다. 이에, 본 발명은 사용자가 보는 장면에 서 대상 객체를 즉시 변형/이동/삭제를 시행하고 렌더링된 결과의 확인 가능할 수 있다.
도 5는 본 발명의 일실시예에 따른 물리 현상 표현 방법을 설명하기 위해 도시한 도면이다.
단계(501)에서 혼합 현실 장치는 입력 영상으로부터 혼합 현실에서의 자율적 반응을 구현하기 위해 변형할 대상 객체를 결정할 수 있다. 혼합 현실 장치는 사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정할 수 있다.
이때, 혼합 현실 장치는 입력 영상으로부터 배경과 혼합 현실에서 적용되는 현실 공간의 구성 객체를 분리할 수 있다. 혼합 현실 장치는 구성 객체들 중 입력 영상의 장면 구조가 고려된 대상 객체를 결정할 수 있다.
단계(502)에서 혼합 현실 장치는 대상 객체가 결정되면, 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색할 수 있다. 혼합 현실 장치는 혼합 현실 장치는 카메라의 각도를 기반으로 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색할 수 있다. 여기서, 혼합 현실 장치는 탐색된 대상 객체의 엣지를 기반으로 대상 객체의 3D 형상을 생성할 수 있다.
단계(503)에서 혼합 현실 장치는 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 대상 객체의 3D 형상을 변형할 수 있다. 혼합 현실 장치는 입력 영상의 외부 환경 조건에 따른 대상 객체의 3D 형상에 대한 변이 범위를 고려하여 3D 형상을 변형할 수 있다. 그리고, 혼합 현실 장치는 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 메시 정보의 특정 부분 또는, 전체 부분을 변형할 수 있다.
단계(504)에서 혼합 현실 장치는 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 렌더링된 입력 영상을 표시할 수 있다. 자세하게, 혼합 현실 장치는 실제 상황에서의 결과를 예측하기 위한 시뮬레이션을 수행하여 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다. 혼합 현실 장치는 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다.
또한, 혼합 현실 장치는 입력 영상 기반의 시점 변형(view morphing)을 활용한 렌더링을 수행할 수 있다. 또한, 혼합 현실 장치는 한 시점에 여러 노출로 촬영된 입력 영상들로부터 광원의 방향과 강도를 추출할 수 있다. 혼합 현실 장치는 광원의 방향과 강도를 활용하여 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다. 혼합 현실 장치는 렌더링된 입력 영상에 대하여 물리적 특성이 반영된 특정 현상이 실제로 드러나도록 가시화할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 물리 현상 표현 방법을 설명하기 위해 도시한 도면이다.
단계(601)에서 혼합 현실 장치는 혼합 현실을 구성하기 위해 센서를 통해 수집된 입력 영상으로부터 현실 환경에 대한 장면 구조를 결정할 수 있다.
단계(602)에서 혼합 현실 장치는 장면 구조를 기반으로 외부 환경 조건에 반응하여 변형 가능한 대상 객체를 결정할 수 있다. 혼합 현실 장치는 입력 영상으로부터 혼합 현실의 공간에 존재하는 대상 객체의 특성을 추출할 수 있다. 혼합 현실 장치는 대상 객체의 특성에 따른 혼합 현실에서의 자율적 반응을 구현하기 위한 대상 객체를 결정할 수 있다.
단계(603)에서 혼합 현실 장치는 결정된 대상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 대상 객체의 3D 형상을 변형할 수 있다. 여기서, 혼합 현실 장치는 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성할 수 있다. 혼합 현실 장치는 대상 객체의 3D 형상에 대한 변이 범위를 고려하여 상기 대상 객체의 3D 형상을 변형할 수 있다.
단계(604)에서 혼합 현실 장치는 대상 객체의 3D 형상을 입력 영상에 렌더링하여 렌더링된 입력 영상을 표시할 수 있다. 여기서, 렌더링은 입력 영상을 기반으로 실제 물체에 대응하는 대상 객체의 3D 형상 또는, 포면 형태를 서로 겹쳐서 혼합 현실로 가시화 가능한 새로운 입력 영상으로 변환하는 과정을 의미할 수 있다. 일례로, 혼합 현실 장치는 2차원의 평면적인 입력 영상을 기반으로 대상 객체에 있어, 입체적인 형상으로 보이도록 대상 객체의 3D 형상을 입력 영상에 렌더링할 수 있다. 여기서, 입력 영상은 렌더링에 활용되는 품질, 해상도가 높을수록 최종적인 콘텐츠의 품질도 상승할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 혼합 현실 장치
102: 센서
103: 입력 영상
104: 3D Data Lib
105: 렌더링된 입력 영상

Claims (20)

  1. 입력 영상에서 표현된 배경에 따른 식별 가능한 객체 범주를 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위해 변형할 대상 객체를 결정하는 단계;
    상기 결정된 대상 객체의 물리적 특성에 따른 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하는 단계;
    상기 탐색된 대상 객체의 엣지를 기반으로 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 생성하는 단계;
    상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상에 대한 변이 범위에 따른 상기 대상 객체의 3D 형상을 변형하는 단계; 및
    상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링 된 입력 영상을 표시하는 단계;
    를 포함하고,
    상기 대상 객체의 3D 형상을 변형하는 단계는,
    데이터베이스로부터 상기 생성된 대상 객체의 3D 형상과의 유사도에 따른 CAD 데이터를 검색하는 단계;
    상기 검색된 CAD 데이터에 상기 대상 객체의 3D 형상을 피팅하여 상기 대상 객체의 3D 형상의 외형에 대해 변형 가능한 메시 정보를 생성하는 단계; 및
    상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 상기 메시 정보의 특정 부분 또는, 전체 부분에 대응하여 대상 객체의 3D 형상을 변형하는 단계
    를 포함하며,
    상기 렌더링 된 입력 영상을 표시하는 단계는,
    상기 입력 영상의 시점 변형(view morphing)을 활용하여 한 시점에 여러 노출로 촬영된 입력 영상들로부터 광원의 방향과 강도를 추출하는 단계;
    상기 입력 영상들로부터 추출한 광원의 방향과 강도를 이용하여 대상 객체의 3D 형상을 입력 영상에 렌더링하는 단계; 및
    상기 렌더링된 입력 영상에 대하여 대상 객체의 물리적 특성이 반영된 특정 현상이 실제로 드러나도록 가시화하는 단계
    를 포함하는 물리 현상 표현 방법.
  2. 제1항에 있어서,
    상기 대상 객체를 결정하는 단계는,
    사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정하는 물리 현상 표현 방법.
  3. 제1항에 있어서,
    상기 대상 객체를 결정하는 단계는,
    상기 입력 영상으로부터 배경과 혼합 현실에서 적용되는 현실 공간의 구성 객체를 분리하는 단계; 및
    상기 구성 객체들 중 입력 영상의 장면 구조가 고려된 대상 객체를 결정하는 단계;
    를 포함하는 물리 현상 표현 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 렌더링된 입력 영상을 표시하는 단계는,
    상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하는 물리 현상 표현 방법.
  8. 혼합 현실을 구성하기 위해 센서를 통해 수집된 입력 영상으로부터 현실 환경에 대한 장면 구조를 결정하는 단계;
    상기 결정된 장면 구조를 기반으로 외부 환경 조건에 반응하여 변형 가능한 대상 객체를 결정하는 단계;
    상기 결정된 대상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 상기 대상 객체의 3D 형상을 변형하는 단계; 및
    상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 표시하는 단계;
    를 포함하고,
    상기 대상 객체의 3D 형상을 변형하는 단계는,
    상기 결정된 대상 객체의 물리적 특성에 따른 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하는 단계;
    상기 탐색된 대상 객체의 엣지를 기반으로 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 생성하는 단계;
    데이터베이스로부터 상기 생성된 대상 객체의 3D 형상과의 유사도에 따른 CAD 데이터를 검색하는 단계;
    상기 검색된 CAD 데이터에 상기 대상 객체의 3D 형상을 피팅하여 상기 대상 객체의 3D 형상의 외형에 대해 변형 가능한 메시 정보를 생성하는 단계; 및
    상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 상기 메시 정보의 특정 부분 또는, 전체 부분에 대응하여 대상 객체의 3D 형상을 변형하는 단계
    를 포함하고,
    상기 렌더링 된 입력 영상을 표시하는 단계는,
    상기 입력 영상의 시점 변형(view morphing)을 활용하여 한 시점에 여러 노출로 촬영된 입력 영상들로부터 광원의 방향과 강도를 추출하는 단계;
    상기 입력 영상들로부터 추출한 광원의 방향과 강도를 이용하여 대상 객체의 3D 형상을 입력 영상에 렌더링하는 단계; 및
    상기 렌더링된 입력 영상에 대하여 대상 객체의 물리적 특성이 반영된 특정 현상이 실제로 드러나도록 가시화하는 단계
    를 포함하는 물리 현상 표현 방법.
  9. 제8항에 있어서,
    상기 변형 가능한 대상 객체를 결정하는 단계는,
    입력 영상으로부터 혼합 현실의 공간에서의 대상 객체의 특성을 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위한 대상 객체를 결정하는 물리 현상 표현 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 렌더링된 입력 영상을 표시하는 단계는,
    상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하는 물리 현상 표현 방법.
  12. 프로세서를 포함하는 혼합 현실 장치에 있어서,
    상기 프로세서는,
    입력 영상에서 표현된 배경에 따른 식별 가능한 객체 범주를 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위해 변형할 대상 객체를 결정하고,
    상기 결정된 대상 객체의 물리적 특성에 따른, 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하고,
    상기 탐색된 대상 객체의 엣지를 기반으로 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 생성하고,
    상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상에 대한 변이 범위에 따른 상기 대상 객체의 3D 형상을 변형하고,
    상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 표시하며,
    상기 대상 객체의 3D 형상을 변형함에 있어,
    데이터베이스로부터 상기 생성된 대상 객체의 3D 형상과의 유사도에 따른 CAD 데이터를 검색하고,
    상기 검색된 CAD 데이터에 상기 대상 객체의 3D 형상을 피팅하여 상기 대상 객체의 3D 형상의 외형에 대해 변형 가능한 메시 정보를 생성하고,
    상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 상기 메시 정보의 특정 부분 또는, 전체 부분에 대응하여 대상 객체의 3D 형상을 변형하며,
    상기 렌더링 된 입력 영상을 표시함에 있어,
    상기 입력 영상의 시점 변형을 활용하여 한 시점에 여러 노출로 촬영된 입력 영상들로부터 광원의 방향과 강도를 추출하고,
    상기 입력 영상들로부터 추출한 광원의 방향과 강도를 이용하여 대상 객체의 3D 형상을 입력 영상에 렌더링하고,
    상기 렌더링된 입력 영상에 대하여 대상 객체의 물리적 특성이 반영된 특정 현상이 실제로 드러나도록 가시화하는 혼합 현실 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    사용자가 위치하는 공간 내 사용자가 바라보는 방향, 시야, 시점 중 적어도 하나를 고려하여 입력 영상 내 변형할 대상 객체를 결정하는 혼합 현실 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 카메라의 각도를 기반으로 상기 입력 영상 내 대상 객체의 외형, 위상 구조 중 적어도 하나가 반영된 엣지를 탐색하여 대상 객체의 3D 형상을 생성하는 혼합 현실 장치.
  15. 삭제
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하는 혼합 현실 장치.
  17. 프로세서를 포함하는 혼합 현실 장치에 있어서,
    상기 프로세서는,
    혼합 현실을 구성하기 위해 센서를 통해 수집된 입력 영상으로부터 현실 환경에 대한 장면 구조를 결정하고,
    상기 결정된 장면 구조를 기반으로 외부 환경 조건에 반응하여 변형 가능한 대상 객체를 결정하고,
    상기 결정된 대상 객체의 3D 형상을 생성하고, 대상 객체의 물리적 특성에 따른 상기 대상 객체의 3D 형상을 변형하고,
    상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하여 상기 렌더링된 입력 영상을 표시하며,
    상기 대상 객체의 3D 형상을 변형함에 있어,
    상기 결정된 대상 객체의 물리적 특성에 따른 입력 영상을 촬영한 카메라의 각도를 기반으로 대상 객체의 엣지를 탐색하고,
    상기 탐색된 대상 객체의 엣지를 기반으로 상기 대상 객체의 물리적 특성에 따른 외부 환경 조건을 고려하여 상기 대상 객체의 3D 형상을 생성하고,
    데이터베이스로부터 상기 생성된 대상 객체의 3D 형상과의 유사도에 따른 CAD 데이터를 검색하고,
    상기 검색된 CAD 데이터에 상기 대상 객체의 3D 형상을 피팅하여 상기 대상 객체의 3D 형상의 외형에 대해 변형 가능한 메시 정보를 생성하고,
    상기 대상 객체의 3D 형상을 나타내는 메시 정보를 기반으로 상기 메시 정보의 특정 부분 또는, 전체 부분에 대응하여 대상 객체의 3D 형상을 변형하며,
    상기 렌더링 된 입력 영상을 표시함에 있어,
    상기 입력 영상의 시점 변형을 활용하여 한 시점에 여러 노출로 촬영된 입력 영상들로부터 광원의 방향과 강도를 추출하고,
    상기 입력 영상들로부터 추출한 광원의 방향과 강도를 이용하여 대상 객체의 3D 형상을 입력 영상에 렌더링하고,
    상기 렌더링된 입력 영상에 대하여 대상 객체의 물리적 특성이 반영된 특정 현상이 실제로 드러나도록 가시화하는 혼합 현실 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    입력 영상으로부터 혼합 현실의 공간에서의 대상 객체의 특성을 고려하여 혼합 현실에서의 자율적 반응을 구현하기 위한 대상 객체를 결정하는 혼합 현실 장치.
  19. 삭제
  20. 제17항에 있어서,
    상기 프로세서는,
    상기 변형된 대상 객체의 3D 형상에 관한 메시 정보와 입력 영상에 포함된 구성 객체 간의 간섭 여부를 고려하여 상기 변형된 대상 객체의 3D 형상을 입력 영상에 렌더링하는 혼합 현실 장치.
KR1020210051015A 2021-04-20 2021-04-20 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치 KR102535404B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210051015A KR102535404B1 (ko) 2021-04-20 2021-04-20 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치
US17/525,829 US20220335675A1 (en) 2021-04-20 2021-11-12 Physical phenomena expressing method for expressing the physical phenomeana in mixed reality, and mixed reality apparatus that performs the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051015A KR102535404B1 (ko) 2021-04-20 2021-04-20 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치

Publications (2)

Publication Number Publication Date
KR20220144554A KR20220144554A (ko) 2022-10-27
KR102535404B1 true KR102535404B1 (ko) 2023-05-26

Family

ID=83601627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051015A KR102535404B1 (ko) 2021-04-20 2021-04-20 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치

Country Status (2)

Country Link
US (1) US20220335675A1 (ko)
KR (1) KR102535404B1 (ko)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970666A (en) * 1988-03-30 1990-11-13 Land Development Laboratory, Inc. Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
US5905499A (en) * 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
US9064344B2 (en) * 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
US20020158877A1 (en) * 2000-11-22 2002-10-31 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital wrap, intensity transforms, color matching, soft-edge blending and filtering for multiple projectors and laser projectors
US8121338B2 (en) * 2004-07-07 2012-02-21 Directsmile Gmbh Process for generating images with realistic text insertion
KR100917755B1 (ko) * 2007-12-10 2009-09-15 한국전자통신연구원 가상 객체의 물리적 특성 변경 장치 및 방법
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
WO2016151691A1 (ja) * 2015-03-20 2016-09-29 株式会社 東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10579749B1 (en) * 2015-06-26 2020-03-03 State Farm Mutual Automobile Insurance Company Systems and methods for augmented reality for disaster simulation
AU2016348368A1 (en) * 2015-11-04 2018-06-07 Illusio, Inc. Augmented reality imaging system for cosmetic surgical procedures
US10088678B1 (en) * 2017-05-09 2018-10-02 Microsoft Technology Licensing, Llc Holographic illustration of weather
US20180330546A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Wind rendering for virtual reality computing device
US10803674B2 (en) * 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US10861238B2 (en) * 2018-05-14 2020-12-08 Microsoft Technology Licensing, Llc Experiential representation of data in mixed reality
US11302040B2 (en) * 2019-06-24 2022-04-12 Samsung Electronics Co., Ltd. System and method for providing weather effect in image

Also Published As

Publication number Publication date
US20220335675A1 (en) 2022-10-20
KR20220144554A (ko) 2022-10-27

Similar Documents

Publication Publication Date Title
CN110310175B (zh) 用于移动增强现实的系统和方法
CN110515452B (zh) 图像处理方法、装置、存储介质和计算机设备
AU2022256192B2 (en) Multi-sync ensemble model for device localization
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
CN108961369B (zh) 生成3d动画的方法和装置
US20160342861A1 (en) Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
Qian et al. Scalar: Authoring semantically adaptive augmented reality experiences in virtual reality
WO2016122973A1 (en) Real time texture mapping
CN105122304A (zh) 使用增强现实的对居住空间的实时设计
CN115244495A (zh) 针对虚拟环境运动的实时式样
Jiang et al. independent hand gesture recognition with Kinect
KR102535404B1 (ko) 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치
Pucihar et al. FUSE: Towards AI-Based Future Services for Generating Augmented Reality Experiences
WO2020219379A1 (en) Generating a semantic construction of a physical setting
Maillard Object Classification and Tracking for Augmented Reality Applications
CN117934690B (zh) 家居软装管理方法、装置、设备及存储介质
Alfaqheri et al. 3D Visual Interaction for Cultural Heritage Sector
Cushen Mobile image parsing for visual clothing search, augmented reality mirror, and person identification
Arezoomandan Dataset Augmentation Pipeline for Improved Long-Range Drone Detection
Yao et al. Neural Radiance Field-based Visual Rendering: A Comprehensive Review
Ammirato Recognizing Fine-Grained Object Instances for Robotics Applications
Pavlopoulou et al. A Mixed Reality application for Object detection with audiovisual feedback through MS HoloLenses
Ronzino AUTOMATIC RECONSTRUCTION OF INDOOR ENVIRONMENTS FOR SHARING AR AND VR SPACES
CN117333645A (zh) 一种环形全息交互系统及其设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant