KR20220039110A - 증강 현실 시스템 및 그 생성 방법 - Google Patents

증강 현실 시스템 및 그 생성 방법 Download PDF

Info

Publication number
KR20220039110A
KR20220039110A KR1020200121788A KR20200121788A KR20220039110A KR 20220039110 A KR20220039110 A KR 20220039110A KR 1020200121788 A KR1020200121788 A KR 1020200121788A KR 20200121788 A KR20200121788 A KR 20200121788A KR 20220039110 A KR20220039110 A KR 20220039110A
Authority
KR
South Korea
Prior art keywords
data
virtual image
pose data
augmented reality
future
Prior art date
Application number
KR1020200121788A
Other languages
English (en)
Inventor
김윤태
피재환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200121788A priority Critical patent/KR20220039110A/ko
Priority to US17/321,984 priority patent/US11625092B2/en
Priority to CN202110584726.4A priority patent/CN114253390A/zh
Priority to EP21185118.3A priority patent/EP3971689A1/en
Publication of KR20220039110A publication Critical patent/KR20220039110A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따르면, 외부 데이터를 획득하는 단계, 외부 데이터에 기초하여 에지 컴퓨팅을 통해 증강 현실 장치의 위치에 대응되는 현재 포즈 데이터를 획득하는 단계, 현재 포즈 데이터에 기초하여 증강 현실 장치의 움직임에 대응되는 제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 단계, 제1 미래 포즈 데이터에 기초하여 에지 컴퓨팅을 통해 가상 이미지를 생성하는 단계 및 제2 미래 포즈 데이터 및 가상 이미지에 기초하여 가상 영상을 생성하는 단계를 포함하는, 증강 현실 생성 방법이 개시된다.

Description

증강 현실 시스템 및 그 생성 방법{System and generating method of augmented reality}
본 개시는 증강 현실 시스템 및 그 생성 방법에 관한 것이다.
최근 기술의 발전에 따라, 인체에 착용 가능한 다양한 형태의 웨어러블 장치들이 개발되고 있다. 그 중 안경 타입 웨어러블 장치는 사용자의 머리에 착용되고, 장치 상의 디스플레이를 통해 가상 오브젝트에 대한 시각적 정보를 제공함으로써 사용자에게 증강 현실 서비스를 제공할 수 있다.
증강 현실과 같은 디스플레이 기술들은 장치 상에서 출력된 영상이 실제인 것처럼 사용자에게 느껴져야 한다. 사용자는 이러한 기술들을 통해 현실에서는 경험할 수 없는 다양한 경험을 체험할 수 있다. 웨어러블 장치인 증강 현실 장치는 사용자가 착용하는데 있어 편리해야 한다. 이를 위해서는 증강 현실 장치의 소형화 및 경량화가 요구된다. 또한, 증강 현실 장치를 통해 사용자에게 제공되는 영상은 실시간성이 중요하다. 출력 영상의 실시간성이 낮은 경우, 사용자는 검출된 포즈와 출력 영상과의 차이에서 발생하는 오차에 의해 불편함을 느낄 수 있다. 따라서, 증강 현실 장치의 소형화 및 경량화와 동시에 출력 영상의 실시간성을 달성시킬 수 있는 방안들이 요구된다.
본 개시는 증강 현실 시스템 및 그 생성 방법을 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 증강 현실 생성 방법은, 외부 데이터를 획득하는 단계; 상기 외부 데이터에 기초하여 에지 컴퓨팅을 통해 증강 현실 장치의 위치에 대응되는 현재 포즈 데이터를 획득하는 단계; 상기 현재 포즈 데이터에 기초하여 상기 증강 현실 장치의 움직임에 대응되는 제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 단계; 상기 제1 미래 포즈 데이터에 기초하여 에지 컴퓨팅을 통해 가상 이미지를 생성하는 단계; 및 상기 제2 미래 포즈 데이터 및 상기 가상 이미지에 기초하여 가상 영상을 생성하는 단계를 포함할 수 있다.
다른 측면에 따른 증강 현실 시스템은 외부 데이터 획득부; 상기 가상 이미지 생성 장치와 데이터를 송수신하기 위한 통신부; 상기 가상 이미지 생성 장치로부터 수신한 현재 포즈 데이터에 기초하여 기초하여 상기 증강 현실 장치의 움직임에 대응되는 제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 포즈 예측부; 및 상기 가상 이미지 생성 장치로부터 수신한 가상 이미지 및 상기 제2 미래 포즈 데이터에 기초하여 가상 영상을 생성하는 가상 영상 생성부를 포함하는 증강 현실 장치 및 상기 증강 현실 장치로부터 수신한 외부 데이터에 기초하여 증강 현실 장치의 위치에 대응되는 상기 현재 포즈 데이터를 획득하고, 상기 제1 미래 포즈 데이터에 기초하여 상기 가상 이미지를 생성하는 가상 이미지 생성 장치를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 기록매체를 포함할 수 있다.
도 1은 일 실시예에 따른 증강 현실 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 증강 현실 시스템을 나타낸 블록도이다.
도 3은 일 실시예에 따른 외부 데이터 획득부를 나타낸 블록도이다.
도 4는 일 실시예에 따른 증강 현실 장치의 동작 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 가상 이미지 생성 장치의 종류를 나타내는 도면이다.
도 6은 일 실시예에 따른 가상 이미지 생성 장치의 동작 방법을 나타내는 흐름도이다.
도 7은 일 실시예에 따른 증강 현실 장치 및 가상 이미지 생성 장치의 동작 방법을 나타내는 흐름도이다.
도 8은 가상 영상을 생성하기 위한 과정 모두를 증강 현실 장치에서 수행하는 경우를 나타낸 흐름도이다.
도 9는 가상 영상을 생성하기 위한 과정 모두를 가상 이미지 생성 장치에서 수행하는 경우를 나타낸 흐름도이다.
도 10은 일 실시예에 따른 현재 포즈 데이터 및 미래 포즈 데이터를 나타내는 도면이다.
도 11은 일 실시예에 따른 가상 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 가상 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 증강 현실 시스템의 동작 방법을 나타내는 흐름도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 실시예들에서 사용되는 "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 증강 현실 장치를 설명하기 위한 도면이다.
도 1을 참고하면, 증강 현실 장치(200)는 사용자에 의해 착용될 수 있는 웨어러블(wearable) 장치에 해당할 수 있다. 예를 들어, 증강 현실 장치(200)는 안경 타입의 웨어러블 장치일 수 있으나, 이에 제한되지 않고 사용자의 다른 신체 부위에 착용될 수 있는 다른 타입의 웨어러블 장치(예를 들어, 증강 현실 헬멧 등)일 수도 있다.
증강 현실 장치(200)는 증강 현실 장치(200) 상의 디스플레이를 통해 사용자 주위의 현실 세계(real world) 정보와 디지털 또는 가상 오브젝트(object) 정보가 포함된 가상 영상을 융합한 증강 현실 서비스를 제공할 수 있다. 예를 들어, 증강 현실 장치(200)를 통해 사용자에게 가상 영상이 제공되는 경우, 증강 현실 장치(200)의 현재 위치에서 보여지는 현실 세계의 장면 상에 가상 영상이 함께 제공될 수 있다. 사용자는 증강 현실 장치(200)를 통해 가상 영상을 볼 수 있지만, 가상 영상은 현실 세계에는 존재하지 않는 것이다.
현실 세계란 관찰자 또는 사용자가 증강 현실 장치(200)를 통해 볼 수 있는 실제 장면(real scene)으로서, 현실 객체(real world object)를 포함할 수 있다. 이와 비교하여, 가상 영상은 그래픽스 프로세싱에 의해 생성되는 영상으로서, 정적 이미지가 표시되는 영상 또는 동적 이미지가 표시되는 영상에 해당할 수 있다. 예를 들어, 가상 영상은 실제 장면 상에 오버레이(overlay)되어, 실제 장면 속의 현실 객체에 대한 정보나 증강 현실 장치(200)의 동작에 대한 정보나 제어 메뉴 등을 제공하는 영상일 수 있다.
증강 현실 장치(200)는 도 1에 도시된 바와 같이 헤드-마운트(head-mounted) 웨어러블 장치에 해당될 수 있고, 이에 따라 사용자의 머리가 움직일 때 함께 움직일 수 있다. 그러므로, 증강 현실 장치(200)의 위치는 사용자 머리의 움직임에 의존하여 계속적으로 변경될 수 있기 때문에, 사용자 머리의 위치의 변화를 고려하여 계속적으로 업데이트될 필요가 있다. 예를 들어, 증강 현실 장치(200)를 착용하고 있는 사용자가 길을 걷고 있는 경우, 증강 현실 장치(200)를 통해 보여지는 실제 장면은 계속적으로 변경되므로, 증강 현실 장치(200)에 의해 제공되는 가상 영상도 현재 위치를 고려하여 재-렌더링되어 가상 영상이 실제 장면 상에 점유되어 있다는 심리스한 지각(seamless perspective)을 사용자에게 제공할 필요가 있다.
증강 현실 장치(200)의 어느 일부의 내부 공간에는, IMU(Inertial Measurement Unit) 센서, 가속도계, 컴퍼스 등과 같은 다양한 종류의 센서들, 카메라와 같은 이미지 캡처 모듈, 마이크로폰, GPS 모듈, 통신부(220), 프로세서, 배터리 등의 다양한 하드웨어 구성요소들을 포함하는 전자 하드웨어(electric HW)가 구비될 수 있다.
한편, 증강 현실 장치(200)에는 가상 영상을 디스플레이하기 위한 광학 엔진, 광학 부품 등이 추가적으로 구비될 수 있다. 도 1에서는 설명의 편의상, 증강 현실 장치(200)의 일 측면의 프레임 내부에 전자 하드웨어가 구비되어 있는 것으로 도시되어 있으나, 증강 현실 장치(200)에서 전자 하드웨어가 구비된 위치는 이에 제한되지 않고 증강 현실 장치(200) 상에서 다양한 위치들에 구비될 수 있고 각 하드웨어 구성요소들은 동일한 공간 또는 서로 다른 공간들에 마련될 수 있다.
도 2는 일 실시예에 따른 증강 현실 시스템을 나타낸 블록도이다.
도 2를 참조하면, 증강 현실 시스템(100)은 증강 현실 장치(200) 및 가상 이미지 생성 장치(300)를 포함할 수 있다. 증강 현실 장치(200)는 외부 데이터 획득부(210), 통신부(220), 포즈 예측부(230) 및 가상 영상 생성부(240)를 포함할 수 있다.
도 2에 도시된 증강 현실 시스템(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 증강 현실 시스템(100)에는 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.
가상 이미지 생성 장치(300)는 증강 현실 장치(200) 외부의 장치로서 가상 영상을 생성하기 위한 과정 중 일부를 수행할 수 있다. 예를 들어, 가상 영상을 생성하는 데 있어 비교적 적은 연산량이 요구되는(비교적 고속으로 처리될 수 있는) 과정은 증강 현실 장치(200)에서 수행되고, 비교적 많은 연산량이 요구되는(비교적 저속으로 처리되는) 과정은 가상 이미지 생성 장치(300)에서 수행될 수 있다. 가상 이미지 생성 장치(300)는 증강 현실 장치(200)에 비하여 고용량 또는 고성능의 프로세서 및 메모리 등을 포함할 수 있다. 따라서, 증강 현실 시스템(100)은 비교적 적은 연산량이 요구되는 과정을 증강 현실 장치(200)에서 수행시키고, 비교적 많은 연산량이 요구되는 과정을 가상 이미지 생성 장치(300)에서 수행시킬 수 있다.
증강 현실 시스템(100)은 가상 영상을 생성하기 위한 과정 중 비교적 적은 연산량이 요구되는 과정만을 증강 현실 장치(200)에서 수행함으로써, 모든 과정을 증강 현실 장치(200)에서 수행하는 경우에 비하여 증강 현실 장치(200)의 소형화, 경량화 및 전력 소모 감소를 달성할 수 있다. 또한, 증강 현실 시스템(100)은 가상 영상을 생성하기 위한 과정 중 일부(비교적 적은 연산량이 요구되는 과정)는 여전히 증강 현실 장치(200)에서 수행함으로써 가상 영상을 생성하는 과정을 이원화할 수 있고, 모든 과정을 가상 이미지 생성 장치(300)에서 수행하는 것에 비하여 레이턴시(latency)를 감소시킬 수 있다. 예를 들어, 레이턴시는 외부 데이터를 획득한 때부터 가상 영상을 생성하기 까지 소요되는 총 시간에 해당할 수 있다.
외부 데이터 획득부(210)는 증강 현실 장치(200) 외부의 이미지에 대한 데이터 또는 증강 현실 장치(200)의 움직임에 대한 데이터를 포함하는 외부 데이터를 획득할 수 있다. 외부 데이터 획득부(210)는 외부 데이터를 통신부(220) 또는 포즈 예측부(230)로 전송할 수 있다.
통신부(220)는 가상 이미지 생성 장치(300)와 통신함으로써 데이터를 송수신할 수 있다. 통신부(220)는 가상 이미지 생성 장치(300)로부터 수신한 데이터를 증강 현실 장치(200)의 각 구성으로 전송하고, 증강 현실 장치(200)의 각 구성으로부터 데이터를 전송 받아 가상 이미지 생성 장치(300)로 송신할 수 있다.
통신부(220)는 Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system), OFDM, OFDMA(orthogonal frequency division multiple access), LTE, LTE-A, CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunications system), WiBro, GSM(global system for mobile communications) 및 5G(fifth-generation) 등과 같은 통신 규격 및 통신 방식 중 적어도 하나를 지원하는 하드웨어 구성을 포함할 수 있다.
포즈 예측부(230)는 증강 현실 장치(200)의 미래 위치를 예측할 수 있다. 증강 현실 장치(200)의 현재 위치를 기초로 생성된 가상 영상이 디스플레이에 출력될 경우, 가상 영상이 생성되는 동안 증강 현실 장치(200)의 위치는 이미 변경되었을 것이므로, 현실 세계와 가상 영상 간의 오차가 발생할 수 있다. 따라서, 포즈 예측부(230)는 증강 현실 장치(200)에 대해 예측된 미래 위치에 기초하여 가상 영상이 제공될 수 있도록 미래 위치를 예측할 수 있다.
가상 영상 생성부(240)는 사용자에게 제공되는 가상 영상을 생성할 수 있다. 가상 영상 생성부(240)는 포즈 예측부(230)에서 예측된 증강 현실 장치(200)의 미래 위치에 대응되는 가상 영상을 생성할 수 있다.
일 실시예에서, 포즈 예측부(230) 및 가상 영상 생성부(240)의 동작은 각각에 포함된 프로세서에 의해 수행되거나, 하나의 프로세서에 의해 포즈 예측부(230) 및 가상 영상 생성부(240)의 동작이 모두 수행될 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
다른 실시예에서, 포즈 예측부 및 가상 영상 생성부(240)는 외부 데이터 획득부(210)에 포함되는 칩 내에 실장될 수 있다. 예를 들어, 칩은 카메라에 포함되는 센서, 관성 측정부에 포함되는 센서 또는 ISP(image sensor processor)에 해당할 수 있다. 포즈 예측부 및 가상 영상 생성부(240)가 SoC(system on chip) 형태로 설계되어 칩 내에 실장될 수 있다. 이 경우, 하나의 칩에서 다양한 동작들이 수행되므로 증강 현실 장치(200)의 소형화 및 경량화가 달성되고, 가상 영상을 생성하기 위한 과정이 고속 및 저전력으로 수행될 수 있다.
한편, 가상 이미지 생성 장치(300)는 현재 포즈 데이터를 획득하고 포즈 예측부(230)는 미래 포즈 데이터를 획득할 수 있는데, 포즈 데이터는 증강 현실 장치(200)의 위치 정보를 포함하는 데이터로서, 증강 현실 장치(200)에 대한 6D(6 degrees of freedom) 포즈를 포함할 수 있다. 6D 포즈는 증강 현실 장치(200)의 위치(position)를 나타내는 3D 포즈 및 증강 현실 장치(200)의 자세(orientation)를 나타내는 3D 포즈를 포함할 수 있다.
도 3은 일 실시예에 따른 외부 데이터 획득부를 나타낸 블록도이다.
도 3을 참조하면, 외부 데이터 획득부(210)는 카메라(211) 및 관성 측정부(212)를 포함할 수 있다.
도 3에 도시된 외부 데이터 획득부(210)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 외부 데이터 획득부(210)에는 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.
카메라(211)는 사용자가 증강 현실 장치(200)를 통해 볼 수 있는 실제 장면에 대한 이미지를 캡처할 수 있다. 외부 데이터 획득부(210)는 카메라(211)를 통해 증강 현실 장치(200) 외부의 이미지에 대한 데이터를 획득할 수 있다. 예를 들어, 외부 데이터 획득부(210)가 복수의 카메라(211)들을 포함하는 경우, 복수의 카메라(211)들을 통해 스테레오 데이터를 획득할 수 있다. 또는, 외부 데이터 획득부(210)는 카메라(211)를 통해 증강 현실 장치(200) 외부의 이미지에 대한 깊이(depth) 데이터를 획득할 수 있다. 카메라(211)는 흑백 이미지를 캡처하는 흑백 카메라이거나, 컬러 이미지를 캡처하는 컬러 카메라일 수 있다.
관성 측정부(212)는 증강 현실 장치(200)의 움직임에 대응되는 관성 데이터를 획득할 수 있다. 예를 들어, 관성 측정부(212)는 관성 측정 장비(IMU; inertial measurement unit)를 포함할 수 있다. 관성 측정부(212)는 증강 현실 장치(200)의 움직임을 감지하고, 이에 기초하여 관성 데이터를 생성할 수 있다. 관성 데이터는 증강 현실 장치(200)의 미래 위치를 예측하는데 활용될 수 있다.
도 4는 일 실시예에 따른 증강 현실 장치의 동작 방법을 나타내는 흐름도이다.
도 4를 참조하면, 증강 현실 장치(200)는 도 2에 도시된 증강 현실 장치(200)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2를 참조하여 증강 현실 장치(200)에 관하여 전술된 내용은 도 4의 방법에도 적용됨을 알 수 있다.
단계 410에서, 외부 데이터 획득부(210)는 외부 데이터를 획득할 수 있다.
외부 데이터는 증강 현실 장치(200) 외부의 이미지에 대한 데이터 또는 증강 현실 장치(200)의 움직임에 대한 데이터 등을 포함할 수 있다.
단계 411에서, 외부 데이터 획득부(210)는 외부 데이터를 통신부(220)로 전송할 수 있다.
단계 412에서, 통신부(220)는 가상 이미지 생성 장치(300)로 외부 데이터를 송신 할 수 있다.
가상 이미지 생성 장치(300)가 외부 데이터에 기초하여 현재 포즈 데이터를 획득하는 방법에 대해서는, 도 6을 참조하여 구체적으로 후술하도록 한다.
단계 420에서, 통신부(220)는 가상 이미지 생성 장치(300)로부터 현재 포즈 데이터를 수신할 수 있다.
현재 포즈 데이터는 증강 현실 장치(200)의 현재 위치에 대응되는 데이터일 수 있다.
단계 421에서, 통신부(220)는 현재 포즈 데이터를 포즈 예측부(230)로 전송할 수 있다.
단계 430에서, 포즈 예측부(230)는 현재 포즈 데이터에 기초하여 제1 미래 포즈 데이터를 획득 할 수 있다.
포즈 예측부(230)는 증강 현실 장치(200)의 현재 위치에 대응되는 현재 포즈 데이터에 관성 데이터를 적용함으로써 제1 미래 포즈 데이터를 획득할 수 있다. 관성 데이터는 증강 현실 장치(200)의 움직임에 기초하여 획득되므로, 제1 미래 포즈 데이터는 증강 현실 장치(200)의 움직임에 따라 상이한 6D 포즈를 포함할 수 있다.
포즈 예측부(230)는 현재 포즈 데이터를 수신하는(또는 가상 이미지 생성 장치(300)에서 현재 포즈 데이터가 획득되는) 주기보다 빠른 주기로 제1 미래 포즈 데이터를 획득할 수 있다. 따라서, 포즈 예측부(230)는 현재 포즈 데이터를 1회 수신할 때(또는 가상 이미지 생성 장치(300)에서 1회 획득될 때) 제1 미래 포즈 데이터를 복수 회 획득할 수 있다.
단계 431에서, 포즈 예측부(230)는 제1 미래 포즈 데이터를 통신부(220)로 전송할 수 있다.
단계 432에서, 통신부(220)는 가상 이미지 생성 장치(300)로 제1 미래 포즈 데이터를 송신할 수 있다.
단계 440에서, 포즈 예측부(230)는 제1 미래 포즈 데이터에 기초하여 제2 미래 포즈 데이터를 획득 할 수 있다.
제2 미래 포즈 데이터는 제1 미래 포즈 데이터에 대응되는 시점 이후의 시점에 대응될 수 있다. 예를 들어, 제1 미래 포즈 데이터가 현재 시점 이후의 제1 시점에 대응되는 경우, 제2 미래 포즈 데이터는 제1 시점 이후의 제2 시점에 대응될 수 있다.
포즈 예측부(230)는 제1 미래 포즈 데이터에 포함되는 6D 포즈를 기 설정된 파라미터에 따라 변경함으로써 제2 미래 포즈 데이터를 획득할 수 있다. 파라미터는 6D 포즈의 6개의 값들을 변경시키기 위한 기준으로서, 증강 현실 시스템(100)의 설정에 따라 다양하게 결정될 수 있다. 예를 들어, 제2 미래 포즈 데이터에 대응되는 이미지는 제1 미래 포즈 데이터에 대응되는 가상 이미지에서 위치 또는 모양이 약간 변경된 이미지일 수 있다.
관성 데이터에 기초하여 획득되는 제1 미래 포즈 데이터에 비해, 제1 미래 포즈 데이터의 6D 포즈를 변경시켜 획득되는 제2 미래 포즈 데이터는 획득되는데 소요되는 시간이 짧을 수 있다. 따라서, 포즈 예측부(230)는 제1 미래 포즈 데이터를 획득하는 주기보다 빠른 주기로 제2 미래 포즈 데이터를 획득함으로써, 제1 미래 포즈 데이터를 1회 획득할 때 제2 미래 포즈 데이터를 복수 회 획득할 수 있다.
단계 441에서, 포즈 예측부(230)는 제2 미래 포즈 데이터를 가상 영상 생성부(240)로 전송할 수 있다.
단계 450에서, 통신부(220)는 가상 이미지 생성 장치(300)로부터 가상 이미지를 수신할 수 있다.
가상 이미지는 최종적으로 출력되는 가상 영상의 각각의 프레임에 대응되는 이미지들의 기초가 되는 것으로서, 출력되는 이미지가 아닌, 가상 영상을 생성하기 위한 수단에 해당할 수 있다.
단계 451에서, 통신부(220)는 가상 이미지를 가상 영상 생성부(240)로 전송할 수 있다.
단계 460에서, 가상 영상 생성부(240)는 제2 미래 포즈 데이터 및 가상 이미지에 기초하여 가상 영상을 생성할 수 있다.
가상 영상 생성부(240)는 가상 이미지에 대해, 복수 회 획득한 제2 미래 포즈 데이터를 적용함으로써 제2 미래 포즈 데이터가 획득된 횟수에 대응되는 개수의 이미지들을 생성할 수 있다. 가상 이미지는 제1 미래 포즈 데이터에 기초하여 생성된 이미지이므로, 가상 이미지에 제2 미래 포즈 데이터가 적용됨에 따라 가상 이미지의 위치 또는 모양이 변경될 수 있다.
가상 영상 생성부(240)는 가상 이미지에 대해, 복수 회 획득된 제2 미래 포즈 데이터를 각각 적용함으로써 생성된 복수의 이미지들을 포함하는 가상 영상을 생성할 수 있다. 예를 들어, 생성된 이미지들 각각은 복수의 프레임들로 구성된 가상 영상의 각각의 프레임에 대응될 수 있다.
증강 현실 시스템(100)은 증강 현실 장치(200)의 현재 위치를 기반으로 증강 현실 장치(200)의 미래 위치에 대응되는 가상 영상을 생성함으로써, 가상 영상이 디스플레이되는 시점에서의 증강 현실 장치(200)의 위치에 대응되는 영상을 사용자에게 제공할 수 있다.
도 5는 일 실시예에 따른 가상 이미지 생성 장치의 종류를 나타내는 도면이다.
가상 이미지 생성 장치(300)는 통신이 가능하며 이미지를 렌더링할 수 있는 어떠한 장치, 시스템 또는 서버에도 해당할 수 있다. 예를 들어, 가상 이미지 생성 장치(300)는 통신이 가능한 단말기일 수 있다.
가상 이미지 생성 장치(300)는 에지 컴퓨팅 장치(510)에 해당하거나, 모바일폰 또는 스마트폰(520)에 해당할 수 있다. 또한, 가상 이미지 생성 장치(300)는 태블릿 또는 스마트 태블릿(530)에 해당하거나, 컴퓨터 또는 노트북(540)에 해당할 수 있다.
한편, 도 5에 따른 가상 이미지 생성 장치(300)는 예시에 불과하며, 가상 이미지 생성 장치(300)의 종류는 이에 한정되지 않는다.
도 6은 일 실시예에 따른 가상 이미지 생성 장치의 동작 방법을 나타내는 흐름도이다.
도 6을 참조하면, 가상 이미지 생성 장치(300)는 도 2에 도시된 가상 이미지 생성 장치(300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2를 참조하여 가상 이미지 생성 장치(300)에 관하여 전술된 내용은 도 6의 방법에도 적용됨을 알 수 있다.
단계 610에서, 가상 이미지 생성 장치(300)는 증강 현실 장치(200)로부터 외부 데이터를 수신할 수 있다.
단계 620에서, 가상 이미지 생성 장치(300)는 외부 데이터에 기초하여 최적화 데이터를 생성할 수 있다.
가상 이미지 생성 장치(300)는 외부 데이터(예를 들어, 스테레오 데이터)에 기초하여 증강 현실 장치(200) 주변의 이미지에 대한 특징점을 추출할 수 있다. 가상 이미지 생성 장치(300)는 특징점에 대하여 광속 조정 또는 칼만 필터링을 수행함으로써 최적화 데이터를 생성할 수 있다. 최적화 데이터는 추출된 특징점에 대해 필터링이 수행됨으로써 오차가 감소된 데이터에 해당할 수 있다.
단계 630에서, 가상 이미지 생성 장치(300)는 클라우드로부터 맵 데이터를 수신 할 수 있다.
가상 이미지 생성 장치(300)는 클라우드와 통신함으로써 클라우드로부터 데이터를 수신할 수 있다. 클라우드로부터 수신하는 맵 데이터는 증강 현실 장치(200) 주변의 실제 장면을 그래픽화한 데이터에 해당할 수 있다.
단계 640에서, 가상 이미지 생성 장치(300)는 맵 데이터 및 최적화 데이터에 기초하여 현재 포즈 데이터를 획득할 수 있다.
최적화 데이터는 증강 현실 장치(200)의 현재 위치에 대한 데이터를 포함할 수 있다. 다만, 가상 이미지 생성 장치(300)는 증강 현실 장치(200)의 현재 위치에 대한 보다 정확한 데이터를 획득하기 위하여 최적화 데이터 외에 맵 데이터도 활용할 수 있다.
현재 포즈 데이터는 증강 현실 장치(200)의 현재 위치에 대응되는 6D 포즈를 포함할 수 있다.
단계 650에서, 가상 이미지 생성 장치(300)는 증강 현실 장치(200)로 현재 포즈 데이터를 송신할 수 있다.
단계 660에서, 가상 이미지 생성 장치(300)는 증강 현실 장치(200)로부터 제1 미래 포즈 데이터를 수신할 수 있다.
단계 670에서, 가상 이미지 생성 장치(300)는 클라우드로부터 그래픽 이미지를 수신할 수 있다.
그래픽 이미지는 위치 정보를 포함하지 않고, 가상 이미지에 포함되는 가상 오브젝트의 그래픽만을 포함하는 이미지이다.
단계 680에서, 가상 이미지 생성 장치(300)는 그래픽 이미지 및 제1 미래 포즈 데이터를 기초로 가상 이미지를 생성할 수 있다.
가상 이미지 생성 장치(300)는 클라우드로부터 수신한 그래픽 이미지에 대해 제1 미래 포즈 데이터를 기초로 렌더링을 수행함으로써 가상 이미지를 생성할 수 있다. 가상 이미지 생성 장치(300)는 렌더링을 수행함으로써 그래픽 이미지에 제1 미래 포즈 데이터에 포함되는 위치 정보를 입력할 수 있다. 가상 이미지 생성 장치(300)는 그래픽 및 위치 정보를 포함하는 가상 이미지를 생성할 수 있다.
단계 690에서, 가상 이미지 생성 장치(300)는 증강 현실 장치(200)로 가상 이미지를 송신할 수 있다.
도 7은 일 실시예에 따른 증강 현실 장치 및 가상 이미지 생성 장치의 동작 방법을 나타내는 흐름도이다.
도 7을 참조하면, 증강 현실 시스템(100)은 도 2에 도시된 증강 현실 시스템(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2를 참조하여 증강 현실 시스템(100)에 관하여 전술된 내용은 도 7의 방법에도 적용됨을 알 수 있다. 또한, 도 7에 따른 흐름도는 도 5에 따른 흐름도 및 도 6에 따른 흐름도를 조합한 흐름도이다. 따라서, 중복되는 설명은 생략한다.
단계 710에서, 증강 현실 장치(200)는 외부 데이터를 획득할 수 있다.
외부 데이터는 증강 현실 장치(200) 외부의 이미지에 대한 데이터 또는 증강 현실 장치(200)의 움직임에 대한 데이터 등을 포함할 수 있다.
단계 711에서, 증강 현실 장치(200)는 외부 데이터를 가상 이미지 생성 장치(300)로 송신할 수 있다.
단계 720에서, 가상 이미지 생성 장치(300)는 외부 데이터에 기초하여 최적화 데이터를 생성할 수 있다.
최적화 데이터는 추출된 특징점에 대해 필터링이 수행됨으로써 오차가 감소된 데이터에 해당할 수 있다.
단계 730에서, 가상 이미지 생성 장치(300)는 클라우드로부터 맵 데이터를 수신할 수 있다.
맵 데이터는 증강 현실 장치(200) 주변의 실제 장면을 그래픽화한 데이터에 해당할 수 있다.
단계 740에서, 가상 이미지 생성 장치(300)는 맵 데이터 및 최적화 데이터에 기초하여 현재 포즈 데이터를 획득할 수 있다.
단계 741에서, 가상 이미지 생성 장치(300)는 현재 포즈 데이터를 증강 현실 장치(200)로 송신할 수 있다.
현재 포즈 데이터는 증강 현실 장치(200)의 현재 위치에 대응되는 데이터일 수 있다.
단계 750에서, 증강 현실 장치(200)는 현재 포즈 데이터에 기초하여 제1 미래 포즈 데이터를 획득할 수 있다.
제1 미래 포즈 데이터는 증강 현실 장치(200)에 대한 6D 포즈를 포함하는 데이터로서, 현재 시점 이후의 시점에 대응되는 데이터일 수 있다.
단계 751에서, 증강 현실 장치(200)는 제1 미래 포즈 데이터를 가상 이미지 생성 장치(300)로 송신할 수 있다.
단계 760에서, 가상 이미지 생성 장치(300)는 클라우드로부터 그래픽 이미지를 수신할 수 있다.
단계 770에서, 증강 현실 장치(200)는 제1 미래 포즈 데이터에 기초하여 제2 미래 포즈 데이터를 획득할 수 있다.
제2 미래 포즈 데이터는 제1 미래 포즈 데이터에 대응되는 시점 이후의 시점에 대응되는 데이터일 수 있다.
단계 780에서, 가상 이미지 생성 장치(300)는 그래픽 이미지 및 제1 미래 포즈 데이터를 기초로 가상 이미지를 생성할 수 있다.
가상 이미지는 최종적으로 출력되는 가상 영상의 각각의 프레임에 대응되는 이미지들의 기초가 되는 이미지일 수 있다.
단계 781에서, 가상 이미지 생성 장치(300)는 가상 이미지를 증강 현실 장치(200)로 송신할 수 있다.
단계 790에서, 증강 현실 장치(200)는 제2 미래 포즈 데이터 및 가상 이미지에 기초하여 가상 영상을 생성할 수 있다.
가상 영상은 디지털 또는 가상 오브젝트 정보가 포함되어 사용자에게 제공되는 영상에 해당할 수 있다.
증강 현실 시스템(100)은 가상 영상을 생성하기 위한 과정 중 비교적 적은 연산량이 요구되는 미래 포즈 데이터를 획득하는 동작 및 가상 이미지에 기초하여 가상 영상을 생성하는 동작만을 증강 현실 장치(200)에서 수행함으로써, 모든 과정을 증강 현실 장치(200)에서 수행하는 경우에 비하여 증강 현실 장치(200)의 소형화, 경량화 및 전력 소모 감소를 달성할 수 있다. 동시에, 증강 현실 시스템(100)은 가상 영상을 생성하기 위한 과정 모두를 가상 이미지 생성 장치(300)에서 수행하는 것이 아닌, 비교적 많은 연산량이 요구되는 현재 포즈 데이터를 획득하는 동작 및 가상 이미지를 생성하는 동작을 가상 이미지 생성 장치(300)에서 수행함으로써 가상 영상을 생성하는 과정을 이원화할 수 있고, 모든 과정을 가상 이미지 생성 장치(300)에서 수행하는 것에 비하여 레이턴시를 감소시킬 수 있다.
증강 현실 시스템(100)은 레이턴시를 감소시킴으로 인해 보다 빠르고 효율적으로 가상 영상을 생성하고, 사용자에게 제공할 수 있다. 따라서, 증강 현실 시스템(100)은 웨어러블 장치인 증강 현실 장치(200)의 소형화 및 경량화를 달성하는 동시에 가상 영상이 실세계 장면 상에 점유되어 있다는 심리스한 지각을 사용자에게 제공할 수 있다.
도 8은 가상 영상을 생성하기 위한 과정 모두를 증강 현실 장치에서 수행하는 경우를 나타낸 흐름도이다.
도 8을 참조하면, 도 7에 따른 실시예와 달리, 현재 포즈 데이터를 획득하는 동작 및 가상 이미지를 생성하는 동작 또한 증강 현실 장치(800)에서 수행하는 등 가상 이미지 생성 장치(300)의 개입 없이 모든 동작이 증강 현실 장치(800)에서 수행된다.
도 8에 따른 방법에서는 증강 현실 장치(800)에서 모든 연산을 수행하기 때문에 보다 고용량 및 고성능의 프로세서 및 메모리가 요구된다. 따라서, 도 8에 따른 증강 현실 장치(800)는 도 7에 따른 증강 현실 장치(800)에 비해 크기가 대형이며 고중량일 것이다. 이는 웨어러블 장치인 증강 현실 장치의 특성상 사용자에게 불편함을 초래할 수 있다.
반면에, 도 7에 따른 증강 현실 시스템(100)은 가상 영상을 생성하는 과정을 이원화함으로써 증강 현실 장치(200)의 소형화 및 경량화를 달성하고, 사용자에게 편리함을 제공할 수 있다.
도 9는 가상 영상을 생성하기 위한 과정 모두를 가상 이미지 생성 장치에서 수행하는 경우를 나타낸 흐름도이다.
도 9를 참조하면, 도 7에 따른 실시예와 달리, 미래 포즈 데이터를 획득하는 동작 및 가상 영상을 생성하는 동작 또한 가상 이미지 생성 장치(910)에서 수행하는 등 외부 데이터를 수신하는 것을 제외하고 증강 현실 장치(900)의 개입 없이 모든 동작이 가상 이미지 생성 장치(910)에서 수행된다.
도 9에 따른 방법에서는 가상 이미지 생성 장치(910)에서 모든 연산을 수행하기 때문에 복수의 장치들에서 수행되는 경우에 비해 가상 영상을 생성하는 속도가 저하된다. 또한, 증강 현실 장치(900)가 생성된 가상 영상을 수신하는 과정에서 보다 많은 시간이 소요될 수 있다. 따라서, 도 9에 따른 증강 현실 시스템(900, 910)에서 가상 영상을 사용자에게 제공하는 것은 도 7에 따른 증강 현실 시스템(100)에서 가상 영상을 사용자에게 제공하는 것은 비해 많은 시간이 소모한다. 이는 실시간으로 가상 영상을 디스플레이해야 하는 증강 현실 시스템의 특성상, 실제 장면과 가상 영상간의 이질감 또는 괴리감을 사용자에게 유발시킬 수 있다.
반면에, 도 7에 따른 증강 현실 시스템(100)은 가상 영상을 생성하는 과정을 이원화함으로써 가상 영상을 생성하는 속도를 향상시키고 전체적인 레이턴시를 감소시킴으로써 가상 영상이 실세계 장면 상에 점유되어 있다는 심리스한 지각을 사용자에게 제공할 수 있다.
도 10은 일 실시예에 따른 현재 포즈 데이터 및 미래 포즈 데이터를 나타내는 도면이다.
도 10을 참조하면, 현재 포즈 데이터(1010)가 1회 획득될 때 제1 미래 포즈 데이터(1020)가 복수 회 획득되고, 제1 미래 포즈 데이터(1020)가 1회 획득될 때 제2 미래 포즈 데이터(1030)가 복수 회 획득되었다.
현재 포즈 데이터(1010)를 획득하기 위해서는 증강 현실 장치(200)의 위치에 기초하여 주변의 이미지에 대한 특징점을 추출하고 최적화하는 동작이 요구되기 때문에 현재 포즈 데이터(1010)를 획득하는 데에는 비교적 긴 시간이 소요될 수 있다. 제1 미래 포즈 데이터(1020)는 현재 포즈 데이터(1010)에 관성 데이터를 적용함으로써 획득되는 것으로 현재 포즈 데이터(1010)를 획득하는 것에 비하여 비교적 짧은 시간이 소요될 수 있다. 제2 미래 포즈 데이터(1030)는 제1 미래 포즈 데이터(1020)에 기 설정된 파라미터를 적용함으로써 획득되는 것으로서 제1 미래 포즈 데이터(1020)를 획득하는 것에 비하여 비교적 짧은 시간이 소요될 수 있다.
따라서, 증강 현실 시스템(100)은 빠르고 효율적으로 가상 영상을 생성하기 위하여 현재 포즈 데이터(1010), 제1 미래 포즈 데이터(1020) 및 제2 미래 포즈 데이터(1030)를 획득하는 횟수를 상이하게 설정할 수 있다. 다만, 도 10에 도시된 각 데이터가 획득되는 횟수는 예시에 불과하며, 이는 상이하게 설정될 수 있다.
도 11은 일 실시예에 따른 가상 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 3차원 공간에 가상 오브젝트(1110)가 표시된다.
도 11의 (a)에는 가상 오브젝트(1110)가 증강 현실 장치(200)의 현재 위치에 대응되도록 표시된다. 증강 현실 장치(200)는 도 11의 (a)를 기준으로 오른쪽으로 움직일 수 있다. 증강 현실 장치(200)는 오른쪽으로의 움직임에 기초하여 관성 데이터를 획득하고, 관성 데이터에 기초하여 제1 미래 포즈 데이터(1020)를 획득할 수 있다.
이 경우, 가상 오브젝트(1110)는 디스플레이 되는 화면 상에서 왼쪽으로 이동되어야 한다. 따라서, 제1 미래 포즈 데이터(1020)에 기초하여 렌더링된 가상 이미지는 도 11의 (b)에서와 같이 왼쪽으로 이동된 가상 오브젝트(1110)를 포함한다. 도 11의 (b)의 가상 이미지는 가상 오브젝트(1110) 및 가상 오브젝트(1110)에 대한 위치 정보를 포함하는 이미지이다.
도 12는 일 실시예에 따른 가상 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 3차원 공간에 가상 오브젝트(1110)가 표시된다.
도 12의 (a)는 도 11의 (b)에 대응될 수 있다. 도 12의 (a)는 제1 미래 포즈 데이터(1020)에 기초하여 렌더링된 가상 이미지를 표시한다.
증강 현실 장치(200)는 제1 미래 포즈 데이터(1020)에 기 설정된 파라미터를 적용함으로써 제2 미래 포즈 데이터(1030)를 복수 회 획득할 수 있다. 증강 현실 장치(200)는 가상 이미지에, 복수 회 획득된 제2 미래 포즈 데이터(1030)를 적용함으로써 복수의 이미지들을 생성할 수 있다. 제2 미래 포즈 데이터(1030)가 적용됨으로써 생성된 이미지들은 도 12의 (b) 및 도 12의 (c)와 같이 나타날 수 있다. 도 12에 따른 실시예에서와 같이 증강 현실 장치(200)는 하나의 가상 이미지에 대해 복수의 이미지들을 생성할 수 있고, 복수의 이미지들을 포함하는 가상 영상을 생성할 수 있다.
도 13은 일 실시예에 따른 증강 현실 시스템의 동작 방법을 나타내는 흐름도이다.
도 13을 참조하면, 증강 현실 시스템(100)은 도 2에 도시된 증강 현실 시스템(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2를 참조하여 증강 현실 시스템(100)에 관하여 전술된 내용은 도 13의 방법에도 적용됨을 알 수 있다. 따라서, 중복되는 설명은 생략한다.
단계 1310에서, 증강 현실 시스템(100)은 외부 데이터를 획득할 수 있다.
증강 현실 시스템(100)은 카메라(211)를 통해 스테레오 데이터를 획득하고, 관성 측정부(212)를 통해 증강 현실 장치(200)의 움직임에 대응되는 관성 데이터를 획득할 수 있다.
단계 1320에서, 증강 현실 시스템(100)은 외부 데이터에 기초하여 에지 컴퓨팅을 통해 증강 현실 장치(200)의 위치에 대응되는 현재 포즈 데이터(1010)를 획득할 수 있다.
증강 현실 시스템(100)은 외부 데이터에 기초하여 에지 컴퓨팅을 통해 증강 현실 장치(200) 주변의 이미지에 대한 특징점을 추출할 수 있다.
증강 현실 시스템(100)은 특징점에 대하여 에지 컴퓨팅을 통해 광속 조정 또는 칼만 필터링을 수행함으로써 최적화 데이터를 생성할 수 있다.
증강 현실 시스템(100)은 클라우드로부터 수신한 맵 데이터 및 최적화 데이터에 기초하여 에지 컴퓨팅을 통해 현재 포즈 데이터(1010)를 획득할 수 있다.
단계 1330에서, 증강 현실 시스템(100)은 현재 포즈 데이터(1010)에 기초하여 증강 현실 장치(200)의 움직임에 대응되는 제1 미래 포즈 데이터(1020) 및 제2 미래 포즈 데이터(1030)를 획득할 수 있다.
증강 현실 시스템(100)은 현재 포즈 데이터(1010)에 대하여 관성 데이터를 적용함으로써 제1 미래 포즈 데이터(1020)를 획득할 수 있다.
증강 현실 시스템(100)은 제1 미래 포즈 데이터(1020)에 포함되는 6D 포즈를 기 설정된 파라미터에 따라 변경함으로써 제2 미래 포즈 데이터(1030)를 획득할 수 있다.
증강 현실 시스템(100)은 현재 포즈 데이터(1010)를 획득하는 주기보다 빠른 주기로 제1 미래 포즈 데이터(1020)를 획득함으로써, 현재 포즈 데이터(1010)를 1회 획득할 때 제1 미래 포즈 데이터(1020)를 복수 회 획득할 수 있다.
증강 현실 시스템(100)은 제1 미래 포즈 데이터(1020)를 획득하는 주기보다 빠른 주기로 제2 미래 포즈 데이터(1030)를 획득함으로써, 제1 미래 포즈 데이터(1020)를 1회 획득할 때 제2 미래 포즈 데이터(1030)를 복수 회 획득할 수 있다.
단계 1340에서, 증강 현실 시스템(100)은 제1 미래 포즈 데이터(1020)에 기초하여 에지 컴퓨팅을 통해 가상 이미지를 생성할 수 있다.
증강 현실 시스템(100)은 클라우드로부터 수신한 그래픽 이미지에 대해 제1 미래 포즈 데이터(1020)를 기초로 에지 컴퓨팅을 통해 렌더링을 수행함으로써 가상 이미지를 생성할 수 있다.
단계 1350에서, 증강 현실 시스템(100)은 제2 미래 포즈 데이터(1030) 및 가상 이미지에 기초하여 가상 영상을 생성할 수 있다.
증강 현실 시스템(100)은 가상 이미지에 대해, 복수 회 획득한 제2 미래 포즈 데이터(1030)를 적용함으로써 제2 미래 포즈 데이터(1030)가 획득된 횟수에 대응되는 개수의 이미지들 생성할 수 있다.
증강 현실 시스템(100)은 제2 미래 포즈 데이터(1030)가 획득된 횟수에 대응되는 개수의 이미지들을 포함하는 가상 영상을 생성하는 할 수 있다.
한편, 전술한 도 4, 도 6, 도 7 및 도 13의 동작 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다. 컴퓨터로 읽을 수 있는 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 증강 현실(augmented reality) 생성 방법에 있어서,
    외부 데이터를 획득하는 단계;
    상기 외부 데이터에 기초하여 에지 컴퓨팅(edge computing)을 통해 증강 현실 장치의 위치에 대응되는 현재 포즈(pose) 데이터를 획득하는 단계;
    상기 현재 포즈 데이터에 기초하여 상기 증강 현실 장치의 움직임에 대응되는 제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 단계;
    상기 제1 미래 포즈 데이터에 기초하여 에지 컴퓨팅을 통해 가상 이미지를 생성하는 단계; 및
    상기 제2 미래 포즈 데이터 및 상기 가상 이미지에 기초하여 가상 영상을 생성하는 단계를 포함하는, 방법.
  2. 제 1항에 있어서,
    상기 외부 데이터를 획득하는 단계는,
    카메라를 통해 스테레오(stereo) 데이터를 획득하고, 관성 측정부(IMU; inertial measurement unit)를 통해 상기 증강 현실 장치의 움직임에 대응되는 관성 데이터를 획득하는, 방법.
  3. 제 1항에 있어서,
    상기 현재 포즈 데이터를 획득하는 단계는,
    상기 외부 데이터에 기초하여 에지 컴퓨팅을 통해 상기 증강 현실 장치 주변의 이미지에 대한 특징점(feature)을 추출(extract)하는 단계; 및
    상기 특징점에 대하여 에지 컴퓨팅을 통해 광속 조정(bundle adjustment) 또는 칼만 필터링(Kalman filtering)을 수행함으로써 최적화 데이터를 생성하는 단계를 포함하는, 방법.
  4. 제 3항에 있어서,
    상기 현재 포즈 데이터를 획득하는 단계는,
    클라우드(cloud)로부터 수신한 맵(map) 데이터 및 상기 최적화 데이터에 기초하여 에지 컴퓨팅을 통해 상기 현재 포즈 데이터를 획득하는 단계를 포함하는, 방법.
  5. 제 2항에 있어서,
    제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 단계는,
    상기 현재 포즈 데이터에 대하여 상기 관성 데이터를 적용함으로써 상기 제1 미래 포즈 데이터를 획득하는 단계; 및
    상기 제1 미래 포즈 데이터에 포함되는 6D(6 degrees of freedom) 포즈를 기 설정된 파라미터에 따라 변경함으로써 상기 제2 미래 포즈 데이터를 획득하는 단계를 포함하는, 방법.
  6. 제 5항에 있어서,
    제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 단계는,
    상기 현재 포즈 데이터를 획득하는 주기보다 빠른 주기로 상기 제1 미래 포즈 데이터를 획득함으로써, 상기 현재 포즈 데이터를 1회 획득할 때 상기 제1 미래 포즈 데이터를 복수 회 획득하고,
    상기 제1 미래 포즈 데이터를 획득하는 주기보다 빠른 주기로 상기 제2 미래 포즈 데이터를 획득함으로써, 상기 제1 미래 포즈 데이터를 1회 획득할 때 상기 제2 미래 포즈 데이터를 복수 회 획득하는, 방법.
  7. 제 1항에 있어서,
    상기 가상 이미지를 생성하는 단계는,
    클라우드로부터 수신한 그래픽 이미지에 대해 상기 제1 미래 포즈 데이터를 기초로 에지 컴퓨팅을 통해 렌더링(rendering)을 수행함으로써 상기 가상 이미지를 생성하는, 방법.
  8. 제 6항에 있어서,
    상기 가상 영상을 생성하는 단계는,
    상기 가상 이미지에 대해, 상기 복수 회 획득한 제2 미래 포즈 데이터를 적용함으로써 상기 제2 미래 포즈 데이터가 획득된 횟수에 대응되는 개수의 이미지들 생성하는 단계; 및
    상기 제2 미래 포즈 데이터가 획득된 횟수에 대응되는 개수의 이미지들을 포함하는 상기 가상 영상을 생성하는, 방법.
  9. 증강 현실 장치 및 가상 이미지 생성 장치를 포함하는 증강 현실 시스템에 있어서,
    상기 증강 현실 장치는,
    외부 데이터 획득부;
    상기 가상 이미지 생성 장치와 데이터를 송수신하기 위한 통신부;
    상기 가상 이미지 생성 장치로부터 수신한 현재 포즈 데이터에 기초하여 기초하여 상기 증강 현실 장치의 움직임에 대응되는 제1 미래 포즈 데이터 및 제2 미래 포즈 데이터를 획득하는 포즈 예측부; 및
    상기 가상 이미지 생성 장치로부터 수신한 가상 이미지 및 상기 제2 미래 포즈 데이터에 기초하여 가상 영상을 생성하는 가상 영상 생성부를 포함하고,
    상기 가상 이미지 생성 장치는,
    상기 증강 현실 장치로부터 수신한 외부 데이터에 기초하여 증강 현실 장치의 위치에 대응되는 상기 현재 포즈 데이터를 획득하고, 상기 제1 미래 포즈 데이터에 기초하여 상기 가상 이미지를 생성하는, 증강 현실 시스템.
  10. 제 9항에 있어서,
    상기 외부 데이터 획득부는,
    스테레오 데이터를 획득하기 위한 카메라; 및
    상기 증강 현실 장치의 움직임에 대응되는 관성 데이터를 획득하기 위한 관성 측정부를 포함하는, 증강 현실 시스템.
  11. 제 9항에 있어서,
    상기 가상 이미지 생성 장치는,
    상기 외부 데이터에 기초하여 상기 증강 현실 장치 주변의 이미지에 대한 특징점을 추출하고, 상기 특징점에 대하여 광속 조정 또는 칼만 필터링을 수행함으로써 최적화 데이터를 생성하는, 증강 현실 시스템.
  12. 제 11항에 있어서,
    상기 가상 이미지 생성 장치는,
    클라우드로부터 수신한 맵 데이터 및 상기 최적화 데이터에 기초하여 상기 현재 포즈 데이터를 획득하는, 증강 현실 시스템.
  13. 제 10항에 있어서,
    상기 포즈 예측부는,
    상기 현재 포즈 데이터에 대하여 상기 관성 데이터를 적용함으로써 상기 제1 미래 포즈 데이터를 획득하고, 상기 제1 미래 포즈 데이터에 포함되는 6D 포즈를 기 설정된 파라미터에 따라 변경함으로써 상기 제2 미래 포즈 데이터를 획득하는, 증강 현실 시스템.
  14. 제 13항에 있어서,
    상기 포즈 예측부는,
    상기 현재 포즈 데이터를 수신하는 주기보다 빠른 주기로 상기 제1 미래 포즈 데이터를 획득함으로써, 상기 현재 포즈 데이터를 1회 수신할 때 상기 제1 미래 포즈 데이터를 복수 회 획득하고,
    상기 제1 미래 포즈 데이터를 획득하는 주기보다 빠른 주기로 상기 제2 미래 포즈 데이터를 획득함으로써, 상기 제1 미래 포즈 데이터를 1회 획득할 때 상기 제2 미래 포즈 데이터를 복수 회 획득하는, 증강 현실 시스템.
  15. 제 9항에 있어서,
    상기 가상 이미지 생성 장치는,
    클라우드로부터 수신한 그래픽 이미지에 대해 상기 제1 미래 포즈 데이터를 기초로 렌더링을 수행함으로써 상기 가상 이미지를 생성하는, 증강 현실 시스템.
  16. 제 14항에 있어서,
    상기 가상 영상 생성부는,
    상기 가상 이미지에 대해, 상기 복수 회 획득한 제2 미래 포즈 데이터를 적용함으로써 상기 제2 미래 포즈 데이터가 획득된 횟수에 대응되는 개수의 이미지들을 생성하고,
    상기 제2 미래 포즈 데이터가 획득된 횟수에 대응되는 개수의 이미지들을 포함하는 상기 가상 영상을 생성하는, 증강 현실 시스템.
  17. 제 9항에 있어서,
    상기 가상 이미지 생성 장치는 에지 컴퓨팅 장치 또는 통신이 가능한 단말기인, 증강 현실 시스템.
  18. 제 9항에 있어서,
    상기 포즈 예측부 및 상기 가상 영상 생성부는 상기 외부 데이터 획득부에 포함되는 칩 내에 실장(mounted)되는, 증강 현실 장치.
  19. 제 1항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200121788A 2020-09-21 2020-09-21 증강 현실 시스템 및 그 생성 방법 KR20220039110A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200121788A KR20220039110A (ko) 2020-09-21 2020-09-21 증강 현실 시스템 및 그 생성 방법
US17/321,984 US11625092B2 (en) 2020-09-21 2021-05-17 Augmented reality system and method of generating augmented reality
CN202110584726.4A CN114253390A (zh) 2020-09-21 2021-05-27 增强现实系统和生成增强现实的方法
EP21185118.3A EP3971689A1 (en) 2020-09-21 2021-07-12 Augmented reality system, method of generating augmented reality and corresponding medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121788A KR20220039110A (ko) 2020-09-21 2020-09-21 증강 현실 시스템 및 그 생성 방법

Publications (1)

Publication Number Publication Date
KR20220039110A true KR20220039110A (ko) 2022-03-29

Family

ID=77179863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121788A KR20220039110A (ko) 2020-09-21 2020-09-21 증강 현실 시스템 및 그 생성 방법

Country Status (4)

Country Link
US (1) US11625092B2 (ko)
EP (1) EP3971689A1 (ko)
KR (1) KR20220039110A (ko)
CN (1) CN114253390A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119627B (zh) 2010-09-20 2017-03-08 高通股份有限公司 用于云辅助式扩增现实的可适应性框架
US9171384B2 (en) 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US20160140761A1 (en) 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10366290B2 (en) 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US10514753B2 (en) * 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
KR20190106306A (ko) 2018-03-08 2019-09-18 주식회사 케이티 Vr 서비스를 제공하는 서버, 시스템 및 방법
US10948297B2 (en) 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras

Also Published As

Publication number Publication date
US11625092B2 (en) 2023-04-11
US20220091664A1 (en) 2022-03-24
EP3971689A1 (en) 2022-03-23
CN114253390A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US11972780B2 (en) Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
CN111602140B (zh) 分析由头戴式设备的相机记录的图像中的对象的方法
US20220092795A1 (en) Feature pyramid warping for video frame interpolation
KR102063895B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US10440284B2 (en) Determination of exposure time for an image frame
KR20190132415A (ko) 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
US11202051B2 (en) System and method for distributing and rendering content as spherical video and 3D asset combination
US11288854B2 (en) Information processing apparatus and information processing method
KR20160108158A (ko) 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
CN110192391B (zh) 一种处理的方法及设备
US20220375041A1 (en) Selective image pyramid computation for motion blur mitigation in visual-inertial tracking
WO2022245821A1 (en) Selective image pyramid computation for motion blur mitigation
US11715267B2 (en) Methods and systems for providing operational support to an extended reality presentation system
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20220039110A (ko) 증강 현실 시스템 및 그 생성 방법
US20230052104A1 (en) Virtual content experience system and control method for same
JP2018028572A (ja) 画像処理装置、画像処理方法
US20240203069A1 (en) Method and system for tracking object for augmented reality
KR20240048207A (ko) 사용자의 상황 정보 예측 기반 확장현실 디바이스의 영상 스트리밍 방법 및 장치
CN116033281A (zh) 图像显示方法和电子设备
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법
CN117729320A (zh) 图像显示方法、设备及存储介质
CN117152338A (zh) 一种建模方法与电子设备
CN117337575A (zh) 用于运动模糊减轻的选择性图像金字塔计算

Legal Events

Date Code Title Description
A201 Request for examination