KR102381370B1 - 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 - Google Patents

가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 Download PDF

Info

Publication number
KR102381370B1
KR102381370B1 KR1020160019863A KR20160019863A KR102381370B1 KR 102381370 B1 KR102381370 B1 KR 102381370B1 KR 1020160019863 A KR1020160019863 A KR 1020160019863A KR 20160019863 A KR20160019863 A KR 20160019863A KR 102381370 B1 KR102381370 B1 KR 102381370B1
Authority
KR
South Korea
Prior art keywords
virtual reality
reality device
image
view
camera
Prior art date
Application number
KR1020160019863A
Other languages
English (en)
Other versions
KR20170098017A (ko
Inventor
안드리 볼로크니우크
올렉산드르 바에브
이중기
김선경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160019863A priority Critical patent/KR102381370B1/ko
Priority to US15/999,721 priority patent/US10992914B2/en
Priority to EP16890722.8A priority patent/EP3404916A4/en
Priority to PCT/KR2016/004343 priority patent/WO2017142130A1/ko
Publication of KR20170098017A publication Critical patent/KR20170098017A/ko
Application granted granted Critical
Publication of KR102381370B1 publication Critical patent/KR102381370B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Abstract

일 실시 예에 따른 가상 현실 디바이스는 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 수신부; 상기 이미지를 저장하는 메모리; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및 상기 콤플렉스 뷰를 표시하는 디스플레이 장치;를 포함한다.

Description

가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스{VR device and image processing method for providing virtual reality}
가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스에 관한 것이다.
최근 가상 현실 디바이스(Virtual Reality Device)를 이용하여 사용자에게 3차원 이미지를 제공하는 장치들이 개발되고 있다. 가상 현실 디바이스는 사용자의 움직임을 감지하고, 사용자의 움직임에 따라 변경된 이미지를 제공할 수 있다.
사용자에게 3차원 이미지를 제공하기 위해서, 3차원 이미지를 촬영하는 3차원 카메라가 필요하다. 3차원 카메라는 공간에서의 움직임에 따라 이미지를 촬영하고, 촬영된 이미지를 저장한다. 3차원 카메라는 사용자가 움직일 때마다 이미지를 촬영 및 저장해야 하므로 저장 공간을 포함해야 한다.
가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스를 제공하는 데 있다.
일 실시 예에 따른 가상 현실 디바이스는 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 수신부; 상기 이미지를 저장하는 메모리; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및 상기 콤플렉스 뷰를 표시하는 디스플레이 장치;를 포함한다.
일 실시 예에 따른 가상 현실을 제공하기 위한 이미지 처리 방법은 다면체인 3차원 카메라로부터 상기 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신하는 단계; 상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 단계; 및 상기 콤플렉스 뷰를 사용자에게 표시하는 단계를 포함한다.
다면체의 각 버텍스에 위치한 2차원 카메라들에 의해 촬영된 이미지를 이용하여 사용자에게 가상 현실을 제공할 수 있다.
중복되지 않는 위치에서 촬영된 이미지들만으로 3차원 이미지를 생성할 수 있다.
도 1은 가상 현실의 일 예를 설명하는 도면이다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다.
도 7은 3차원 카메라 및 가상 현실 디바이스의 위치 관계를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
도 9는 일 실시 예에 따른 인공 신경망을 이용하여 콤플렉스 뷰를 생성하는 방법을 설명하기 위한 도면이다.
도 10은 가상 현실 디바이스의 위치에 따라 인덱스를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 반구형 뷰(hemispherical view)를 생성하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 보간을 수행하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 가상 현실의 일 예를 설명하는 도면이다. 도 1을 참조하면, 사용자는 가상 현실 디바이스(200)를 착용한다. 가상 현실 디바이스(200, VR Device)는 사용자가 있는 공간과 다른 공간의 이미지를 사용자에게 제공한다. 예를 들어, 사용자는 실내에서 가상 현실 디바이스(200)를 착용하고, 가상 현실 디바이스(200)는 외국의 도시를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 사용자의 움직임에 따라 이미지를 디스플레이 한다. 사용자는 몸 전체를 움직이거나, 머리만 움직일 수 있다. 가상 현실 디바이스(200)는 사용자의 몸 전체가 움직이면 사용자의 이동 방향에 따라 이미지의 크기를 조절할 수 있다. 또한, 가상 현실 디바이스(200)는 사용자의 머리가 움직이면 사용자의 머리의 이동 방향에 따라 다른 이미지를 디스플레이 할 수 있다.
가상 현실 디바이스(200)는 헤드 마운트 디스플레이(Head Mounted Display) 또는 헤드셋(headset) 등으로 명명될 수 있다.
도 2는 3차원 카메라 및 가상 현실 디바이스의 관계를 설명하기 위한 도면이다. 도 2를 참조하면, 3차원 카메라(100)는 이미지를 촬영하고, 촬영된 이미지를 가상 현실 디바이스(200)로 전송한다. 또한, 3차원 카메라(100)는 이미지를 촬영할 때 3차원 카메라(100)의 위치, 버텍스들의 위치 및 인덱스를 가상 현실 디바이스(200)로 전송한다. 인덱스는 버텍스들이 구성하는 가상의 다면체를 나타낸다. 또한, 인덱스는 가상의 다면체를 식별하기 위한 기호, 문자 또는 숫자 등의 조합일 수 있다. 3차원 카메라(100)는 인덱스들과 버텍스들의 위치를 포함하는 인덱스 분포 맵을 생성하고, 인덱스 분포 맵을 가상 현실 디바이스(200)로 전송할 수 있다.
3차원 카메라(100)는 인덱스 분포 맵(index distribution map)을 생성하고, 메모리에 저장할 수 있다. 인덱스 분포 맵은 유니크 인덱스(unique index) 및 3차원 카메라(100)의 버텍스들의 위치를 포함한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 변경된 버텍스들의 위치, 및 인덱스를 메모리에 저장한다.
3차원 카메라(100)는 유니크 인덱스만을 메모리에 저장하고, 유일하지 않은 인덱스는 저장하지 않는다. 유니크 인덱스는 메모리에 저장된 또 다른 인덱스에 속하지(belong) 않는 인덱스이다. 다시 말해서, 인덱스는 가상의 다면체를 나타내고, 다면체들은 서로 오버랩 될 수 있다. 오버랩 되지 않는 다면체들을 나타내는 인덱스들은 유니크 인덱스이고, 유니크 인덱스들만이 메모리에 저장될 수 있다. 예를 들어, 제1 다면체가 메모리에 저장된 제2 다면체와 오버랩 되지 않으면 제1 다면체를 나타내는 인덱스는 유니크 인덱스이다. 3차원 카메라(100)는 유니크 인덱스가 나타내는 위치에서 촬영된 이미지만을 메모리에 저장한다. 3차원 카메라(100)는 3차원 카메라(100)의 위치가 변경되면, 인덱스 분포 맵을 업데이트한다. 3차원 카메라(100)는 인덱스의 위치가 유니크지 판단하고, 유니크 인덱스인 경우에만 인덱스 분포 맵을 업데이트한다. 인덱스 분포 맵은 유니크 인덱스들의 위치 관계를 나타내는 맵이다.
3차원 카메라(100)는 인덱스 분포 맵 및 이미지들을 가상 현실 디바이스(200)로 전송한다.
가상 현실 디바이스(200)는 3차원 카메라(100)로부터 이미지들 및 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 이미지들을 이용하여 콤플렉스 뷰(complex view)를 생성하고, 사용자에게 콤플렉스 뷰를 디스플레이 한다.
가상 현실 디바이스(200)는 사용자의 위치에 따라 콤플렉스 뷰를 결정한다. 가상 현실 디바이스(200)는 사용자의 현재 위치와 가장 가까운 인덱스 또는 사용자의 현재 위치를 포함하는 인덱스를 검색한다. 가상 현실 디바이스(200)는 검색된 인덱스에서 촬영된 이미지들을 이용하여 콤플렉스 뷰를 생성 및 디스플레이 할 수 있다.
도 3은 일 실시 예에 따른 가상 현실을 제공하는 장치 및 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 가상 현실을 제공 방법은 이미지를 촬영하는 단계 및 이미지를 제공하는 단계를 포함한다.
3차원 카메라(100)는 카메라 그룹(110), 위치 센서(120), 메모리(130) 및 프로세서(140)를 포함한다. 카메라 그룹(110)는 복수의 카메라들을 포함한다. 카메라 그룹(110)는 3차원 카메라(100)의 각 버텍스들에 위치한다. 카메라 그룹(110)는 적어도 3개의 카메라들을 포함할 수 있다. 3개의 카메라들은 하나의 버텍스에 위치하고, 각각의 카메라들의 시야들(fields of view)은 서로 오버랩 된다. 동일한 버텍스에 위치한 카메라들의 시야들은 서로 오버랩 되고, 서로 다른 버텍스에 위치한 카메라들의 시야들도 서로 오버랩 된다. 오버랩 되는 부분들은 파노라마 뷰를 생성시 이용된다.
위치 센서(120)는 3차원 카메라(100)의 위치를 감지한다. 위치 센서(120)는 3차원 카메라(100)의 이동에 따라 3차원 카메라(100)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(120)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
메모리(130)는 카메라 그룹(110)에 의해 촬영된 이미지 및 위치 센서(120)에 의해 감지된 위치 정보를 저장한다.
프로세서(140)는 카메라 그룹(110)로부터 이미지를 수신하고, 위치 센서(120)로부터 위치 정보를 수신한다. 프로세서(140)는 메모리(130)에 저장할 이미지, 위치 정보 또는 인덱스 등을 결정할 수 있다. 예를 들어, 프로세서(140)는 유니크 이미지 및 유니크 인덱스를 메모리(130)에 저장할 수 있다. 유니크 이미지는 유니크 인덱스의 위치에서 촬영된 이미지이다. 다시 말해서, 유니크 이미지는 3차원 카메라(100)의 버텍스들로 구성된 다면체가 오버랩 되지 않는 위치에서 카메라 그룹(110)들에 의해 촬영된 이미지이다.
프로세서(140)는 인덱스 분포 맵을 생성한다. 인덱스 분포 맵은 3차원 카메라(100)가 이동한 위치를 나타낼 수 있다. 인덱스 분포 맵은 3차원 카메라(100)의 버텍스들의 위치 및 인덱스를 포함한다.
3차원 카메라(100)는 3차원 카메라(100)의 위치 정보 및 이미지들을 가상 현실 디바이스(200)로 전송한다. 3차원 카메라(100)는 인덱스 분포 맵 및 유니크 이미지들을 가상 현실 디바이스(200)로 전송할 수 있다.
가상 현실 디바이스(200)는 위치 센서(210), 회전 센서(220), 프로세서(230), 디스플레이 장치(240) 및 메모리(250)를 포함한다. 위치 센서(210)는 가상 현실 디바이스(200)의 위치를 감지한다. 위치 센서(210)는 가상 현실 디바이스(200)의 이동에 따라 가상 현실 디바이스(200)의 위치를 나타내는 정보를 프로세서(140)로 전송한다. 예를 들어, 위치 센서(210)는 GPS(Global positioning system) 또는 IMU(inertial measurement unit) 등일 수 있다.
회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지한다. 사용자는 가상 현실 디바이스(200)를 착용하고 x,y,z 축을 기준으로 머리를 회전할 수 있다. 사용자의 머리가 회전함에 따라 가상 현실 디바이스(200)도 함께 회전한다. 회전 센서(220)는 가상 현실 디바이스(200)의 회전 운동을 감지하고, x,y,z 축을 기준으로 회전한 각도를 측정한다. 회전 센서(220)는 측정된 각도를 프로세서(230)로 전송한다.
프로세서(230)는 사용자의 움직임에 따라 사용자에게 표시할 이미지를 생성한다. 프로세서(230)는 위치 센서(210) 및 회전 센서(220)로부터 수신된 데이터에 기초하여 이미지를 생성한다. 프로세서(230)는 사용자의 이동 방향, 이동 거리, 회전 방향, 회전 각도에 기초하여 이미지를 생성할 수 있다.
프로세서(230)는 3차원 카메라(100)로부터 수신된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 프로세서(230)는 사용자의 움직임에 따라 3차원 카메라(100)로부터 수신된 이미지들 중에서 일부 이미지들을 선택하고, 선택된 이미지들을 이용하여 콤플렉스 뷰를 생성한다.
디스플레이 장치(240)는 프로세서(230)에 의해 생성된 콤플렉스 뷰를 디스플레이 한다.
메모리(250)는 3차원 카메라(100)로부터 수신된 이미지들 및 인덱스 분포 맵 등을 저장한다. 또한, 메모리(250)는 콤플렉스 뷰를 저장하고, 사용자의 움직임에 대한 정보를 저장할 수도 있다.
도 4 내지 도 6은 일 실시 예에 따른 인덱스 분포 맵을 생성하는 방법을 설명하기 위한 도면이다. 도 4 내지 도 6을 참조하면, 3차원 카메라(100)는 유니크 인덱스들만으로 구성된 인덱스 분포 맵을 생성할 수 있다.
도 4는 3차원 카메라의 위치 이동을 나타내는 도면이다. 3차원 카메라(100)는 A 지점에서 B 지점까지 연결된 선을 따라 이동할 수 있다. 도 4에 도시된 원들은 서로 오버랩 되지 않는다. 새로운 원은 3차원 카메라(100)의 위치가 변경되고, 기존의 원과 오버랩 되지 않는 위치에 생성된다. 원들은 3차원 카메라(100)가 생성하는 이미지들의 경계를 나타낸다.
도 5는 3차원 카메라가 인덱스들을 생성하는 방법을 설명하기 위한 도면이다. 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지를 저장한다. 버텍스들(p0 내지 p6)는 2차원 카메라들의 위치를 나타낼 수 있다. 2차원 카메라들은 3차원 카메라(100)가 A 지점에서 B 지점으로 이동할 때 이미지를 촬영할 수 있다. 다만, 3차원 카메라(100)는 버텍스들(p0 내지 p6)에서 촬영된 이미지들만 저장할 수 있다. 버텍스들(p0 내지 p6) 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 예를 들어, 사용자들의 두 눈 사이의 평균 거리와 버텍스들(p0 내지 p6) 사이의 거리는 동일할 수 있다.
3차원 카메라(100)는 인덱스들(idx1 내지 idx4)를 생성한다. 인덱스들(idx1 내지 idx4)이 나타내는 사면체들은 서로 오버랩 되지 않는다. 제1 인덱스(idx1)는 가장 왼쪽의 사면체를 식별하기 위한 인덱스이고, 제2 인덱스(idx2)는 가운데 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx3)는 오른쪽 아래의 사면체를 식별하기 위한 인덱스이고, 제3 인덱스(idx4)는 오른쪽 위의 사면체를 식별하기 위한 인덱스이다.
도 6은 인덱스들이 커버하는 영역을 원으로 표현한 도면이다. 도 5에서의 다면체들에 대응하는 원들이 도시되어 있다. 원들은 각각의 인덱스들(idx1 내지 idx4)이 나타내는 위치에서 촬영되는 이미지들의 영역을 나타낸다.
원들은 서로 오버랩 되지 않는다. 원들 사이의 거리는 사용자의 두 눈 사이의 거리와 가까울(close) 수 있다. 3차원 카메라(100)는 오버랩 되지 않는 영역의 이미지들만을 저장할 수 있고, 오버랩 되지 않는 영역에 유니크 인덱스를 부여한다.
도 7을 3차원 카메라와 가상 현실 디바이스의 위치 관계를 설명하기 위한 도면이다. 도 7을 참조하면, 가상 현실 디바이스(200)는 3차원 카메라(100)의 내부에 위치한다. 다시 말해서, 3차원 카메라(100)로부터 수신된 이미지들은 가상 현실 디바이스(200)의 외부에 배치된 카메라들(110)에 의해 촬영된 이미지들이다. 가상 현실 디바이스(200)는 사용자의 이동 또는 회전에 따라 이미지를 결정하고, 결정된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
가상 현실 디바이스(200)는 x,y,z 축으로 이동하거나, x,y,z 축을 기준으로 회전할 수 있다. 가상 현실 디바이스(200)가 이동하면, 가상 현실 디바이스(200)는 이동 위치에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 또한, 가상 현실 디바이스(200)가 회전하면, 가상 현실 디바이스(200)는 다른 카메라(110)에 의해 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
도 8은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
단계 810에서, 가상 현실 디바이스(200)는 다면체인 3차원 카메라(100)로부터 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신한다. 3차원 카메라는 4면체, 5면체, 6면체 등의 다면체이고, 다면체의 각 버텍스에는 적어도 3개의 카메라들이 배치될 수 있다. 동일한 버텍스에 배치된 카메라들은 카메라 그룹으로 지칭될 수 있다.
가상 현실 디바이스(200)는 이미지가 촬영될 때 3차원 카메라(100)의 위치를 나타내는 인덱스 분포 맵을 3차원 카메라(100)로부터 수신한다. 인덱스 분포 맵은 3차원 카메라(100)의 위치가 오버랩 되지 않을 때의 위치를 나타낸다.
구체적으로 설명하면, 가상 현실 디바이스(200)는 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치를 결정하고, 상기 가상 현실 디바이스(200)의 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치에 대응되는 유니크 인덱스를 결정한다. 가상 현실 디바이스(200)는 결정된 인덱스에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다. 결정된 인덱스는 다면체를 나타내므로, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)를 포함하는 다면체를 결정하고, 결정된 다면체의 위치에서 촬영된 이미지를 합성하여 콤플렉스 뷰를 생성한다.
예를 들어, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 이미지를 선택할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치에 따라 인덱스를 결정하고, 가상 현실 디바이스(200)의 방향에 따라 버텍스를 결정할 수 있다. 가상 현실 디바이스(200)는 결정된 인덱스 및 결정된 버텍스에서 촬영된 이미지를 선택한다.
단계 820에서, 가상 현실 디바이스(200)는 훈련된 인공 신경망에 이미지를 입력하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 인공 신경망을 이용하여 2차원 이미지를 합성하여 3차원 이미지를 생성할 수 있다. 가상 현실 디바이스(200)는 인공 신경망에 이미지를 입력하여 인공 신경망을 훈련시킨다. 인공 신경망은 적어도 하나의 층(layer)를 포함하며, 층들 사이에 웨이트를 포함한다. 인공 신경망을 훈련시킨다는 것은 웨이트를 업데이트한다는 것을 의미한다. 가상 현실 디바이스(200)는 인공 신경망을 초기화하고, 인공 신경망을 훈련시켜, 훈련된 인공 신경망을 준비한다. 콤플렉스 뷰는 사용자에게 표시되는 3차원 이미지를 나타낸다.
가상 현실 디바이스(200)는 사용자의 눈의 위치에 따라 이미지들의 보간을 수행하여 콤플렉스 뷰를 생성한다. 가상 현실 디바이스(200)는 중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정한다. 가상 현실 디바이스(200)는 이미지를 보간하여 보간 위치들에서의 중간 뷰를 생성하고, 상기 중간 뷰를 이용하여 콤플렉스 뷰를 생성한다.
가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치를 감지하는 위치 센서(210) 및 가상 현실 디바이스(200)의 회전을 감지하는 회전 센서를 더 포함할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 3차원 카메라에 의해 촬영된 이미지를 선택할 수 있다. 예를 들어, 가상 현실 디바이스(200)는 가상 현실 디바이스(200)의 위치 및 회전에 기초하여 인덱스 분포 맵에서 가상 현실 디바이스(200)의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 이미지를 선택할 수 있다. 가상 현실 디바이스(200)는 가상 현실 디바이스(200)가 이동하면, 이동할 때마다 가상 현실 디바이스(200)를 포함하는 인덱스를 결정하고, 결정된 인덱스에서 촬영된 이미지를 선택할 수 있다. 또한, 가상 현실 디바이스(200)는 가상 현실 디바이스가 회전하면, 회전할 때마다 가상 현실 디바이스(200)가 향하는 방향에 따라 이미지를 선택할 수 있다.
단계 830에서, 가상 현실 디바이스(200)는 생성된 콤플렉스 뷰를 사용자에게 표시한다. 가상 현실 디바이스(200)는 사용자의 두 눈에 별도의 콤플렉스 뷰를 표시할 수도 있다.
도 9는 일 실시 예에 따른 인공 신경망을 이용하여 콤플렉스 뷰를 생성하는 방법을 설명하기 위한 도면이다.
가상 현실 디바이스(200)는 인공 신경망(920)에 입력 데이터로 N개의 이미지들(910)을 입력한다. 이미지들(910)는 3차원 카메라(100)의 각 버텍스에서 촬영된 이미지들 중에서 가상 현실 디바이스(200)의 위치에 따라 선택된 이미지들이다. i번째 이미지(911)는 적어도 3개의 채널들(R,G,B)을 포함한다.
인공 신경망(920)은 복수의 층들을 포함하며, 각 층들을 연결하는 웨이트(940)을 포함한다. 웨이트(940)는 업데이트될 수 있다. 가상 현실 디바이스(200)는 N 개의 이미지들(910)을 인공 신경망(920)에 입력하여 콤플렉스 뷰(930)을 생성할 수 있다. 콤플렉스 뷰(930)는 3차원 이미지일 수 있으며, 인공 신경망(920)에서 출력되는 콤플렉스 뷰(930)는 1차원의 형태로 출력될 수 있다.
도 10은 가상 현실 디바이스의 위치에 따라 인덱스를 결정하는 방법을 설명하기 위한 도면이다. 가상 현실 디바이스(200)는 제1 위치(1010)에 있고, 제1 위치(1010)는 4개의 버텍스들(po, p1, p2, p3)로 구성된 다면체에 포함된다. 제1 위치(1010)를 포함하는 다면체의 인덱스는 idx0 이다. 따라서, 가상 현실 디바이스(200)는 4개의 버텍스들(po, p1, p2, p3)에서 촬영된 이미지들을 3차원 카메라(100)로부터 수신하고, 수신된 이미지들을 합성하여 콤플렉스 뷰를 생성한다.
또한, 가상 현실 디바이스(200)가 제2 위치(1020)에 있고, 제2 위치(1020)는 4개의 버텍스들(p2, p3, p4, p6)로 구성된 다면체에 포함된다. 제2 위치(1020)를 포함하는 다면체의 인덱스는 idx3 이다. 따라서, 가상 현실 디바이스(200)는 4개의 버텍스들(p2, p3, p4, p6)에서 촬영된 이미지들을 3차원 카메라(100)로부터 수신하고, 수신된 이미지들을 합성하여 콤플렉스 뷰를 생성한다.
도 11은 일 실시 예에 따른 반구형 뷰(hemispherical view)를 생성하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 가상 현실 디바이스(200)는 각 버텍스에 위치한 카메라들(1110, 1120)을 이용하여 반구형 뷰(1100)를 생성할 수 있다. 도 11은 사용자의 두 눈 중에서 오른쪽 눈의 방향에 따른 반구형 뷰를 생성하는 방법을 설명한다.
카메라들(1110) 및 가상 카메라(1120)는 다면체의 바깥쪽으로 촬영한다. 따라서, 카메라들(1110)은 사용자의 눈의 방향으로 촬영이 가능하고, 가상 카메라(1120)는 사용자의 눈의 방향으로 촬영할 수 없다.
가상 현실 디바이스(200)는 카메라들(1110)에 의해 촬영된 이미지들을 합성하여 반구형 뷰(1100)를 생성한다.
도 12는 일 실시 예에 따른 보간을 수행하는 방법을 설명하기 위한 도면이다. 도 12는 사용자가 제1 버텍스(1210)를 바라볼 때를 나타내는 도면이고, 제1 내지 제3 버텍스들(1210 내지 1230)은 사용자가 바라보는 방향에 위치한다. 따라서, 제1 내지 제3 버텍스들(1210 내지 1230)은 정면 버텍스들이라고 지칭될 수 있다.
제1 보간 위치(R', 1250)는 사용자가 바라보는 정면 페이스(frontal face, 1200)와 뒤쪽 버텍스(back vertex, 1240)로부터 사용자의 오른쪽 눈(R)을 통과하는 광선(ray)이 교차하는 지점이다.
제2 보간 위치(R", 1260)는 제3 버텍스(1230)와 제1 보간 위치(1250)의 연장선이 제1 버텍스(1210)과 제2 버텍스(1220)사이의 모서리와 만나는 지점이다.
가상 현실 디바이스(200)는 제1 버텍스(1210) 및 제2 버텍스(1220)에서 촬영된 이미지를 보간하여 제2 보간 위치(1260)에서의 제1 중간 뷰를 생성한다. 가상 현실 디바이스(200)는 제3 버텍스(1230)에서 촬영된 이미지와 제1 중간 뷰를 보간하여 제1 위치(1250)에서의 제2 중간 뷰를 생성한다. 가상 현실 디바이스(200)는 제4 버텍스(1240)에서 촬영된 이미지와 제2 중간 뷰를 보간하여 사용자의 오른쪽 눈(R)에서의 뷰를 생성한다.
도 13은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
단계 1310에서, 가상 현실 디바이스(200)는 다면체인 3차원 카메라로부터 다면체의 각 버텍스에 배치된 카메라들에 의해 촬영된 이미지를 수신한다. 가상 현실 디바이스(200)는 이미지들을 메모리(250)에 저장한다.
단계 1320에서, 가상 현실 디바이스(200)는 3차원 카메라로부터 인덱스 분포 맵을 수신한다. 가상 현실 디바이스(200)는 인덱스 분포 맵을 메모리(250)에 저장한다. 가상 현실 디바이스(200)는 인덱스 분포 맵과 이미지들의 관계를 나타내는 정보를 메모리(250)에 저장한다. 따라서, 각각의 이미지들이 촬영된 위치는 인덱스 분포 맵에 표시될 수 있다.
단계 1330에서, 가상 현실 디바이스(200)는 센서들로부터 사용자의 위치를 수신한다. 가상 현실 디바이스(200)는 위치 센서(210) 및 회전 센서(220)를 포함한다. 따라서, 사용자의 움직임에 따라 가상 현실 디바이스(200)가 이동하거나 회전하는 것을 감지할 수 있다.
단계 1340에서, 가상 현실 디바이스(200)는 사용자의 위치에 대응되는 인덱스를 결정한다. 다시 말해서, 가상 현실 디바이스(200)는 유니크 인덱스를 결정하고, 유니크 인덱스는 다면체를 식별하기 위한 부호이다. 가상 현실 디바이스(200)는 센서들(210, 220)로부터 수신된 사용자의 움직임에 따라 사용자의 위치를 결정하고, 사용자의 위치를 포함하는 인덱스를 결정한다.
단계 1350에서, 가상 현실 디바이스(200)는 인덱스에 대응되는 이미지들을 메모리(250)로부터 로딩한다. 가상 현실 디바이스(200)는 다면체의 각 버텍스에서 촬영된 이미지들을 메모리(250)로부터 로딩한다.
단계 1360에서, 가상 현실 디바이스(200)는 각 버텍스에서 촬영된 이미지를 합성하여 구형 뷰를 생성한다. 예를 들어, 4면체는 4개의 버텍스들을 포함하고, 가상 현실 디바이스(200)는 4개의 구형 뷰를 생성한다.
가상 현실 디바이스(200)는 이미지들을 인공 신경망(920)에 입력하여, 인공 신경망(920)을 훈련시킨다. 가상 현실 디바이스(200)는 훈련된 인공 신경망(920)에 이미지들을 입력하여 피드 포워드 프로퍼게이션(feed forward propagation)을 수행한다. 180x180 구형 파노라마가 인공 신경망(920)으로부터 1차원 형태로 출력된다. 가상 현실 디바이스(200)는 180x180 구형 파노라마를 훈련된 인공 신경망(920)에 입력하여 270x180 구형 파노라마를 생성한다. 가상 현실 디바이스(200)는 270x180 구형 파노라마를 훈련된 인공 신경망(920)에 입력하여 360x180 구형 파노라마를 생성한다.
단계 1370에서, 가상 현실 디바이스(200)는 사용자의 눈의 위치에 반구형 뷰를 몰핑한다. 가상 현실 디바이스(200)는 사용자의 시선에 따라 보간이 필요한 반구형 뷰를 찾는다. 가상 현실 디바이스(200)는 2개의 버텍스들 사이에 중간 뷰를 생성하는 2차원 보간을 수행한다. 가상 현실 디바이스(200)는 3개의 2차원 보간을 포함하는 3차원 보간을 수행한다. 가상 현실 디바이스(200)는 2개의 보간 위치를 결정하여 3차원 보간을 수행할 수 있다.
단계 1380에서, 가상 현실 디바이스(200)는 사용자의 눈에 반구형 뷰를 표시한다. 가상 현실 디바이스(200)는 사용자의 양쪽 눈의 시선 방향 등에 따라 반구형 뷰를 다르게 표시할 수 있다. 가상 현실 디바이스(200)는 사용자의 위치가 변경되는지를 판단하여, 단계 1340으로 진행한다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (13)

  1. 가상 현실을 제공하기 위한 가상 현실 디바이스에 있어서,
    다면체로 형성되는 3차원 카메라의 버텍스들에 의해 형성되는 사면체들이 서로 중첩되지 않는 위치에서, 복수의 카메라들에 의해 촬영된 이미지를 수신하고, 상기 복수의 카메라들은 상기 다면체의 상기 버텍스들 각각에 배치되고, 상기 복수의 카메라들은 적어도 3개 이상의 카메라들을 포함하는 수신부;
    상기 이미지를 저장하는 메모리;
    상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 프로세서; 및
    상기 콤플렉스 뷰를 표시하는 디스플레이 장치;
    를 포함하는 가상 현실 디바이스.
  2. 제1항에 있어서,
    상기 가상 현실 디바이스의 위치를 감지하는 위치 센서; 및
    상기 가상 현실 디바이스의 회전을 감지하는 회전 센서;
    를 더 포함하고,
    상기 프로세서는 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 이미지를 선택하는 가상 현실 디바이스.
  3. 제2항에 있어서,
    상기 수신부는 상기 이미지가 촬영될 때 상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 상기 3차원 카메라로부터 수신하고,
    상기 프로세서는 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치를 결정하고, 상기 가상 현실 디바이스와 대응되는 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 상기 콤플렉스 뷰를 생성하는 가상 현실 디바이스.
  4. 제3항에 있어서,
    상기 프로세서는 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 상기 이미지를 선택하는 가상 현실 디바이스.
  5. 제1항에 있어서,
    상기 프로세서는 상기 이미지를 인공 신경망(neural network)에 입력하여, 상기 인공 신경망의 웨이트(weight)를 훈련(train) 시키고, 상기 훈련된 인공 신경망에 상기 이미지를 입력하여 상기 콤플렉스 뷰를 생성하는 가상 현실 디바이스.
  6. 제1항에 있어서,
    상기 프로세서는 중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정하고, 상기 이미지를 보간하여 상기 보간 위치들에서의 상기 중간 뷰를 생성하고, 상기 중간 뷰를 이용하여 상기 콤플렉스 뷰를 생성하는 가상 현실 디바이스.
  7. 가상 현실을 제공하기 위한 가상 현실 디바이스의 동작 방법에 있어서,
    다면체로 형성되는 3차원 카메라의 버텍스들에 의해 형성되는 사면체들이 서로 중첩되지 않는 위치에서, 복수의 카메라들에 의해 촬영된 이미지를 수신하고, 상기 복수의 카메라들은 상기 다면체의 상기 버텍스들 각각에 배치되고, 상기 복수의 카메라들은 적어도 3개 이상의 카메라들을 포함하는 단계;
    상기 이미지를 저장하는 단계;
    상기 이미지를 합성하여 콤플렉스 뷰를 생성하는 단계; 및
    상기 콤플렉스 뷰를 표시하는 단계;
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 가상 현실 디바이스의 위치를 감지하는 단계; 및
    상기 가상 현실 디바이스의 회전을 감지하는 단계;
    를 더 포함하고,
    상기 콤플렉스 뷰를 생성하는 단계는, 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 이미지를 선택하는 단계;
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 이미지를 수신하는 단계는, 상기 이미지가 촬영될 때 상기 3차원 카메라의 위치를 나타내는 인덱스 분포 맵을 상기 3차원 카메라로부터 수신하는 단계;
    를 포함하고,
    상기 콤플렉스 뷰를 생성하는 단계는, 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치를 결정하고, 상기 가상 현실 디바이스의 위치에서 촬영된 이미지를 결정하고, 결정된 이미지를 합성하여 상기 콤플렉스 뷰를 생성하는 단계;
    를 포함하는 방법.
  10. 제9항에 있어서,
    상기 콤플렉스 뷰를 생성하는 단계는, 상기 가상 현실 디바이스의 위치 및 회전에 기초하여 상기 인덱스 분포 맵에서 상기 가상 현실 디바이스의 위치 및 방향과 가장 근접한 위치 및 가장 근접한 방향을 결정하여 상기 이미지를 선택하는 단계;
    를 포함하는 방법.
  11. 제7항에 있어서,
    상기 콤플렉스 뷰를 생성하는 단계는,
    인공 신경망(neural network)에 상기 이미지를 입력하여 상기 인공 신경망을 훈련시키는 단계; 및
    상기 훈련된 인공 신경망에 상기 촬영된 이미지를 입력하여 콤플렉스 뷰를 생성하는 단계;
    를 포함하는 방법.
  12. 제7항에 있어서,
    상기 콤플렉스 뷰를 생성하는 단계는,
    중간 뷰(intermediate view)를 생성하기 위한 2개의 보간 위치들을 결정하는 단계; 및
    상기 보간 위치에서의 뷰를 보간하여 상기 중간 뷰를 생성하여 상기 콤플렉스 뷰를 생성하는 단계;
    를 포함하는 방법.
  13. 제7항 내지 제12항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적인(non-transitory) 기록매체.
KR1020160019863A 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 KR102381370B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
US15/999,721 US10992914B2 (en) 2016-02-19 2016-04-26 Image processing method for providing virtual reality, and virtual reality device
EP16890722.8A EP3404916A4 (en) 2016-02-19 2016-04-26 IMAGE PROCESSING METHOD FOR PROVIDING VIRTUAL REALITY, AND VIRTUAL REALITY DEVICE
PCT/KR2016/004343 WO2017142130A1 (ko) 2016-02-19 2016-04-26 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스

Publications (2)

Publication Number Publication Date
KR20170098017A KR20170098017A (ko) 2017-08-29
KR102381370B1 true KR102381370B1 (ko) 2022-03-31

Family

ID=59625253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019863A KR102381370B1 (ko) 2016-02-19 2016-02-19 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스

Country Status (4)

Country Link
US (1) US10992914B2 (ko)
EP (1) EP3404916A4 (ko)
KR (1) KR102381370B1 (ko)
WO (1) WO2017142130A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515550B1 (ko) * 2017-12-08 2023-03-29 현대자동차주식회사 차량용 디스플레이 시스템 및 그 제어 방법
WO2022006504A1 (en) * 2020-07-03 2022-01-06 Pfetch, Inc. Remote attendance and participation systems and methods
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650578B2 (ja) * 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
EP2348733A4 (en) 2008-10-27 2012-09-12 Lg Electronics Inc METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES
KR101146620B1 (ko) * 2010-08-17 2012-05-16 옥영선 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
US9876953B2 (en) * 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
KR102099834B1 (ko) * 2013-06-18 2020-04-10 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR20150027651A (ko) * 2013-09-04 2015-03-12 (주)판도라나인 스마트폰이 장착되는 두부 탑재형 장치
KR20150084200A (ko) 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods

Also Published As

Publication number Publication date
EP3404916A1 (en) 2018-11-21
KR20170098017A (ko) 2017-08-29
US20200329224A1 (en) 2020-10-15
EP3404916A4 (en) 2019-01-09
WO2017142130A1 (ko) 2017-08-24
US10992914B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
JP7349793B2 (ja) 画像処理装置および画像処理方法、プログラム
WO2019152617A1 (en) Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
US10884576B2 (en) Mediated reality
CN107710108B (zh) 内容浏览
EP3640889A1 (en) In situ creation of planar natural feature targets
JP2002058045A (ja) 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
KR102381370B1 (ko) 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
KR102360179B1 (ko) 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
KR101696243B1 (ko) 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
TWI821220B (zh) 影像擷取之設備及方法
CN113228117A (zh) 创作装置、创作方法和创作程序
CN111292424A (zh) 多视点360度vr内容提供系统
US10650595B2 (en) Mediated reality
JP2020178239A (ja) 全天周映像処理装置及びプログラム
JP2019082879A (ja) 姿勢制御システム
KR20140030071A (ko) 뷰 포인트에 따른 입체화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant